JP3605011B2 - Voice recognition method - Google Patents
Voice recognition method Download PDFInfo
- Publication number
- JP3605011B2 JP3605011B2 JP2000240283A JP2000240283A JP3605011B2 JP 3605011 B2 JP3605011 B2 JP 3605011B2 JP 2000240283 A JP2000240283 A JP 2000240283A JP 2000240283 A JP2000240283 A JP 2000240283A JP 3605011 B2 JP3605011 B2 JP 3605011B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- template
- evaluation value
- noise
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
この発明は、音声認識方法に関する。
【0002】
【従来の技術】
音声認識においては、DPマッチングを用いたもの、確率モデル(HMM; Hidden Markov Model) を用いたもの等がある。DPマッチングを用いた単語認識では、単語単位にテンプレートが作成されている。HMMを用いた単語認識では、より小さな単位でテンプレートが作成される。
【0003】
DPマッチングを用いた単語認識では、よく知られているように、入力音声とテンプレートのマッチング度を評価する評価値として、距離が用いられる。距離が小さいほどマッチング度が高いと判定される。
【0004】
HMMを用いた単語認識では、よく知られているように、入力音声とテンプレートのマッチング度を評価する評価値として、尤度が用いられる。尤度が大きいほどマッチング度が高いと判定される。
【0005】
ところで、雑音がある環境下で音声を発声した場合、パワーの小さい子音等は、雑音によりその音響特徴が汚されてしまい、テンプレートとのマッチングの結果得られる尤度(HMMを用いた場合)や距離(DPマッチングを用いた場合)は信頼性が低くなってしまう。また、テンプレート作成時の雑音パターンと認識時の雑音パターンとが異なる場合、雑音区間における距離や尤度は信頼性が低くなってしまう。
【0006】
そこで、従来においては、実際の雑音環境から無音モデルを学習して、テンプレートの音声区間以外の部分に無音モデルを追加することにより、雑音区間の認識精度を向上する手法が提案されている。しかしながら、この手法では、本来パワーが小さく、雑音に埋もれてしまう音声区間の認識精度を向上させることはできない。
【0007】
【発明が解決しようとする課題】
この発明は、雑音がある環境下で発声された音声に対して音声認識を行なう場合に、認識精度の向上化が図れる音声認識方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
この発明による第1の音声認識方法は、入力音声特徴とテンプレートとのマッチング度を評価値に基づいて判定することにより、最適な標準パターンを選択する音声認識方法において、入力音声特徴の雑音区間から雑音特徴を作成する第1ステップ、テンプレートの所定の閾値よりパワーが小さい区間においては、テンプレートの当該区間の音声特徴と入力音声特徴とを比較することによって第1の評価値を算出するとともに、第1ステップで作成された雑音特徴と入力音声特徴とを比較することによって第2の評価値を算出する第2ステップ、および第1の評価値と第2の評価値のうち、マッチング度の高い方の評価値を、当該区間に対する評価値として採用する第3ステップを備えていることを特徴とする。
【0010】
この発明による第2の音声認識方法は、入力音声特徴とテンプレートとのマッチング度を評価値に基づいて判定することにより、最適な標準パターンを選択する音声認識方法において、入力音声特徴の雑音区間から雑音特徴を作成する第1ステップ、テンプレートの所定の閾値よりパワーが小さい区間であってかつ入力音声特徴の所定の閾値よりパワーが小さい区間においては、テンプレートの当該区間の音声特徴と入力音声特徴とを比較することによって第1の評価値を算出するとともに、第1ステップで作成された雑音特徴と入力音声特徴とを比較することによって第2の評価値を算出する第2ステップ、および第1の評価値と第2の評価値のうち、マッチング度の高い方の評価値を、当該区間に対する評価値として採用する第3ステップを備えていることを特徴とする。
【0011】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【0012】
〔1〕本発明の考え方についての説明
本発明の考え方について説明する。
【0013】
図1(a)はテンプレートを示し、図1(b)は入力音声特徴を示している。図1(a)において、Thは、予め設定された評価区間決定用の閾値を示している。また、図1(a)および図1(b)において、区間A、A’は雑音区間を、区間B、B’は音声区間を、区間C、C’は雑音区間を示している。
【0014】
以下、音声認識方法について説明する。
【0015】
まず、入力音声特徴の雑音区間A’またはC’から、雑音特徴を作成する。
【0016】
テンプレートの閾値Thよりパワーが大きい区間U1、U2については、テンプレートのかかる部分の音声特徴と、入力音声特徴とを比較することにより、評価を行なう。つまり、評価値(尤度または距離)を算出する。
【0017】
テンプレートの閾値Thよりパワーが小さい区間、A、D1、D2、D3、Cについては、2種類の評価を行なう。第1は、テンプレートのかかる部分の音声特徴と、入力音声特徴とを比較することにより、評価を行なう。第2は、入力音声特徴の雑音区間A’またはC’から作成された雑音特徴と、入力音声特徴とを比較することにより、評価を行なう。そして、第1の評価結果と第2の評価結果とを比較し、マッチング度の高い方の評価値を当該区間の評価値として用いる。つまり、評価値が尤度である場合には評価値が大きい方の尤度を当該区間の評価値として用い、評価値が距離である場合には評価値が小さい方の距離を当該区間の評価値として用いる。
【0018】
SNR値が小さいために音声の特徴であるスペクトルが雑音より完全にマスクされている区間では、テンプレートの特徴として雑音特徴を用いた場合のマッチング度が高くなる。一方、本来の音声特徴が残っている区間においては、テンプレートの特徴としてテンプレートのかかる部分の音声特徴を用いた場合のマッチング度が高くなる。したがって、上記実施の形態のように、テンプレートの閾値Thよりパワーが小さい区間A、D1、D2、D3、Cについて、2種類の評価を行なって、マッチング度の高い方の評価値を用いることにより、音声認識精度が向上する。
【0019】
上記実施の形態では、テンプレートの閾値Thよりパワーが小さい区間A、D1、D2、D3、Cについて、2種類の評価が行なわれているが、入力音声特徴の閾値Th’(図1(b)参照)よりパワーが小さい区間A’、D1’、D2’、D3’、C’について、2種類の評価を行なうようにしてもよい。
【0020】
また、テンプレートの閾値Thよりパワーが小さい区間であってかつ入力音声特徴の閾値Th’よりパワーが小さい区間について、2種類の評価を行なうようにしてもよい。
【0021】
〔2〕HMMを用いた音声認識に適用した場合の実施例の説明
HMMを用いた音声認識に適用した場合の実施例について説明する。
【0022】
図2(a)は”SAKAI”のテンプレートを示している。テンプレートは、HMM状態列と各状態毎のパワーとからなる。
【0023】
テンプレートの学習時は、図2(b)に示すように、学習用音声データからテンプレートを学習する。この場合、単語単位に学習してもよいし、単語より細かな単位、例えば音素単位に学習してもよい。また、各状態毎のパワーは、他のパラメータ(例えばケプトラム)と同様にEM推定によって求められる。あるいは、各状態毎のパワーは、他のパラメータ(例えばケプトラム)を用いて学習したモデルを用いて、学習用データと学習によって得られたモデルとのアライメントをとり、各状態と対応する学習データのアライメント部分から各状態の平均パワーを算出することによって、求めるようにしてもよい。
【0024】
図3は、テンプレートと入力音声特徴を示している。
【0025】
まず、入力音声特徴の雑音区間から、雑音特徴を作成する。
【0026】
テンプレート(図2)の閾値Thをこの例では5とする。テンプレートのパワーが大きい部分、つまり、テンプレート中の”A”の部分については、テンプレートのかかる部分の音声特徴と、入力音声特徴とを比較することにより、尤度を算出する。
【0027】
テンプレート(図2)の閾値Thより平均パワーが小さい部分、つまり、テンプレート中の”無音”、”S”、”K”の部分については、2種類の評価を行なう。第1は、テンプレートのかかる部分の音声特徴と、入力音声特徴とを比較することにより、尤度を求める。第2は、入力音声特徴の雑音区間から作成された雑音特徴と、入力音声特徴とを比較することにより、尤度を求める。そして、第1の評価結果と第2の評価結果とを比較し、尤度の大きい方を当該区間の尤度として用いる。
【0028】
なお、入力音声特徴(図3)の閾値Th’よりパワーが小さい部分”無音”、”S”、”A”、”I”について、2種類の評価を行なうようにしてもよい。
【0029】
また、テンプレート(図2)の閾値Thよりパワーが小さい部分であってかつ入力音声特徴(図3)の閾値Th’よりパワーが小さい部分”無音”、”S”について、2種類の評価を行なうようにしてもよい。
【0030】
テンプレートの閾値Thよりパワーが小さい部分であってかつ入力音声特徴の閾値Th’よりパワーが小さい部分について2種類の評価を行なう音声認識方法(本発明方法という)と、従来の音声認識方法(従来法という)とについて、次の比較実験を行なった。
【0031】
つまり、SN比5dBの雑音環境下において、100個の地名の単語に対して男女計5名に発声を行なわせ、これらの音声に対して本発明方法と従来法とによって音声認識を行い、音声認識率を求めた。従来法では認識率が94.8%であったのに対して、本発明方法では認識率が96.0%に向上した。
【0032】
【発明の効果】
この発明によれば、雑音がある環境下で発声された音声に対して音声認識を行なう場合に、認識精度の向上化が図れるようになる。
【図面の簡単な説明】
【図1】テンプレートと入力音声特徴とを示す波形図である。
【図2】HMMを用いた音声認識でのテンプレートを示す模式図である。
【図3】HMMを用いた音声認識でのテンプレートと入力音声特徴を示す模式図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a speech recognition method.
[0002]
[Prior art]
In speech recognition, there are those using DP matching and those using a probabilistic model (HMM; Hidden Markov Model). In word recognition using DP matching, a template is created for each word. In word recognition using the HMM, a template is created in smaller units.
[0003]
In word recognition using DP matching, as is well known, distance is used as an evaluation value for evaluating the degree of matching between an input voice and a template. The smaller the distance, the higher the matching degree is determined.
[0004]
In word recognition using the HMM, as is well known, likelihood is used as an evaluation value for evaluating the degree of matching between an input speech and a template. It is determined that the matching degree is higher as the likelihood is larger.
[0005]
By the way, when a voice is uttered in a noisy environment, a consonant or the like having a low power has its acoustic characteristics contaminated by noise, and the likelihood (in the case of using HMM) obtained as a result of matching with a template or The distance (when DP matching is used) has low reliability. Also, if the noise pattern at the time of template creation and the noise pattern at the time of recognition are different, the reliability and the distance or likelihood in the noise section will be low.
[0006]
Therefore, conventionally, a method of improving a recognition accuracy of a noise section by learning a silence model from an actual noise environment and adding a silence model to a portion other than the speech section of the template has been proposed. However, this method cannot improve the recognition accuracy of a voice section that is originally low in power and buried in noise.
[0007]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a speech recognition method capable of improving recognition accuracy when performing speech recognition on speech uttered in an environment having noise.
[0008]
[Means for Solving the Problems]
A first speech recognition method according to the present invention is a speech recognition method for selecting an optimal standard pattern by determining a matching degree between an input speech feature and a template based on an evaluation value. A first step of generating a noise feature, in a section whose power is smaller than a predetermined threshold value of the template, calculating a first evaluation value by comparing a speech feature of the section of the template with an input speech feature; A second step of calculating a second evaluation value by comparing the noise feature created in one step with the input speech feature, and a higher matching degree of the first evaluation value and the second evaluation value Is adopted as the evaluation value for the section in question.
[0010]
A second speech recognition method according to the present invention is a speech recognition method for selecting an optimal standard pattern by determining a matching degree between an input speech feature and a template based on an evaluation value. The first step of creating a noise feature, in a section in which the power is smaller than a predetermined threshold of the template and in a section in which the power is smaller than the predetermined threshold of the input speech feature, the speech feature and the input speech feature of the template in the corresponding section. And a second step of calculating a second evaluation value by comparing the noise feature created in the first step with the input speech feature, and a first evaluation value by comparing Of the evaluation value and the second evaluation value, the evaluation value with the higher matching degree is used as the evaluation value for the section in the third step. Characterized in that it comprises a.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0012]
[1] Description of the concept of the present invention The concept of the present invention will be described.
[0013]
FIG. 1A shows a template, and FIG. 1B shows an input voice feature. In FIG. 1A, Th indicates a preset threshold for determining an evaluation section. In FIGS. 1A and 1B, sections A and A ′ indicate noise sections, sections B and B ′ indicate voice sections, and sections C and C ′ indicate noise sections.
[0014]
Hereinafter, the speech recognition method will be described.
[0015]
First, a noise feature is created from the noise section A 'or C' of the input speech feature.
[0016]
For the sections U1 and U2 where the power is larger than the threshold value Th of the template, evaluation is performed by comparing the audio features of such portions of the template with the input audio features. That is, an evaluation value (likelihood or distance) is calculated.
[0017]
Two types of evaluation are performed for sections A, D1, D2, D3, and C whose power is smaller than the template threshold Th. First, evaluation is performed by comparing the audio features of such a portion of the template with the input audio features. Second, the evaluation is performed by comparing the noise feature created from the noise section A ′ or C ′ of the input speech feature with the input speech feature. Then, the first evaluation result and the second evaluation result are compared, and the evaluation value with the higher matching degree is used as the evaluation value of the section. That is, if the evaluation value is likelihood, the likelihood with the larger evaluation value is used as the evaluation value of the section, and if the evaluation value is distance, the distance with the smaller evaluation value is used as the evaluation value of the section. Use as a value.
[0018]
In a section in which the spectrum, which is a feature of speech, is completely masked from noise because the SNR value is small, the matching degree when the noise feature is used as the template feature is high. On the other hand, in a section in which the original voice feature remains, the matching degree when the voice feature of such a portion of the template is used as the template feature is high. Therefore, as in the above-described embodiment, two types of evaluations are performed for sections A, D1, D2, D3, and C whose power is smaller than the threshold value Th of the template, and the evaluation value with the higher matching degree is used. And the accuracy of voice recognition is improved.
[0019]
In the above embodiment, two types of evaluations are performed for the sections A, D1, D2, D3, and C whose power is smaller than the threshold value Th of the template. However, the threshold value Th ′ of the input voice feature (FIG. 1B) Two types of evaluations may be performed for sections A ′, D1 ′, D2 ′, D3 ′, and C ′ with lower power.
[0020]
In addition, two types of evaluation may be performed in a section in which the power is smaller than the threshold value Th of the template and in which the power is smaller than the threshold value Th ′ of the input voice feature.
[0021]
[2] Description of Embodiment When Applied to Speech Recognition Using HMM An embodiment when applied to speech recognition using an HMM will be described.
[0022]
FIG. 2A shows a template of “SAKAI”. The template includes an HMM state sequence and power for each state.
[0023]
When learning the template, as shown in FIG. 2B, the template is learned from the learning voice data. In this case, the learning may be performed in units of words or in units smaller than words, for example, in units of phonemes. Further, the power for each state is obtained by EM estimation in the same manner as other parameters (for example, ceptoram). Alternatively, the power for each state is obtained by aligning the learning data with the model obtained by learning using a model learned using other parameters (for example, ceptoram), and obtaining the state of the learning data corresponding to each state. The average power of each state may be calculated from the alignment portion to obtain the average power.
[0024]
FIG. 3 shows a template and input speech features.
[0025]
First, a noise feature is created from a noise section of an input speech feature.
[0026]
The threshold value Th of the template (FIG. 2) is set to 5 in this example. For the portion where the power of the template is large, that is, for the portion “A” in the template, the likelihood is calculated by comparing the audio feature of such portion of the template with the input audio feature.
[0027]
Two types of evaluations are performed on the portion of the template (FIG. 2) where the average power is smaller than the threshold value Th, that is, on the "silence", "S", and "K" portions in the template. First, the likelihood is obtained by comparing the speech feature of such a portion of the template with the input speech feature. Second, a likelihood is obtained by comparing a noise feature created from a noise section of the input speech feature with the input speech feature. Then, the first evaluation result and the second evaluation result are compared, and the larger likelihood is used as the likelihood of the section.
[0028]
Note that two types of evaluation may be performed on the portions “silence”, “S”, “A”, and “I” whose power is smaller than the threshold value Th ′ of the input voice feature (FIG. 3).
[0029]
In addition, two types of evaluation are performed on portions "silence" and "S" that are portions having power smaller than the threshold value Th of the template (FIG. 2) and have power smaller than the threshold value Th 'of the input voice feature (FIG. 3). You may do so.
[0030]
A speech recognition method for performing two types of evaluations on a portion having a power smaller than the threshold value Th of the template and a power smaller than the threshold value Th ′ of the input speech feature (referred to as the method of the present invention), and a conventional speech recognition method (conventional method) The following comparative experiment was conducted.
[0031]
That is, in a noise environment with an S / N ratio of 5 dB, a total of five men and women make utterances for 100 place name words, and these voices are subjected to voice recognition by the method of the present invention and the conventional method to perform voice recognition. The recognition rate was determined. While the recognition rate was 94.8% in the conventional method, the recognition rate was improved to 96.0% in the method of the present invention.
[0032]
【The invention's effect】
According to the present invention, it is possible to improve recognition accuracy when performing speech recognition on a speech uttered in an environment with noise.
[Brief description of the drawings]
FIG. 1 is a waveform diagram showing a template and input speech features.
FIG. 2 is a schematic diagram showing a template in speech recognition using an HMM.
FIG. 3 is a schematic diagram showing templates and input speech features in speech recognition using an HMM.
Claims (2)
入力音声特徴の雑音区間から雑音特徴を作成する第1ステップ、
テンプレートの所定の閾値よりパワーが小さい区間においては、テンプレートの当該区間の音声特徴と入力音声特徴とを比較することによって第1の評価値を算出するとともに、第1ステップで作成された雑音特徴と入力音声特徴とを比較することによって第2の評価値を算出する第2ステップ、および
第1の評価値と第2の評価値のうち、マッチング度の高い方の評価値を、当該区間に対する評価値として採用する第3ステップ、
を備えていることを特徴とする音声認識方法。In a voice recognition method for selecting an optimal standard pattern by determining a matching degree between an input voice feature and a template based on an evaluation value,
A first step of creating a noise feature from a noise section of the input speech feature,
In the section where the power is smaller than the predetermined threshold value of the template, the first evaluation value is calculated by comparing the speech feature of the template with the input speech feature, and the noise feature created in the first step is compared with the noise feature created in the first step. A second step of calculating a second evaluation value by comparing the input voice feature with the input voice feature, and, of the first evaluation value and the second evaluation value, an evaluation value having a higher matching degree is evaluated for the section. The third step to take as value,
A voice recognition method comprising:
入力音声特徴の雑音区間から雑音特徴を作成する第1ステップ、A first step of creating a noise feature from a noise section of the input speech feature,
テンプレートの所定の閾値よりパワーが小さい区間であってかつ入力音声特徴の所定の閾値よりパワーが小さい区間においては、テンプレートの当該区間の音声特徴と入力音声特徴とを比較することによって第1の評価値を算出するとともに、第1ステップで作成された雑音特徴と入力音声特徴とを比較することによって第2の評価値を算出する第2ステップ、およびIn a section in which the power is smaller than the predetermined threshold of the template and in which the power is smaller than the predetermined threshold of the input speech feature, the first evaluation is performed by comparing the speech feature in the section of the template with the input speech feature. A second step of calculating a second evaluation value by calculating a value and comparing the noise feature created in the first step with the input speech feature; and
第1の評価値と第2の評価値のうち、マッチング度の高い方の評価値を、当該区間に対する評価値として採用する第3ステップ、A third step of adopting, from the first evaluation value and the second evaluation value, the evaluation value with the higher matching degree as the evaluation value for the section;
を備えていることを特徴とする音声認識方法。A voice recognition method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000240283A JP3605011B2 (en) | 2000-08-08 | 2000-08-08 | Voice recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000240283A JP3605011B2 (en) | 2000-08-08 | 2000-08-08 | Voice recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002055691A JP2002055691A (en) | 2002-02-20 |
JP3605011B2 true JP3605011B2 (en) | 2004-12-22 |
Family
ID=18731671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000240283A Expired - Fee Related JP3605011B2 (en) | 2000-08-08 | 2000-08-08 | Voice recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3605011B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4497911B2 (en) * | 2003-12-16 | 2010-07-07 | キヤノン株式会社 | Signal detection apparatus and method, and program |
WO2015059946A1 (en) * | 2013-10-22 | 2015-04-30 | 日本電気株式会社 | Speech detection device, speech detection method, and program |
CN111429911A (en) * | 2020-03-11 | 2020-07-17 | 云知声智能科技股份有限公司 | Method and device for reducing power consumption of speech recognition engine in noise scene |
-
2000
- 2000-08-08 JP JP2000240283A patent/JP3605011B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002055691A (en) | 2002-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Improved acoustic modeling for large vocabulary continuous speech recognition | |
JP3990136B2 (en) | Speech recognition method | |
Kim et al. | Cepstrum-domain acoustic feature compensation based on decomposition of speech and noise for ASR in noisy environments | |
US9530432B2 (en) | Method for determining the presence of a wanted signal component | |
EP1465154B1 (en) | Method of speech recognition using variational inference with switching state space models | |
JPH075892A (en) | Voice recognition method | |
WO2010128560A1 (en) | Voice recognition device, voice recognition method, and voice recognition program | |
WO2018173270A1 (en) | Voice recognition device and voice recognition method | |
JP2012503212A (en) | Audio signal analysis method | |
JP2003504653A (en) | Robust speech processing from noisy speech models | |
JP2007017620A (en) | Utterance section detecting device, and computer program and recording medium therefor | |
Boite et al. | A new approach towards keyword spotting. | |
Andringa | Continuity preserving signal processing | |
JP3605011B2 (en) | Voice recognition method | |
JP3039634B2 (en) | Voice recognition device | |
JP2009145499A (en) | Voice parameter learning apparatus and method therefor, voice recognition apparatus and voice recognition method using them, and their program and recording medium | |
JP4461557B2 (en) | Speech recognition method and speech recognition apparatus | |
JP2004251998A (en) | Conversation understanding device | |
Jun et al. | Using Mel-frequency cepstral coefficients in missing data technique | |
JPS60114900A (en) | Voice/voiceless discrimination | |
JP4464797B2 (en) | Speech recognition method, apparatus for implementing the method, program, and recording medium therefor | |
Alam et al. | Speaker Verification Under Adverse Conditions Using i-Vector Adaptation and Neural Networks. | |
Yoma et al. | On including temporal constraints in Viterbi alignment for speech recognition in noise | |
Wilpon et al. | Connected digit recognition based on improved acoustic resolution | |
Ming et al. | Union: a model for partial temporal corruption of speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |