JP3007357B2 - Dictionary update method for speech recognition device - Google Patents
Dictionary update method for speech recognition deviceInfo
- Publication number
- JP3007357B2 JP3007357B2 JP1113401A JP11340189A JP3007357B2 JP 3007357 B2 JP3007357 B2 JP 3007357B2 JP 1113401 A JP1113401 A JP 1113401A JP 11340189 A JP11340189 A JP 11340189A JP 3007357 B2 JP3007357 B2 JP 3007357B2
- Authority
- JP
- Japan
- Prior art keywords
- update
- dictionary
- evaluation value
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】 技術分野 本発明は、音声認識装置の辞書更新方式に関する。Description: TECHNICAL FIELD The present invention relates to a dictionary updating method for a speech recognition device.
従来技術 先の出願のものとして特願平１−18523号であるが、
これは、既に有している辞書を更新するか否かをその出
現時点での何等かのパラメータ、例えばその類似度や単
語長などの情報からのみ決定していた。従って、過去に
どの程度更新されたのか、つまり、更新の頻度の情報が
反映されていなかった。又、従来頻度を監視しているも
のにおいても、その個数を頻度情報として扱っていたた
め、時間的経過の情報を有しておらず正確に更新できな
かった。また、過去の履歴による評価値によるものにお
いても、更新の可否の判定が一意となるため、最適な更
新判定をうる事が難しかった。Prior art Japanese Patent Application No. 1-18523 as an earlier application,
In this method, whether or not to update an existing dictionary is determined only from some parameter at the time of the update, for example, information such as the similarity and the word length. Therefore, information on the extent of updating in the past, that is, information on the frequency of updating has not been reflected. Further, even in the case where the frequency is monitored in the past, the number was treated as frequency information, so that it could not be updated accurately because it did not have time-lapse information. In addition, it is difficult to obtain an optimal update determination even in the case of evaluation values based on past histories, because the determination of whether or not update is possible is unique.
音声認識装置における単語テンプレートいわゆる辞書
は、一般的に特定話者の場合、数回の発声による荷重平
均により登録し、又不特定話者の場合は、予め得られた
複数のパターンから同様に荷重平均化したり、マルチテ
ンプレート化して対応する。この様な辞書に対して人間
の音声は常に安定な発声を期待できず、経時変化をとも
なう。従ってなんらかの方法で辞書をある程度現在の声
に近づけておくことが必要であり、一般に更新処理を用
いる。In general, a word template in a speech recognition device, a so-called dictionary, is registered by a weighted average of several utterances for a specific speaker, and is similarly registered from a plurality of patterns obtained in advance for an unspecified speaker. Averaging or multi-template support. For such a dictionary, human voice cannot always expect stable utterance, and it changes with time. Therefore, it is necessary to keep the dictionary close to the current voice to some extent by some method, and generally an update process is used.
更新処理は一般に認識結果にしたがって正解を得た場
合は、その入力データで、また得られなかった場合はユ
ーザにより次候補、又はそれ以下の単語から選び出し、
その入力データにより、辞書テンプレートの更新を行
う。しかしながら、この場合、その更新によりその辞書
がより最適化されるとは限らず品質の高い辞書の低下を
招く場合もある。従って、何等かの判断に基づいて更新
の可否を決定する必要がある。In general, the update process selects the next candidate or the next word by the user when the correct answer is obtained in accordance with the recognition result, based on the input data.
The dictionary template is updated based on the input data. However, in this case, the update does not always optimize the dictionary, and may cause a decrease in the quality of the dictionary. Therefore, it is necessary to determine whether or not the update can be performed based on some determination.
目的 本発明は、上述のごとき実情に鑑みてなされたもの
で、過去の履歴データの導入により、時間的経過を考慮
した更新判断が可能であるような音声認識装置の辞書更
新方式を提供することを目的としてなされたものであ
る。An object of the present invention is to provide a dictionary update method for a voice recognition device that can make an update decision in consideration of the passage of time by introducing past history data. It was made for the purpose of.
構成 本発明は、上記目的を達成するために、（１）入力さ
れた音声を増幅して補正を行う前段部と、その音声信号
から特徴量を抽出する特徴抽出部と、その特徴データか
ら音声の始端、終端を決定する音声区間検出部と、前記
特徴データから標準パターンを生成する標準パターン生
成部と、新たに入力された未知入力に対して照合演算を
行う認識演算部と、その認識結果に基づいてその標準パ
ターンをその入力パターンで更新する更新演算部とを有
する音声認識装置において、前回の更新時の評価値に更
新補正係数を乗じ、更新実行不実行の定数を加算して今
回の更新時の評価値とし、辞書信頼度を表わす係数であ
るその評価値に従って次回出現時の更新についての可否
を決定すること、更には、（２）前記評価値の演算に、
一回前の出現時の評価値に係数ｍ乗じ、更新実行不実行
の定数を加算して評価値を決定すること、更には、
（３）前記評価値があるレベル以下の場合は、更新実行
を再度ユーザーに問いなおすこと、或いは、（４）入力
された音声を増幅して補正を行なう前段部と、その音声
信号から特徴量を抽出する特徴抽出部と、その特徴デー
タから音声の始端、終端を決定する音声区間検出部と、
前記特徴データから標準パターンを生成する標準パター
ン生成部と、新たに入力された未知入力に対して照合演
算を行う認識演算部と、その認識結果に基づいてその標
準パターンをその入力パターンで更新する更新演算部
と、過去の出現頻度に関する履歴を有し、出現回数と更
新の頻度の関数で辞書の信頼度を表わす係数であるその
履歴データから更新に関する評価値を演算し、辞書信頼
度を表わす係数であるその評価値に従って次回出現時の
更新についての可否を決定する手段を有する音声認識装
置において、評価値によってＮ段階に分類し、各々の段
階で異なる更新決定を有すること、更には、（５）前記
において、辞書の信頼性が高いグループに属する場合
に、第一位の類似度と第二位の類似度が接近している場
合は更新を行わないことを特徴としたものである。以
下、本発明の実施例に基づいて説明する。In order to achieve the above object, the present invention provides (1) a pre-stage unit for amplifying and correcting an input voice, a feature extraction unit for extracting a feature amount from the voice signal, and a voice from the feature data. A voice section detection unit that determines the start and end of the data, a standard pattern generation unit that generates a standard pattern from the feature data, a recognition calculation unit that performs a matching calculation on a newly input unknown input, and a recognition result thereof In the speech recognition device having an update calculation unit that updates the standard pattern with the input pattern based on the above, the evaluation value at the time of the previous update is multiplied by an update correction coefficient, and a constant of the update execution non-execution is added. Determining whether or not to perform the update at the next appearance according to the evaluation value, which is a coefficient representing the dictionary reliability, as an evaluation value at the time of updating; and (2) calculating the evaluation value
Multiplying the evaluation value at the time of the previous appearance by a coefficient m and adding a constant of non-execution of update execution to determine the evaluation value;
(3) If the evaluation value is lower than a certain level, the user is asked again to execute the update, or (4) a pre-stage for amplifying and correcting the input voice and a feature amount from the voice signal. A speech extraction section, and a speech section detection section that determines the beginning and end of speech from the feature data.
A standard pattern generation unit that generates a standard pattern from the feature data, a recognition operation unit that performs a collation operation on a newly input unknown input, and updates the standard pattern with the input pattern based on the recognition result. An update calculation unit, and a history relating to the frequency of appearance in the past, wherein an evaluation value relating to update is calculated from the history data which is a coefficient representing the reliability of the dictionary by a function of the number of appearances and the frequency of update, and the dictionary reliability is represented. In a speech recognition apparatus having means for determining whether or not to update at the next appearance according to the evaluation value that is a coefficient, the speech recognition apparatus classifies into N stages according to the evaluation value, and has different update decisions at each stage. 5) In the above, when the dictionary belongs to a group having high reliability, if the first similarity and the second similarity are close to each other, the update should not be performed. Is obtained by it said. Hereinafter, a description will be given based on examples of the present invention.
第１図は、本発明による音声認識装置の辞書更新方式
に一実施例を説明するための構成図で、図中、１は前処
理部、２は特徴抽出部、３は入力バッファ、４は登録
部、５は認識部、６は更新演算パターン部、７は更新処
理判定部、８は辞書、９は評価値辞書、10は結果出力部
である。FIG. 1 is a block diagram for explaining an embodiment of a dictionary updating method of a speech recognition apparatus according to the present invention. In the drawing, reference numeral 1 denotes a pre-processing unit, 2 denotes a feature extracting unit, 3 denotes an input buffer, and 4 denotes an input buffer. A registration unit, 5 is a recognition unit, 6 is an update operation pattern unit, 7 is an update processing determination unit, 8 is a dictionary, 9 is an evaluation value dictionary, and 10 is a result output unit.
入力された音声は前処理部１において増幅補正され、
特徴抽出部２で、例えばパワースペクトルや、LPCケプ
ストラムなどの認識に必要な特徴量を抽出し、入力パタ
ーンとして入力バッファ３に送られる。辞書登録部４に
より登録された辞書は辞書メモリ８の蓄えられる。認識
時は辞書に蓄えられている辞書に対して認識処理を行
い、候補単語を抽出し結果を出力する。The input voice is amplified and corrected in the preprocessing unit 1,
The feature extraction unit 2 extracts a feature amount necessary for recognition of, for example, a power spectrum and an LPC cepstrum, and sends the extracted feature amount to the input buffer 3 as an input pattern. The dictionary registered by the dictionary registration unit 4 is stored in the dictionary memory 8. At the time of recognition, recognition processing is performed on the dictionary stored in the dictionary, candidate words are extracted, and the result is output.
出力された結果に対応する辞書に対し、更新処理を行
うわけであるが、本発明では過去の更新頻度に基づいた
評価値を用いて更新の可否を決定する。この評価値は各
単語の辞書パターンと同様に辞書メモリに蓄えられる。The update process is performed on the dictionary corresponding to the output result. In the present invention, whether or not the dictionary can be updated is determined using an evaluation value based on the past update frequency. This evaluation value is stored in the dictionary memory similarly to the dictionary pattern of each word.
この評価値は次式で表され、出現回数と更新の頻度の
関数となるため、いわゆる辞書の信頼度の高さを表わ
す。Since this evaluation value is expressed by the following equation and is a function of the number of appearances and the frequency of updating, it represents the so-called high reliability of the dictionary.
Xn＝Xn-1＊（１−ｍ）＋Ｋ＊ｍ ここで、ｎは出現回数、ｍ（０＜ｍ＜１）は更新係数で
ある。又、定数Ｋは、更新された場合１をとり、されな
かった場合０を取る２値の変数である。Xnの初期値は０
である。Xn = Xn -1 * (1-m) + K * m Here, n is the number of appearances, and m (0 <m <1) is the update coefficient. The constant K is a binary variable that takes 1 when updated and takes 0 when not updated. The initial value of Xn is 0
It is.
評価式 Xn＝Xn-1＊（１−ｍ）＋Ｋ＊ｍ において、辞書が更新されるたびに、その辞書の評価値
Xnは徐々に増加していく。一方、辞書の品質が良好であ
る場合、更新処理が行われないため、その評価値は徐々
に減少していく。つまり評価値Xnがより小さいほうが辞
書の品質がよいことを表し、大きいほうが品質が悪いこ
とを意味する。したがって、Xnが大きくなるとそれにし
たがって更新処理が施される。In the evaluation formula Xn = Xn -1 * (1-m) + K * m, each time the dictionary is updated, the evaluation value of the dictionary
Xn gradually increases. On the other hand, if the quality of the dictionary is good, the updating process is not performed, and the evaluation value gradually decreases. In other words, the smaller the evaluation value Xn, the better the quality of the dictionary, and the larger the evaluation value Xn, the worse the quality. Therefore, when Xn increases, the updating process is performed accordingly.
この式は例えばｍ＝0.1に設定した場合、その時点で
の評価値Xnは、更新される度に前回の値に対して増加し
ていく。このとき更新するかしないかの判断は、例えば
従来技術として示した特願平１−18523号に開示されて
いるような類似度に基づいた判定を用いる。この場合高
品質の辞書は、高類似度となり更新されないため常に低
い値を保ち、何等かの変化、例えば話者が風邪をひいた
場合などに低類似度となり、更新を行うことにより評価
値が上昇する。従って、この値が高い場合は、その単語
の信頼性が低いので更新を奨励し、更新が行われること
により、次入力時の認識が誤答から正答に変化すれば徐
々に評価値が減少していく。評価値が低い場合の認識結
果が低類似度の場合は、辞書が高品質にも拘らず認識結
果が悪いと判断され、むしろ入力に問題があると判断さ
れるため、ユーザに問い直すか、更新をキャンセルす
る。When this equation is set to, for example, m = 0.1, the evaluation value Xn at that time increases with respect to the previous value every time it is updated. At this time, the determination as to whether or not to update is made based on the similarity as disclosed in Japanese Patent Application No. 1-18523 shown as the prior art. In this case, the high-quality dictionary has a high similarity and is not updated because it is not updated.It always has a low value, and has a low similarity when some kind of change occurs, for example, when a speaker catches a cold. To rise. Therefore, if this value is high, the reliability of the word is low, and the update is encouraged. By performing the update, if the recognition at the next input changes from an incorrect answer to a correct answer, the evaluation value gradually decreases. To go. If the recognition result when the evaluation value is low is low similarity, the recognition result is determined to be bad despite the high quality of the dictionary, and it is determined that there is a problem with the input. Cancel the update.
この様に得られた評価値に基づいて、更新の可否を決
定することにより、辞書の更新を精度良く保つことが可
能となる。By determining whether or not to update based on the evaluation values obtained in this manner, it is possible to keep the dictionary updated with high accuracy.
第２図は、本発明の他の実施例を示す図で、図中、21
は前処理部、22は特徴抽出部、23は入力バッファ、24は
登録部、25は認識部、26は第１判別部、27は第２判別
部、28は辞書、29は評価値比較部、30は更新パターン部
である。FIG. 2 is a view showing another embodiment of the present invention.
Is a preprocessing unit, 22 is a feature extraction unit, 23 is an input buffer, 24 is a registration unit, 25 is a recognition unit, 26 is a first determination unit, 27 is a second determination unit, 28 is a dictionary, and 29 is an evaluation value comparison unit. , 30 are update pattern parts.
この実施例における評価値は、いわゆる過去の履歴デ
ータと考えて良く、この値が高い場合は、その単語の信
頼性が低いので更新を奨励し、更新が行われることによ
り、次入力時の認識が誤答から正答に変化すれば徐々に
評価値が減少していく様な辞書の時間的経過による品質
を表す値である。The evaluation value in this embodiment may be considered to be so-called past history data. When this value is high, the reliability of the word is low, and the update is encouraged. Is a value representing the quality of the dictionary over time, such that the evaluation value gradually decreases when the answer changes from an incorrect answer to a correct answer.
この様な評価値を有する更新機能において、その評価
値によって辞書を分類し、その分類された各グループに
対応した更新判定条件を設定する。例えば、評価値Xn
が、０＜Xn＜0.5の時グループａとし、0.5＞Xn＞１の時
グループｂとする。グループａに属する場合は、比較的
辞書が高品質にあると考えられるため、類似度も高得点
を得ることが予測される。この時は第二位とのレシオを
見て、類似度が接近している場合は、必ずしも正答と考
えられないため、更新しない。またグループｂに属する
場合は、辞書が高頻度に更新されているため、変動が大
きく、例えば類似度がある得点以下で積極的に更新して
いく。第３図に、処理フローを示す。この様にすること
により、現在の状況で最も最適な更新判断を行うことが
可能となる。In the updating function having such an evaluation value, the dictionary is classified according to the evaluation value, and an update determination condition corresponding to each of the classified groups is set. For example, the evaluation value Xn
Is a group a when 0 <Xn <0.5, and a group b when 0.5>Xn> 1. If the dictionary belongs to the group a, the dictionary is considered to have relatively high quality, so that it is predicted that the similarity will also obtain a high score. At this time, looking at the ratio with the second place, if the similarity is close, it is not necessarily considered as a correct answer, and is not updated. In the case of belonging to the group b, the dictionary is updated frequently, so that the dictionary fluctuates greatly. For example, the dictionary is positively updated below a certain score. FIG. 3 shows a processing flow. By doing so, it is possible to make the most optimal update determination in the current situation.
効果 以上の説明から明らかなように、本発明によると、過
去の履歴データの導入により、時間的経過を考慮した更
新判断が可能になった。また、高品質の辞書を品質の悪
い辞書で不用意に更新することにより、品質の低下を防
止できる。そのため、更新の効果がより得られると共
に、常に最適な単語テンプレートを保守でき、話者の変
動に対して認識率がキープ出来る。Advantages As is clear from the above description, according to the present invention, the introduction of past history data makes it possible to make an update judgment in consideration of the passage of time. In addition, by updating a high-quality dictionary with a poor-quality dictionary carelessly, it is possible to prevent a decrease in quality. Therefore, the effect of updating can be obtained more, the most suitable word template can be maintained at all times, and the recognition rate can be kept against the fluctuation of the speaker.
第１図は、本発明による音声認識装置の辞書更新方式の
一実施例を説明するための構成図、第２図は、本発明の
他の実施例を示す図、第３図は、そのフローチャートで
ある。 １……前処理部、２……特徴抽出部、３……入力バッフ
ァ、４……登録部、５……認識部、６……更新演算パタ
ーン、７……更新処理判定部、８……辞書、９……評価
値辞書、10……結果出力部。FIG. 1 is a block diagram for explaining an embodiment of a dictionary updating method of a speech recognition device according to the present invention, FIG. 2 is a diagram showing another embodiment of the present invention, and FIG. It is. 1 Pre-processing unit 2 Feature extraction unit 3 Input buffer 4 Registration unit 5 Recognition unit 6 Update calculation pattern 7 Update processing determination unit 8 Dictionary, 9 ... evaluation value dictionary, 10 ... result output unit.
フロントページの続き (56)参考文献 特開 平２−198499（ＪＰ，Ａ) 特開 昭62−235990（ＪＰ，Ａ) 特開 昭60−212799（ＪＰ，Ａ) 特開 昭60−63900（ＪＰ，Ａ) 特開 昭60−235991（ＪＰ，Ａ) 特開 昭59−116800（ＪＰ，Ａ) 特許2543584（ＪＰ，Ｂ２) 特公 平６−7349（ＪＰ，Ｂ２) 特公 平２−36960（ＪＰ，Ｂ２) 特公 昭61−22320（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 3/00 - 9/20 Continuation of the front page (56) References JP-A-2-198499 (JP, A) JP-A-62-235990 (JP, A) JP-A-60-212799 (JP, A) JP-A-60-63900 (JP, A) JP-A-60-235991 (JP, A) JP-A-59-116800 (JP, A) Patent 2543584 (JP, B2) JP 6-7349 (JP, B2) JP 2 36960 (JP, B2) JP, B2) JP 61-22320 (JP, B2) (58) Fields investigated (Int. Cl. 7 , DB name) G10L 3/00-9/20
Claims (2)
部と、その音声信号から特徴量を抽出する特徴抽出部
と、その特徴データから音声の始端、終端を決定する音
声区間検出部と、前記特徴データから標準パターンを生
成する標準パターン生成部と、新たに入力された未知入
力に対して照合演算を行う認識演算部と、その認識結果
に基づいてその標準パターンをその入力パターンで更新
する更新演算部とを有する音声認識装置において、前回
の更新時の評価値に更新補正係数を乗じ、更新実行不実
行の定数を加算して今回の更新時の評価値とし、辞書信
頼度を表わす係数であるその評価値に従って次回出現時
の更新についての可否を決定することを特徴とする音声
認識装置の辞書更新方式。1. A pre-stage unit for amplifying and correcting an input voice, a feature extraction unit for extracting a feature amount from the voice signal, and a voice section detection unit for determining the start and end of the voice from the feature data. A standard pattern generation unit that generates a standard pattern from the feature data, a recognition operation unit that performs a collation operation on a newly input unknown input, and based on the recognition result, the standard pattern is input with the input pattern. In the speech recognition device having the update operation unit to update, the evaluation value at the time of the previous update is multiplied by an update correction coefficient, and a constant of non-execution of update is added to obtain the evaluation value at the time of the current update. A dictionary updating method for a speech recognition device, characterized by determining whether or not to update at the next appearance according to the evaluation value that is a coefficient that represents.
式において、評価値によってＮ段階に分類し、各々の段
階で異なる更新決定を有することを特徴とする音声認識
装置の辞書更新方式。2. A dictionary updating system for a speech recognition apparatus according to claim 1, wherein said dictionary is classified into N stages according to evaluation values, and each stage has a different update decision.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1113401A JP3007357B2 (en) | 1989-05-02 | 1989-05-02 | Dictionary update method for speech recognition device |
| US07/468,173 US5040213A (en) | 1989-01-27 | 1990-01-22 | Method of renewing reference pattern stored in dictionary |
| DE4002336A DE4002336A1 (en) | 1989-01-27 | 1990-01-26 | REFERENCE MODEL RENEWAL PROCESS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1113401A JP3007357B2 (en) | 1989-05-02 | 1989-05-02 | Dictionary update method for speech recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02293798A JPH02293798A (en) | 1990-12-04 |
| JP3007357B2 true JP3007357B2 (en) | 2000-02-07 |
Family
ID=14611363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1113401A Expired - Lifetime JP3007357B2 (en) | 1989-01-27 | 1989-05-02 | Dictionary update method for speech recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3007357B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4604424B2 (en) * | 2001-08-07 | 2011-01-05 | カシオ計算機株式会社 | Speech recognition apparatus and method, and program |
| JP5088701B2 (en) * | 2006-05-31 | 2012-12-05 | 日本電気株式会社 | Language model learning system, language model learning method, and language model learning program |
-
1989
- 1989-05-02 JP JP1113401A patent/JP3007357B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02293798A (en) | 1990-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0966736B1 (en) | Method for discriminative training of speech recognition models | |
| US6208963B1 (en) | Method and apparatus for signal classification using a multilayer network | |
| US6490555B1 (en) | Discriminatively trained mixture models in continuous speech recognition | |
| US5621849A (en) | Voice recognizing method and apparatus | |
| JPH05257492A (en) | Voice recognizing system | |
| US5040213A (en) | Method of renewing reference pattern stored in dictionary | |
| JP3130524B2 (en) | Speech signal recognition method and apparatus for implementing the method | |
| JP2010078650A (en) | Speech recognizer and method thereof | |
| JP3007357B2 (en) | Dictionary update method for speech recognition device | |
| JPH0792989A (en) | Speech recognizing method | |
| AU646060B2 (en) | Adaptation of reference speech patterns in speech recognition | |
| JP3477751B2 (en) | Continuous word speech recognition device | |
| KR20050088014A (en) | Method for compensating probability density function, method and apparatus for speech recognition thereby | |
| JP2002244697A (en) | Device and method for voice authentication, and program | |
| JPH06324699A (en) | Continuous speech recognizing device | |
| JP3458285B2 (en) | Voice recognition device | |
| EP1488410A1 (en) | Pattern recognition | |
| KR20070061220A (en) | Viterbi decoding method with word boundary detection error compensation | |
| JP3026855B2 (en) | Voice recognition device | |
| JP3251430B2 (en) | How to create a state transition model | |
| JPH0981177A (en) | Voice recognition device, dictionary for work constitution elements and method for learning imbedded markov model | |
| JP2996977B2 (en) | Voice recognition device | |
| JPH04332000A (en) | Speech recognition system | |
| JP2003150189A (en) | Speech recognition device | |
| KR20000040573A (en) | Apparatus for preventing mis-recognition of speaker independent isolation vocabulary voice recognition system and method for doing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 10 |