JP3550871B2 - 音声認識方法及び装置 - Google Patents

音声認識方法及び装置 Download PDF

Info

Publication number
JP3550871B2
JP3550871B2 JP10728496A JP10728496A JP3550871B2 JP 3550871 B2 JP3550871 B2 JP 3550871B2 JP 10728496 A JP10728496 A JP 10728496A JP 10728496 A JP10728496 A JP 10728496A JP 3550871 B2 JP3550871 B2 JP 3550871B2
Authority
JP
Japan
Prior art keywords
recognized
speech
predetermined
threshold
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10728496A
Other languages
English (en)
Other versions
JPH09292894A (ja
Inventor
章 寺澤
弘 及川
博昭 竹山
香子 田中
実 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP10728496A priority Critical patent/JP3550871B2/ja
Publication of JPH09292894A publication Critical patent/JPH09292894A/ja
Application granted granted Critical
Publication of JP3550871B2 publication Critical patent/JP3550871B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、音声認識方法及び装置、特に、背景雑音のある環境下にて音声の認識を行う技術に関する。
【0002】
【従来の技術】
音声認識の技術が応用される分野として、音声によって電気機器の操作を行う音声操作スイッチがある。この音声操作スイッチの音声認識装置の構成としては、図6に示すものが知られている。このものは、音声信号を入力するマイクロフォン1から出力される音声信号を所定の周波数帯域にて弁別する弁別手段に相当する複数の周波数帯域の異なる帯域フィルタ2に入力し、該帯域フィルタ2からの出力を比較手段に相当する比較器3によって所定の閾値と比較する。そして、比較器3の出力を演算する演算手段に相当するAND回路5によって、音声信号の所定の信号スペクトルの全てのものの大きさが、所定の大きさ以上か否かを演算するものである。このものにおいては、比較器3の閾値は、所定の音声を所定の認識水準にて認識する事を前提にし、認識しようとする音声によってそれぞれ所定の異なる値に設定される。
【0003】
【発明が解決しようとする課題】
ところで、上記の音声操作スイッチにおいては、使用される環境は、認識を必要とする音声以外の音すなわち背景雑音があることが多く、認識しようとする音声信号に比べ背景雑音の音圧レベルが大きいこともあり、この様な場合には誤認識するといった問題があった。
【0004】
本発明は、上記事由に鑑みてなしたもので、その目的とするところは、背景雑音があっても誤認識する事がなく確実に音声を認識する技術を提供することにある。
【0005】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の音声認識方法は、認識対象の音声を認識する方法において、背景雑音とともに前記認識対象の音声信号を入力する音声入力手段と、該音声信号を少なくとも2つの所定の周波数帯域によって弁別する弁別手段と、該弁別手段からのそれぞれの出力レベルを閾値と比較する比較手段と、認識対象の音声以外の背景雑音に基づき前記閾値を変化する閾値制御手段と、前記比較手段からの出力を演算する演算手段と、を備え、前記閾値制御手段は、音声信号の信号スペクトルを演算し出力するスペクトル演算部と、該スペクトル演算部からのスペクトル出力が所定の時間に所定の閾値を越える回数を計数する計数部とを有し、前記音声入力手段により入力された音声信号を前記弁別手段で少なくとも2つの所定の周波数帯域によって弁別し、該周波数帯域のそれぞれの出力レベルを前記比較手段により前記閾値制御手段にて変化される閾値と比較し、比較した結果を前記演算手段で演算することによって前記認識対象の音声を認識することとしている。これにより、少なくとも2つの周波数帯域によって弁別したそれぞれの出力レベルが認識対象の音声以外の背景雑音に基づき閾値を変化して比較され、音声が認識され、しかも、この場合、弁別手段によって所定の周波数帯域により弁別された出力は、認識対象の音声以外の背景雑音がスペクトル演算部によって信号スペクトルが演算されて計数部によって該スペクトル出力が所定の時間に所定の閾値を越える回数が計数されて閾値が変化される比較手段によって比較されるものとなる。
【0006】
また、請求項2記載の音声認識装置は、認識対象の音声を認識する装置において、背景雑音とともに前記認識対象の音声信号を入力する音声入力手段と、該音声信号を少なくとも2つの所定の周波数帯域によって弁別する弁別手段と、該弁別手段からのそれぞれの出力レベルを閾値と比較する比較手段と、認識対象の音声以外の背景雑音に基づき前記閾値を変化する閾値制御手段と、前記比較手段からの出力を演算する演算手段と、を備え、前記閾値制御手段は、音声信号の信号スペクトルを演算し出力するスペクトル演算部と、該スペクトル演算部からのスペクトル出力が所定の時間に所定の閾値を越える回数を計数する計数部とを有することとしている。これにより、音声入力手段から入力された音声信号が少なくとも2つの弁別手段によって所定の周波数帯域により弁別されて出力され、閾値制御手段によって認識対象の音声以外の背景雑音に基づき閾値が制御され変化する比較手段によって比較され、演算手段により演算されて認識され、しかも、この場合、弁別手段によって所定の周波数帯域により弁別された出力は、認識対象の音声以外の背景雑音がスペクトル演算部によって信号スペクトルが演算されて計数部によって該スペクトル出力が所定の時間に所定の閾値を越える回数が計数されて閾値が変化される比較手段によって比較されるものとなる。
【0007】
また、請求項3記載の音声認識装置は、請求項2記載の弁別手段の周波数帯域の中心を、認識する所定の音声におけるフォルマント周波数とすることとしている。これにより、音声信号が所定の音声におけるフォルマント周波数を中心周波数とする周波数帯域によって弁別されるものとなる。
【0008】
また、請求項4記載の音声認識装置は、請求項2又は3記載の比較手段は、入力側の弁別手段の周波数帯域の高いものの閾値を入力側の弁別手段の周波数帯域の低いものの閾値より小さくすることとしている。これにより、音声信号の周波数帯域の高い信号成分は周波数帯域の低い信号成分よりも低い閾値によって比較されるものとなる。
【0012】
【発明の実施の形態】
以下、本発明の音声認識装置の第1の実施の形態を図1乃至図3に基づいて、第参考の形態を図4に基づいて、第参考の形態を図5に基づいて、それぞれ説明する。
【0013】
[第1の実施の形態]
図1は、第1の実施の形態の音声認識装置を示す機能ブロック図である。図2は、図1に示す音声認識装置の比較器の閾値の説明図である。図3は、図1に示す音声認識装置のノイズモニタの構成図である。
【0014】
この音声認識装置は、音声の応答によって通話を開始する拡声通話装置等にて認識対象の音声を認識するもので、音声入力手段に相当するマイクロフォン1と、所定の周波数帯域によって弁別する弁別手段に相当する3つの帯域フィルタ2と、比較手段に相当する比較器3と、閾値制御手段に相当するノイズモニタ4と、演算手段に相当するAND回路5と、を備えている。
【0015】
マイクロフォン1は、背景雑音とともに認識対象の音声信号を入力するもので、それに限定されるものではないが、この実施の形態では小型のコンデンサ型マイクロフォンによって構成される。
【0016】
帯域フィルタ2は、マイクロフォン1から出力される音声信号を所定の周波数帯域によって弁別するもので、この実施の形態では3つの周波数帯域の帯域フィルタ2a、2b、2cがそれぞれ並列に接続される。この帯域フィルタ2は、所定の帯域の音声信号を通過させるバンドパスフィルタで、通過する周波数帯域の中心周波数を、認識する「はい」という音声におけるフォルマント周波数としている。フォルマント周波数は、所定の音声波形のスペクトルのエネルギーの集中部分の周波数で、この実施の形態では、例えば応答のための「はい」という音声を認識することとしている。そして、帯域フィルタ2aを第1フォルマント周波数f1の250Hz、帯域フィルタ2bを第2フォルマント周波数f2の800Hz、帯域フィルタ2cを第3フォルマント周波数f3の1400Hzとしている。そして、それぞれの帯域フィルタの通過周波数帯域を、帯域フィルタ2aの通過周波数帯域W1を200〜300Hz、帯域フィルタ2bの通過周波数帯域W2を700〜900Hz、帯域フィルタ2cの通過周波数帯域W1を1200〜1600Hzとしている。
【0017】
比較器3は、帯域フィルタ2からのそれぞれの出力レベルを閾値と比較するもので、3つの帯域フィルタにそれぞれ接続される。この3つの比較器3a、3b、3cは、それぞれ、帯域フィルタ2a、2b、2cからの出力が入力され、それぞれ所定の閾値Va、Vb、Vcを有してそれぞれの出力レベルを比較する。この比較器3のそれぞれの閾値Va、Vb、Vcは、図2に示すように、入力側の帯域フィルタ2の周波数帯域の高いものの閾値を入力側の帯域フィルタ2の周波数帯域の低いものの閾値より小さくなるよう、Va>Vb>Vcの条件によって、例えば「はい」という音声を認識しうるようそれぞれ設定されている。また、この閾値Va、Vb、Vcは、後述するノイズモニタ4の出力によって変化する。
【0018】
ノイズモニタ4は、マイクロフォン1から出力される音声信号において認識対象の音声以外の背景雑音に基づき前記閾値を変化するもので、スペクトル演算部4aと、該スペクトル演算部4aのスペクトル出力が所定の時間に所定の閾値を越える回数を計数する計数部4bと、計数部4bの計数結果によって閾値をそれぞれ制御する閾値制御部4cとを有して構成される。スペクトル演算部4aは、音声信号の信号スペクトルを演算し出力するもので、それに限定されるものではないが、この実施の形態ではディジタルシグナルプロセッサー(DSP)によって構成される。このノイズモニタ4により、マイクロフォン1から出力される認識対象の音声以外の背景雑音が、スペクトル演算部4aによって信号スペクトルが演算されて出力され、計数部4bによって該信号スペクトル出力が所定の時間に所定の閾値を越える回数が計数される。そして、信号スペクトル出力が所定の時間において所定の閾値を越える回数が多い場合は背景雑音があると判定して前記閾値Va、Vb、Vcを変化させる。
【0019】
AND回路5は、比較器3からの出力を演算するもので、このものにおいては3つの入力の積算の論理演算を行うAND回路によって構成されている。このAND回路5の出力は、比較器3a、3b、3cの出力が全てオンのときのみにオンを出力する。
【0020】
次に、以上説明した音声認識装置によって認識対象の音声を認識する動作について説明する。
【0021】
マイクロフォン1に向かって音声を入力すると、マイクロフォン1から入力された音声に基づく音声信号が出力される。この音声信号は、所定の増幅回路によって増幅された後帯域フィルタ2a、2b、2cにそれぞれ入力され、帯域フィルタ2aは所定の通過周波数帯域W1である200〜300Hz、帯域フィルタ2bは通過周波数帯域W2である700〜900Hz、帯域フィルタ2cは通過周波数帯域W3である1200〜1600Hzの間の音声周波数成分のみを通過させ出力する。そして、これら3つの出力は、それぞれ比較器3a、3b、3cに入力され、それぞれ所定の閾値Va、Vb、Vcと比較され閾値より入力が大きい場合、比較器はオンを出力する。この閾値Va、Vb、Vcは、ノイズモニタ4によって制御されている。
【0022】
この閾値Va、Vb、Vcは、マイクロフォン1から入力された音声に基づく音声信号が所定の増幅回路(図示せず)によって増幅された後、ノイズモニタ4のスペクトル演算部4aに入力され入力信号の信号スペクトルが演算により求められて制御される。即ち、信号スペクトルが計数部4bに入力され、信号スペクトルが所定の時間において所定の閾値を越える回数が多い場合は背景雑音があると判定され、閾値制御部4cによって閾値がそれぞれ変化される。そして、比較器3a、3b、3cの全てがオンの出力をAND回路5に入力した場合のみAND回路5の出力がオンとなり、所定の音声である「はい」という音声が認識される。
【0023】
以上説明した実施の形態の音声認識装置によると、マイクロフォン1から入力された音声信号が3つの帯域フィルタ2によって所定の周波数帯域により弁別されて出力され、ノイズモニタ4によって認識対象の音声以外の背景雑音に基づき閾値が制御され変化する比較器3によって比較され、AND回路5により演算されて認識されるものとなるので、背景雑音があっても誤認識する事がなく確実に音声を認識することができる。また、音声信号が所定の音声におけるフォルマント周波数を中心周波数とする周波数帯域によって弁別されるものとなるので、認識対象である所定の音声の認識能力が向上する。また、音声信号の周波数帯域の高い信号成分は周波数帯域の低い信号成分よりも低い閾値によって比較されるものとなるので、例えば音声認識装置の電源回路のトランスの振動による低い周波数の背景雑音があっても、認識対象である所定の音声を確実に認識できる。また、帯域フィルタ2によって所定の周波数帯域により弁別された出力は、認識対象の音声以外の背景雑音がノイズモニタ4のスペクトル演算部4aによって信号スペクトルが演算されて、計数部4bにより該信号スペクトル出力が所定の時間に所定の閾値を越える回数が計数され閾値が変化される比較器3によって比較されるものとなるので、背景雑音の特徴に見合って閾値が制御されて変化し、認識対象である所定の音声の認識能力が向上する。
【0024】
[第参考の形態]
図4は、第参考の形態の音声認識装置のノイズモニタの構成図である。
【0025】
この音声認識装置は、第1の実施の形態の音声認識装置のノイズモニタ4の構成のみ異なるもので、他の部分は同一に構成される。
【0026】
このもののノイズモニタ4も、マイクロフォン1から出力される音声信号において認識対象の音声以外の背景雑音に基づき3つの比較器3a、3b、3cの閾値Va、Vb、Vcを変化するもので、平均値演算部4dと、該平均値演算部4dからの平均値演算出力を比較する比較部4eと、比較部4eの比較結果によって閾値をそれぞれ制御する閾値制御部4fとを有する。平均値演算部4dは、音声信号を長さの異なる時間にわたって入力レベルの平均値を演算し出力するもので、例えば、入力レベルの平均値を演算する演算時間を異なった値を持つ第1平均値演算部及び第2平均値演算部によって構成される。このノイズモニタ4により、マイクロフォン1から出力される認識対象の音声以外の背景雑音が、平均値演算部4d即ち第1平均値演算部と第2平均値演算部によって長さの異なる時間にわたって入力レベルの平均値が演算された後、比較部4eによって比較される。そして、短時間平均値出力>長時間平均値出力の場合は音声入力、短時間平均値出力<長時間平均値出力の場合は背景雑音入力と判定して前記閾値Va、Vb、Vcを変化させる。なお、平均値演算部4dは、平均値演算時間の異なる第1平均値演算部と第2平均値演算部による構成に限定するものでなく、DSPによって構成してもよい。
【0027】
以上説明した参考の形態の音声認識装置によると、帯域フィルタ2によって所定の周波数帯域により弁別された出力は、認識対象の音声以外の背景雑音が平均値演算部4dによって長さの異なる時間にわたって入力レベルの平均値が演算された後それぞれを比較して閾値が変化される比較手段によって比較されるものとなるので、背景雑音の継続時間に見合って閾値が制御されて変化し、認識対象である所定の音声の認識能力が向上する。
【0028】
[第参考の形態]
図5は、第参考の形態の音声認識装置を示す機能ブロック図である。
【0029】
この音声認識装置は、音声入力手段に相当するマイクロフォン1と、所定の音素別に弁別する弁別手段に相当する3つの音素検知回路6と、演算手段に相当する演算器7と、を備えている。
【0030】
マイクロフォン1は、第1の実施の形態のものと同一のものによって構成される。
【0031】
音素検知回路6は、マイクロフォン1から出力される音声信号を所定の音素別に弁別するもので、この実施の形態では3つのものがそれぞれ並列に接続される。この音素検知回路6は、所定の音声の音素を検知するもので、帯域フィルタが、通過する音声信号の所定の音素を検出するフォルマント周波数の周波数帯域の中心周波数と所定の閾値とを持って構成されている。音素検知回路6は、この実施の形態においては、例えば認識する「はい」という音声における「h」、「a」、「i」の3つの音素を検知する音素検知回路6a、6b、6cを持って構成されている。
【0032】
演算器7は、音素検知回路6からの出力を演算するもので、音素検知回路6a、6b、6cからの3つの出力が所定の順に出力されることを識別する識別回路によって構成されている。この演算器7の出力は、音素検知回路6a、6b、6cからの入力が、最初に「h」の音素検知回路である6aから入力され、次に「a」の音素検知回路である6bから入力され、次に「i」の音素検知回路である6cから入力されときのみにオンが出力される。
【0033】
以上説明した参考の形態の音声認識装置によると、マイクロフォン1から入力された音声信号が3つの音素検知回路6a、6b、6cによて所定の音素別に弁別して出力され、演算器5によって所定の順に出力されることが識別されて認識されるものとなるので、認識対象の所定の音声の音素に見合って出力の順が認識され所定の音声の認識能力が向上する。
【0034】
【発明の効果】
以上説明したように、本発明の音声認識方法及び装置によれば、少なくとも2つの周波数帯域によって弁別したそれぞれの出力レベルが認識対象の音声以外の背景雑音に基づき閾値を変化して比較され、音声が認識されるので、背景雑音があっても誤認識する事がなく確実に音声を認識することができる。しかも、弁別手段によって所定の周波数帯域により弁別された出力は、認識対象の音声以外の背景雑音がスペクトル演算部によって信号スペクトルが演算されて計数部によって該スペクトル出力が所定の時間に所定の閾値を越える回数が計数されて閾値が変化される比較手段によって比較されるものとなるので、背景雑音の特徴に見合って閾値が制御されて変化し、認識対象である所定の音声の認識能力が向上する。
【0035】
また、請求項3記載の音声認識装置は、請求項2記載のものの効果に加え、音声信号が所定の音声におけるフォルマント周波数を中心周波数とする周波数帯域によって弁別されるものとなるので、認識対象である所定の音声の認識能力が向上する。
【0036】
また、請求項4記載の音声認識装置は、請求項2又は3記載のものの効果に加え、音声信号の周波数帯域の高い信号成分は周波数帯域の低い信号成分よりも低い閾値によって比較されるものとなるので、例えば音声認識装置の電源回路のトランスの振動による低い周波数の背景雑音があっても、認識対象である所定の音声を確実に認識できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の音声認識装置を示す機能ブロック図である。
【図2】図1に示す、音声認識装置の比較器の閾値の説明図である。
【図3】図1に示す、音声認識装置のノイズモニタの構成図である。
【図4】第参考の形態の音声認識装置のノイズモニタの構
【図5】第参考の形態の音声認識装置を示す機能ブロック図である。
【図6】従来例を示す機能ブロック図である。
【符号の説明】
1 マイクロフォン(音声入力手段)
2 帯域フィルタ(弁別手段)
3 比較器(比較手段)
4 ノイズモニタ(閾値制御手段)
5 AND回路(演算手段)
6 音素検知回路(弁別手段)
7 演算器(演算手段)

Claims (4)

  1. 認識対象の音声を認識する方法において、
    背景雑音とともに前記認識対象の音声信号を入力する音声入力手段と、該音声信号を少なくとも2つの所定の周波数帯域によって弁別する弁別手段と、該弁別手段からのそれぞれの出力レベルを閾値と比較する比較手段と、認識対象の音声以外の背景雑音に基づき前記閾値を変化する閾値制御手段と、前記比較手段からの出力を演算する演算手段と、を備え、前記閾値制御手段は、音声信号の信号スペクトルを演算し出力するスペクトル演算部と、該スペクトル演算部からのスペクトル出力が所定の時間に所定の閾値を越える回数を計数する計数部とを有し、
    前記音声入力手段により入力された音声信号を前記弁別手段で少なくとも2つの所定の周波数帯域によって弁別し、該周波数帯域のそれぞれの出力レベルを前記比較手段により前記閾値制御手段にて変化される閾値と比較し、比較した結果を前記演算手段で演算することによって前記認識対象の音声を認識することを特徴とする音声認識方法。
  2. 認識対象の音声を認識する装置において、
    背景雑音とともに前記認識対象の音声信号を入力する音声入力手段と、該音声信号を少なくとも2つの所定の周波数帯域によって弁別する弁別手段と、該弁別手段からのそれぞれの出力レベルを閾値と比較する比較手段と、認識対象の音声以外の背景雑音に基づき前記閾値を変化する閾値制御手段と、前記比較手段からの出力を演算する演算手段と、を備え、前記閾値制御手段は、音声信号の信号スペクトルを演算し出力するスペクトル演算部と、該スペクトル演算部からのスペクトル出力が所定の時間に所定の閾値を越える回数を計数する計数部とを有することを特徴とする音声認識装置。
  3. 前記弁別手段の周波数帯域の中心を、認識する所定の音声におけるフォルマント周波数とすることを特徴とする請求項2記載の音声認識装置。
  4. 前記比較手段は、入力側の弁別手段の周波数帯域の高いものの閾値を入力側の弁別手段の周波数帯域の低いものの閾値より小さくすることを特徴とする請求項2又は3記載の音声認識装置
JP10728496A 1996-04-26 1996-04-26 音声認識方法及び装置 Expired - Fee Related JP3550871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10728496A JP3550871B2 (ja) 1996-04-26 1996-04-26 音声認識方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10728496A JP3550871B2 (ja) 1996-04-26 1996-04-26 音声認識方法及び装置

Publications (2)

Publication Number Publication Date
JPH09292894A JPH09292894A (ja) 1997-11-11
JP3550871B2 true JP3550871B2 (ja) 2004-08-04

Family

ID=14455191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10728496A Expired - Fee Related JP3550871B2 (ja) 1996-04-26 1996-04-26 音声認識方法及び装置

Country Status (1)

Country Link
JP (1) JP3550871B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051464A (zh) * 2006-04-06 2007-10-10 株式会社东芝 说话人认证的注册和验证方法及装置

Also Published As

Publication number Publication date
JPH09292894A (ja) 1997-11-11

Similar Documents

Publication Publication Date Title
JP3156975B2 (ja) オーディオ帯域信号の音声/音楽判別装置
US5867581A (en) Hearing aid
US20180197525A1 (en) Noise detector and sound signal output device
US6285979B1 (en) Phoneme analyzer
WO1999021396A1 (fr) Dispositif servant a eliminer le sifflement
EP1629691A1 (en) Oscillation suppression
WO2011012054A1 (en) Method and device for eliminating background noise
US20140064529A1 (en) Apparatus and method of shielding external noise for use in hearing aid device
WO2005119649A1 (en) System and method for babble noise detection
JP3550871B2 (ja) 音声認識方法及び装置
JP3134557B2 (ja) ハウリング抑制装置
US7302070B2 (en) Oscillation detection
US11490198B1 (en) Single-microphone wind detection for audio device
WO2002069487A1 (en) Dve system with instability detection
JPH02232697A (ja) 音声認識装置
JP3345534B2 (ja) 補聴器
US6633847B1 (en) Voice activated circuit and radio using same
KR20210029816A (ko) 보조 신호를 사용하는 오디오 디바이스에 대한 송신 제어
JP4714861B2 (ja) 歩行者信号用音響装置
JPH0956000A (ja) 補聴器
JPH0424692A (ja) 音声区間検出方式
WO2004105429A1 (en) Oscillation detection
US20070106530A1 (en) Oscillation suppression
JPH03122699A (ja) 雑音除去装置及び該装置を用いた音声認識装置
JPH06175676A (ja) 音声検出器

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040412

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080514

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees