JP4393648B2 - 音声認識装置 - Google Patents
音声認識装置 Download PDFInfo
- Publication number
- JP4393648B2 JP4393648B2 JP2000002096A JP2000002096A JP4393648B2 JP 4393648 B2 JP4393648 B2 JP 4393648B2 JP 2000002096 A JP2000002096 A JP 2000002096A JP 2000002096 A JP2000002096 A JP 2000002096A JP 4393648 B2 JP4393648 B2 JP 4393648B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- distance
- similarity
- standard pattern
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 163
- 238000004364 calculation method Methods 0.000 claims description 94
- 230000007613 environmental effect Effects 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 description 84
- 238000000034 method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Description
【発明の属する技術分野】
本発明は、音声認識装置に関する。特に、雑音環境下での認識率の改善及び音声認識における演算量の削減に関する。
【0002】
【従来の技術】
近年、音声認識を用いた製品の提供が盛んになりつつある。現状の音声認識技術では、静かな環境で使うなどの様々な制約が課せられないと、良い性能が得られないという問題がある。これらの制約は、音声認識の普及を妨げる大きな要因になっており、雑音下の音声認識率の向上が求められている。
【0003】
従来、雑音環境下での認識率を改善する音声認識方法の1つとして、特開平5−210396号公報に記載された方法(従来例1)がある。この従来例1は、ベクトル間類似度を同じフレームにおける最大類似度で補正する方法である。以下、この方法について説明をする。入力された音声信号の特徴分析を行い、特徴ベクトルの時系列に変換する。特徴ベクトル時系列の1フレームの特徴ベクトルと予め登録しておいた標準パターンを構成する特徴ベクトルとのベクトル間の距離から確率分布に従って、ベクトル間類似度を求める。各フレームについてのベクトル間類似度の最大値を求める。
【0004】
各フレームについて、ベクトル間類似度の最大値から、補正値を求めて、該補正値で補正して、フレーム補正類似度を求める。フレーム補正類似度を累積した累積補正類似度を算出する。累積補正類似度と閾値とを比較して、累積類似度が閾値よりも大きい時に、累積類似度に該当する音声が入力されたものと診断する。このように、各フレームについてベクトル間類似度を最大類似度に従って補正するため、雑音の影響が相殺されて認識率が向上する。
【0005】
また、ワードスポッティングにおける認識率を改善する音声認識方法の1つとして、特開昭63−254498公報に記載された方法(従来例2)がある。この従来例2は、類似度の1位と2位との差もしくは1位と2位の比を用いる方法である。以下、この方法の説明をする。入力音声から特徴パラメータを抽出する。特徴パラメータと各標準パターンを構成する特徴パラメータとの類似度を求める。類似度を累積した標準パターン毎の累積類似度を算出する。
【0006】
このとき、累積区間の開始時点と終了時点を少しずつずらすワードスポッティングにより累積類似度を求める。累積類似度を大きい順にソートし、第1位、第2位を決定する。第1位と第2位との差もしくは第1位と第2位の比(第1位/第2位)と、閾値との比較を行い、類似度間の計算結果が閾値を越える場合に、入力音声が第1位の累積類似度に対応する単語であると判断する。このように、類似度間の計算結果と閾値とを比較することにより、確からしい認識結果のみを単語として認識するので、認識率が向上する。
【0007】
【発明が解決しようとする課題】
従来例1では、入力音声と標準パターンの比較に、確率分布により求められるフレーム間類似度を用いており、この場合は最大類似度により雑音をある程度推定することができる。しかし、フレーム間類似度の代わりに、ベクトル間距離を使用した場合、ベクトル間距離の最小値は音素の種類等により異なるので、ベクトル間距離の最小値により雑音による影響を推定することが難しい。そのため、入力音声と標準パターンとの比較に、フレーム間距離を用いた場合に従来例1を適用できないという問題点がある。
【0008】
従来例2では、雑音を音声と誤って判断しないように閾値が厳しく設定されるため、雑音などの影響で入力音声と標準パターンの類似度が低くなる場合、音声を検出できないことが多い。
【0009】
図14は、ワードスポティングの問題点を示す図である。図14に示すように、ワードスポティングでは、音声が存在する可能性のある様々な始端及び終端からなるA1,A2,A3,A4やB1,B2,B3,B4やC1,C2,C3,C4等の全ての音声区間について、フレーム間累積類似度やフレーム間距離の累積演算を、DP(Dynamic Programming)マッチング法やHMM法等を用いて行う。例えば、図14では、入力音声と一致する音声区間C2の類似度が最大となる。しかし、音声が存在する可能性のある全ての音声区間に対して、累積演算を行うため、ワードスポティングでは、演算量が多いという問題点がある。この問題点を回避するために終端フリーの方法がある。しかし、終端フリーでは、以下の問題点がある。
【0010】
図15は、終端フリーの問題点を示す図である。図15に示すように、終端フリーの場合は、始端を特定して、始端から一定時間長までの区間に対して、始端から該区間に含まれる区間までを各音声区間として、累積演算が行われる。例えば、ワードスポティングでは、音声区間A1…A4,B1…B4,C1…C4に対して、終端フリーでは、音声区間A,B,Cとなり演算量を削減することできる。しかし、始端から一定時間長の音声が入力されるまでは、音声区間が確定しないために遅延が生じるという問題点がある。例えば、音声区間Cでは、遅延τが生じる。
【0011】
本発明の目的は、入力音声と標準パターンの比較にフレーム間距離を用いた場合に雑音の影響を抑制して認識率を向上させる音声認識装置を提供することである。
【0012】
本発明の他の目的は、雑音などの影響で入力音声と標準パターンのフレーム間類似度が低く又はフレーム間距離が大きくなった場合にも音声を検出できる音声認識装置を提供することである。
【0013】
更に、本発明の他の目的は、ワードスポティング時の演算量を減らすと共に終端フリー時の遅延量を少なくすることのできる音声認識装置を提供することである。
【0014】
【課題を解決するための手段】
本発明の側面によれば、入力された音声を認識する音声認識装置であって、複数の音素標準パターンの音素特徴ベクトルを予め記憶する音素標準特徴パターン記憶部と、入力音声のフレーム毎に特徴ベクトルを算出する分析部と、前記フレームの前記特徴ベクトルと前記各音素特徴ベクトルとのベクトル間距離を音素毎に計算するベクトル間距離計算部と、前記全ての音素についての前記ベクトル間距離の平均値を前記フレーム毎に算出する平均値計算部と、前記音素毎に計算されたベクトル距離から前記フレーム毎に算出された前記平均値を減算し、その減算したベクトル距離を補正する補正部と、前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、前記補正されたベクトル間距離を累積して、累積ベクトル間距離と前記単語標準パターンとを比較して、音声認識する識別部と、を具備したことを特徴とする音声認識装置が提供される。
【0015】
本発明の他の側面によれば、入力された音声を認識する音声認識装置であって、入力音声の特徴ベクトルを算出する分析部と、単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの各第1類似度を計算する類似度算出部と、前記各第1類似度又は第1類似度間の計算結果と第1閾値とを比較して、該第1類似度に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第1判定部と、第2類似度又は第2類似度間の計算結果を記憶する候補記憶部と、前記第1判定部により該当する単語であると判定されなかった前記第1類似度又は第1類似度間の計算結果が前記第1閾値よりも小さな値である第2閾値よりも大きく且つ前記第2類似度又は第2類似度間の計算結果よりも大きいとき、第1類似度又は第1類似度間の計算結果を前記第2類似度又は第2類似度間の計算結果として、前記候補記憶部に記憶する候補判定部と、前記第1判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第2類似度又は第2類似度間の計算結果に基いて、第2類似度に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第2判定部とを具備したことを特徴とする音声認識装置が提供される。
【0016】
本発明の更に他の側面によれば、入力された音声を認識する音声認識装置であって、複数の音素の音素標準特徴ベクトルを予め記憶する音素標準パターン記憶部と、入力音声のフレーム毎に特徴ベクトルを計算する分析部と、各フレームについて、各音素とのベクトル間距離を記憶する距離記憶部と、前記フレームの前記特徴ベクトルと前記各音素標準特徴ベクトルとの間のベクトル間距離を各音素毎に算出して、前記距離記憶部に記憶するベクトル間距離計算部と、各単語について前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、最新ベクトル間距離から旧ベクトル間距離へと後ろ向きに前記距離記憶部から前記ベクトル間距離を読み出して、前記各単語について、後ろ向きに累積距離を計算する累積距離計算部と、前記累積距離計算部が計算した累積距離に基いて、該累積距離に該当する単語が入力された音声であるかを判定する判定部とを具備したことを特徴とする音声認識装置が提供される。
【0017】
【発明の実施の形態】
本発明の実施形態の説明をする前に本発明の原理を説明する。図1は、本発明の原理図である。図1に示すように、音声認識装置は、分析部2、音素標準特徴パターン記憶部4、ベクトル間距離計算部6、平均値計算部8、補正値記憶部10、補正部12、単語標準パターン記憶部14及び識別部16を具備する。
【0018】
環境雑音下で音声が入力される。分析部2は入力された音声の各フレームの特徴ベクトルを算出して、ベクトル間距離計算部6に出力する。音素標準特徴パターン記憶部4には、各音素の音素標準特徴ベクトルが記憶されている。ベクトル間距離計算部6は、特徴ベクトルと音素標準特徴ベクトルとの間のベクトル間距離を計算する。平均値計算部8は、各音声フレームについて、各音素のベクトル間距離の平均値を算出する。この平均値は、環境雑音がない状態で音声が入力された場合の平均値と環境雑音による平均値とが加算されたものである。
【0019】
例えば、環境雑音がない状態でのベクトル間距離の平均値が補正距離として補正部記憶部10に記憶されている。補正部12は、(各音素のベクトル間距離−平均値計算部8が計算した平均値+補正距離)を計算する。(平均値計算部8が計算した平均値−補正距離)は、環境雑音による平均値の推定値である。よって、(各音素のベクトル間距離−平均値計算部8が計算した平均値+補正距離)は、雑音による影響がある程度除去されたものとなる。識別部16は、補正部12により補正されたベクトル間距離を累積して、累積距離と単語標準パターン記憶部14に記憶された各単語標準パターンとを比較して、音声認識する。このとき、補正部12により補正されたベクトル間距離は雑音による影響がある程度除去されたものなので、音声認識率が向上する。
【0020】
第1実施形態
図2は、本発明の第1実施形態による音声認識装置の構成図である。図2に示すように、音声認識装置は、マイク20、音声入力部22、分析部24、音素標準パターンファイル26、ベクトル間距離計算部28、補正値計算部30、補正値記憶部32、平均距離計算部34、距離補正部36、単語標準パターンファイル38、距離累積部40、識別部42及び音声検出部44を具備する。
【0021】
マイク20は、音声を入力する入力部である。音声入力部22は、マイク20より入力された音声信号の増幅とA/D変換を行なう。分析部24は、一定時間、例えば、10〜20msの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、34次元の特徴ベクトルを算出する。音素標準パターンファイル26は、母音などの音素に対して、分析部24と同様の信号処理を施して得られた音素特徴ベクトルが音素標準パターンとして予め登録されたファイルである。ベクトル間距離計算部28は、分析部24により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのユークリッド距離を計算する。
【0022】
図3は、環境雑音による影響を示す図である。この図は、環境雑音無し場合と環境雑音有りの場合に、「ア」が入力されたときの、入力音声「ア」と各音素標準パターン「ア」…とのベクトル間距離を縦軸に、時間を横軸にそれぞれ示している。尚、音素標準パターンは環境雑音無しの状態で入力された音声に基いて算出されたものである。
【0023】
例えば、環境雑音無しの場合では、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離の最小は、例えば、0.1である。ここで、ベクトル間距離の最小が0でないのは、同一音でも話者等により相違するため、音素標準パターンと入力音声の特徴ベクトルが一致するとは限らないことを考慮したものである。また、例えば、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離が最小のときの、入力音声「ア」と音素標準パターン「イ」,「ウ」…との音素ベクトル間距離は、0.5,0.8…である。
【0024】
一方、環境雑音有りの場合は、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離の最小は、例えば、0.5である。環境雑音無しの場合の対応するベクトル間距離は、上述のしたように、0.1であるので、雑音による影響が0.4である。また、例えば、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離が最小のときの、入力音声「ア」と音素標準パターン「イ」,「ウ」…との音素ベクトル間距離は、0.7,1.1…なので、雑音による影響が0.2,0.3…である。
【0025】
このように、雑音による影響は、音素標準パターン及び入力音声により異なる。しかし、入力音声のベクトルと音素標準パターンとのベクトル間距離の雑音による影響を全音素標準パターンについて平均を取ると、入力音声の違いによらず略一定の値を取ることが推測される。この雑音による影響の平均値は、(入力音声のベクトルと各音素標準パターンとのベクトル間距離の平均値−環境雑音無しで入力された入力音声のベクトルと各音素標準パターンとのベクトル間距離の平均値(補正距離))であると推定される。
【0026】
そこで、補正値計算部28は、環境雑音下で入力された音声の雑音による影響を推定するための上記補正距離を予め計算して、補正値記憶部32に格納する。補正値記憶部32は、補正距離を記憶するメモリである。平均距離計算部34は、ベクトル間距離計算部28により計算された入力音声フレームと各音素標準パターンとのベクトル間距離の全音素標準パターンについての平均値を計算し、距離補正部36に出力する。距離補正部36は、ベクトル間距離計算部28により計算された入力音声フレームと各音素標準パターンとのベクトル間距離と平均値計算部34より出力された平均値と補正値記憶部32に記憶された補正距離より(各ベクトル間距離−平均値+補正距離)を計算して、補正ベクトル間距離を距離累積部40に出力する。
【0027】
単語標準パターンファイル38は、各単語を構成する音素の並び情報が格納されたファイルである。距離累積部40は、ワードスポティング等により入力音声の始点と終点とより単語区間を設定して、単語標準パターンファイル38に格納された各単語の音素の並び情報に従って、距離補正部36により出力される該単語区間に含まれる補正ベクトル間距離をDPマッチング法やHMM法を用いて累積加算して、各単語標準パターンの累積距離を算出する。識別部42は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離<閾値ならば、入力音声が該単語標準パターンの単語に該当するものと判断する。音声検出部44は、識別部42が音声認識した単語を図示しないスピーカなどの出力装置に出力する。
【0028】
以下、図2の音声認識装置の動作説明をする。
【0029】
(a) 補正距離の計算
図4は、図2中の補正値計算部30のフローチャートである。ステップS2において、環境雑音無しの状態で音素に該当する音声をマイク20より入力する。音声入力部22は、入力された音声を増幅してA/D変換する。分析部24は、A/D変換された音声からケプストラム等の特徴ベクトルを算出する。ステップS4において、ベクトル間距離計算部28は、入力された音声のフレームの特徴ベクトルと音素標準パターンファイル26に格納されている各音素標準パターンとのベクトル間距離を計算する。ステップS6において、補正値計算部30は、その音素標準パターンについて、ベクトル間距離の最小値を算出すると共に該最小値となるフレームを求める。ステップS8において、補正値計算部30は、次の音素標準パターンが有るか否かを判定する。次の音素標準パターンが有れば、ステップS4に戻る。次の音素標準パターンが無ければ、ステップS10に進む。
【0030】
ステップS10において、補正値計算部30は次の音素が有るか否かを判定する。次の音素が有れば、ステップS2に戻る。次の音素が無ければ、ステップS12に進む。ステップS12において、補正値計算部30は、入力された各音素に該当する入力音声に対して、全て音素標準パターンについてのベクトル間距離の最小値となるフレームにおける全音素標準パターンとのベクトル間距離を求める。このベクトル間距離を全ての音素に該当する入力音声について、求める。そして、これら全てのベクトル間距離の平均値を求めて、これを補正距離とする。ステップS14において、補正値計算部30は、補正距離を補正値記憶部32に格納する。
【0031】
(b) 音声認識
空調音等の機械音や人間等の背景雑音などの環境雑音下で、音声がマイク20より入力されたとする。例えば、「KAWAI」と入力されたとする。マイク20は、入力された音声を電気信号に変換する。音声入力部22は、マイク20より入力された音声信号を増幅してA/D変換する。分析部24は、一定時間、例えば、10〜20msの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、34次元の特徴ベクトルを算出する。
【0032】
図5は、図2中のベクトル間距離計算部28、平均距離計算部34及び距離補正部36及び距離累積部の処理結果を示す図である。ベクトル間距離計算部28は、分析部24により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのベクトル間距離(ユークリッド距離)を計算する。例えば、「KA」,「WA」,「I」の音声入力に対して、「KA」,「WA」,「I」に該当する音素標準パターンとのベクトル間距離は、図5中の補正前ベクトル間距離(a)に示すようになる。このとき、各音素標準パターンとのベクトル間距離は、環境雑音による影響を受けている。
【0033】
平均距離計算部34は、各音声フレームについて、ベクトル間距離計算部28により計算された入力音声フレームと各音素標準パターンとのベクトル間距離の全音素標準パターンについての平均ベクトル間距離を計算して、距離補正部36に出力する。距離補正部36は、ベクトル間距離計算部28により計算された入力音声フレームと各音素標準パターンとのベクトル間距離と、平均値計算部34より出力された平均値と補正値記憶部32に記憶された補正距離より(ベクトル間距離−平均値+補正距離)を計算して、補正後ベクトル間距離を距離累積部40に出力する。
【0034】
この計算結果は、例えば、「KA」,「WA」,「I」に該当する音素標準パターンについては、図5中の補正後ベクトル間距離(b)に示すようになる。これにより、環境雑音下で入力された音声については、雑音の影響が除去されたベクトル間距離となっている。また、環境雑音が無い状態で音声が入力される場合があるが、この場合は、平均ベクトル間距離と補正距離とが略等しくなるので、補正後ベクトル間距離と補正前ベクトル間距離が略等しくなり、音声認識率が低下することがない。
【0035】
距離累積部40は、ワードスポティング等により入力音声単語の始端と終端とより単語区間を設定して、単語標準パターンファイル38に格納された各単語の音素の並び情報に従って、距離補正部36により出力される該単語区間に含まれる補正ベクトル間距離をDPマッチング法やHMM法を用いて累積加算して、各単語標準パターンの累積距離を算出する。
【0036】
例えば、単語「KAWAI」に該当する累積ベクトル間距離については、図5中の累積ベクトル間距離に示すようになる。識別部42は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離<閾値ならば、入力音声が単語標準パターンの単語に該当するものと判断する。
【0037】
例えば、環境雑音下で入力された「KAWAI」の入力音声は、補正前ベクトル間距離の累積距離では環境雑音によりベクトル間距離が大きくなり、閾値を越えてしまうことがある。しかし、この場合でも、補正後ベクトル距離の累積距離では環境雑音による影響がある程度除去されているので、閾値以下となることがあり、環境雑音下での音声認識率が向上する。しかも、環境雑音が無しの状態で音声入力された場合であっても、音声認識率が低下することがない。音声検出部44は、識別部42が音声認識した単語を図示しないスピーカなどの出力装置に出力する。
【0038】
以上説明した第1実施形態によれば、距離ベクトルを使用した場合でも、環境雑音下での音声認識率が向上する。
【0039】
第2実施形態
図6は、本発明の第2実施形態による音声認識装置の構成図であり、図2中の構成要素と実質的に同一の構成要素には同一の符号を付している。図6に示すように、音声認識装置は、マイク20、音声入力部22、分析部24、ベクトル間類似度計算部50、音素標準パターンファイル52、累積類似度計算部54、単語標準パターンファイル56、判定部58、閾値レジスタ60、候補閾値レジスタ62、候補判定部64、候補バッファ66、制御部68、音声応答部70、タイマ72及びスピーカ74を具備する。
【0040】
ベクトル間類似度計算部50は、音素標準パターンファイル52に登録されている各音素標準パターンに対して定義された確率密度関数を音声フレームの特徴ベクトルに適用して、各音素標準パターンのベクトル間類似度を計算する。例えば、ベクトル間類似度は、0〜1までの実数であり、1に近い程、音声フレームが音素標準パターンに類似していることを示す。尚、本実施形態では、ベクトル間類似度を計算しているが、第1実施形態と同様にベクトル間距離を計算しても勿論良い。
【0041】
音素標準パターンファイル52は、各音素標準パターンの特徴ベクトル空間における確率密度関数が予め登録されたファイルである。累積類似度計算部54は、単語標準パターンファイル56に登録された各単語標準パターンを参照して、各単語を構成する音素情報から累積類似度を計算する。単語標準パターンファイル56は、各単語標準パターンの音素の並び情報が予め格納されたファイルである。
【0042】
判定部58は、閾値レジスタ60に予め格納された第1閾値と、α=(単語標準パターンの第1位累積類似度又は第1位累積類似度と第2位累積類似度との差や比等の累積類似度間の計算結果)とを比較する。そして、第1閾値<αならば、制御部68に音声認識できた旨及び音声認識した単語を通知する。また、判定部58は第1閾値≧αならば、候補判定部64にαを出力する。尚、累積類似度の代わりに累積距離を使用する場合は、累積距離又は累積距離間の計算結果<閾値ならば、制御部68に音声認識できた旨及び音声認識した単語を通知する。
【0043】
候補閾値レジスタ62は、候補閾値を格納するレジスタである。候補閾値は、第1閾値よりも小さく且つ環境雑音の影響により累積類似度が小さくなって音声認識率が低下することを防止することを考慮して予め設定された値である。候補判定部64は、(判定部58より入力されたα)>候補閾値且つ(α>β=(候補バッファ66に格納されている第1位累積類似度又は第1位累積類似度と第2位累積類似度との差や比等の累積類似度間の計算結果)のとき、候補バッファ66に格納されているβを削除して、判定部58より入力されたαを候補バッファ66にβとして格納する。これは、環境雑音の影響により、判定部58が音声認識できなかった場合でも、候補閾値を越える第1位累積類似度の単語を音声認識して、音声認識率を向上させるためである。
【0044】
制御部68は、ユーザ等の話者に対する音声入力要求をするよう音声応答部70に行うこと、音声入力要求を行ったときタイマ72を起動すると共に候補バッファ66をクリアすること、判定部58から音声認識の通知を受けると、判定部58により音声認識された単語を出力するよう音声応答部70に要求すること、タイマ72がタイムアウトすると候補バッファ66にβが格納されていれば、該βを有する第1位累積類似度に該当する単語を出力するよう要求することを実行する。音声応答部70は、制御部68により指示された音声をスピーカ74に出力する。タイマ72は、制御部68の指示に従って、計時を開始して、一定時間経過(例えば、話者が単語の入力を完了するまでの時間)するとタイムアウトする。
【0045】
図7は、図6中の判定部58及び候補判定部64のフローチャートである。図8は、図6中の制御部68のフローチャートである。以下、これらの図面を参照して、図6の音声認識装置の動作説明をする。本例では、自動販売機等に搭載される音声認識装置に適用した場合を例に説明する。
【0046】
(a) 音声入力
図8中のステップS40において、制御部68は、音声応答部70に音声入力の要求をするよう指示する。音声応答部70は、制御部68の指示に従って、話者に対して、例えば、「ご希望のものを入力して下さい」等の音声入力要求をスピーカ74を通して出力する。ステップS42において、制御部68は、タイマ72をセットする。タイマ72は計時を開始する。ステップS44において、制御部68は、候補バッファ66をクリアする。話者は、音声入力要求に応じて、音声、例えば、「コーヒー」とマイク20より入力する。このとき、話者の環境により、環境雑音が入力した音声に混入することがある。マイク20は、入力された音声を電気信号に変換する。音声入力部22は、マイク20より入力された音声信号を増幅してA/D変換する。
【0047】
(b) 音声認識
分析部24は、一定時間、例えば、10〜20msの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、34次元の特徴ベクトルを算出する。ベクトル間類似度計算部50は、音声フレームの特徴ベクトルに音素標準パターンファイル52に登録されている各音素標準パターンの確率密度関数を適用して、各音素標準パターンのベクトル間類似度を計算する。このベクトル間類似度は、例えば、0〜1までの実数であって、1に近い程、音声フレームが音素標準パターンに類似する。累積類似度計算部54は、単語標準パターンファイル56に登録された各単語標準パターンを参照して、各単語を構成する音素情報から累積類似度を計算する。
【0048】
図7中のステップS20において、判定部58は、累積類似度を累積類似度計算部54より入力して、累積類似度を大きい順にソートして、第1位累積類似度,第2位累積類似度を決定する。ステップS22において、判定部58は、α=(第1位累積類似度、第1位累積類似度と第2位累積類似度との差、あるいは第1位累積類似度と第2位累積類似度との比)と、閾値レジスタ60に格納されている閾値との比較を行う。α≧閾値の場合、ステップS24に進む。α<閾値の場合、αを候補判定部64に出力して、ステップS26に進む。ステップS24において、判定部58は、制御部68に音声認識できた旨及び音声認識した単語を通知する。
【0049】
ステップS26において、候補判定部64は、αと候補閾値レジスタ62に格納されている候補閾値との比較を行う。α≧候補閾値ならば、ステップS28に進む。α<候補閾値ならば、ステップS20に戻る。ステップS28において、候補判定部64は、候補バッファ66にβ=(第1位累積類似度、第1位累積類似度と第2位累積類似度との差、あるいは第1位累積類似度と第2位累積類似度との比)が格納されているか否かを判定する。
【0050】
βが格納されていれば、ステップS30に進む。βが格納されていなければ、ステップS32に進む。ステップS30において、候補判定部64は、α,βを比較する。α>βならば、ステップS32に進む。α≦βならば、ステップS20に戻る。ステップS32において、候補判定部64は、判定部58より入力されたαをβとして、候補バッファ66に格納して、ステップS20に戻る。これにより、候補バッファ66には時間の経過と共に第1位累積類似度に関するβが格納される。
【0051】
図8中のステップS46において、制御部68は、判定部58が音声認識できたか否かを判別する。判定部58が音声認識できたならば、ステップS54に進む。判定部58は音声認識できていない場合は、ステップS46に戻る。ステップS48において、制御部68は、タイマ72がタイムアウトしたか否かを判別する。タイマ72がタイムアウトしたならば、ステップS50に進む。タイマ72がタイムウウトしていなければ、ステップS46に戻る。
【0052】
ステップS50において、制御部68は、候補バッファ66にβが格納されているか否かを判別する。累積類似度が格納されていれば、ステップS52に進む。βが格納されていなければ、音声が認識できなかったものとして終了する。ステップS52において、制御部68は、候補バッファ66に格納されているβに該当する第1位累積類似度の単語を出力するよう音声応答部70に指示する。音声応答部70は、制御部68の指示に従って、該当する単語をスピーカ74より出力する。
【0053】
これにより、環境雑音の影響等に起因して、タイマ72がセットされてからタイムアウトするまでの一定時間内に判定部58が音声認識できなかった場合は、候補閾値を越える最大の累積類似度に該当する単語がスピーカ74より出力される。一方、判定部58が音声認識できたならば、ステップS54において、制御部68は、タイマ72を停止する。ステップS56において、αに該当する第1位累積類似度の単語を出力するよう音声応答部70に指示する。音声応答部70は、制御部68の指示に従って、該当する単語をスピーカ74より出力する。
【0054】
図9は、環境雑音下で話者が「コーヒー」と入力したとき、累積類似度と閾値とを比較して音声認識する場合の音声認識結果を示す図である。この図の場合、入力された音声「コーヒー」が環境雑音の影響により、累積類似度<第1閾値=0.85よりも小さく判定部58により音声認識することはできない。環境雑音の影響により、最初は、「コーラ」の累積類似度の方が「コーヒー」の累積類似度よりも大きく且つ候補閾値0.5を越えるので、「コーラ」の累積類似度が候補バッファ66に格納される。しかし、最終的には、「コーヒー」の累積類似度の最大値が「コーラ」の累積類似度の最大値を越えるので、「コーヒー」の累積類似度が候補バッファ66に格納される。そして、候補バッファ66に格納された累積類似度に該当する「コーヒー」が認識結果となる。
【0055】
以上説明した第2実施形態によれば、環境雑音等により判定部が音声認識をできない場合であっても、一定時間内で一定の閾値を越える最大類似度の単語を音声認識するので、環境雑音下での音声認識率が向上する。
【0056】
第3実施形態
図10は、本発明の第3実施形態による音声認識装置の構成図であり、図2中の構成要素と実質的に同一の構成要素には同一の符号を付している。図10に示すように、音声認識装置は、マイク20、音声入力部22、分析部24、音素標準パターンファイル26、ベクトル間距離計算部80、距離バッファ81、累積距離計算部82、単語標準パターンファイル84及び判定部86を具備する。
【0057】
ベクトル間距離計算部80は、各音声フレームの特徴ベクトルと音素標準パターンファイル26に登録されている各音素標準パターンとの各ベクトル間距離を計算して、距離バッファ81に書き込む。本実施形態では、ベクトル間距離を計算する構成としているが、勿論、ベクトル間類似度を計算してもよい。
【0058】
図11は、図10中の距離バッファ81の説明図である。図11に示すように、N個の音声フレームについて、各音素標準パターンのベクトル間距離を格納する領域が確保されている。Nは単語の認識に必要とされる最大音声フレーム数である。例えば、音素標準パターンがM個であるとすると、距離バッファ81には、N×M個のベクトル間距離を格納する領域90#ij(i=1〜N,j=1〜M)が距離バッファ82に確保される。例えば、添え字iが1からNまで、時間の新しい順に距離ベクトルが対応するとすると、距離バッファ81には、領域90#ij((i=N,j=1〜M),(i=N−1,j=1〜M),…,(i=1,j=1〜M))の順に距離ベクトルが書き込まれて、最新の領域90#1jから90#Njの順にベクトル間距離が読み出される。
【0059】
図12は、単語標準パターンファイル84の説明図である。各単語標準パターン84は、各単語標準パターンの音素情報が音声の発生の順とは逆の順に格納されている。例えば、単語標準パターン「KAWAI」について、単語標準パターンファイル84には、「I」の音素情報、「WA」の音素情報、「KA」の音素情報といった具合に、音声の発生の順とは逆の並びの順になっている。
【0060】
累積距離計算部82は、各フレーム周期毎に、最新フレームをマッチングの始端フレーム、始端フレームから最大フレーム数までの区間に含まれる区間を各音声区間とする。各音声区間について、単語標準パターンファイル84に登録されている単語標準パターンの各音素の並び情報に対応する各音素標準パターンのベクトル間距離を最新フレームから順に読み出す。つまり、距離バッファ81の領域90#ik(j)(j=1…,1≦k(j)≦M)より時間的に後ろ向きに順次読み出す。そして、各音声区間に応じて、DPマッチング法やHMM法を用いて、読み出したベクトル間距離及び単語標準パターンに対して、累積距離を計算する。
【0061】
このとき、単語標準パターンファイル84には、単語標準パターンの発生の順とは逆に音声情報が並べられているので、累積距離計算部82は、最新フレームから順に距離ベクトルを読み出して累積計算を行っても、正しい累積距離が計算される。判定部86は、累積距離計算部82から出力される累積距離と閾値とを比較して、累積距離が閾値よりも小さい場合に、該累積距離に該当する単語が入力された音声であると認識する。
【0062】
次に、図10の音声認識装置の動作説明をする。
【0063】
マイク20は、入力された音声を電気信号に変換する。音声入力部22は、マイク20より入力された音声信号を増幅してA/D変換する。分析部24は、一定時間、例えば、10〜20msの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、34次元の特徴ベクトルを算出する。ベクトル間距離計算部80は、分析部24により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのベクトル間距離(ユークリッド距離)を計算する。そして、最新フレームのベクトル間距離を距離バッファ81に書き込む。
【0064】
累積距離計算部82は、各フレーム周期毎に、最新フレームをマッチングの始端フレーム、始端フレームから最大フレーム数までの区間に含まれる区間を各音声区間とする。各音声区間について、単語標準パターンファイル84に登録されている各単語標準パターンに対して定義された音素の並びに対応する音素標準パターンのベクトル間距離を最新フレームから順に読み出す。つまり、距離バッファ81の領域90#ik(j)(j=1…,1≦k(j)≦M)より時間的に後ろ向きに順次読み出す。そして、各音声区間に応じて、DPマッチング法やHMM法を用いて、読み出したベクトル間距離及び単語標準パターンに対して、累積距離を計算する。
【0065】
このとき、図13に示すように、最新フレームを始端として始端を固定して、終端フリーで逆時間方向に累積距離を計算するので、音声が存在する可能な区間を音声区間とする図14に示した普通のワードスポットティングに比べて、演算量を削減できる。また、図15に示す最大フレーム数の音声が入力されないと音声区間が確定されない終端フリーのように遅延τが発生することがない。判定部86は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離<閾値ならば、入力音声が単語標準パターンの単語に該当するものと判断する。
【0066】
以上説明した第3実施形態によれば、ワードスポティングに比べて演算量を削減できる。しかも、終端フリーの場合のように遅延が生じることがない。
【0067】
【発明の効果】
以上説明したように本発明によれば、入力音声と標準パターンの比較にフレーム間距離を用いた場合に雑音の影響を抑制して認識率を向上させることができる。また、雑音などの影響で入力音声と標準パターンのフレーム間類似度が低く又はフレーム間距離が大きくなった場合にも音声を検出できる。更に、ワードスポティング時の演算量を減らすと共に終端フリーでの遅延量を少なくすることができる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明の第1実施形態による音声認識装置の構成図である。
【図3】環境雑音による影響を示す図である。
【図4】補正値計算部のフローチャートである。
【図5】図2中のベクトル間距離計算部、距離補正部及び距離累積部の処理結果を示す図である。
【図6】本発明の第2実施形態による音声認識装置の構成図である。
【図7】図6中の判定部及び候補判定部のフローチャートである。
【図8】図6中の制御部のフローチャートである。
【図9】図6の音声認識結果を示す図である。
【図10】本発明の第3実施形態による音声認識装置の構成図である。
【図11】図10中の距離バッファの説明図である。
【図12】図10中の単語標準パターンの説明図である。
【図13】図10中の累積距離計算部の動作説明図である。
【図14】普通のワードスポッティングの問題点を説明する図である。
【図15】終端フリーの問題点を説明する図である。
【符号の説明】
2 分析部
4 音素標準特徴パターン記憶部
6 ベクトル間距離計算部
8 平均値計算部
10 補正値記憶部
12 補正部
14 単語標準パターン記憶部
16 識別部
Claims (5)
- 入力された音声を認識する音声認識装置であって、
複数の音素標準パターンの音素特徴ベクトルを予め記憶する音素標準特徴パターン記憶部と、
入力音声のフレーム毎に特徴ベクトルを算出する分析部と、
前記フレームの前記特徴ベクトルと前記各音素特徴ベクトルとのベクトル間距離を音素毎に計算するベクトル間距離計算部と、
前記全ての音素についての前記ベクトル間距離の平均値を前記フレーム毎に算出する平均値計算部と、
前記音素毎に計算されたベクトル間距離から前記フレーム毎に算出された前記平均値を減算し、その減算したベクトル間距離を補正する補正部と、
前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、
前記補正されたベクトル間距離を累積して、累積ベクトル間距離と前記単語標準パターンとを比較して、音声認識する識別部と、
を具備したことを特徴とする音声認識装置。 - 入力された音声を認識する音声認識装置であって、
入力音声の特徴ベクトルを算出する分析部と、
単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、
前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの各第1類似度を計算する類似度算出部と、
前記各第1類似度又は第1類似度間の計算結果と第1閾値とを比較して、該第1類似度に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第1判定部と、
第2類似度又は第2類似度間の計算結果を記憶する候補記憶部と、
前記第1判定部により該当する単語であると判定されなかった前記第1類似度又は第1類似度間の計算結果が前記第1閾値よりも小さな値である第2閾値よりも大きく且つ前記第2類似度又は第2類似度間の計算結果よりも大きいとき、第1類似度又は第1類似度間の計算結果を前記第2類似度又は第2類似度間の計算結果として、前記候補記憶部に記憶する候補判定部と、
前記第1判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第2類似度又は第2類似度間の計算結果に基づいて、第2類似度に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第2判定部と、
を具備したことを特徴とする音声認識装置。 - 入力された音声を認識する音声認識装置であって、
入力音声の特徴ベクトルを算出する分析部と、
単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、
前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンの特徴ベクトルとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの間の各第1距離を計算する距離算出部と、
前記各第1距離又は第1距離間の計算結果と第1閾値とを比較して、該第1距離に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第1判定部と、
第2距離又は第2距離間の計算結果を記憶する候補記憶部と、
前記第1判定部により該当する単語であると判定されなかった前記第1距離又は第1距離間の計算結果が前記第1閾値よりも大きな値である第2閾値よりも小さく且つ前記第2距離又は第2距離間の計算結果よりも小さいとき、第1距離又は第1距離間の計算結果を前記第2距離又は第2距離間の計算結果として、前記候補記憶部に記憶する候補判定部と、
前記第1判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第2距離又は第2距離間の計算結果に基づいて、第2距離に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第2判定部と、
を具備したことを特徴とする音声認識装置。 - 前記補正部は、環境雑音無しの状態で入力された入力音声の特徴ベクトルと前記音素標準パターンの音素特徴ベクトルとのベクトル間距離の全音素についての平均値を補正値として記憶する補正値記憶部を具備し、前記音素毎に計算されたベクトル間距離から前記平均値を減算し、その減算したベクトル間距離に前記補正値記憶部に記憶された前記補正値を加算する請求項1記載の音声認識装置。
- 前記第2閾値は環境雑音により音声認識率が低下することを防止することを考慮して予め設定された値であり、音声入力要求を行う音声応答部と、前記音声入力要求に基づいて前記所定時間までを計時するタイマによる計時が開始されるように制御する制御部とを更に具備し、前記第2判定部は、前記タイマが前記所定時間計時してタイムアウトしたとき、前記第1判定部により入力された音声が該当する単語であると判定されなかった場合には、前記候補記憶部に記憶されている前記第2類似度又は前記第2距離に該当する単語標準パターンの単語が入力音声に該当する単語であると判定して前記タイマがタイムアウトする前後で入力音声が単語標準パターンに該当する単語であると音声認識をするための閾値を前記第1閾値から前記第2閾値に変更する請求項2又は3記載の音声認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000002096A JP4393648B2 (ja) | 2000-01-11 | 2000-01-11 | 音声認識装置 |
US09/699,777 US6701292B1 (en) | 2000-01-11 | 2000-10-30 | Speech recognizing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000002096A JP4393648B2 (ja) | 2000-01-11 | 2000-01-11 | 音声認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001195082A JP2001195082A (ja) | 2001-07-19 |
JP4393648B2 true JP4393648B2 (ja) | 2010-01-06 |
Family
ID=18531242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000002096A Expired - Fee Related JP4393648B2 (ja) | 2000-01-11 | 2000-01-11 | 音声認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6701292B1 (ja) |
JP (1) | JP4393648B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112006002989T5 (de) * | 2005-12-14 | 2009-02-19 | Mitsubishi Electric Corp. | Spracherkennungsvorrichtung |
KR101398639B1 (ko) | 2007-10-08 | 2014-05-28 | 삼성전자주식회사 | 음성 인식 방법 및 그 장치 |
FR2940497B1 (fr) * | 2008-12-23 | 2011-06-24 | Voxler | Procede de pilotage d'une application a partir d'un signal de voix et dispositif associe pour sa mise en oeuvre. |
JP4922377B2 (ja) * | 2009-10-01 | 2012-04-25 | 日本電信電話株式会社 | 音声認識装置とその方法と、プログラム |
WO2011068170A1 (ja) * | 2009-12-04 | 2011-06-09 | ソニー株式会社 | 検索装置、検索方法、及び、プログラム |
US9110510B2 (en) | 2011-06-03 | 2015-08-18 | Apple Inc. | Motion pattern classification and gesture recognition |
JP5678912B2 (ja) * | 2012-03-12 | 2015-03-04 | ブラザー工業株式会社 | 発声特定装置、プログラム |
US20150336786A1 (en) * | 2014-05-20 | 2015-11-26 | General Electric Company | Refrigerators for providing dispensing in response to voice commands |
CN105653517A (zh) * | 2015-11-05 | 2016-06-08 | 乐视致新电子科技(天津)有限公司 | 一种识别率确定方法及装置 |
US10191990B2 (en) * | 2016-11-21 | 2019-01-29 | Comcast Cable Communications, Llc | Content recommendation system with weighted metadata annotations |
EP3786945B1 (en) * | 2018-04-12 | 2023-07-19 | Spotify AB | Voice-based authentication |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5614381A (en) | 1979-07-13 | 1981-02-12 | Nec Corp | Pattern recognizing system |
US4897878A (en) * | 1985-08-26 | 1990-01-30 | Itt Corporation | Noise compensation in speech recognition apparatus |
JPS6338995A (ja) | 1986-08-04 | 1988-02-19 | 松下電器産業株式会社 | 音声認識ダイアル電話装置 |
JPS63254498A (ja) | 1987-04-13 | 1988-10-21 | 日本電気株式会社 | 音声認識応答装置 |
JP2808906B2 (ja) * | 1991-02-07 | 1998-10-08 | 日本電気株式会社 | 音声認識装置 |
JP3039095B2 (ja) | 1992-01-30 | 2000-05-08 | 日本電気株式会社 | 音声認識装置 |
JPH0863183A (ja) | 1994-08-18 | 1996-03-08 | Matsushita Electric Ind Co Ltd | 音声認識方法 |
-
2000
- 2000-01-11 JP JP2000002096A patent/JP4393648B2/ja not_active Expired - Fee Related
- 2000-10-30 US US09/699,777 patent/US6701292B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001195082A (ja) | 2001-07-19 |
US6701292B1 (en) | 2004-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3691511B2 (ja) | 休止検出を行う音声認識 | |
US9002709B2 (en) | Voice recognition system and voice recognition method | |
EP2486562B1 (en) | Method for the detection of speech segments | |
JP4531166B2 (ja) | 信頼性尺度の評価を用いる音声認識方法 | |
US9613624B1 (en) | Dynamic pruning in speech recognition | |
Bou-Ghazale et al. | A robust endpoint detection of speech for noisy environments with application to automatic speech recognition | |
JP4393648B2 (ja) | 音声認識装置 | |
US11335332B2 (en) | Trigger to keyword spotting system (KWS) | |
CN108847218B (zh) | 一种自适应门限整定语音端点检测方法,设备及可读存储介质 | |
JP4858663B2 (ja) | 音声認識方法及び音声認識装置 | |
JP4696418B2 (ja) | 情報検出装置及び方法 | |
JP3625002B2 (ja) | 音声認識装置 | |
JPWO2003107326A1 (ja) | 音声認識方法及びその装置 | |
JP7511374B2 (ja) | 発話区間検知装置、音声認識装置、発話区間検知システム、発話区間検知方法及び発話区間検知プログラム | |
JP2002091468A (ja) | 音声認識システム | |
JP2001255886A (ja) | 音声認識方法および音声認識装置 | |
JP3006496B2 (ja) | 音声認識装置 | |
JP3615088B2 (ja) | 音声認識方法及び装置 | |
JP4391031B2 (ja) | 音声認識装置 | |
JPH06324699A (ja) | 連続音声認識装置 | |
JP3144203B2 (ja) | ベクトル量子化装置 | |
JP3583930B2 (ja) | 音声認識装置及びその方法 | |
JP2875179B2 (ja) | 話者適応化装置及び音声認識装置 | |
JP2001075596A (ja) | 音声認識装置、音声認識方法及び音声認識プログラムを記録した記録媒体 | |
JPH0247758B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091014 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |