JP2002297181A - 音声認識語彙登録判定方法及び音声認識装置 - Google Patents

音声認識語彙登録判定方法及び音声認識装置

Info

Publication number
JP2002297181A
JP2002297181A JP2001100776A JP2001100776A JP2002297181A JP 2002297181 A JP2002297181 A JP 2002297181A JP 2001100776 A JP2001100776 A JP 2001100776A JP 2001100776 A JP2001100776 A JP 2001100776A JP 2002297181 A JP2002297181 A JP 2002297181A
Authority
JP
Japan
Prior art keywords
vocabulary
speech recognition
recognition
evaluation value
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001100776A
Other languages
English (en)
Inventor
Tsuneo Kato
恒夫 加藤
Toru Shimizu
徹 清水
Norio Higuchi
宜男 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2001100776A priority Critical patent/JP2002297181A/ja
Publication of JP2002297181A publication Critical patent/JP2002297181A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 誤認識を起こしやすい語彙の登録を防ぐこ
と。 【解決手段】 新規語彙と既登録語彙との混同のしやす
さを評価する数値を評価値計算手段5で計算し、判定手
段6に与える。判定手段6は、評価値計算手段5から与
えられた数値に対してしきい値を設定し、新規語彙の登
録を許可するか禁止するか判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は認識性能の低下を防
ぐために、誤認識を起こしやすいと予想される語彙(単
語やフレーズ、あるいは、それらの組合せ)を音声認識
対象語彙の選定時あるいは登録時に検出する技術に関
し、音声認識システムのユーザが新規語彙を同システム
に登録したり、音声認識システムの開発者が同システム
に登録する認識対象語彙を選定するのに有用である。
【0002】
【従来の技術】電話による航空券チケット予約システム
や自動電話受付システムを始め、タスク限定型音声認識
装置、個人登録型音声ポータル装置、センター提供型音
声ポータル装置などでは、音声入力式ワープロ装置にお
ける音声認識システムと比べて、電話入力のため入力音
声の品質が良くないこと、並びに、タスクが限定されて
いることから、認識対象語彙の数を制限して認識性能の
低下を防ぐことが多い。つまり、タスクに応じた限られ
た語彙だけを認識するようにしている。
【0003】この種の音声認識システムでは、通常、シ
ステム開発者が限られた語彙の選定を経験的に行ってい
る。例えば、システム開発者にとっては、経験上、「お
じさん」という語彙と「おじいさん」という語彙は誤認
識しやすいことが判っているから、仮に「おじさん」を
登録すれば、「おじいさん」は不適なもののとして排除
し登録しないようにしている。しかし、経験に頼ってい
るため、音声認識対象語彙の選定効率が良くない。
【0004】一方、システムのユーザが認識対象語彙を
カスタマイズできるようにすることが考えられる。しか
し、ユーザは経験が乏しいため、既登録語彙と混同しや
すい(紛らわしい)新規語彙を登録して、認識性能が低
下するという危険性がある。例えば、「おじさん」が既
に登録されていても、無意識に「おじいさん」を新規語
彙として追加登録することが考えられる。従って、事実
上、ユーザによる認識対象語彙の増加は困難である。
【0005】
【発明が解決しようとする課題】本発明の課題は、誤認
識を起こしやすいと予想される語彙を認識対象語彙の選
定時あるいは登録時に検出し、登録させないようにする
ことである。これにより、システム開発者にとっては、
効率良く、認識対象語彙を選定することができる。ま
た、ユーザにとっては、認識性能を低下させることな
く、認識対象語彙の増加など、カスタマイズすることが
できる。
【0006】
【課題を解決するための手段】請求項1に係る発明は音
声認識語彙登録判定方法であり、音声認識装置に対する
新規語彙と既登録語彙との混同のしやすさを数値化し、
得られた数値(以下、評価値)に対してしきい値を設定
し、新規語彙の登録を許可するか禁止するか判定するこ
とを特徴とする。
【0007】請求項2に係る発明は、請求項1に係る発
明において、新規語彙及び既登録語彙の文字または文字
列をそれぞれ音素や音節等の認識単位に分解して、新規
登録語彙に対応する第1の認識単位系列と、既登録語彙
に対応する第2の認識単位系列を求め、前記評価値とし
て、第1、第2の認識単位系列間の類似度を求めること
を特徴とする音声認識語彙登録判定方法である。
【0008】請求項3に係る発明は、請求項2に係る発
明において、認識単位間の距離を表す尺度の和あるいは
積をとって、前記類似度を求めることを特徴とする音声
認識語彙登録判定方法。
【0009】請求項4に係る発明は、請求項2に係る発
明において、予め得られている認識単位間のコンフュー
ジョン・マトリクスを用いて、前記類似度を求めること
を特徴とする音声認識語彙登録判定方法である。
【0010】請求項5に係る発明は、請求項2に係る発
明において、認識単位のHMM(隠れマルコフモデル)
を表現する音響パラメータ空間上の分布を用いて、前記
類似度を求めることを特徴とする音声認識語彙登録判定
方法である。
【0011】請求項6に係る発明は、請求項1に係る発
明において、新規語彙の文字または文字列に対応する疑
似的な音響パラメータ系列を生成し、生成した音響パラ
メータ系列に対して音声認識処理を行い、得られた尤度
から前記評価値を求めることを特徴とする音声認識語彙
登録判定方法である。
【0012】請求項7に係る発明は、請求項6に係る発
明において、前記音声認識処理として、新規語彙を受理
する文法を用いる第1の音声認識処理と、既登録語彙の
みを受理する文法を用いる第2の音声認識処理を行い、
第1の音声認識処理で得られた尤度と第2の音声認識処
理で得られた尤度との差を、前記評価値とすることを特
徴とする音声認識語彙登録判定方法である。
【0013】請求項8に係る発明は、請求項7に係る発
明において、HMM(隠れマルコフモデル)を用いて前
記音響パラメータ系列を生成することを特徴とする音声
認識語彙登録判定方法。
【0014】請求項9に係る発明は、請求項8に係る発
明において、前記HMMの分散を用いて摂動を与え、あ
るいは、雑音HMMの音響パラメータをランダムに接続
して、前記音響パラメータ系列を生成することを特徴と
する音声認識語彙登録判定方法である。
【0015】請求項10に係る発明は、請求項2に係る
発明の音声認識語彙登録判定方法と、請求項6に係る発
明の音声認識語彙登録判定方法とを組み合わせて使用す
ることを特徴とする音声認識語彙登録判定方法である。
【0016】請求項11に係る発明は音声認識装置であ
り、音声入力手段と、語彙登録手段と、音声認識手段を
有し、音声入力手段から入力された音声を語彙登録手段
に登録されている語彙(以下、既登録語彙)に基づいて
認識する音声認識装置において、文字を入力する文字入
力手段と、入力された文字または文字列(以下、新規語
彙)と、既登録語彙との混同のしやすさを評価する数値
(以下、評価値)を計算する評価値計算手段と、得られ
た評価値に対してしきい値を設定し、新規語彙の登録を
許可するか禁止するか判定する判定手段を有すること特
徴とする。
【0017】請求項12に係る発明は、請求項11に係
る発明において、新規語彙を認識単位に分解して、新規
語彙に対応する第1の認識単位系列を生成する第1の変
換手段と、既登録語彙を認識単位に分解して、既登録語
彙に対応する第2の認識単位系列を生成する第2の変換
手段とを有すること、前記評価値計算手段は、前記評価
値として、第1の変換手段で得られた第1の認識単位系
列と、第2の変換手段で得られた第2の認識単位系列と
の間の類似度を計算することを有することを特徴とする
音声認識装置である。
【0018】請求項13に係る発明は、請求項12に係
る発明において、前記評価値計算手段は、認識単位間の
距離を表す尺度の和あるいは積をとって、前記類似度を
計算することを特徴とする音声認識装置である。
【0019】請求項14に係る発明は、請求項12に係
る発明において、前記評価値計算手段は、予め得られて
いる認識単位間のコンフュージョン・マトリクスを用い
て、前記類似度を計算することを特徴とする音声認識装
置である。
【0020】請求項15に係る発明は、請求項12に係
る発明において、前記評価値計算手段は、認識単位のH
MM(隠れマルコフモデル)を表現する音響パラメータ
空間上の分布を用いて、前記類似度を計算することを特
徴とする音声認識装置である。
【0021】請求項16に係る発明は、請求項11に係
る発明において、新規語彙に対応する疑似的な音響パラ
メータ系列を生成し、前記音声認識手段に与える音響パ
ラメータ系列生成手段を有すること、前記評価値計算手
段は前記音声認識手段から得られる尤度を用いて、前記
評価値を計算することを特徴とする音声認識装置であ
る。
【0022】請求項17に係る発明は、請求項16に係
る発明において、前記音声認識手段は、新規語彙を受理
する文法を用いる第1の音声認識処理と、既登録語彙の
みを受理する文法を用いる第2の音声認識処理を行うこ
と、前記評価値計算手段は前記評価値として、第1の音
声認識処理で得られた尤度と第2の音声認識処理で得ら
れた尤度との差を計算することを特徴とする音声認識装
置である。
【0023】請求項18に係る発明は、請求項17に係
る発明において、前記音響パラメータ系列生成手段は、
HMM(隠れマルコフモデル)を用いて、音響パラメー
タ系列を生成することを特徴とする音声認識装置であ
る。
【0024】請求項19に係る発明は、請求項18に係
る発明において、前記音響パラメータ系列生成手段は、
前記HMMの分散を用いて摂動を与え、あるいは、雑音
HMMの音響パラメータをランダムに接続して、音響パ
ラメータ系列を生成することを特徴とする音声認識装置
である。
【0025】請求項20に係る発明は、請求項1から1
0いずれかの発明に係る音声認識語彙登録判定方法をコ
ンピュータに実行させるコンピュータプログラムであ
る。
【0026】請求項21に係る発明は、請求項21の発
明に係るコンピュータプログラムを記録した記録媒体で
ある。
【0027】
【発明の実施の形態】以下、本発明の実施形態例を説明
する。
【0028】図1、図2を参照して、本発明の基本的な
音声認識装置と音声認識語彙登録判定方法を説明する。
図1に音声認識装置の構成例を示す。この装置は音声入
力手段1と、語彙登録手段2と、音声認識手段3と、文
字入力手段4と、評価値計算手段5と、判定手段6を有
しており、主としてコンピュータプログラムとそれを実
行するコンピュータで実現されている。
【0029】音声入力手段1は音声信号を音声認識手段
3に与えるものであり、例えば、電話等の外部から音声
信号を入力するもの、マイクロホン等それ自身が音声を
信号に変換するものが使用可能である。
【0030】語彙登録手段2は認識対象語彙を登録する
ものである。
【0031】音声認識手段3は、語彙登録手段2の既登
録語彙に基づいて、音声入力手段1から入力された音声
を認識するものである。
【0032】文字入力手段4は新規語彙をキャラクター
ベースの文字または文字列で、評価値計算手段5及び語
彙登録手段2に与えるものであり、例えば、キーボード
などCUI型入力手段、文字認識手段、GUI型入力手
段が使用可能である。新規語彙が漢字や英数字、記号等
であれば、その読みが評価値計算手段5に与えられる。
【0033】評価値計算手段5は文字入力手段4から与
えられた新規語彙と、語彙登録手段2の既登録語彙との
混同のしやすさ(紛らわしさ)を評価する数値(評価
値)を計算し、得られた評価値を判定手段6に与えるも
のである。これにより、混同のしやすさが数値化され
る。
【0034】判定手段6は、評価値計算手段5から与え
られる評価値に対してしきい値を設定し、新規語彙の登
録を許可するか禁止するか判定するものである。この判
定結果は語彙登録手段2に与えられる。しきい値は、予
め実験等により求めることにより設定することができ
る。
【0035】語彙登録手段2は、判定結果が登録許可で
あれば、文字入力手段4から与えられる新規語彙を認識
対象語彙として登録し、登録禁止であれば新規語彙を登
録しない。登録禁止の場合は、その旨を視覚や聴覚等に
よる警告手段7で知らせるようにしている。
【0036】従って、図1に示す音声認識装置では語彙
登録に際し、図2に手順を示すように、まず、新規語彙
と既登録語彙との混同のしやすさを数値化し(ステップ
S1)、得られた評価値に対してしきい値を設定し、新
規語彙の登録を許可するか禁止するか判定する(ステッ
プS2)。登録許可であれば新規語彙を登録し(ステッ
プS3)、登録禁止であれば禁止の旨を警告する(ステ
ップS4)。
【0037】音声認識装置のコンピュータはコンピュー
タプログラムを読み込んで、このような手順を実行す
る。言い換えれば、コンピュータに実行させる手順がコ
ンピュータプログラムに記述されている。コンピュータ
は適宜な記録媒体に記録されたコンピュータプログラム
を読み込んだり、あるいは、ネットワーク等適宜な伝送
手段を通して読み込んだりすることができる。
【0038】評価値計算手段5における混同しやすさの
数値化は、例えば、DPマッチングや疑似的な音声認識
を行うことにより、達成できる。
【0039】DPマッチングの場合、新規語彙及び既登
録語彙の文字または文字列をそれぞれ音素や音節等の認
識単位に分解して、新規登録語彙に対応する第1の認識
単位系列と、既登録語彙に対応する第2の認識単位系列
を求め、第1、第2の認識単位系列間の類似度を求め
る。この類似度が、新規語彙と既登録語彙との混同しや
すさの評価値となる。
【0040】簡単な例では、認識単位間の一致、置換、
削除、挿入に対してそれぞれ距離を表すスコア(尺度ま
たは距離尺度)をそれぞれ認識単位の組合せによらず固
定値としておき、これら一致スコア(通常は0)、置換
スコア、削除スコア、挿入スコアを用いて2つの認識単
位系列間でDPマッチングを行う。例えば、総和スコア
(スコアの和)が最小となるパスを探索し、そのパスの
総スコアを2つの認識単位系列間の類似度とする。一致
スコア、置換スコア、削除スコア及び挿入スコアはいず
れも0でない場合は、最小となる積スコア(スコアの
積)を2つの認識単位系列間の類似度とすることができ
る。図3に、この手法を実現する音声認識装置の構成例
を示す。但し、評価値計算に必要な部分のみ示し、音声
入力手段と音声認識手段は図示を省略する。この音声認
識装置のコンピュータもコンピュータプログラムを読み
込んで、上記の手順を実行する。コンピュータプログラ
ムには、コンピュータに実行させる手順が記述されてい
る。
【0041】図3に示す音声認識装置は格納手段8と、
第1の変換手段9と、第2の変換手段10を追加して有
する。格納手段8には、認識単位間の一致スコア、置換
スコア、削除スコア及び挿入スコアが固定値として納め
られている。
【0042】第1の変換手段9は、文字入力手段4から
新規語彙を取得して認識単位に分解し、新規語彙に対応
する第1の認識単位系列を生成して評価値計算手段5に
与える。第2の変換手段10は、語彙登録手段2から既
登録語彙を取得して認識単位に分解し、既登録語彙に対
応する第2の認識単位系列を生成して評価値計算手段5
に与える。評価値計算手段5は、格納手段8に納められ
た認識単位間の固定した一致スコア、置換スコア、削除
スコア及び挿入スコアを用いて、第1の変換手段9から
得られた第1の認識単位系列と、第2の変換手段10か
ら得られた第2の認識単位系列とのDPマッチングの計
算を行うことにより、最小の総和スコアあるいは最小の
積スコアをこれら2つの認識単位系列間の類似度(新規
語彙と既登録語彙との混同しやすさの評価値)を求め
る。この場合、判定手段6は設定したしきい値より評価
値(類似度)が大きい場合は新規語彙の登録を許可し、
小さい場合は登録を禁止することになる。
【0043】上記の例では認識単位間の一致スコア、置
換スコア、削除スコア及び挿入スコアを固定値とした
が、認識単位の組合せによっては、認識単位間の混同の
しやすさが異なる。従って、認識単位間の一致スコア、
置換スコア、削除スコア及び挿入スコアを、認識単位の
組合せによって応じた値に設定することにより、より正
確に類似度(評価値)を求めることができる。
【0044】その一例として、音素や音節等の認識単位
のコンフュージョン・マトリクス(Confusion Matrix)を
用いて、認識単位間の混同のしやすさを数値化してDP
マッチングを行う例を説明する。
【0045】予め音素認識実験や音節認識実験など、認
識単位のについての認識実験を行うことにより、図4に
示すようなコンフュージョン・マトリクスが得られる。
簡単のため、認識単位はaとbの2つとしている。
【0046】図4において、縦軸の認識単位の事象が横
軸の認識単位と認識された数を示し、記号del は縦軸の
認識単位の事象が削除された数を示し、記号ins は横軸
の認識単位が挿入された数を示す。例えば、縦軸aと横
軸aとが示す値80は、認識単位aの事象が認識単位a
と認識された数、つまり正解の数であり、縦軸aと横軸
bとが示す値15は、認識単位aの事象が認識単位bと
認識された数、つまり置換された数である。縦軸aと横
軸del とが示す値5は、認識単位aの事象が削除された
数であり、縦軸ins と横軸aとが示す値30は、認識単
位aが挿入された数である。
【0047】このコンフュージョン・マトリクスから、
認識単位間の混同のしやすさを表すスコアを定義するこ
とができる。その一例を下記式(1) 〜(8) で示す。 hit(a-a)=log(80/(80+15+5)) …式(1) sub(a-b)=log(15/(80+15+5)) …式(2) del(a) =log( 5/(80+15+5)) …式(3) hit(b-b)=log(70/(20+70+10)) …式(4) sub(b-a)=log(20/(20+70+10)) …式(5) del(b) =log(10/(20+70+10)) …式(6) ins(a) =log(30(80+20+30)) …式(7) ins(b) =log( 5(15+70+5)) …式(8) 但し、hit(a-a)は認識単位aの事象が認識単位aと認識
される一致スコア(正解数が事例数に占める割合の対
数)、sub(a-b)は認識単位aの事象が認識単位bと認識
される置換スコア(置換数が事例数に占める割合の対
数)、del(a)は認識単位aの事象が削除される削除スコ
ア(削除数が事例数に占める割合の対数)、hit(b-b)は
認識単位bの事象が認識単位bと認識される一致スコア
(正解数が事例数に占める割合の対数)、sub(b-a)は認
識単位bの事象が認識単位aと認識される置換スコア
(置換数が事例数に占める割合の対数)、del(b)は認識
単位bの事象が削除される削除スコア(削除数が事例数
に占める割合の対数)、ins(a)は認識単位aが挿入され
る挿入スコア(挿入数が観測数に占める割合の対数)、
ins(b)は認識単位bが挿入される挿入スコア(挿入数が
観測数に占める割合の対数)である。
【0048】このようなコンフュージョン・マトリクス
を用いて一致スコア、置換スコア、削除スコア及び挿入
スコアを定め、これを用いてDPマッチングを行い、2
つの認識単位系列間の類似度(混同しやすさの評価値)
を求める。
【0049】但し、上記式(1) 〜(8) で示す例では、一
致スコア、置換スコア、削除スコア及び挿入スコアは認
識単位間の距離ではなく、混同のしやすさを示している
ため、DPマッチングにおいては、最大の総和スコアあ
るいは積スコアを評価値(類似度)とすることになる。
【0050】最小の総和スコアあるいは積スコアを評価
値(類似度)とするには、下記式(9) 〜(16)に示すよう
に正負の符号を逆にしたスコアを用いてDPマッチング
を行えば良い。この場合、総和スコアあるいは積スコア
が最小のパスを探索し、そのパスの総和スコアあるいは
積スコアが評価値(類似度)となる。 hit(a-a)=-log(80/(80+15+5)) …式(9) sub(a-b)=-log(15/(80+15+5)) …式(10) del(a) =-log( 5/(80+15+5)) …式(11) hit(b-b)=-log(70/(20+70+10)) …式(12) sub(b-a)=-log(20/(20+70+10)) …式(13) del(b) =-log(10/(20+70+10)) …式(14) ins(a) =-log(30(80+20+30)) …式(15) ins(b) =-log( 5(15+70+5)) …式(16)
【0051】図5に、この手法を実現する音声認識装置
の構成例を示す。但し、評価値計算に必要な部分のみ示
し、音声入力手段、音声認識手段、警告手段等は図示を
省略する。この音声認識装置のコンピュータもコンピュ
ータプログラムを読み込んで、上記の手順を実行する。
コンピュータプログラムには、コンピュータに実行させ
る手順が記述されている。
【0052】図5に示す音声認識装置は格納手段8と、
第1の変換手段9と、第2の変換手段10と、スコア計
算手段11を追加して有する。スコア計算手段11はコ
ンフュージョン・マトリクスを用い、上記の式(9) 〜(1
6)のようにして一致スコア、置換スコア、削除スコア及
び挿入スコアを計算し、これらが格納手段8に納められ
ている。
【0053】第1の変換手段9は、文字入力手段4から
新規語彙を取得して認識単位に分解し、新規語彙に対応
する第1の認識単位系列を生成して評価値計算手段5に
与える。第2の変換手段10は、語彙登録手段2から既
登録語彙を取得して認識単位に分解し、既登録語彙に対
応する第2の認識単位系列を生成して評価値計算手段5
に与える。評価値計算手段5は、格納手段8に納められ
ている認識単位間のた一致スコア、置換スコア、削除ス
コア及び挿入スコアを用いて、第1の変換手段9から得
られた第1の認識単位系列と、第2の変換手段10から
得られた第2の認識単位系列とのDPマッチングの計算
を行うことにより、最小の総和スコアあるいは最小の積
スコアをこれら2つの認識単位系列間の類似度(新規語
彙と既登録語彙との混同しやすさの評価値)を求める。
この場合、判定手段6は設定したしきい値より評価値
(類似度)が大きい場合は新規語彙の登録を許可し、小
さい場合は登録を禁止することになる。
【0054】別の例として、認識単位間のスコアを、コ
ンフュージョン・マトリクスに代えて、音素モデルや音
節モデルなど認識単位を表すHMM(隠れマルコフモデ
ル)の音響パラメータを用いて求めることができる。例
えば、HMMが離散HMMであれば、コードブック間の
距離を用い、連続分布HMMであれば、分布の平均ベク
トル間の距離を用いることができる。
【0055】ここで、HMMの音響パラメータから認識
単位間のスコアを求める距離計算の例を示す。例えば、
認識単位aと認識単位bが3状態のHMMであり、それ
ぞれの2状態目が下記の式(17)、式(18)で表される確率
a 、Pb を出力する混合正規分布である場合、2つの
状態間の距離D(a,b)は下記の式(19)もしくは、式
(20)で定義される。但し、d(a j ,bj ) は分布間の距離
を表す。式(20)はD(a,b)として分布間距離の最小
値を定義しているが、分布間距離の最大値あるいは平均
値をD(a,b)としても良い。
【0056】
【数1】
【0057】認識単位を表すHMMの音響パラメータか
ら認識単位間のスコアを求めたら、このスコアを用いて
DPマッチングを行う。つまり、コンフュージョン・マ
トリクスを基にした場合と同様、総和スコアあるいは積
スコアが最小のパスを探索し、そのパスの総和スコアあ
るいは積スコアを評価値(類似度)する。
【0058】この場合、認識単位を表すHMMの音響パ
ラメータから認識単位間のスコアを求めると、認識単位
の削除及び挿入に対するスコアが得られない。そこで、
DPマッチングとしては、認識単位の削除及び挿入を禁
止し、その代わりに滞留を許容するDPマッチングを用
いる。
【0059】図6に、この手法を実現する音声認識装置
の構成例を示す。但し、評価値計算に必要な部分のみ示
し、音声認識手段等は図示を省略する。この音声認識装
置のコンピュータもコンピュータプログラムを読み込ん
で、上記の手順を実行する。コンピュータプログラムに
は、コンピュータに実行させる手順が記述されている。
【0060】図6に示す音声認識装置は格納手段8と、
第1の変換手段9と、第2の変換手段10と、スコア計
算手段11を追加して有する。スコア計算手段11は認
識単位を表すHMMの音響パラメータから認識単位間の
スコアを計算し、これらが格納手段8に納められてい
る。
【0061】第1の変換手段9は、文字入力手段4から
新規語彙を取得して認識単位に分解し、新規語彙に対応
する第1の認識単位系列を生成して評価値計算手段5に
与える。第2の変換手段10は、語彙登録手段2から既
登録語彙を取得して認識単位に分解し、既登録語彙に対
応する第2の認識単位系列を生成して評価値計算手段5
に与える。
【0062】評価値計算手段5は、格納手段8に納めら
れている認識単位間のスコアを用い、第1の変換手段9
から得られた第1の認識単位系列と、第2の変換手段1
0から得られた第2の認識単位系列について、認識単位
の削除及び挿入を禁止し、代わりに滞留を許容するDP
マッチングの計算を行うことにより、最小の総和スコア
あるいは最小の積スコアをこれら2つの認識単位系列間
の類似度(新規語彙と既登録語彙との混同しやすさの評
価値)を求める。この場合、判定手段6は設定したしき
い値より評価値(類似度)が大きい場合は新規語彙の登
録を許可し、小さい場合は登録を禁止することになる。
【0063】次に、疑似的な音声認識を行って新規語彙
と既登録語彙との混同のしやすさを数値化する例を説明
する。疑似的な音声認識を行うために、新規語彙の文字
または文字列に対応する疑似的な音響パラメータ系列を
生成する。この疑似的な音響パラメータ系列に対して音
声認識処理を行い、尤度を求める。得られた尤度から評
価値が求まるので、この評価値を利用して新規語彙の登
録許可か禁止か判定する。疑似的な音声認識を行う場合
は、認識単位間のスコアを用いて混同しやすさの評価値
を求める場合に比べ、音響的な特徴をより正確に反映す
ることができる。
【0064】疑似的な音響パラメータ系列は、音素モデ
ルや音節モデルと言った認識単位の音響パラメータを利
用して生成することができる。
【0065】例えば、認識単位を表現するHMMの音響
パラメータを利用する。この場合、新規語彙を音素や音
節等の認識単位に分解し、各認識単位に対応するHMM
を表現する音響パラメータを連結することによって、疑
似的な音響パラメータ系列を作成することができる。離
散HMMであればコードブックを用いて、連続分布HM
Mであれば音響的特徴を表現する分布の平均値を用いる
ことができる。
【0066】このとき、HMMの分散、例えばHMMの
音響パラメータの表現する分布の分散を用いて音響パラ
メータ系列に摂動を与えることにより、音響的特徴のバ
リエーションを検証することができる。また、雑音HM
Mの音響パラメータを音響パラメータ系列にランダムに
連結することにより、雑音が混入した場合の影響を検証
することができる。各認識単位に対応するフレーム数
は、HMM状態の自己遷移確率の逆数を用いると良い。
【0067】図7を参照して、疑似的な音響パラメータ
系列の生成例を説明する。
【0068】まず、無音モデル"sil" と、音素モデル"p
h1" 、"ph2" 、・・・と、雑音モデルN1、・・・とその
継続時間長TN1 、・・・を用いて、音素(HMM状態)
系列を指定する。これにより、音素(HMM状態)系列
に対応する音響パラメータ系列が、図8に示すように生
成される。
【0069】図7では音素系列を指定指定しているが、
状態系列でも指定するすることができる。また、前述の
ように、音響パラメータ系列に摂動を与えることもでき
る。更に、混合分布HMMから音響パラメータ系列を生
成する場合は、混合分布の重心を用いたり、分布重み最
大の分布の平均ベクトルを用いたり、混合分布からンダ
ムにピックアップした分布の平均ベクトルを用いる等が
可能である。
【0070】上述したような疑似的な音響パラメータ系
列が作成されたら、この疑似的な音響パラメータ系列に
対して音声認識処理を行う。この場合、(1) 既登録語彙
のみを受理する文法で音声認識処理を行う方法、(2) 既
登録語彙のみを受理する文法で行う音声認識処理と新規
語彙のみを受理する文法で行う音声認識処理の両方を用
いる方法、(3) 既登録語彙と新規語彙の両方を受理する
文法で音声認識処理を行う方法が考えられる。(1) の方
法では、音声認識処理で得られた尤度自体を評価値とす
ることができ、尤度が設定したしきい値より小さい場合
は新規語彙の登録を許可し、大きい場合は登録を禁止す
れば良い。(2) の方法では、新規語彙のみを受理する文
法で行った音声認識処理の尤度と既登録語彙のみを受理
する文法で行った音声認識処理の尤度との差を評価値と
することができ、この尤度の差が設定したしきい値より
大きい場合は新規語彙の登録を許可し、小さい場合は登
録を禁止すれば良い。(3) の方法では、音声認識処理で
得られた最大の尤度と、2番目に大きい尤度との差を評
価値とすることができ、この尤度の差が設定したしきい
値より大きい場合は新規語彙の登録を許可し、小さい場
合は登録を禁止すれば良い。
【0071】図8に、上記(2)の手法を実現する音声
認識装置の構成例を示す。但し、評価値計算に必要な部
分のみ示し、音声入力手段、警告手段等は図示を省略す
る。この音声認識装置のコンピュータもコンピュータプ
ログラムを読み込んで、上記の手順を実行する。コンピ
ュータプログラムには、コンピュータに実行させる手順
が記述されている。
【0072】図8に示す音声認識装置は音響パラメータ
生成手段12と、格納手段13とを追加して有する。
【0073】音響パラメータ生成手段12は音声入力手
段1から新規語彙の文字列を入力し、これに対応する疑
似的な音響パラメータ系列を前述したようにHMMを用
いて生成し、音声認識手段3に与えるものである。その
際、HMMの分散を用いて摂動を与え、あるいは、雑音
HMMの音響パラメータをランダムに接続して、音響パ
ラメータ系列を生成するようにしている。
【0074】格納手段13は、新規語彙のみを受理する
文法と、既登録語彙のみを受理する文法を格納してい
る。音声認識手段3は疑似的な音響パラメータに対し
て、新規語彙を受理する文法を用いる第1の音声認識処
理3aと、既登録語彙のみを受理する文法を用いる第2
の音声認識処理3bの2通りを行い、それそれの尤度を
評価値計算手段5に与える。
【0075】評価値計算手段5は第1の音声認識処理3
aで得られた尤度と第2の音声認識処理3bで得られた
尤度との差を計算し、この尤度差を評価値する。この場
合、判定手段6は設定したしきい値より評価値が大きい
場合は新規語彙の登録を許可し、小さい場合は登録を禁
止する。
【0076】上述した各種の音声認識語彙登録判定手法
は、単独で用いても、あるいは、任意の複数を組み合わ
せて使用することができる。例えば、下記(1) 〜(4) に
示す4手法のうち、全て、あるいは、適宜な複数を組み
合わせて使用する。 (1) コンフュージョン・マトリクスを用いて認識単位間
のスコアを定め、このスコアを用いてDPマッチングを
行って評価値を求める手法。 (2) 認識単位のHMMを表現する音響パラメータ空間上
の分布を用いて認識単位間のスコアを定め、このスコア
を用いてDPマッチングを行って評価値を求める手法。 (3) HMMを用いて新規語彙に対応する疑似的な音響パ
ラメータ系列を生成し、これに対して音声認識処理を行
うことにより評価値を求める手法。 (4) 上記(3) の手法で疑似的な音響パラメータ系列の生
成に際し、HMMの分散を用いて摂動を与えたり、雑音
HMMの音響パラメータをランダムに接続することによ
り、発生の揺らぎや耐雑音性を評価する手法。
【0077】このような複数の手法を組み合わせる場
合、(1) と(2) の手法に比べ、(3) と(4) の手法の方が
精度が良いが、コンピュータによるソフトウェア処理で
は(3)と(4) の手法の方が処理が重い。従って、このよ
うな場合には、(1) または(2)あるいは両方の手法を厳
しいしきい値を設定して行い、このときの判定でもれた
もののみ(3) または(4) あるいは両方の手法で判定する
と効率的である。
【0078】
【発明の効果】本発明によれば認識対象語彙の選定時あ
るいは登録時に、誤認識を起こしやすいと予想される単
語やフレーズ等の語彙の登録を防ぐことが可能になる。
これにより、システム開発者にとっては、効率良く、認
識対象語彙を選定することができる。また、ユーザにと
っては、認識性能を低下の低下を抑制しつつ、認識対象
語彙の増加など、カスタマイズすることができる。この
ような効果を奏する本発明は、タスク限定型音声認識装
置や、個人登録型音声ポータル装置、センター提供型音
声ポータル装置等に有用である。
【図面の簡単な説明】
【図1】本発明の実施形態に係る音声認識装置の構成例
を示す図。
【図2】本発明の実施形態に係る音声認識語彙登録判定
方法の例を示す図。
【図3】本発明の実施形態に係る他の音声認識装置の構
成例を示す図。
【図4】コンフュージョン・マトリクスの例を示す図。
【図5】本発明の実施形態に係る他の音声認識装置の構
成例を示す図。
【図6】本発明の実施形態に係る他の音声認識装置の構
成例を示す図。
【図7】疑似的な音響パラメータ系列の生成例をを示す
図。
【図8】本発明の実施形態に係る他の音声認識装置の構
成例を示す図。
【符号の説明】
1 音声入力手段 2 語彙登録手段 3 音声認識手段 3a 第1の音声認識処理 3b 第2の音声認識処理 4 文字入力手段 5 評価値計算手段 6 判定手段 7 警告手段 8 格納手段 9 第1の変換手段 10 第2の変換手段 11 スコア計算手段 12 音響パラメータ生成手段 13 格納手段13
───────────────────────────────────────────────────── フロントページの続き (72)発明者 樋口 宜男 埼玉県上福岡市大原二丁目1番15号 株式 会社ケイディディ研究所内 Fターム(参考) 5D015 GG01 HH00

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 音声認識装置に対する新規語彙と既登録
    語彙との混同のしやすさを数値化し、得られた数値(以
    下、評価値)に対してしきい値を設定し、新規語彙の登
    録を許可するか禁止するか判定することを特徴とする音
    声認識語彙登録判定方法。
  2. 【請求項2】 請求項1において、新規語彙及び既登録
    語彙の文字または文字列をそれぞれ音素や音節等の認識
    単位に分解して、新規登録語彙に対応する第1の認識単
    位系列と、既登録語彙に対応する第2の認識単位系列を
    求め、前記評価値として、第1、第2の認識単位系列間
    の類似度を求めることを特徴とする音声認識語彙登録判
    定方法。
  3. 【請求項3】 請求項2において、認識単位間の距離を
    表す尺度の和あるいは積をとって、前記類似度を求める
    ことを特徴とする音声認識語彙登録判定方法。
  4. 【請求項4】 請求項2において、予め得られている認
    識単位間のコンフュージョン・マトリクスを用いて、前
    記類似度を求めることを特徴とする音声認識語彙登録判
    定方法。
  5. 【請求項5】 請求項2において、認識単位のHMM
    (隠れマルコフモデル)を表現する音響パラメータ空間
    上の分布を用いて、前記類似度を求めることを特徴とす
    る音声認識語彙登録判定方法。
  6. 【請求項6】 請求項1において、新規語彙の文字また
    は文字列に対応する疑似的な音響パラメータ系列を生成
    し、生成した音響パラメータ系列に対して音声認識処理
    を行い、得られた尤度から前記評価値を求めることを特
    徴とする音声認識語彙登録判定方法。
  7. 【請求項7】 請求項6において、前記音声認識処理と
    して、新規語彙を受理する文法を用いる第1の音声認識
    処理と、既登録語彙のみを受理する文法を用いる第2の
    音声認識処理を行い、第1の音声認識処理で得られた尤
    度と第2の音声認識処理で得られた尤度との差を、前記
    評価値とすることを特徴とする音声認識語彙登録判定方
    法。
  8. 【請求項8】 請求項7において、HMM(隠れマルコ
    フモデル)を用いて前記音響パラメータ系列を生成する
    ことを特徴とする音声認識語彙登録判定方法。
  9. 【請求項9】 請求項8において、前記HMMの分散を
    用いて摂動を与え、あるいは、雑音HMMの音響パラメ
    ータをランダムに接続して、前記音響パラメータ系列を
    生成することを特徴とする音声認識語彙登録判定方法。
  10. 【請求項10】 請求項2に記載の音声認識語彙登録判
    定方法と、請求項6に記載の音声認識語彙登録判定方法
    とを組み合わせて使用することを特徴とする音声認識語
    彙登録判定方法。
  11. 【請求項11】 音声入力手段と、語彙登録手段と、音
    声認識手段を有し、音声入力手段から入力された音声を
    語彙登録手段に登録されている語彙(以下、既登録語
    彙)に基づいて認識する音声認識装置において、文字を
    入力する文字入力手段と、入力された文字または文字列
    (以下、新規語彙)と、既登録語彙との混同のしやすさ
    を評価する数値(以下、評価値)を計算する評価値計算
    手段と、得られた評価値に対してしきい値を設定し、新
    規語彙の登録を許可するか禁止するか判定する判定手段
    を有すること特徴とする音声認識装置。
  12. 【請求項12】 請求項11において、新規語彙を認識
    単位に分解して、新規語彙に対応する第1の認識単位系
    列を生成する第1の変換手段と、既登録語彙を認識単位
    に分解して、既登録語彙に対応する第2の認識単位系列
    を生成する第2の変換手段とを有すること、前記評価値
    計算手段は、前記評価値として、第1の変換手段で得ら
    れた第1の認識単位系列と、第2の変換手段で得られた
    第2の認識単位系列との間の類似度を計算することを有
    することを特徴とする音声認識装置。
  13. 【請求項13】 請求項12において、前記評価値計算
    手段は、認識単位間の距離を表す尺度の和あるいは積を
    とって、前記類似度を計算することを特徴とする音声認
    識装置。
  14. 【請求項14】 請求項12において、前記評価値計算
    手段は、予め得られ
  15. 【請求項15】 請求項12において、前記評価値計算
    手段は、認識単位のHMM(隠れマルコフモデル)を表
    現する音響パラメータ空間上の分布を用いて、前記類似
    度を計算することを特徴とする音声認識装置。
  16. 【請求項16】 請求項11において、新規語彙に対応
    する疑似的な音響パラメータ系列を生成し、前記音声認
    識手段に与える音響パラメータ系列生成手段を有するこ
    と、前記評価値計算手段は前記音声認識手段から得られ
    る尤度を用いて、前記評価値を計算することを特徴とす
    る音声認識装置。
  17. 【請求項17】 請求項16において、前記音声認識手
    段は、新規語彙を受理する文法を用いる第1の音声認識
    処理と、既登録語彙のみを受理する文法を用いる第2の
    音声認識処理を行うこと、前記評価値計算手段は前記評
    価値として、第1の音声認識処理で得られた尤度と第2
    の音声認識処理で得られた尤度との差を計算することを
    特徴とする音声認識装置。
  18. 【請求項18】 請求項17において、前記音響パラメ
    ータ系列生成手段は、HMM(隠れマルコフモデル)を
    用いて、音響パラメータ系列を生成することを特徴とす
    る音声認識装置。
  19. 【請求項19】 請求項18において、前記音響パラメ
    ータ系列生成手段は、前記HMMの分散を用いて摂動を
    与え、あるいは、雑音HMMの音響パラメータをランダ
    ムに接続して、音響パラメータ系列を生成することを特
    徴とする音声認識装置。
  20. 【請求項20】 請求項1から10いずれかに記載の音
    声認識語彙登録判定方法をコンピュータに実行させるコ
    ンピュータプログラム。
  21. 【請求項21】 請求項21に記載のコンピュータプロ
    グラムを記録した記録媒体。
JP2001100776A 2001-03-30 2001-03-30 音声認識語彙登録判定方法及び音声認識装置 Pending JP2002297181A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001100776A JP2002297181A (ja) 2001-03-30 2001-03-30 音声認識語彙登録判定方法及び音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001100776A JP2002297181A (ja) 2001-03-30 2001-03-30 音声認識語彙登録判定方法及び音声認識装置

Publications (1)

Publication Number Publication Date
JP2002297181A true JP2002297181A (ja) 2002-10-11

Family

ID=18954190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001100776A Pending JP2002297181A (ja) 2001-03-30 2001-03-30 音声認識語彙登録判定方法及び音声認識装置

Country Status (1)

Country Link
JP (1) JP2002297181A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039954A (ja) * 2004-07-27 2006-02-09 Denso Corp データベース検索装置、プログラム及びナビゲーション装置
WO2006109515A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 操作者認識装置、操作者認識方法、および、操作者認識プログラム
JP2008090272A (ja) * 2006-09-29 2008-04-17 Honda Research Inst Europe Gmbh 子供に向けられた発話を使用してモデル・ベースの音声の区分化をブートストラップすること、および認識システム
JP2009223172A (ja) * 2008-03-18 2009-10-01 Advanced Telecommunication Research Institute International 物品推定システム
US7848926B2 (en) 2004-11-22 2010-12-07 National Institute Of Advanced Industrial Science And Technology System, method, and program for correcting misrecognized spoken words by selecting appropriate correction word from one or more competitive words
US8200478B2 (en) 2009-01-30 2012-06-12 Mitsubishi Electric Corporation Voice recognition device which recognizes contents of speech
DE112009004357T5 (de) 2009-01-30 2012-07-12 Mitsubishi Electric Corp. Spracherkennungssystem
JP2013171222A (ja) * 2012-02-22 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> 単語追加装置、単語追加方法、およびプログラム
EP3023978A1 (en) * 2014-11-20 2016-05-25 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
JP2018132626A (ja) * 2017-02-15 2018-08-23 クラリオン株式会社 音声認識システム、音声認識サーバ、端末装置、及び語句管理方法
KR20210049742A (ko) * 2014-11-20 2021-05-06 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
KR20220143801A (ko) * 2021-04-22 2022-10-25 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039954A (ja) * 2004-07-27 2006-02-09 Denso Corp データベース検索装置、プログラム及びナビゲーション装置
US7848926B2 (en) 2004-11-22 2010-12-07 National Institute Of Advanced Industrial Science And Technology System, method, and program for correcting misrecognized spoken words by selecting appropriate correction word from one or more competitive words
JPWO2006109515A1 (ja) * 2005-03-31 2008-10-23 パイオニア株式会社 操作者認識装置、操作者認識方法、および、操作者認識プログラム
JP4588069B2 (ja) * 2005-03-31 2010-11-24 パイオニア株式会社 操作者認識装置、操作者認識方法、および、操作者認識プログラム
US7979718B2 (en) 2005-03-31 2011-07-12 Pioneer Corporation Operator recognition device, operator recognition method and operator recognition program
WO2006109515A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 操作者認識装置、操作者認識方法、および、操作者認識プログラム
JP2008090272A (ja) * 2006-09-29 2008-04-17 Honda Research Inst Europe Gmbh 子供に向けられた発話を使用してモデル・ベースの音声の区分化をブートストラップすること、および認識システム
JP2009223172A (ja) * 2008-03-18 2009-10-01 Advanced Telecommunication Research Institute International 物品推定システム
DE112009004357B4 (de) 2009-01-30 2019-06-13 Mitsubishi Electric Corp. Spracherkennungssystem
US8200478B2 (en) 2009-01-30 2012-06-12 Mitsubishi Electric Corporation Voice recognition device which recognizes contents of speech
DE112009004357T5 (de) 2009-01-30 2012-07-12 Mitsubishi Electric Corp. Spracherkennungssystem
US8977547B2 (en) 2009-01-30 2015-03-10 Mitsubishi Electric Corporation Voice recognition system for registration of stable utterances
JP2013171222A (ja) * 2012-02-22 2013-09-02 Nippon Telegr & Teleph Corp <Ntt> 単語追加装置、単語追加方法、およびプログラム
EP3023978A1 (en) * 2014-11-20 2016-05-25 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US9830908B2 (en) 2014-11-20 2017-11-28 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US10381004B2 (en) 2014-11-20 2019-08-13 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US10885916B2 (en) 2014-11-20 2021-01-05 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
CN112216281A (zh) * 2014-11-20 2021-01-12 三星电子株式会社 用于登记用户命令的显示装置和方法
KR20210049742A (ko) * 2014-11-20 2021-05-06 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
KR102456588B1 (ko) * 2014-11-20 2022-10-21 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
US11495228B2 (en) 2014-11-20 2022-11-08 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US11900939B2 (en) 2014-11-20 2024-02-13 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
CN112216281B (zh) * 2014-11-20 2024-05-24 三星电子株式会社 用于登记用户命令的显示装置和方法
JP2018132626A (ja) * 2017-02-15 2018-08-23 クラリオン株式会社 音声認識システム、音声認識サーバ、端末装置、及び語句管理方法
KR20220143801A (ko) * 2021-04-22 2022-10-25 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
KR102599069B1 (ko) 2021-04-22 2023-11-06 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법

Similar Documents

Publication Publication Date Title
US10157610B2 (en) Method and system for acoustic data selection for training the parameters of an acoustic model
US7421387B2 (en) Dynamic N-best algorithm to reduce recognition errors
JP5480760B2 (ja) 端末装置、音声認識方法および音声認識プログラム
US9646605B2 (en) False alarm reduction in speech recognition systems using contextual information
JP4705023B2 (ja) 音声認識装置、音声認識方法、及びプログラム
US8271282B2 (en) Voice recognition apparatus, voice recognition method and recording medium
US20180137109A1 (en) Methodology for automatic multilingual speech recognition
KR101153078B1 (ko) 음성 분류 및 음성 인식을 위한 은닉 조건부 랜덤 필드모델
EP1447792B1 (en) Method and apparatus for modeling a speech recognition system and for predicting word error rates from text
US20060074664A1 (en) System and method for utterance verification of chinese long and short keywords
US20020188446A1 (en) Method and apparatus for distribution-based language model adaptation
JP5752060B2 (ja) 情報処理装置、大語彙連続音声認識方法及びプログラム
JP2008134475A (ja) 入力された音声のアクセントを認識する技術
WO2021103712A1 (zh) 一种基于神经网络的语音关键词检测方法、装置及***
JP2014232268A (ja) 音声認識における読み精度を改善するシステム、方法、およびプログラム
JP2018159788A (ja) 情報処理装置、方法及びプログラム
JP6031316B2 (ja) 音声認識装置、誤り修正モデル学習方法、及びプログラム
JP2002297181A (ja) 音声認識語彙登録判定方法及び音声認識装置
JP5180800B2 (ja) 統計的発音変異モデルを記憶する記録媒体、自動音声認識システム及びコンピュータプログラム
US20050187767A1 (en) Dynamic N-best algorithm to reduce speech recognition errors
JP4758919B2 (ja) 音声認識装置及び音声認識プログラム
JP3660512B2 (ja) 音声認識方法、その装置及びプログラム記録媒体
JP2002342323A (ja) 言語モデル学習装置およびそれを用いた音声認識装置ならびに言語モデル学習方法およびそれを用いた音声認識方法ならびにそれらの方法を記憶した記憶媒体
JP2007078943A (ja) 音響スコア計算プログラム
JP4259100B2 (ja) 音声認識用未知発話検出装置及び音声認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060606