JP3790155B2 - 音声認識装置、音声認識方式及び音声認識プログラム - Google Patents
音声認識装置、音声認識方式及び音声認識プログラム Download PDFInfo
- Publication number
- JP3790155B2 JP3790155B2 JP2001376615A JP2001376615A JP3790155B2 JP 3790155 B2 JP3790155 B2 JP 3790155B2 JP 2001376615 A JP2001376615 A JP 2001376615A JP 2001376615 A JP2001376615 A JP 2001376615A JP 3790155 B2 JP3790155 B2 JP 3790155B2
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- feature vector
- time series
- vector time
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は不特定話者および不特定環境における良好な音声認識性能を提供する音声認識装置、音声認識方法及び音声認識プログラムに関する。
【０００２】
【従来の技術】
音声認識装置、特に不特定話者および不特定環境における音声認識装置においては学習時と認識時の話者および環境が異なることによる変動があるため、認識時に認識性能が低下することがある。ここで、話者および環境が異なることによる変動の要因として、音声入力に用いられるマイクの種類や設置位置の違いによる影響、アナログ回路の伝達特性による影響、話者の声道長の違いによる話者性の影響、マイクから話者までの距離による影響等が挙げられる。
【０００３】
これらの影響により音声の周波数特徴に乗算的な変動（乗算性ノイズ）が生ずる。音声の周波数特徴を用いる音声認識装置においては、認識時に乗算性ノイズが生ずることにより学習時の音声に対して認識時の音声が変動してしまうため認識性能が低下する。
【０００４】
そのような乗算性ノイズを除去するための手法としてCMN（Cepstral Mean Normalization・ケプストラム平均値正規化）法が知られている。CMN法は音声の周波数領域における乗算性ノイズを周波数スペクトルパワーの対数を逆フーリエ変換して得られるケプストラム（Cepstrum）領域における加算性ノイズとみなして除去するという手法である。
【０００５】
ここで、音声の周波数領域における乗算性ノイズは周波数スペクトルパワーの対数をとった領域における加算性ノイズとみなすことができるため、ケプストラムに限らず周波数スペクトルパワーの対数を音声の特徴として用いる場合にも、CMN法は同様に適用可能であり乗算性ノイズの除去に効果がある。
【０００６】
次に、CMN法を用いた従来の音声認識装置の概要を図９を用いて説明する。
【０００７】
図９の音声認識装置は入力された音声を例えば数１０msecのフレーム毎に切り出して周波数分析を行い特徴ベクトル時系列(ここではケプストラムの時系列とする)C(t)(t=1...T)に変換し出力する音声分析部４１と、特徴ベクトル時系列C(t)の任意の区間内の平均値CMを求める平均値導出部４２と、この平均値導出部４２で求めた平均値CMを記憶する平均値記憶部４３と、特徴ベクトル時系列C(t)から平均値CMを減算することで特徴ベクトル時系列を補正する補正部４４と、補正後の特徴ベクトル時系列Cr(t)を用いて音声標準パターン部45-1に記憶された音声標準パターンに対する尤度Uo(t)を計算する尤度計算部４５と、前述の尤度Uo(t)に基づいて音声認識を行う認識処理部４６を備えて構成される。
【０００８】
図９の平均値導出部４３において平均値CMは以下の式(1)で求める。なお、以下の式(1)では、平均値を求める区間として入力音声の全区間(t=1...T)を用いる場合を例として挙げているが音声入力中の任意の区間を設定する場合もある。
【０００９】
【数１】
【００１０】
また、図９の補正部４４では以下の式(2)に示すように、特徴ベクトル時系列C(t)から平均値CMを減算することで、補正後の特徴ベクトル時系列Cr(t)を求めて出力する。
【００１１】
Cr(t) = C(t)−CM … (2)
ここで、前述の式(1)および式(2)で示される特徴ベクトル時系列の平均値を求めて、その平均値を特徴ベクトル時系列から減算するまでの処理をCMN法と呼ぶ。
【００１２】
周波数領域における乗算性ノイズは、ケプストラム領域においては加算性ノイズとして現れる。したがって、前述の式(1)で求められる平均値CMは周波数領域における乗算性ノイズのケプストラム領域における推定値と見なすことができる。このことから、前述の式(2)の演算によって周波数領域における乗算性ノイズを特徴ベクトル時系列から除去することが可能となる。
【００１３】
尤度計算部４５において乗算性ノイズを除去した特徴ベクトル時系列C(t)に対する音声標準パターンの尤度Uo(t)を出力し、認識処理部４６において尤度Uo(t)に基づき認識処理を行い認識結果を出力する。この結果、乗算性ノイズを除去でき認識時の音声の変動を抑えることができるため、良好な認識性能が得られる。
【００１４】
しかし、前述の式(1)では入力音声の全区間から平均値CMを求めているために、平均値CMの値は入力音声中の発声に含まれる音素の影響を受ける。
【００１５】
一般に音声認識装置を使用する場面においては、各発声に含まれる音素は発声の内容に応じて変化する。そのため入力音声に含まれる乗算性ノイズによらず、各発声の内容に応じて平均値CMの値が変動してしまい、乗算性ノイズの正しい推定値が求めることができない。この結果、CMN法による特徴ベクトル時系列の補正を正しく行うことができず、認識性能が低下してしまう。
【００１６】
上記を解決する方法として、入力音声中の発声区間と非発声区間とを判別し、非発声区間内の平均値をCMとする方法が考えられる。このようにして求められた平均値CMは音素の影響を受けないため、乗算性ノイズの正しい推定値となることが期待できる。
【００１７】
しかし、平均値CMを求める区間が十分に長くとれない場合には、平均値CMを求めるために用いる特徴ベクトル系列C(t)のサンプル数が少なくなり、平均値CMによる乗算性ノイズの推定精度は低下する。その結果、CMN法による特徴ベクトル時系列の補正を正しく行うことができず、やはり認識性能が低下してしまう。
【００１８】
乗算性ノイズの安定した推定のためには、平均値CMを求める区間を十分に長くとることが望ましい。しかし、不特定話者および不特定環境における音声認識装置では話者および環境が変化する毎に乗算性ノイズを推定し直さなければならないが、話者および環境が頻繁に変化するような状況では、乗算性ノイズの安定した推定のための十分に長い区間がとれない場合がある。
【００１９】
例えば、ある話者Ａが音声認識装置の近くから短い発声を音声認識装置に入力した直後に別の話者Ｂが音声認識装置から離れた場所から短い発声を音声認識装置に入力したような場合には、話者Ａおよび話者Ｂそれぞれの短い入力音声（発声）からだけで新たに平均値CMを求め直さなければならない。このように短い区間から求められた平均値CMでは乗算性ノイズの安定した推定を行えないのは前述の通りである。
【００２０】
ここで、CMN法とは別に様々な乗算性ノイズを含む音声データを大量に用意することである程度良好な音声認識性能を得ることもできる。例えば、大量の話者の発声をマイク、マイク位置、マイクからの距離及び外部環境などの条件を変化させて収録し、収録された音声を学習に用いることで乗算性ノイズを除去しなくとも認識時の話者やマイク及びマイクからの距離・環境などの条件によらずある程度良好な認識性能を得ることができる。
【００２１】
しかし、認識時に現れる話者および環境の特徴を全て備えた学習データの集合を用意することは事実上不可能なため、この方法による認識性能の向上には限界がある。
【００２２】
このとき、前述のように収録された音声データに対して学習時や認識時ともにCMN法による乗算性ノイズの除去を行うことで、より良好な認識性能が得られる。ただし前述の通り、不特定話者および不特定環境における音声認識装置では、常に安定した乗算性ノイズの推定が行えるとは限らないため乗算性ノイズの推定がうまくいかない場合には、特徴ベクトル時系列の補正を正しく行うことができず、不適切な補正が行われてしまうために認識性能が低下してしまう。
【００２３】
【発明が解決しようとする課題】
上述したように、従来は音素の影響を排除して乗算性ノイズを推定するためには推定する区間を短くする必要があったが、この場合には乗算性ノイズの十分な推定を行えない場合がある。
【００２４】
このような問題を解決するために、本発明は乗算性ノイズの安定な推定が行えない場合にも良好な音声認識性能を提供するための音声認識装置、音声認識方法及び音声認識プログラムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本発明の音声認識装置では、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換する音声分析部と、この音声分析部から出力された前記特徴ベクトル時系列の任意の区間内での平均値を求める平均値導出部と、この平均値導出部で求められた前記平均値を記憶する平均値記憶部と、この平均値記憶部で記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正する補正部と、前記音声分析部から出力された補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算する補正前尤度計算部と、前記補正部から出力された補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算する補正後尤度計算部と、前記補正前尤度計算部から出力される尤度と前記補正後尤度計算部から出力される尤度とを合成する尤度合成部と、この尤度合成部から出力される尤度に基づいて音声認識を行う認識処理部とを備えることを特徴とする。
【００２６】
また、本発明の音声認識方法では、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換するステップと、前記特徴ベクトル時系列の任意の区間内での平均値を求めるステップと、前記平均値を記憶するステップと、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正するステップと、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算するステップと、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算するステップと、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成するステップと、前記合成された尤度に基づいて音声認識を行うステップとを含むことを特徴とする。
【００２７】
また、本発明の音声認識プログラムでは、入力された音声を認識しその認識結果を出力する音声認識プログラムにおいて、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換し、前記特徴ベクトル時系列の任意の区間内での平均値を求め、前記平均値を記憶し、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで特徴ベクトル時系列を補正し、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算し、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算し、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成し、前記合成された尤度に基づいて音声認識を行う機能を実現することを特徴とする。
【００２８】
これらの発明では、補正前尤度計算部から出力される尤度と補正後尤度計算部から出力される尤度とを尤度合成部にて合成し、この尤度合成部から出力される尤度に基づき認識処理を行うことで上記の課題を解決する。乗算性ノイズの安定な推定が行える場合には、乗算性ノイズの除去を正しく行えるため乗算性ノイズを除去した補正後特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができ、CMN法により良好な認識性能が得られる。
【００２９】
逆に、乗算性ノイズの安定な推定が行えない場合には、乗算性ノイズの除去が正しく行えないため補正後特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができなくなるが、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度は乗算性ノイズの推定の精度によらず常に正しい値を求めることができるため、補正前尤度計算部から出力される尤度と補正後尤度計算部から出力される尤度とを尤度合成部において合成した尤度に基づいて認識処理を行うことで、性能低下を抑えることができる。
【００３３】
また、本発明の音声認識装置又は音声認識方法では、補正前尤度計算出力および補正後尤度計算出力にあらかじめ重み付けを行ってから合成を行うことを特徴とする。
【００３４】
これらの発明では乗算性ノイズの推定が安定して行われている場合には、乗算性ノイズを除去した補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度が正しく求められるため、補正後尤度計算部の出力の重みを増すことで、重み無しの場合に比べてCMN法の効果を大きく働かせることができ、認識性能の低下を抑えることができる。
【００３５】
逆に、乗算性ノイズの推定が安定して行われない場合には、乗算性ノイズの推定が正しく行われないため、補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができなくなるが、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度は乗算性ノイズの推定の精度によらず常に正しい値を求めることができるため、補正前尤度計算部の出力の重みを増すことで、認識性能の低下を抑えることができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
（第1実施形態）
図１は本発明の音声認識装置に係る第１の実施形態を説明するブロック図であり、図２はその動作を示したフロー図である。
【００３７】
図１において、入力された音声信号をフレーム毎に切り出して特徴ベクトル時系列に変換する音声分析部１１と、前記の音声分析部から出力された特徴ベクトル時系列の任意の区間内での平均値を求める平均値導出部１２と、この平均値導出部で求めた平均値を記憶する平均値記憶部１３と、前記の平均値記憶部に記憶された平均値を特徴ベクトル時系列からフレーム毎に減算することで特徴ベクトル時系列を補正する補正部１４と、前記の音声分析部から出力された補正前の特徴ベクトル時系列を用いて補正前音声標準パターン部15-1に記憶されている補正前音声標準パターンに対する尤度を計算する補正前尤度計算部１５と、前記の補正部から出力された補正後の特徴ベクトル時系列を用いて補正後音声標準パターン部16-1に記憶されている補正後音声標準パターンに対する尤度を計算する補正後尤度計算部１６と、前記の補正前尤度計算部１５の出力および前記の補正後尤度計算部１６の出力とを合成する尤度合成部１７と、尤度合成部１７から出力される尤度に基づいて音声認識を行う認識処理部１８を備える。
【００３８】
本実形態では音声データに対して、乗算性雑音を除去せずに求める補正前の特徴ベクトル時系列と乗算性雑音を除去して求める補正後の特徴ベクトル時系列を用意し、この両方を併用して学習を行う。すなわち、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンを学習し、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンを学習する。
【００３９】
また、認識時には学習時と同様に入力音声に対して補正前の特徴ベクトル時系列と補正後の特徴ベクトル時系列を求めてこの両者を併用して認識処理を行うものである。
【００４０】
次に図２のフロー図を用いてその動作を説明する。
【００４１】
認識時にはまず、音声分析部１１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step11）。ここで本実施形態では、特徴ベクトル時系列としてケプストラムの時系列を用いているが、周波数スペクトルの対数に基づく任意の特徴量を用いることもできる。
【００４２】
次に、平均値導出部１２において、入力音声の全区間(t=1...T)を平均値を求める区間とし、以下の式(3)で平均値CMを求める（step12）。
【００４３】
【数２】
【００４４】
ここで、この実施形態では入力音声の全区間を平均値を求める区間として用いたが、入力音声中の任意の区間を用いても良い。
【００４５】
次に、平均値記憶部１３において平均値導出部１２から出力される平均値CMを記憶する（step13）。
【００４６】
次に、補正部１４において、以下の式(4)で補正後の特徴ベクトル時系列Cr(t)を求める（step14）。
【００４７】
Cr(t) = C(t) - CM … (4)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部１５で求め（step15）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部１６で求める（step16）。
【００４８】
次に、尤度合成部１６において尤度Ui(t)および尤度Ur(t)を以下の式(5)で合成し、尤度Uo(t)を求める（step17）。
【００４９】
Uo(t) = Ui(t) + Ur(t) … (5)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００５０】
次に、認識処理部１８において尤度合成部１７から出力される尤度Uo(t)に基づき認識処理を行い（step18）、認識結果を出力する。
【００５１】
このような認識処理時では、乗算性ノイズの推定が正しく行えている場合にはCMN法による特徴ベクトル時系列の補正が正しく行われ、補正後の特徴ベクトル時系列Cr(t)が補正後音声標準パターンによくマッチし、補正後音声標準パターンに対する尤度Ur(t)を正しく求められるため、良好な認識性能が得られる。
【００５２】
逆に、乗算性ノイズの推定が正しく行えなかった場合には補正後の特徴ベクトル時系列Cr(t)は補正後音声標準パターンにマッチせず、尤度Ur(t)を正しく求めることができないが、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)は乗算性ノイズの推定の精度によらず正しく求めることができるため、この尤度Ui(t)と尤度Ur(t)を合成した尤度Uo(t)に基づき認識処理を行うことで認識性能の低下を抑えることができる。
【００５３】
さらに、 補正前尤度計算部１５の尤度と補正後尤度計算部１６の尤度とを合成することにより認識性能が向上することを図３を用いて説明する。
【００５４】
補正後尤度計算部１６の尤度のみを用いた場合に乗算性ノイズの安定な推定が行える場合（周囲の雑音・マイク位置・話者などが頻繁に変動しないような環境）には認識性能は前述したようにとても高くなる。逆に、安定な推定が行えない場合（周囲の雑音・マイク位置・話者などが頻繁に変動するような環境）には、認識性能はとても悪化することになる。この悪化は補正前尤度計算部１５の尤度のみを用いた場合の性能よりも悪くなる可能性がある。これは安定な推定が行えない場合、乗算性ノイズによる変動に安定でない推定における特徴ベクトルの補正による変動が加わり、これが乗算性ノイズのみによる変動よりも大きくなるからである。
【００５５】
これに対して、補正前尤度計算部１５の尤度のみを用いた場合には乗算性ノイズの推定精度に因らずほぼ一定の性能が得られる。補正前尤度計算部１５の尤度にはもともと乗算性ノイズ重畳による影響があるため性能はそれほど良くはない。しかし、想定範囲内の乗算性ノイズの変動に対してはその範囲内で乗算性ノイズが不安定に変動しようがしまいがほぼ一定の性能が得られる。
【００５６】
したがって、補正前尤度計算部１５の尤度と補正後尤度計算部の尤度１６を合成することでちょうどその中間の性能を得られることが期待できる。すなわち、この合成により乗算性ノイズの安定な推定が行えないときの補正後尤度計算部１６の尤度の影響(悪影響)を減らすことができる。
【００５７】
このように本実施形態では、補正前尤度計算部１５の出力および補正後尤度計算部１６の出力を合成して得られる尤度に基づき認識処理を行うことで、乗算性ノイズの推定の精度によらず良好な認識性能を提供できる。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図４は第２の実施形態を説明するブロック図であり、図５はその動作を示したフロー図である。
【００５８】
図４に示した音声分析部２１、平均値導出部２２、補正部２４、補正前尤度計算部２５、補正前音声標準パターン25-1、補正後尤度計算部２６、補正後音声標準パターン部26-1、尤度合成部２７、認識処理部２８はそれぞれ図１に示した音声分析部１１、平均値導出部１２、補正部１４、補正前尤度計算部１５、補正前音声標準パターン15-1、補正後尤度計算部１６、補正後音声標準パターン部16-1、尤度合成部１７、認識処理部１８とそれぞれ同等もしくは等価な構成要素である。
【００５９】
本実施形態では、入力音声において、音素を含まない非発声区間を複数個とれる場合には平均値CMを求める区間を複数個設定し、それぞれの区間で求めた複数個の平均値を平均値記憶部２３で記憶するものであり、図４の音声認識装置では平均値記憶部２３において、異なる２つの区間で求めた２つの平均値CM1、CM2をそれぞれ記憶するものである。
【００６０】
ここで、本実施形態では記憶する平均値の個数を２としたが、記憶する平均値の個数は２以上のどのような個数であっても良い。補正部２４では、平均値記憶部２３に記憶された平均値CM1、CM2のうち、どちらの平均値を参照するかを任意のタイミングで切り替え、特徴ベクトル時系列C(t)からCM1もしくはCM2を減算することで補正後の特徴ベクトル時系列Cr(t)を求める。
【００６１】
次にその動作を図５のフロー図を用いて説明する。
【００６２】
認識時にはまず、音声分析部２１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step21）。
【００６３】
次に、平均値導出部２２において、入力音声の非発生区間を含む区間の平均値ＣＭを複数求める（step22）。
【００６４】
次に、平均値記憶部２３において平均値導出部２２から出力される複数の平均値CMを記憶する（step23）。
【００６５】
次に、複数の平均値CMの中の１つを選択して参照する平均値CMの切り替えを行う（step24）。
【００６６】
次に、補正部２４において、以下の式(4)で補正後の特徴ベクトル時系列Cr(t)を求める（step25）。
【００６７】
Cr(t) = C(t) - CM … (4)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部２５で求め（step26）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部２６で求める（step27）。
【００６８】
次に、尤度合成部２６において尤度Ui(t)および尤度Ur(t)を以下の式(6)で合成し、尤度Uo(t)を求める（step28）。
【００６９】
Uo(t) = Ui(t) + Ur(t) … (6)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００７０】
次に、認識処理部２８において尤度合成部２７から出力される尤度Uo(t)に基づき認識処理を行い（step29）、認識結果を出力する。
【００７１】
ここで、step22〜step24に示されている動作について補正部２４が参照する平均値の切り替えについて、図６を詳細に用いて説明する。
【００７２】
まず、ある入力音声に対して、音声入力の開始時点からの非発声区間を含む区間内の平均値を第１の平均値CM1として求めて、平均値導出部２３で記憶する。この平均値CM１を用いて、１番目の発声の特徴ベクトル時系列を補正する。
【００７３】
２番目の発声の前に、平均値CM1を求めた区間よりも十分に長い非発声区間があれば、その非発声区間を含む十分に長い区間を平均値を求める区間として再設定し、その区間内で第２の平均値CM２を求めて、平均値導出部２３で記憶する。
【００７４】
このとき、平均値CM1を求めた区間に対して、平均値CM2を求めた区間は、発声区間を含まず十分に長いものとする。その結果、平均値CM1に比べて平均値CM2は乗算性ノイズのより正しい推定値となることが期待できる。このとき、非発声区間の検出に誤りがあり、平均値を求める区間内に発声が含まれてしまい、発声内の音素の影響で乗算性ノイズの推定が正しく行われなかった場合にも、本発明によれば認識性能の低下を抑えることができるのは既に説明した通りである。
【００７５】
本実形態では、図６における２番目（以降）の発声の特徴ベクトル時系列を補正する前に、補正部２４において、参照する平均値を平均値CM1から平均値CM2に切り替える。この結果、１番目の発声に対して２番目（以降）の発声では、平均値CM1に比べてより正しい乗算性ノイズの推定値である平均値CM2を用いて乗算性ノイズの除去を行えるため、認識性能が向上する。
【００７６】
また、本実施形態によれば、平均値CM2を求めるより前に、１番目の発声における特徴ベクトル時系列の補正および１番目の発声の認識処理を行えるため、入力に対する認識結果出力の時間遅延を低く抑えられるという利点もある。このように本実施形態では、平均値CMを求める区間を複数個設定し、複数個の区間それぞれに対応する複数個の平均値を求め、認識処理中に補正部２４で参照する平均値を切り替えることで良好な認識性能を提供できる。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図７は第３の実施形態を説明するブロック図であり、図８はその動作を示すフロー図である。
【００７７】
図７に示した音声分析部３１、平均値導出部３２、平均値記憶部３３、補正部３４、補正前尤度計算部３５、補正前音声標準パターン35-1、補正後尤度計算部３６、補正後音声標準パターン部36-1、尤度合成部３７、認識処理部３８はそれぞれ図１に示した音声分析部１１、平均値導出部１２、平均値記憶部１３、補正部１４、補正前尤度計算部１５、補正前音声標準パターン15-1、補正後尤度計算部１６、補正後音声標準パターン部16-1、尤度合成部１７、認識処理部１８とそれぞれ同等もしくは等価な構成要素である。
【００７８】
本実施形態では、尤度合成部３７において、補正前尤度計算部３６から出力される尤度Ui(t)および補正後尤度計算部３７から出力される尤度Ur(t)を合成する前に、尤度重み付け器（39-1，39-2）で尤度Ui(t)およびUr(t)に重み付けを行ってから合成を行う。
【００７９】
次にその動作を図８のフロー図を用いて説明する。
【００８０】
認識時にはまず、音声分析部３１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step31）。
【００８１】
次に、平均値導出部３２において、入力音声の全区間(t=1...T)を平均値を求める区間とし、以下の式(7)で平均値CMを求める（step32）。
【００８２】
【数３】
【００８３】
ここで、この実施形態では入力音声の全区間を平均値を求める区間として用いたが、入力音声中の任意の区間を用いても良い。
【００８４】
次に、平均値記憶部３３において平均値導出部１２から出力される平均値CMを記憶する（step33）。
【００８５】
次に、補正部３４において、以下の式(8)で補正後の特徴ベクトル時系列Cr(t)を求める（step34）。
【００８６】
Cr(t) = C(t) - CM … (8)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部３５で求め（step35）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部３６で求める（step36）。
【００８７】
次に、尤度重み付け器(39-1,39-2)により尤度Ui(t)および尤度Ur(t)に重み付けを行う（step37）。
【００８８】
次に、尤度合成部３６において尤度Ui(t)および尤度Ur(t)を以下の式(9)で合成し、尤度Uo(t)を求める（step38）。
【００８９】
Uo(t) = Ui(t) + Ur(t) … (9)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００９０】
次に、認識処理部３８において尤度合成部３７から出力される尤度Uo(t)に基づき認識処理を行い（step39）、認識結果を出力する。
【００９１】
ここで、step37に示されている尤度重み付けについて詳細に説明する。重み付けは、以下の式(10)で行う。
【００９２】
Uo(t) = (Wi * Ui(t)) + (Wr * Ur(t)) … (10)
式(6)で、Wiは尤度Ui(t)に対する重み、Wrは尤度Ur(t)に対する重みである。重み付けを行わない場合は Wi=Wr となる。
【００９３】
ここで、本実施形態では２つの尤度の合成を加算により行っているが、他の演算を用いても良い。
【００９４】
乗算性ノイズの推定が安定して行えるような条件が整っている場合には、尤度Ui(t)よりも尤度Ur(t)にあらかじめ大きな重み付けをして加算する。具体的には Wi>Wr とする。
【００９５】
この結果、CMN法を適用し乗算性ノイズを除去した補正後の特徴ベクトルCr(t)に対する尤度Ur(i)を正しく求めることができるため、尤度Ur(t)の重みを増すことで、CMN法の効果を重み付け無しの場合に比べて大きく働かせることができ、その結果としてより良好な認識性能を提供できる。
【００９６】
ここで、乗算性ノイズの推定が安定して行えるような条件としては、認識時に話者やマイク・マイク位置・マイクからの距離・外部環境などがある一定時間以上変化しないような場合が挙げられる。
【００９７】
逆に、前述の条件が整っていない場合、すなわち乗算性ノイズの推定が安定して行えないような場合には、尤度Ui(t)に尤度Ur(i)よりも大きな重み付けをして加算する。
【００９８】
具体的には Wi<Wr とする。この結果、乗算性ノイズの推定が安定しないため、尤度Ur(t)を正しく求めることができなくなるが、補正前の特徴ベクトル時系列C(t)に対する尤度Ui(t)は乗算性ノイズの推定の精度によらず常に正しく求めることができるため、尤度Ui(t)の重みを増すことで、認識性能の低下をより効果的に抑えることができる。
【００９９】
このように本実施形態では、乗算性ノイズの推定を安定に行えるか否かに応じて、尤度Ui(t)および尤度Ur(t)の出力を加算する際の重み付けWi、Wrのバランスを変化させることで、乗算性ノイズの推定の精度によらず良好な認識性能を提供できる。
【０１００】
なお、本発明は音声認識プログラムに適用することも言うまでもない。
【０１０１】
【発明の効果】
以上説明したように、本発明の音声認識装置、音声認識方法及び音声認識プログラムによれば、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度と補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度とを合成した尤度に基づく認識処理を行うことで、乗算性ノイズの推定の精度によらず良好な認識性能を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の概要を示すブロック図
【図２】本発明の第１の実施形態の概要を示すフロー図
【図３】本発明の第１の実施形態における尤度の合成を説明する図
【図４】本発明の第２の実施形態の概要を示すブロック図
【図５】本発明の第２の実施形態の概要を示すフロー図
【図６】本発明の第２の実施形態における複数の区間を設定し複数の平均値を求める際の処理について説明する図
【図７】本発明の第３の実施形態の概要を示すブロック図
【図８】本発明の第３の実施形態の概要を示すフロー図
【図９】従来手法の概要を示すブロック図
【符号の説明】
１１…音声分析部
１２…平均値導出部
１３…平均値記憶部
１４…補正部
１５…補正前尤度計算部
１６…補正後尤度計算部
１７…尤度合成部
１８…認識処理部
２１…音声分析部
２２…平均値導出部
２３…平均値記憶部
２４…補正部
２５…補正前尤度計算部
２６…補正後尤度計算部
２７…尤度合成部
２８…認識処理部
３１…音声分析部
３２…平均値導出部
３３…平均値記憶部
３４…補正部
３５…補正前尤度計算部
３６…補正後尤度計算部
３７…尤度合成部
３８…認識処理部
【発明の属する技術分野】
本発明は不特定話者および不特定環境における良好な音声認識性能を提供する音声認識装置、音声認識方法及び音声認識プログラムに関する。
【０００２】
【従来の技術】
音声認識装置、特に不特定話者および不特定環境における音声認識装置においては学習時と認識時の話者および環境が異なることによる変動があるため、認識時に認識性能が低下することがある。ここで、話者および環境が異なることによる変動の要因として、音声入力に用いられるマイクの種類や設置位置の違いによる影響、アナログ回路の伝達特性による影響、話者の声道長の違いによる話者性の影響、マイクから話者までの距離による影響等が挙げられる。
【０００３】
これらの影響により音声の周波数特徴に乗算的な変動（乗算性ノイズ）が生ずる。音声の周波数特徴を用いる音声認識装置においては、認識時に乗算性ノイズが生ずることにより学習時の音声に対して認識時の音声が変動してしまうため認識性能が低下する。
【０００４】
そのような乗算性ノイズを除去するための手法としてCMN（Cepstral Mean Normalization・ケプストラム平均値正規化）法が知られている。CMN法は音声の周波数領域における乗算性ノイズを周波数スペクトルパワーの対数を逆フーリエ変換して得られるケプストラム（Cepstrum）領域における加算性ノイズとみなして除去するという手法である。
【０００５】
ここで、音声の周波数領域における乗算性ノイズは周波数スペクトルパワーの対数をとった領域における加算性ノイズとみなすことができるため、ケプストラムに限らず周波数スペクトルパワーの対数を音声の特徴として用いる場合にも、CMN法は同様に適用可能であり乗算性ノイズの除去に効果がある。
【０００６】
次に、CMN法を用いた従来の音声認識装置の概要を図９を用いて説明する。
【０００７】
図９の音声認識装置は入力された音声を例えば数１０msecのフレーム毎に切り出して周波数分析を行い特徴ベクトル時系列(ここではケプストラムの時系列とする)C(t)(t=1...T)に変換し出力する音声分析部４１と、特徴ベクトル時系列C(t)の任意の区間内の平均値CMを求める平均値導出部４２と、この平均値導出部４２で求めた平均値CMを記憶する平均値記憶部４３と、特徴ベクトル時系列C(t)から平均値CMを減算することで特徴ベクトル時系列を補正する補正部４４と、補正後の特徴ベクトル時系列Cr(t)を用いて音声標準パターン部45-1に記憶された音声標準パターンに対する尤度Uo(t)を計算する尤度計算部４５と、前述の尤度Uo(t)に基づいて音声認識を行う認識処理部４６を備えて構成される。
【０００８】
図９の平均値導出部４３において平均値CMは以下の式(1)で求める。なお、以下の式(1)では、平均値を求める区間として入力音声の全区間(t=1...T)を用いる場合を例として挙げているが音声入力中の任意の区間を設定する場合もある。
【０００９】
【数１】
また、図９の補正部４４では以下の式(2)に示すように、特徴ベクトル時系列C(t)から平均値CMを減算することで、補正後の特徴ベクトル時系列Cr(t)を求めて出力する。
【００１１】
Cr(t) = C(t)−CM … (2)
ここで、前述の式(1)および式(2)で示される特徴ベクトル時系列の平均値を求めて、その平均値を特徴ベクトル時系列から減算するまでの処理をCMN法と呼ぶ。
【００１２】
周波数領域における乗算性ノイズは、ケプストラム領域においては加算性ノイズとして現れる。したがって、前述の式(1)で求められる平均値CMは周波数領域における乗算性ノイズのケプストラム領域における推定値と見なすことができる。このことから、前述の式(2)の演算によって周波数領域における乗算性ノイズを特徴ベクトル時系列から除去することが可能となる。
【００１３】
尤度計算部４５において乗算性ノイズを除去した特徴ベクトル時系列C(t)に対する音声標準パターンの尤度Uo(t)を出力し、認識処理部４６において尤度Uo(t)に基づき認識処理を行い認識結果を出力する。この結果、乗算性ノイズを除去でき認識時の音声の変動を抑えることができるため、良好な認識性能が得られる。
【００１４】
しかし、前述の式(1)では入力音声の全区間から平均値CMを求めているために、平均値CMの値は入力音声中の発声に含まれる音素の影響を受ける。
【００１５】
一般に音声認識装置を使用する場面においては、各発声に含まれる音素は発声の内容に応じて変化する。そのため入力音声に含まれる乗算性ノイズによらず、各発声の内容に応じて平均値CMの値が変動してしまい、乗算性ノイズの正しい推定値が求めることができない。この結果、CMN法による特徴ベクトル時系列の補正を正しく行うことができず、認識性能が低下してしまう。
【００１６】
上記を解決する方法として、入力音声中の発声区間と非発声区間とを判別し、非発声区間内の平均値をCMとする方法が考えられる。このようにして求められた平均値CMは音素の影響を受けないため、乗算性ノイズの正しい推定値となることが期待できる。
【００１７】
しかし、平均値CMを求める区間が十分に長くとれない場合には、平均値CMを求めるために用いる特徴ベクトル系列C(t)のサンプル数が少なくなり、平均値CMによる乗算性ノイズの推定精度は低下する。その結果、CMN法による特徴ベクトル時系列の補正を正しく行うことができず、やはり認識性能が低下してしまう。
【００１８】
乗算性ノイズの安定した推定のためには、平均値CMを求める区間を十分に長くとることが望ましい。しかし、不特定話者および不特定環境における音声認識装置では話者および環境が変化する毎に乗算性ノイズを推定し直さなければならないが、話者および環境が頻繁に変化するような状況では、乗算性ノイズの安定した推定のための十分に長い区間がとれない場合がある。
【００１９】
例えば、ある話者Ａが音声認識装置の近くから短い発声を音声認識装置に入力した直後に別の話者Ｂが音声認識装置から離れた場所から短い発声を音声認識装置に入力したような場合には、話者Ａおよび話者Ｂそれぞれの短い入力音声（発声）からだけで新たに平均値CMを求め直さなければならない。このように短い区間から求められた平均値CMでは乗算性ノイズの安定した推定を行えないのは前述の通りである。
【００２０】
ここで、CMN法とは別に様々な乗算性ノイズを含む音声データを大量に用意することである程度良好な音声認識性能を得ることもできる。例えば、大量の話者の発声をマイク、マイク位置、マイクからの距離及び外部環境などの条件を変化させて収録し、収録された音声を学習に用いることで乗算性ノイズを除去しなくとも認識時の話者やマイク及びマイクからの距離・環境などの条件によらずある程度良好な認識性能を得ることができる。
【００２１】
しかし、認識時に現れる話者および環境の特徴を全て備えた学習データの集合を用意することは事実上不可能なため、この方法による認識性能の向上には限界がある。
【００２２】
このとき、前述のように収録された音声データに対して学習時や認識時ともにCMN法による乗算性ノイズの除去を行うことで、より良好な認識性能が得られる。ただし前述の通り、不特定話者および不特定環境における音声認識装置では、常に安定した乗算性ノイズの推定が行えるとは限らないため乗算性ノイズの推定がうまくいかない場合には、特徴ベクトル時系列の補正を正しく行うことができず、不適切な補正が行われてしまうために認識性能が低下してしまう。
【００２３】
【発明が解決しようとする課題】
上述したように、従来は音素の影響を排除して乗算性ノイズを推定するためには推定する区間を短くする必要があったが、この場合には乗算性ノイズの十分な推定を行えない場合がある。
【００２４】
このような問題を解決するために、本発明は乗算性ノイズの安定な推定が行えない場合にも良好な音声認識性能を提供するための音声認識装置、音声認識方法及び音声認識プログラムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本発明の音声認識装置では、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換する音声分析部と、この音声分析部から出力された前記特徴ベクトル時系列の任意の区間内での平均値を求める平均値導出部と、この平均値導出部で求められた前記平均値を記憶する平均値記憶部と、この平均値記憶部で記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正する補正部と、前記音声分析部から出力された補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算する補正前尤度計算部と、前記補正部から出力された補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算する補正後尤度計算部と、前記補正前尤度計算部から出力される尤度と前記補正後尤度計算部から出力される尤度とを合成する尤度合成部と、この尤度合成部から出力される尤度に基づいて音声認識を行う認識処理部とを備えることを特徴とする。
【００２６】
また、本発明の音声認識方法では、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換するステップと、前記特徴ベクトル時系列の任意の区間内での平均値を求めるステップと、前記平均値を記憶するステップと、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正するステップと、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算するステップと、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算するステップと、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成するステップと、前記合成された尤度に基づいて音声認識を行うステップとを含むことを特徴とする。
【００２７】
また、本発明の音声認識プログラムでは、入力された音声を認識しその認識結果を出力する音声認識プログラムにおいて、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換し、前記特徴ベクトル時系列の任意の区間内での平均値を求め、前記平均値を記憶し、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで特徴ベクトル時系列を補正し、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算し、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算し、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成し、前記合成された尤度に基づいて音声認識を行う機能を実現することを特徴とする。
【００２８】
これらの発明では、補正前尤度計算部から出力される尤度と補正後尤度計算部から出力される尤度とを尤度合成部にて合成し、この尤度合成部から出力される尤度に基づき認識処理を行うことで上記の課題を解決する。乗算性ノイズの安定な推定が行える場合には、乗算性ノイズの除去を正しく行えるため乗算性ノイズを除去した補正後特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができ、CMN法により良好な認識性能が得られる。
【００２９】
逆に、乗算性ノイズの安定な推定が行えない場合には、乗算性ノイズの除去が正しく行えないため補正後特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができなくなるが、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度は乗算性ノイズの推定の精度によらず常に正しい値を求めることができるため、補正前尤度計算部から出力される尤度と補正後尤度計算部から出力される尤度とを尤度合成部において合成した尤度に基づいて認識処理を行うことで、性能低下を抑えることができる。
【００３３】
また、本発明の音声認識装置又は音声認識方法では、補正前尤度計算出力および補正後尤度計算出力にあらかじめ重み付けを行ってから合成を行うことを特徴とする。
【００３４】
これらの発明では乗算性ノイズの推定が安定して行われている場合には、乗算性ノイズを除去した補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度が正しく求められるため、補正後尤度計算部の出力の重みを増すことで、重み無しの場合に比べてCMN法の効果を大きく働かせることができ、認識性能の低下を抑えることができる。
【００３５】
逆に、乗算性ノイズの推定が安定して行われない場合には、乗算性ノイズの推定が正しく行われないため、補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度を正しく求めることができなくなるが、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度は乗算性ノイズの推定の精度によらず常に正しい値を求めることができるため、補正前尤度計算部の出力の重みを増すことで、認識性能の低下を抑えることができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
（第1実施形態）
図１は本発明の音声認識装置に係る第１の実施形態を説明するブロック図であり、図２はその動作を示したフロー図である。
【００３７】
図１において、入力された音声信号をフレーム毎に切り出して特徴ベクトル時系列に変換する音声分析部１１と、前記の音声分析部から出力された特徴ベクトル時系列の任意の区間内での平均値を求める平均値導出部１２と、この平均値導出部で求めた平均値を記憶する平均値記憶部１３と、前記の平均値記憶部に記憶された平均値を特徴ベクトル時系列からフレーム毎に減算することで特徴ベクトル時系列を補正する補正部１４と、前記の音声分析部から出力された補正前の特徴ベクトル時系列を用いて補正前音声標準パターン部15-1に記憶されている補正前音声標準パターンに対する尤度を計算する補正前尤度計算部１５と、前記の補正部から出力された補正後の特徴ベクトル時系列を用いて補正後音声標準パターン部16-1に記憶されている補正後音声標準パターンに対する尤度を計算する補正後尤度計算部１６と、前記の補正前尤度計算部１５の出力および前記の補正後尤度計算部１６の出力とを合成する尤度合成部１７と、尤度合成部１７から出力される尤度に基づいて音声認識を行う認識処理部１８を備える。
【００３８】
本実形態では音声データに対して、乗算性雑音を除去せずに求める補正前の特徴ベクトル時系列と乗算性雑音を除去して求める補正後の特徴ベクトル時系列を用意し、この両方を併用して学習を行う。すなわち、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンを学習し、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンを学習する。
【００３９】
また、認識時には学習時と同様に入力音声に対して補正前の特徴ベクトル時系列と補正後の特徴ベクトル時系列を求めてこの両者を併用して認識処理を行うものである。
【００４０】
次に図２のフロー図を用いてその動作を説明する。
【００４１】
認識時にはまず、音声分析部１１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step11）。ここで本実施形態では、特徴ベクトル時系列としてケプストラムの時系列を用いているが、周波数スペクトルの対数に基づく任意の特徴量を用いることもできる。
【００４２】
次に、平均値導出部１２において、入力音声の全区間(t=1...T)を平均値を求める区間とし、以下の式(3)で平均値CMを求める（step12）。
【００４３】
【数２】
ここで、この実施形態では入力音声の全区間を平均値を求める区間として用いたが、入力音声中の任意の区間を用いても良い。
【００４５】
次に、平均値記憶部１３において平均値導出部１２から出力される平均値CMを記憶する（step13）。
【００４６】
次に、補正部１４において、以下の式(4)で補正後の特徴ベクトル時系列Cr(t)を求める（step14）。
【００４７】
Cr(t) = C(t) - CM … (4)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部１５で求め（step15）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部１６で求める（step16）。
【００４８】
次に、尤度合成部１６において尤度Ui(t)および尤度Ur(t)を以下の式(5)で合成し、尤度Uo(t)を求める（step17）。
【００４９】
Uo(t) = Ui(t) + Ur(t) … (5)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００５０】
次に、認識処理部１８において尤度合成部１７から出力される尤度Uo(t)に基づき認識処理を行い（step18）、認識結果を出力する。
【００５１】
このような認識処理時では、乗算性ノイズの推定が正しく行えている場合にはCMN法による特徴ベクトル時系列の補正が正しく行われ、補正後の特徴ベクトル時系列Cr(t)が補正後音声標準パターンによくマッチし、補正後音声標準パターンに対する尤度Ur(t)を正しく求められるため、良好な認識性能が得られる。
【００５２】
逆に、乗算性ノイズの推定が正しく行えなかった場合には補正後の特徴ベクトル時系列Cr(t)は補正後音声標準パターンにマッチせず、尤度Ur(t)を正しく求めることができないが、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)は乗算性ノイズの推定の精度によらず正しく求めることができるため、この尤度Ui(t)と尤度Ur(t)を合成した尤度Uo(t)に基づき認識処理を行うことで認識性能の低下を抑えることができる。
【００５３】
さらに、 補正前尤度計算部１５の尤度と補正後尤度計算部１６の尤度とを合成することにより認識性能が向上することを図３を用いて説明する。
【００５４】
補正後尤度計算部１６の尤度のみを用いた場合に乗算性ノイズの安定な推定が行える場合（周囲の雑音・マイク位置・話者などが頻繁に変動しないような環境）には認識性能は前述したようにとても高くなる。逆に、安定な推定が行えない場合（周囲の雑音・マイク位置・話者などが頻繁に変動するような環境）には、認識性能はとても悪化することになる。この悪化は補正前尤度計算部１５の尤度のみを用いた場合の性能よりも悪くなる可能性がある。これは安定な推定が行えない場合、乗算性ノイズによる変動に安定でない推定における特徴ベクトルの補正による変動が加わり、これが乗算性ノイズのみによる変動よりも大きくなるからである。
【００５５】
これに対して、補正前尤度計算部１５の尤度のみを用いた場合には乗算性ノイズの推定精度に因らずほぼ一定の性能が得られる。補正前尤度計算部１５の尤度にはもともと乗算性ノイズ重畳による影響があるため性能はそれほど良くはない。しかし、想定範囲内の乗算性ノイズの変動に対してはその範囲内で乗算性ノイズが不安定に変動しようがしまいがほぼ一定の性能が得られる。
【００５６】
したがって、補正前尤度計算部１５の尤度と補正後尤度計算部の尤度１６を合成することでちょうどその中間の性能を得られることが期待できる。すなわち、この合成により乗算性ノイズの安定な推定が行えないときの補正後尤度計算部１６の尤度の影響(悪影響)を減らすことができる。
【００５７】
このように本実施形態では、補正前尤度計算部１５の出力および補正後尤度計算部１６の出力を合成して得られる尤度に基づき認識処理を行うことで、乗算性ノイズの推定の精度によらず良好な認識性能を提供できる。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図４は第２の実施形態を説明するブロック図であり、図５はその動作を示したフロー図である。
【００５８】
図４に示した音声分析部２１、平均値導出部２２、補正部２４、補正前尤度計算部２５、補正前音声標準パターン25-1、補正後尤度計算部２６、補正後音声標準パターン部26-1、尤度合成部２７、認識処理部２８はそれぞれ図１に示した音声分析部１１、平均値導出部１２、補正部１４、補正前尤度計算部１５、補正前音声標準パターン15-1、補正後尤度計算部１６、補正後音声標準パターン部16-1、尤度合成部１７、認識処理部１８とそれぞれ同等もしくは等価な構成要素である。
【００５９】
本実施形態では、入力音声において、音素を含まない非発声区間を複数個とれる場合には平均値CMを求める区間を複数個設定し、それぞれの区間で求めた複数個の平均値を平均値記憶部２３で記憶するものであり、図４の音声認識装置では平均値記憶部２３において、異なる２つの区間で求めた２つの平均値CM1、CM2をそれぞれ記憶するものである。
【００６０】
ここで、本実施形態では記憶する平均値の個数を２としたが、記憶する平均値の個数は２以上のどのような個数であっても良い。補正部２４では、平均値記憶部２３に記憶された平均値CM1、CM2のうち、どちらの平均値を参照するかを任意のタイミングで切り替え、特徴ベクトル時系列C(t)からCM1もしくはCM2を減算することで補正後の特徴ベクトル時系列Cr(t)を求める。
【００６１】
次にその動作を図５のフロー図を用いて説明する。
【００６２】
認識時にはまず、音声分析部２１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step21）。
【００６３】
次に、平均値導出部２２において、入力音声の非発生区間を含む区間の平均値ＣＭを複数求める（step22）。
【００６４】
次に、平均値記憶部２３において平均値導出部２２から出力される複数の平均値CMを記憶する（step23）。
【００６５】
次に、複数の平均値CMの中の１つを選択して参照する平均値CMの切り替えを行う（step24）。
【００６６】
次に、補正部２４において、以下の式(4)で補正後の特徴ベクトル時系列Cr(t)を求める（step25）。
【００６７】
Cr(t) = C(t) - CM … (4)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部２５で求め（step26）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部２６で求める（step27）。
【００６８】
次に、尤度合成部２６において尤度Ui(t)および尤度Ur(t)を以下の式(6)で合成し、尤度Uo(t)を求める（step28）。
【００６９】
Uo(t) = Ui(t) + Ur(t) … (6)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００７０】
次に、認識処理部２８において尤度合成部２７から出力される尤度Uo(t)に基づき認識処理を行い（step29）、認識結果を出力する。
【００７１】
ここで、step22〜step24に示されている動作について補正部２４が参照する平均値の切り替えについて、図６を詳細に用いて説明する。
【００７２】
まず、ある入力音声に対して、音声入力の開始時点からの非発声区間を含む区間内の平均値を第１の平均値CM1として求めて、平均値導出部２３で記憶する。この平均値CM１を用いて、１番目の発声の特徴ベクトル時系列を補正する。
【００７３】
２番目の発声の前に、平均値CM1を求めた区間よりも十分に長い非発声区間があれば、その非発声区間を含む十分に長い区間を平均値を求める区間として再設定し、その区間内で第２の平均値CM２を求めて、平均値導出部２３で記憶する。
【００７４】
このとき、平均値CM1を求めた区間に対して、平均値CM2を求めた区間は、発声区間を含まず十分に長いものとする。その結果、平均値CM1に比べて平均値CM2は乗算性ノイズのより正しい推定値となることが期待できる。このとき、非発声区間の検出に誤りがあり、平均値を求める区間内に発声が含まれてしまい、発声内の音素の影響で乗算性ノイズの推定が正しく行われなかった場合にも、本発明によれば認識性能の低下を抑えることができるのは既に説明した通りである。
【００７５】
本実形態では、図６における２番目（以降）の発声の特徴ベクトル時系列を補正する前に、補正部２４において、参照する平均値を平均値CM1から平均値CM2に切り替える。この結果、１番目の発声に対して２番目（以降）の発声では、平均値CM1に比べてより正しい乗算性ノイズの推定値である平均値CM2を用いて乗算性ノイズの除去を行えるため、認識性能が向上する。
【００７６】
また、本実施形態によれば、平均値CM2を求めるより前に、１番目の発声における特徴ベクトル時系列の補正および１番目の発声の認識処理を行えるため、入力に対する認識結果出力の時間遅延を低く抑えられるという利点もある。このように本実施形態では、平均値CMを求める区間を複数個設定し、複数個の区間それぞれに対応する複数個の平均値を求め、認識処理中に補正部２４で参照する平均値を切り替えることで良好な認識性能を提供できる。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図７は第３の実施形態を説明するブロック図であり、図８はその動作を示すフロー図である。
【００７７】
図７に示した音声分析部３１、平均値導出部３２、平均値記憶部３３、補正部３４、補正前尤度計算部３５、補正前音声標準パターン35-1、補正後尤度計算部３６、補正後音声標準パターン部36-1、尤度合成部３７、認識処理部３８はそれぞれ図１に示した音声分析部１１、平均値導出部１２、平均値記憶部１３、補正部１４、補正前尤度計算部１５、補正前音声標準パターン15-1、補正後尤度計算部１６、補正後音声標準パターン部16-1、尤度合成部１７、認識処理部１８とそれぞれ同等もしくは等価な構成要素である。
【００７８】
本実施形態では、尤度合成部３７において、補正前尤度計算部３６から出力される尤度Ui(t)および補正後尤度計算部３７から出力される尤度Ur(t)を合成する前に、尤度重み付け器（39-1，39-2）で尤度Ui(t)およびUr(t)に重み付けを行ってから合成を行う。
【００７９】
次にその動作を図８のフロー図を用いて説明する。
【００８０】
認識時にはまず、音声分析部３１において入力音声をフレーム毎に切り出して周波数分析およびケプストラムへの変換を行い、特徴ベクトル時系列C(t)(t=1...T)を出力する（step31）。
【００８１】
次に、平均値導出部３２において、入力音声の全区間(t=1...T)を平均値を求める区間とし、以下の式(7)で平均値CMを求める（step32）。
【００８２】
【数３】
ここで、この実施形態では入力音声の全区間を平均値を求める区間として用いたが、入力音声中の任意の区間を用いても良い。
【００８４】
次に、平均値記憶部３３において平均値導出部１２から出力される平均値CMを記憶する（step33）。
【００８５】
次に、補正部３４において、以下の式(8)で補正後の特徴ベクトル時系列Cr(t)を求める（step34）。
【００８６】
Cr(t) = C(t) - CM … (8)
次に、補正前の特徴ベクトル時系列C(t)に対する補正前音声標準パターンの尤度Ui(t)を補正前尤度計算部３５で求め（step35）、補正後の特徴ベクトル時系列Cr(t)に対する補正後音声標準パターンの尤度Ur(t)を補正後尤度計算部３６で求める（step36）。
【００８７】
次に、尤度重み付け器(39-1,39-2)により尤度Ui(t)および尤度Ur(t)に重み付けを行う（step37）。
【００８８】
次に、尤度合成部３６において尤度Ui(t)および尤度Ur(t)を以下の式(9)で合成し、尤度Uo(t)を求める（step38）。
【００８９】
Uo(t) = Ui(t) + Ur(t) … (9)
ここで、本実施形態では二つの尤度Ui(t)およびUr(t)の合成を加算により行っているが、他の演算を用いても良い。
【００９０】
次に、認識処理部３８において尤度合成部３７から出力される尤度Uo(t)に基づき認識処理を行い（step39）、認識結果を出力する。
【００９１】
ここで、step37に示されている尤度重み付けについて詳細に説明する。重み付けは、以下の式(10)で行う。
【００９２】
Uo(t) = (Wi * Ui(t)) + (Wr * Ur(t)) … (10)
式(6)で、Wiは尤度Ui(t)に対する重み、Wrは尤度Ur(t)に対する重みである。重み付けを行わない場合は Wi=Wr となる。
【００９３】
ここで、本実施形態では２つの尤度の合成を加算により行っているが、他の演算を用いても良い。
【００９４】
乗算性ノイズの推定が安定して行えるような条件が整っている場合には、尤度Ui(t)よりも尤度Ur(t)にあらかじめ大きな重み付けをして加算する。具体的には Wi>Wr とする。
【００９５】
この結果、CMN法を適用し乗算性ノイズを除去した補正後の特徴ベクトルCr(t)に対する尤度Ur(i)を正しく求めることができるため、尤度Ur(t)の重みを増すことで、CMN法の効果を重み付け無しの場合に比べて大きく働かせることができ、その結果としてより良好な認識性能を提供できる。
【００９６】
ここで、乗算性ノイズの推定が安定して行えるような条件としては、認識時に話者やマイク・マイク位置・マイクからの距離・外部環境などがある一定時間以上変化しないような場合が挙げられる。
【００９７】
逆に、前述の条件が整っていない場合、すなわち乗算性ノイズの推定が安定して行えないような場合には、尤度Ui(t)に尤度Ur(i)よりも大きな重み付けをして加算する。
【００９８】
具体的には Wi<Wr とする。この結果、乗算性ノイズの推定が安定しないため、尤度Ur(t)を正しく求めることができなくなるが、補正前の特徴ベクトル時系列C(t)に対する尤度Ui(t)は乗算性ノイズの推定の精度によらず常に正しく求めることができるため、尤度Ui(t)の重みを増すことで、認識性能の低下をより効果的に抑えることができる。
【００９９】
このように本実施形態では、乗算性ノイズの推定を安定に行えるか否かに応じて、尤度Ui(t)および尤度Ur(t)の出力を加算する際の重み付けWi、Wrのバランスを変化させることで、乗算性ノイズの推定の精度によらず良好な認識性能を提供できる。
【０１００】
なお、本発明は音声認識プログラムに適用することも言うまでもない。
【０１０１】
【発明の効果】
以上説明したように、本発明の音声認識装置、音声認識方法及び音声認識プログラムによれば、補正前の特徴ベクトル時系列に対する補正前音声標準パターンの尤度と補正後の特徴ベクトル時系列に対する補正後音声標準パターンの尤度とを合成した尤度に基づく認識処理を行うことで、乗算性ノイズの推定の精度によらず良好な認識性能を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の概要を示すブロック図
【図２】本発明の第１の実施形態の概要を示すフロー図
【図３】本発明の第１の実施形態における尤度の合成を説明する図
【図４】本発明の第２の実施形態の概要を示すブロック図
【図５】本発明の第２の実施形態の概要を示すフロー図
【図６】本発明の第２の実施形態における複数の区間を設定し複数の平均値を求める際の処理について説明する図
【図７】本発明の第３の実施形態の概要を示すブロック図
【図８】本発明の第３の実施形態の概要を示すフロー図
【図９】従来手法の概要を示すブロック図
【符号の説明】
１１…音声分析部
１２…平均値導出部
１３…平均値記憶部
１４…補正部
１５…補正前尤度計算部
１６…補正後尤度計算部
１７…尤度合成部
１８…認識処理部
２１…音声分析部
２２…平均値導出部
２３…平均値記憶部
２４…補正部
２５…補正前尤度計算部
２６…補正後尤度計算部
２７…尤度合成部
２８…認識処理部
３１…音声分析部
３２…平均値導出部
３３…平均値記憶部
３４…補正部
３５…補正前尤度計算部
３６…補正後尤度計算部
３７…尤度合成部
３８…認識処理部
Claims (6)
- 入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換する音声分析部と、この音声分析部から出力された前記特徴ベクトル時系列の任意の区間内での平均値を求める平均値導出部と、この平均値導出部で求められた前記平均値を記憶する平均値記憶部と、この平均値記憶部で記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正する補正部と、前記音声分析部から出力された補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算する補正前尤度計算部と、前記補正部から出力された補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算する補正後尤度計算部と、前記補正前尤度計算部から出力される尤度と前記補正後尤度計算部から出力される尤度とを合成する尤度合成部と、この尤度合成部から出力される尤度に基づいて音声認識を行う認識処理部とを備える音声認識装置。
- 前記尤度合成部は前記補正前尤度計算部から出力される尤度および前記補正後尤度計算部から出力される尤度とを合成する際に、前記補正前尤度計算部から出力される尤度または前記補正後尤度計算部から出力される尤度にあらかじめ重み付けを行ってから合成することを特徴とする請求項１記載の音声認識装置。
- 入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換するステップと、前記特徴ベクトル時系列の任意の区間内での平均値を求めるステップと、前記平均値を記憶するステップと、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで前記特徴ベクトル時系列を補正するステップと、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算するステップと、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算するステップと、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成するステップと、前記合成された尤度に基づいて音声認識を行うステップとを含むことを特徴とする音声認識方法。
- 前記尤度を合成するステップは前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトル時系列に対する尤度とを合成する際に、前記補正前の特徴ベクトル時系列に対する尤度または前記補正後の特徴ベクトル時系列に対する尤度にあらかじめ重み付けを行ってから合成するステップを含むことを特徴とする請求項３記載の音声認識方式。
- 入力された音声を認識しその認識結果を出力する音声認識プログラムにおいて、入力された音声信号をフレーム毎に切り出して対数スペクトルパワーのケプストラムによる特徴ベクトル時系列に変換し、前記特徴ベクトル時系列の任意の区間内での平均値を求め、前記平均値を記憶し、記憶された前記平均値を前記特徴ベクトル時系列からフレーム毎に減算することで特徴ベクトル時系列を補正し、補正前の特徴ベクトル時系列を用いて補正前音声標準パターンに対する尤度を計算し、補正後の特徴ベクトル時系列を用いて補正後音声標準パターンに対する尤度を計算し、前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトルに対する尤度とを合成し、前記合成された尤度に基づいて音声認識を行う機能を実現する音声認識プログラム。
- 前記補正前の特徴ベクトル時系列に対する尤度および前記補正後の特徴ベクトル時系列に対する尤度とを合成する際に、前記補正前の特徴ベクトル時系列に対する尤度または前記補正後の特徴ベクトル時系列に対する尤度にあらかじめ重み付けを行ってから合成することを特徴とする請求項５記載の音声認識プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376615A JP3790155B2 (ja) | 2001-12-11 | 2001-12-11 | 音声認識装置、音声認識方式及び音声認識プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376615A JP3790155B2 (ja) | 2001-12-11 | 2001-12-11 | 音声認識装置、音声認識方式及び音声認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003177783A JP2003177783A (ja) | 2003-06-27 |
| JP3790155B2 true JP3790155B2 (ja) | 2006-06-28 |
Family
ID=19184769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001376615A Expired - Fee Related JP3790155B2 (ja) | 2001-12-11 | 2001-12-11 | 音声認識装置、音声認識方式及び音声認識プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3790155B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2013145578A1 (ja) * | 2012-03-30 | 2015-12-10 | 日本電気株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
-
2001
- 2001-12-11 JP JP2001376615A patent/JP3790155B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003177783A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112447191B (zh) | 信号处理装置以及信号处理方法 | |
| JP4282227B2 (ja) | ノイズ除去の方法及び装置 | |
| JP3457293B2 (ja) | 雑音抑圧装置及び雑音抑圧方法 | |
| US7706550B2 (en) | Noise suppression apparatus and method | |
| US8391471B2 (en) | Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium | |
| JP5435204B2 (ja) | 雑音抑圧の方法、装置、及びプログラム | |
| US6671666B1 (en) | Recognition system | |
| JP4886715B2 (ja) | 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体 | |
| JP5300861B2 (ja) | 雑音抑圧装置 | |
| WO2005124739A1 (ja) | 雑音抑圧装置および雑音抑圧方法 | |
| JPWO2007029536A1 (ja) | 雑音抑圧の方法及び装置並びにコンピュータプログラム | |
| JP2001134287A (ja) | 雑音抑圧装置 | |
| US8401844B2 (en) | Gain control system, gain control method, and gain control program | |
| US8259961B2 (en) | Audio processing apparatus and program | |
| JP5344251B2 (ja) | 雑音除去システム、雑音除去方法および雑音除去プログラム | |
| WO2012070670A1 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
| JP3907194B2 (ja) | 音声認識装置、音声認識方法及び音声認識プログラム | |
| JP2007006525A (ja) | ノイズ除去の方法及び装置 | |
| JP2001005486A (ja) | 音声処理装置及び方法 | |
| US20100049507A1 (en) | Apparatus for noise suppression in an audio signal | |
| JP2962572B2 (ja) | 雑音除去装置 | |
| JP3790155B2 (ja) | 音声認識装置、音声認識方式及び音声認識プログラム | |
| JP6182862B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
| JP5228903B2 (ja) | 信号処理装置および方法 | |
| JP2003131689A (ja) | ノイズ除去方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |