JP4169921B2 - 音声認識システム - Google Patents
音声認識システム Download PDFInfo
- Publication number
- JP4169921B2 JP4169921B2 JP2000298536A JP2000298536A JP4169921B2 JP 4169921 B2 JP4169921 B2 JP 4169921B2 JP 2000298536 A JP2000298536 A JP 2000298536A JP 2000298536 A JP2000298536 A JP 2000298536A JP 4169921 B2 JP4169921 B2 JP 4169921B2
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- vector
- standard
- speech
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 219
- 230000003044 adaptive effect Effects 0.000 claims description 48
- 230000006978 adaptation Effects 0.000 description 48
- 239000000654 additive Substances 0.000 description 31
- 230000000996 additive effect Effects 0.000 description 31
- 238000001228 spectrum Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 9
- 238000009432 framing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、音声認識システムに関し、特に、ノイズに対してロバストな話者適応型の音声認識システムに関する。
【0002】
【従来の技術】
従来、話者適応型の音声認識システムとして、例えば図9に示す構成のものが知られている。
【0003】
この音声認識システムは、予め作成された不特定話者の標準音響モデル100を備え、特定話者の発話した入力音声Scの特徴ベクトルと標準音響モデル100とを用いて話者適応音響モデル200を作成し、その特定話者の声に適応させて音声認識を行うようになっている。
【0004】
適応音響モデル200を作成する際、指定テキスト(文章や音節等)Txに該当する標準ベクトルVaを、標準音響モデル100からパス探索部4と話者適応部5に供給すると共に、実際に指定テキストTxを特定話者に発話させてその入力音声Scを入力する。
【0005】
そして、加法性ノイズ除去部1が入力音声Sc中に含まれる加法性ノイズを除去した後、特徴ベクトル生成部2が入力音声Scの特徴量である特徴ベクトル系列Vcfを生成し、更に乗法性ノイズ除去部3が特徴ベクトル系列Vcfから乗法性ノイズを除去することで、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列Vcを生成して、パス探索部4と話者適応部5に供給する。
【0006】
こうして、標準ベクトルVaと実際に発話された入力音声Scの特徴ベクトル系列Vcがパス探索部4と話者適応部5に供給されると、パス探索部4が、特徴ベクトル系列Vcを標準ベクトルVaと対比して、特徴ベクトル系列Vcの音節毎の出現確率と、音節から音節への状態遷移確率とを求めた後、話者適応部5が、上記の出現確率と状態遷移確率とに基づいて標準ベクトルVaを補償することで、特定話者固有の声の特徴に適応した話者適応音響モデル200を作成する。
【0007】
そして、話者適応音響モデル200を特定話者の声に適応させた後、特定話者が任意の発話をすると、その発話音声の特徴ベクトルと話者適応音響モデル200の適応ベクトルとを照合し、最大尤度を与える話者適応音響モデル200を認識結果とすることで音声認識を行うようになっている。
【0008】
【発明が解決しようとする課題】
ところで、上記従来の適応型音声認識システムでは、適応音響モデル200を作成する際、加法性ノイズ除去部1は、スペクトルサブトラクション法によって加法性ノイズを除去し、乗法性ノイズ除去部3は、CMN法(cepstrum mean normalization)によって乗法性ノイズを除去することで、ノイズの影響を受けない話者適応音響モデル200を作成することとしている。
【0009】
すなわち、加法性ノイズ除去部1は、入力音声Scのスペクトルを求めた後、そのスペクトルから加法性ノイズのスペクトルを除去し、乗法性ノイズ除去部3は、入力音声Scのケプストラム(cepstrum)の時間平均値を求めた後、入力音声Scのケプストラムからその時間平均値を差し引くこととしている。
【0010】
しかし、スペクトルサブトラクション法とCMN法の何れの方法も、ノイズだけを除去することは極めて困難であり、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまう場合があるため、適切な話者適応音響モデル200を作成することができなくなり、ひいては音声認識率の低下を招くという問題があった。
【0011】
本発明は上記従来の問題点を克服し、ノイズに対してロバスト(robust)で音声認識率の向上を可能にする話者適応型の音声認識システムを提供することを目的とする。
【0012】
【課題を解決するための手段】
上記目的を達成するため本発明の音声認識システムは、話者適応音響モデルを用いて音声認識を行う音声認識システムであって、標準の音声の特徴を表した標準ベクトルを有する標準音響モデルと、特定話者が指定テキストに対応する発話をすると、前記発話された音声からノイズを除去し、ノイズの除去された音声の特徴を表す第1の特徴ベクトル系列を生成する第1の特徴ベクトル生成手段と、前記発話された音声からノイズを除去することなく、ノイズが含まれたままの音声の特徴を表す第2の特徴ベクトル系列を生成する第2の特徴ベクトル生成手段と、前記第1の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付けるパス探索手段と、前記パス探索手段によって対応付けられた前記第1の特徴ベクトル系列と前記標準ベクトルとの対応関係に基づき前記第2の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付け、当該特徴ベクトルと対応付けられた前記標準ベクトルとの差に比べ、当該特徴ベクトルと適応ベクトルとの差が小さくなるように前記適応ベクトルを生成する生成手段と、前記特定話者によって発話された音声の特徴を表す特徴ベクトルと前記生成手段によって生成された適応ベクトルとを照合することによって、前記特定話者によって発話された音声の認識を行う認識手段と、を具備することを特徴とする。
【0013】
また、前記パス探索手段は、前記第1の特徴ベクトル系列に含まれる個々の特徴ベクトルと、当該特徴ベクトルと最も尤度の高い前記標準ベクトルとを対応付けること、を特徴とする。
【0014】
かかる構成によれば、話者適応の際に、第1の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズを除いた第1の特徴ベクトルを生成し、第2の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズの特徴を含んだ第2の特徴ベクトルを生成する。そして、これらノイズを含まない第1の特徴ベクトルとノイズを含んだ第2の特徴ベクトルに基づいて標準ベクトルを補償することで適応ベクトルを生成し、この適応ベクトルによって話者の声に適応した話者適応音響モデルを生成する。
【0015】
このようにノイズを含まない特徴ベクトルとノイズの特徴を含んだ特徴ベクトルに基づいて、標準音響モデル中の標準ベクトルを補償することで、実際の発話環境に対応した話者適応音響モデルを作成することが可能となり、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【0016】
また、第2の特徴ベクトル生成手段は、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを生成し、この特徴ベクトルを話者適応に用いるので、本来の音声の特徴情報を除去することなく、適切な話者適応音響モデルを生成することができる。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。尚、図1は本実施形態の音声認識システムの構成を示すブロック図である。
【0018】
図1において、本音声認識システムは、隠れマルコフモデル(Hidden Markov Model:HMM)を用いて予め作成された不特定話者の標準音響モデル(以下、「標準音声HMM」という)300と、話者適用によって生成される話者適応音響モデル(以下、「適応音声HMM」という)400を備えて構成されている。
【0019】
尚、本実施形態を分かり易く例示するために、標準音声HMM300の状態数を1とする。また、標準音声HMM300は音節毎に出力確立分布を有しており、この出現確率分布の平均ベクトルが標準ベクトルとなっている。
【0020】
よって、標準音声HMM300は、図2に模式的に示すように、音節毎にM次元の標準ベクトル〔an,M〕をもっている。つまり、標準音声HMM300を作成する際、例えば静寂環境の下で収音した1人或いは複数人の話者(不特定話者)が発話した音声データを所定時間毎にフレーム化し、そのフレーム化した音声を順次にケプストラム演算することで、音節毎に複数フレーム分のケプストラム領域での特徴ベクトル系列を生成し、更に音節毎に複数フレーム分の特徴ベクトル系列の平均を求める等によって、音節毎の標準ベクトル〔an,M〕からなる標準音声HMM300を作成している。
【0021】
ここで、標準ベクトル〔an,M〕の変数nは、各音節を識別するための状態番号、変数Mはベクトルの次元を表している。例えば状態番号n=1に該当する日本語の音節〔あ〕は、M次元の標準ベクトル〔an,M〕=〔a1,1 a1,2 a1,3… a1,M〕、状態番号n=2に該当する日本語の音節〔い〕は、M次元の標準ベクトル〔an,M〕=〔a2,1 a2,2 a2,3 … a2,M〕、以下同様にして、残りの音節も状態番号nによって区別されたM次元の標準ベクトル〔an,M〕として特徴付けられている。
【0022】
後述する話者適応の際に、標準音声HMM300は、予め決められた文章や音節等の指定テキストTxが供給され、その指定テキストTxを構成している音節に該当する標準ベクトル〔an,M〕を音節の配列順に従って、パス探索部10と話者適応部11に供給する。
【0023】
例えば、日本語の「こんにちわ」の指定テキストTxが供給されると、〔こ〕,〔ん〕,〔に〕,〔ち〕,〔わ〕を表す夫々の状態番号n=10,46,22,17,44に該当する標準ベクトル〔a10,1 a10,2 a10,3 … a10,M〕,〔a46,1 a46,2 a46,3 … a46,M〕,〔a22,1 a22,2 a22,3 … a22,M〕,〔a17,1 a17,2 a17,3 … a17,M〕,〔a44,1 a44,2 a44,3… a44,M〕を順番にパス探索部10と話者適応部11に供給する。
【0024】
更に、本音声認識システムには、フレーム化部6と、加法性ノイズ除去部7、特徴ベクトル生成部8、乗法性ノイズ除去部9、特徴ベクトル生成部12が備えられている。
【0025】
フレーム化部6は、話者適応の際に特定話者が指定テキストTxを実際に発話すると、その入力音声Scを所定時間(例えば、10〜20msec)毎のフレームに区分けして加法性ノイズ除去部7,13及び特徴ベクトル生成部12側へ出力する。
【0026】
加法性ノイズ除去部7は、フレーム毎に区分けされた各入力音声Scfを順次にフーリエ変換することで、フレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して出力する。
【0027】
特徴ベクトル生成部8は、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ci,M〕’を生成する。尚、特徴ベクトル系列〔ci,M〕’の変数iはフレーム毎の順番(番号)、変数Mは次元を表している。
【0028】
乗法性ノイズ除去部9は、CMN法を用いて特徴ベクトル系列〔ci,M〕’から乗法性ノイズを除去する。すなわち、特徴ベクトル生成部8によってフレームi毎に求められた複数個の特徴ベクトル系列〔ci,M〕’を各次元毎に時間平均し、それによって求まるM次元の時間平均値〔c^M〕を各特徴ベクトル系列〔ci,M〕’から減算することで、乗法性ノイズを除去した特徴ベクトル系列〔ci,M〕を生成し、パス探索部10に供給する。
【0029】
特徴ベクトル生成部12は、フレーム化部6から出力されるフレーム毎に区分けされた各入力音声Scfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔si,M〕を生成し、話者適応部11に供給する。尚、特徴ベクトル系列〔si,M〕の変数iはフレーム毎の順番、変数Mは次元を表している。
【0030】
こうしてパス探索部10には、指定テキストTxと標準ベクトル〔an,M〕と特徴ベクトル系列〔ci,M〕が供給され、話者適応部11には、指定テキストTxと標準ベクトル〔an,M〕と特徴ベクトル系列〔si,M〕が供給される。
【0031】
パス探索部10は、標準ベクトル〔an,M〕と特徴ベクトル系列〔ci,M〕とを対比し、フレーム毎の特徴ベクトル系列〔ci,M〕が指定テキストTxのどの音節に該当するか判定することでパス探索を行い、そのパス探索結果Dvを話者適応部11に供給する。
【0032】
話者適応部11は、特徴ベクトル生成部12からの特徴ベクトル系列〔si,M〕をパス探索結果Dvに基づいて音節毎に区分けする。そして、区分けした音節毎の特徴ベクトル系列〔si,M〕について次元毎に平均を求めることにより、音節毎の平均特徴ベクトル〔s^n,M〕を生成する。
【0033】
更に話者適応部11は、指定テキストTxに該当する各音節の標準ベクトル〔an,M〕と平均特徴ベクトル〔s^n,M〕との夫々の差ベクトル〔dn,M〕を求める。そして、それらの差ベクトル〔dn,M〕を平均演算することにより、特定話者の特徴を表すM次元の移動ベクトル〔mM〕を求め、更に標準音声HMM300からの全ての音節の標準ベクトル〔an,M〕に移動ベクトル〔mM〕を加えることで、全ての音節についての適応ベクトル〔xn,M〕を生成し、それらの適応ベクトル〔xn,M〕によって適応音声HMM400を更新する。
【0034】
次に、パス探索部10と話者適応部11の機能を図2〜図8に基づいてより詳細に説明する。
【0035】
尚、典型例として、日本語の「こんにちわ」の指定テキストTxに基づいて話者適応する場合を説明する。
【0036】
また、話者が「こんにちわ」と発話した入力音声Scをフレーム化部6が30フレームに区分けして入力するものとする。
【0037】
標準音声HMM300は、図2に示した様に、複数個の各音節に対応付けられた不特定話者の標準ベクトル〔an,M〕として作成されている。また、各音節は状態番号nによって分類されている。
【0038】
また、適応音声HMM400は、話者適応がなされる前は、図2に示した標準音声HMM300の標準ベクトル〔an,M〕と同じ内容に設定(ディフォルト設定)されている。
【0039】
話者適応の処理が開始され、「こんにちわ」の指定テキストTxが標準音声HMM300に供給されると、音節〔こ〕を表す状態番号n=10に該当する標準ベクトル〔a10,1 a10,2 a10,3 … a10,M〕と、音節〔ん〕を表す状態番号n=46に該当する標準ベクトル〔a46,1 a46,2 a46,3 … a46,M〕と、音節〔に〕を表す状態番号n=22に該当する標準ベクトル〔a22,1 a22,2a22,3 … a22,M〕と、音節〔ち〕を表す状態番号n=17に該当する標準ベクトル〔a17,1 a17,2 a17,3 … a17,M〕と、音節〔わ〕を表す状態番号n=44に該当する標準ベクトル〔a44,1 a44,2 a44,3 … a44,M〕がパス探索部10と話者適応部11に供給される。
【0040】
次に、特定話者が「こんにちわ」と発話すると、フレーム化部6がその入力音声Scを時間経過に従って30フレームに区分けして出力し、特徴ベクトル生成部12が、各フレームの順番に従って入力音声Scfの特徴ベクトル〔s1,1 s1,2 s1,3 … s1,M〕〜〔s30,1 s30,2 s30,3 … s30,M〕を生成して話者適応部11に供給する。
【0041】
すなわち、図3に模式的に示すように、特徴ベクトル生成部12は、i=1〜30の30フレーム分の特徴ベクトル系列〔si,M〕=〔s1,1 s1,2 s1,3 … s1,M〕〜〔s30,1 s30,2 s30,3 … s30,M〕を生成して話者適応部11に供給する。
【0042】
一方、加法性ノイズ除去部7と特徴ベクトル生成部8と乗法性ノイズ除去部9で構成された処理系統では、フレーム化部6から供給される各フレームの入力音声Scfに基づいて、i=1〜30の30フレーム分の特徴ベクトル系列〔ci,M〕=〔c1,1 c1,2 c1,3 … c1,M〕〜〔c30,1 c30,2 c30,3 … c30,M〕を生成し、パス探索部10に供給する。すなわち、図4に模式的に示すように、30フレーム分の特徴ベクトル系列〔ci,M〕=〔c1,1 c1,2 c1,3 …c1,M〕〜〔c30,1 c30,2 c30,3 … c30,M〕が乗法性ノイズ除去部9を通じてパス探索部10に供給される。
【0043】
パス探索部10は、ビタビ(Viterbi)アルゴリズムやフォワードバックワードアルゴリズム等の手法によって、30フレーム分の特徴ベクトル系列〔ci,M〕と指定テキストTxの各音節に対応する標準ベクトル〔an,M〕とを対比し、特徴ベクトル系列〔ci,M〕がフレーム毎にどの時点でどの音節に該当するか調べる。
【0044】
これにより、図5に示すように、30フレームの各フレーム番号iと、「こんにちわ」の各音節を表す各状態番号nとの対応付けを行う。そして、この対応付けした結果をパス探索結果Dvとして話者適応部11に供給する。
【0045】
話者適応部11は、パス探索結果Dvに基づいて、特徴ベクトル〔s1,1 s1,2 s1,3 … s1,M〕〜〔s30,1 s30,2 s30,3 … s30,M〕と、標準ベクトル〔a10,1 a10,2 a10,3 … a10,M〕,〔a46,1 a46,2 a46,3 … a46,M〕,〔a22,1 a22,2 a22,3 … a22,M〕,〔a17,1 a17,2 a17,3 … a17,M〕,〔a44,1 a44,2 a44,3 … a44,M〕との対応付けを行う。
【0046】
すなわち、図6に示すように、パス探索によって求まった音節〔こ〕に該当するフレーム番号i=1〜6の特徴ベクトル〔s1,1 s1,2 s1,3 … s1,M〕〜〔s6,1 s6,2 s6,3 … s6,M〕に対して、標準ベクトル〔a10,1 a10,2 a10,3 … a10,M〕の対応付けが行われ、音節〔ん〕に該当するフレーム番号i=7〜10の特徴ベクトル〔s7,1 s7,2 s7,3 … s7,M〕〜〔s10,1 s10,2 s10,3 … s10,M〕に対して、標準ベクトル〔a46,1 a46,2 a46,3 … a46,M〕の対応付けが行われる。
【0047】
更に、音節〔に〕に該当するフレーム番号i=11〜14の特徴ベクトル〔s11,1 s11,2 s11,3 … s11,M〕〜〔s14,1 s14,2 s14,3 … s14,M〕に対して、標準ベクトル〔a22,1 a22,2 a22,3 … a22,M〕の対応付けが行われ、音節〔ち〕に該当するフレーム番号i=15〜18フレームの特徴ベクトル〔s15,1 s15,2 s15,3 … s15,M〕〜〔s18,1 s18,2 s18,3 … s18,M〕に対して、標準ベクトル〔a17,1 a17,2 a17,3 … a17,M〕の対応付けが行われ、音節〔わ〕に該当するフレーム番号i=19〜30の特徴ベクトル〔s19,1 s19,2 s19,3 … s19,M〕〜〔s30,1 s30,2 s30,3 … s30,M〕に対して、標準ベクトル〔a44,1 a44,2 a44,3 … a44,M〕の対応付けが行われる。
【0048】
次に、話者適応部11は、図6に示した30フレーム分の特徴ベクトル〔s1,1 s1,2 s1,3 … s1,M〕〜〔s30,1 s30,2 s30,3 … s30,M〕を各音節〔こ〕,〔ん〕,〔に〕,〔ち〕,〔わ〕毎に区分けし、区分けした特徴ベクトル毎の平均を求めることにより、図7に示すように、各音節〔こ〕,〔ん〕,〔に〕,〔ち〕,〔わ〕毎の平均特徴ベクトル〔s^n,M〕を生成する。
【0049】
つまり、図6に示した音節〔こ〕に該当する第1〜第6フレーム(フレーム数k=6)の特徴ベクトル〔s1,1 s1,2 s1,3 … s1,M〕〜〔s6,1 s6,2 s6,3 … s6,M〕については、次式(1)で示すように、第1次元目の6個の要素s1,1〜s6,1を加算し、その加算値(s1,1+s2,1+s3,1+s4,1+s5,1+s6,1)をフレーム数k=6で乗算することにより、平均特徴ベクトル〔s^n,M〕の第1次元目の要素s^n,1を求める。また、第2次元目の6個の要素s1,2〜s6,2についても同様に、加算値(s1,2+s2,2+s3,2+s4,2+s5,2+s6,2)を求め、フレーム数k=6で乗算することにより、平均特徴ベクトル〔s^n,M〕の第2次元目の要素s^n,2を求める。以下同様にして、第M次元目の6個の要素s1,M〜s6,Mまでの要素s^n,Mを求め、これらM次元の要素s^n,1〜s^n,Mからなる音節〔こ〕に該当するM次元の平均特徴ベクトル〔s^n,1 s^n,2 s^n,3 … s^n,M 〕を生成する。
【0050】
【数1】
尚、式(1)中の変数kは各音節におけるフレーム数、変数nは各音節を識別するための状態番号、変数Mは次元を表している。したがって、式(1)中の変数nは、n=10となり、音節〔こ〕に該当するM次元の平均特徴ベクトルは〔s^10,1 s^10,2 s^10,3 … s^10,M〕となる。
また、残りの音節〔ん〕に該当する平均特徴ベクトル〔s^46,1 … s^46,M〕と、音節〔に〕に該当する平均特徴ベクトル〔s^22,1 … s^22,M〕と、音節〔ち〕に該当する平均特徴ベクトル〔s^17,1 … s^17,M〕と、音節〔わ〕に該当する平均特徴ベクトル〔s^44,1 … s^44,M〕も同様にして求める。
【0051】
次に、次式(2)に基づいて、各音節「こ」,「ん」,「に」,「ち」,「わ」に対応する平均特徴ベクトル〔s^10,1 … s^10,M〕,〔s^46,1 … s^46,M〕,〔s^22,1 … s^22,M〕,〔s^17,1 … s^17,M〕,〔s^44,1 … s^44,M〕と、標準ベクトル〔a10,1 … a10,M〕,〔a46,1 … a46,M〕,〔a22,1 … a22,M〕,〔a17,1… a17,M〕,〔a44,1 … a44,M〕とのそれぞれ差ベクトル〔d10,1 … d10,M〕,〔d46,1 … d46,M〕,〔d22,1 … d22,M〕,〔d17,1 … d17,M〕,〔d44,1 … d44,M〕を求める。
【0052】
【数2】
尚、上記式(2)中の変数nは、各音節「こ」,「ん」,「に」,「ち」,「わ」に対応する状態番号n=10,46,22,17,44を示し、変数jは、ベクトルの各次元j=1〜Mを示している。
【0053】
そして、求めた差ベクトル〔d10,1 … d10,M〕,〔d46,1 … d46,M〕,〔d22,1 … d22,M〕,〔d17,1 … d17,M〕,〔d44,1 … d44,M〕を次式(3)に適応して、各次元毎の平均を求めることにより、これら5個(V=5)の音節「こ」,「ん」,「に」,「ち」,「わ」のM次元移動ベクトル〔mM〕=〔m1,m2,…,mM〕を求める。
【0054】
【数3】
尚、上記(3)中の変数jは、ベクトルの各次元j=1〜Mを示している。また、変数nは、各音節「こ」,「ん」,「に」,「ち」,「わ」に対応する状態番号n=10,46,22,17,44を示し、変数Vは音節の数(V=5)を示している。
【0055】
こうして求めた移動ベクトル〔mM〕=〔m1,m2,…,mM〕は、特定話者の特徴を表している。そこで、次式(4)の演算式で示すように、全ての音節の標準ベクトル〔an,M〕に移動ベクトル〔mM〕を加えることで、話者固有の特徴を有する適応ベクトル〔xn,M〕を求め、更に、図8に示すように、求めた適応ベクトル〔xn,M〕によって適応音声HMM400を更新することで、話者適応の処理を完了する。
【0056】
【数4】
また、一例として「こんにちわ」の指定テキストTxに基づいて適応音声HMM400を話者適応する場合を説明したが、他の音節を含んだ指定テキストTxに基づいて適応音声HMM400を話者適応することで、適応音声HMM400中の全ての音節についても話者適応が行われるようになっている。
【0057】
次に、話者適応により適応音声HMM400を生成した後、特定話者が任意の発話をすると、その入力音声Scをフレーム化部6が上記同様に所定時間(例えば、10〜20msec)毎のフレームに区分けし、各フレームの入力音声Scfを時間経過順に出力して加法性ノイズ除去部13側へ供給する。
【0058】
加法性ノイズ除去部13は、上記した加法性ノイズ除去部7と同様に、フレーム毎に区分けされた各入力音声Scfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して、特徴ベクトル生成部14側へ出力する。
【0059】
特徴ベクトル生成部14は、上記した特徴ベクトル生成部8と同様に、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔yi,M〕’を生成して、乗法性ノイズ除去部15側へ出力する。
【0060】
乗法性ノイズ除去部15は、上記した乗法性ノイズ除去部9と同様に、CMN法を用いて特徴ベクトル系列〔yi,M〕’から乗法性ノイズを除去し、その乗法性ノイズを除去したM次元の特徴ベクトル系列〔yi,M〕を認識部16に供給する。尚、特徴ベクトル系列〔yi,M〕の変数iはフレーム番号を表している。
【0061】
こうして、実際に発話された声の特徴ベクトル系列〔yi,M〕が認識部16に供給されると、認識部16は、特徴ベクトル系列〔yi,M〕と話者適応した適応音声HMM400の適応ベクトル〔xn,M〕とを照合し、最大尤度を与える適応音声HMM400を認識結果として出力する。
【0062】
以上に述べたように本実施形態の音声認識システムによれば、話者適応の際に、指定テキストTxに従って特定話者が発話すると、加法性ノイズ除去部7と特徴ベクトル生成部8及び乗法性ノイズ除去部9が、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列〔ci,M〕を生成すると共に、特徴ベクトル生成部12が、加法性ノイズと乗法性ノイズを含んでいる入力音声Scfに基づいて特徴ベクトル系列〔si,M〕を生成し、パス探索部10と話者適応部11が、これらの特徴ベクトル系列〔ci,M〕と特徴ベクトル系列〔si,M〕及び標準ベクトル〔ai,M〕に基づいて話者適応した適応ベクトル〔xi,M〕を生成し、その話者適応した適応ベクトル〔xi,M〕で適応音声HMM400を更新している。
【0063】
このため、特定話者を取りまいている周囲環境のノイズ(加法性ノイズ)や本音声認識システム自体の伝送ノイズ(乗法性ノイズ)の特徴を含んだ特徴ベクトル系列〔si,M〕が話者適応に用いられることになり、実際の発話環境に対応した適応音声HMM400を生成することが可能となることから、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することができる。
【0064】
また、従来の話者適応型の音声認識システムでは、話者適応の際に、加法性ノイズや乗法性ノイズを除去した特徴ベクトルを生成するのに伴って、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまい、適切な話者適応音響モデルを作成することができないという問題があったが、本実施形態の音声認識システムによれば、特徴ベクトル生成部12が、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトル系列〔si,M〕を生成し、この特徴ベクトル系列〔si,M〕を話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを作成することができて、音声認識率の向上を図ることができる。
【0065】
尚、本実施形態では、日本語の「あいうえお」等の音節を基準にした適応音声HMM400を作成する場合を説明したが、音節のみに限らず、音素等を基準として適応音声HMM400を作成することが可能である。
【0066】
また、本実施形態では、簡単な例示を上げて、話者適応の手法について説明したが、標準ベクトル〔an,M〕と適応話者の特徴ベクトル系列〔si,M〕或いは〔ci,M〕との対応を求め、それに基づいて話者適応音響モデルを生成する他の様々な話者適応手法に本発明の話者適応手法を適応することが可能である。
【0067】
【発明の効果】
以上説明したように本発明の音声認識システムによれば、話者適応の際に、加法性ノイズや乗法性ノイズを除いた特徴ベクトルと、加法性ノイズや乗法性ノイズの特徴を含んだ特徴ベクトルとを生成し、これらノイズを含まない特徴ベクトルとノイズを含んだ特徴ベクトルに基づいて、標準ベクトルを補償することで、話者固有の発話に適応した話者適応音響モデルを作成するようにしたので、実際の発話環境に対応した話者適応音響モデルを生成することが可能となる。
【0068】
また、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを生成することができる。
【0069】
このため、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【図面の簡単な説明】
【図1】本実施形態の音声認識システムの構成を示すブロック図である。
【図2】標準音響モデルの構成を模式的に示した図である。
【図3】話者適応の際に特徴ベクトル生成部12で生成される特徴ベクトル系列〔si,M〕を示した図である。
【図4】話者適応の際に乗法性ノイズ除去部9から出力される特徴ベクトル系列〔ci,M〕を示した図である。
【図5】特徴ベクトル系列〔ci,M〕と標準ベクトル〔an,M〕との対応関係をフレーム番号と状態番号に基づいて示した図である。
【図6】特徴ベクトル系列〔ci,M〕と標準ベクトル〔an,M〕とフレーム番号及び状態番号を対応付けて示した図である。
【図7】話者適応によって生成される平均特徴ベクトルと標準ベクトルとの対応関係を示した図である。
【図8】更新後の話者適応音響モデルの内容を示した図である。
【図9】従来の話者適応型音声認識システムの構成を示すブロック図である。
【符号の説明】
6…フレーム化部
7,13…加法性ノイズ除去部
8,12,14…特徴ベクトル生成部
9,15…乗法性ノイズ除去部
10…パス探索部
11…話者適応部
16…認識部
300…標準音響モデル(標準音声HMM)
400…話者適応音響モデル(適応音声HMM)
Claims (2)
- 話者適応音響モデルを用いて音声認識を行う音声認識システムであって、
標準の音声の特徴を表した標準ベクトルを有する標準音響モデルと、
特定話者が指定テキストに対応する発話をすると、前記発話された音声からノイズを除去し、ノイズの除去された音声の特徴を表す第1の特徴ベクトル系列を生成する第1の特徴ベクトル生成手段と、
前記発話された音声からノイズを除去することなく、ノイズが含まれたままの音声の特徴を表す第2の特徴ベクトル系列を生成する第2の特徴ベクトル生成手段と、
前記第1の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付けるパス探索手段と、
前記パス探索手段によって対応付けられた前記第1の特徴ベクトル系列と前記標準ベクトルとの対応関係に基づき前記第2の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付け、当該特徴ベクトルと対応付けられた前記標準ベクトルとの差に比べ、当該特徴ベクトルと適応ベクトルとの差が小さくなるように前記適応ベクトルを生成する生成手段と、
前記特定話者によって発話された音声の特徴を表す特徴ベクトルと前記生成手段によって生成された適応ベクトルとを照合することによって、前記特定話者によって発話された音声の認識を行う認識手段と、
を具備することを特徴とする音声認識システム。 - 前記パス探索手段は、前記第1の特徴ベクトル系列に含まれる個々の特徴ベクトルと、当該特徴ベクトルと最も尤度の高い前記標準ベクトルとを対応付けること、
を特徴とする請求項1に記載の音声認識システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000298536A JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
DE60114968T DE60114968T2 (de) | 2000-09-29 | 2001-09-27 | Geräuschrobuste Spracherkennung |
EP01308268A EP1195744B1 (en) | 2000-09-29 | 2001-09-27 | Noise robust voice recognition |
US09/964,677 US7065488B2 (en) | 2000-09-29 | 2001-09-28 | Speech recognition system with an adaptive acoustic model |
CN01137997.9A CN1236421C (zh) | 2000-09-29 | 2001-09-29 | 语音识别*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000298536A JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002108383A JP2002108383A (ja) | 2002-04-10 |
JP4169921B2 true JP4169921B2 (ja) | 2008-10-22 |
Family
ID=18780481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000298536A Expired - Fee Related JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7065488B2 (ja) |
EP (1) | EP1195744B1 (ja) |
JP (1) | JP4169921B2 (ja) |
CN (1) | CN1236421C (ja) |
DE (1) | DE60114968T2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002123285A (ja) * | 2000-10-13 | 2002-04-26 | Sony Corp | 話者適応装置および話者適応方法、記録媒体、並びに音声認識装置 |
GB2391679B (en) * | 2002-02-04 | 2004-03-24 | Zentian Ltd | Speech recognition circuit using parallel processors |
DE102004008225B4 (de) * | 2004-02-19 | 2006-02-16 | Infineon Technologies Ag | Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien |
US7827032B2 (en) | 2005-02-04 | 2010-11-02 | Vocollect, Inc. | Methods and systems for adapting a model for a speech recognition system |
US8200495B2 (en) * | 2005-02-04 | 2012-06-12 | Vocollect, Inc. | Methods and systems for considering information about an expected response when performing speech recognition |
US7865362B2 (en) | 2005-02-04 | 2011-01-04 | Vocollect, Inc. | Method and system for considering information about an expected response when performing speech recognition |
US7949533B2 (en) | 2005-02-04 | 2011-05-24 | Vococollect, Inc. | Methods and systems for assessing and improving the performance of a speech recognition system |
US7895039B2 (en) | 2005-02-04 | 2011-02-22 | Vocollect, Inc. | Methods and systems for optimizing model adaptation for a speech recognition system |
JP4332129B2 (ja) * | 2005-04-20 | 2009-09-16 | 富士通株式会社 | 文書分類プログラム、文書分類方法および文書分類装置 |
WO2007056451A2 (en) * | 2005-11-07 | 2007-05-18 | Scanscout, Inc. | Techniques for rendering advertisments with rich media |
US8762148B2 (en) * | 2006-02-27 | 2014-06-24 | Nec Corporation | Reference pattern adaptation apparatus, reference pattern adaptation method and reference pattern adaptation program |
JP4245617B2 (ja) * | 2006-04-06 | 2009-03-25 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
JP4316583B2 (ja) * | 2006-04-07 | 2009-08-19 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
US20080109391A1 (en) * | 2006-11-07 | 2008-05-08 | Scanscout, Inc. | Classifying content based on mood |
US8577996B2 (en) * | 2007-09-18 | 2013-11-05 | Tremor Video, Inc. | Method and apparatus for tracing users of online video web sites |
US8549550B2 (en) | 2008-09-17 | 2013-10-01 | Tubemogul, Inc. | Method and apparatus for passively monitoring online video viewing and viewer behavior |
US9612995B2 (en) | 2008-09-17 | 2017-04-04 | Adobe Systems Incorporated | Video viewer targeting based on preference similarity |
US20110093783A1 (en) * | 2009-10-16 | 2011-04-21 | Charles Parra | Method and system for linking media components |
WO2012057809A2 (en) * | 2009-11-20 | 2012-05-03 | Tadashi Yonezaki | Methods and apparatus for optimizing advertisement allocation |
KR101060183B1 (ko) * | 2009-12-11 | 2011-08-30 | 한국과학기술연구원 | 임베디드 청각 시스템 및 음성 신호 처리 방법 |
US20110150270A1 (en) * | 2009-12-22 | 2011-06-23 | Carpenter Michael D | Postal processing including voice training |
JP5494468B2 (ja) * | 2010-12-27 | 2014-05-14 | 富士通株式会社 | 状態検出装置、状態検出方法および状態検出のためのプログラム |
US8914290B2 (en) | 2011-05-20 | 2014-12-16 | Vocollect, Inc. | Systems and methods for dynamically improving user intelligibility of synthesized speech in a work environment |
CN102760436B (zh) * | 2012-08-09 | 2014-06-11 | 河南省烟草公司开封市公司 | 一种语音词库筛选方法 |
US9978395B2 (en) | 2013-03-15 | 2018-05-22 | Vocollect, Inc. | Method and system for mitigating delay in receiving audio stream during production of sound from audio stream |
US10714121B2 (en) | 2016-07-27 | 2020-07-14 | Vocollect, Inc. | Distinguishing user speech from background speech in speech-dense environments |
KR102637339B1 (ko) | 2018-08-31 | 2024-02-16 | 삼성전자주식회사 | 음성 인식 모델을 개인화하는 방법 및 장치 |
CN110197670B (zh) * | 2019-06-04 | 2022-06-07 | 大众问问(北京)信息科技有限公司 | 音频降噪方法、装置及电子设备 |
CN112863483B (zh) * | 2021-01-05 | 2022-11-08 | 杭州一知智能科技有限公司 | 支持多说话人风格、语言切换且韵律可控的语音合成装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5721808A (en) * | 1995-03-06 | 1998-02-24 | Nippon Telegraph And Telephone Corporation | Method for the composition of noise-resistant hidden markov models for speech recognition and speech recognizer using the same |
JP2780676B2 (ja) * | 1995-06-23 | 1998-07-30 | 日本電気株式会社 | 音声認識装置及び音声認識方法 |
JP3001037B2 (ja) * | 1995-12-13 | 2000-01-17 | 日本電気株式会社 | 音声認識装置 |
US6026359A (en) * | 1996-09-20 | 2000-02-15 | Nippon Telegraph And Telephone Corporation | Scheme for model adaptation in pattern recognition based on Taylor expansion |
US5924065A (en) * | 1997-06-16 | 1999-07-13 | Digital Equipment Corporation | Environmently compensated speech processing |
WO1999001942A2 (en) * | 1997-07-01 | 1999-01-14 | Partran Aps | A method of noise reduction in speech signals and an apparatus for performing the method |
US6658385B1 (en) * | 1999-03-12 | 2003-12-02 | Texas Instruments Incorporated | Method for transforming HMMs for speaker-independent recognition in a noisy environment |
US6529866B1 (en) * | 1999-11-24 | 2003-03-04 | The United States Of America As Represented By The Secretary Of The Navy | Speech recognition system and associated methods |
US7089182B2 (en) * | 2000-04-18 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for feature domain joint channel and additive noise compensation |
US7003455B1 (en) * | 2000-10-16 | 2006-02-21 | Microsoft Corporation | Method of noise reduction using correction and scaling vectors with partitioning of the acoustic space in the domain of noisy speech |
-
2000
- 2000-09-29 JP JP2000298536A patent/JP4169921B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-27 DE DE60114968T patent/DE60114968T2/de not_active Expired - Fee Related
- 2001-09-27 EP EP01308268A patent/EP1195744B1/en not_active Expired - Lifetime
- 2001-09-28 US US09/964,677 patent/US7065488B2/en not_active Expired - Fee Related
- 2001-09-29 CN CN01137997.9A patent/CN1236421C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7065488B2 (en) | 2006-06-20 |
CN1346125A (zh) | 2002-04-24 |
EP1195744B1 (en) | 2005-11-16 |
DE60114968T2 (de) | 2006-07-27 |
JP2002108383A (ja) | 2002-04-10 |
US20020042712A1 (en) | 2002-04-11 |
CN1236421C (zh) | 2006-01-11 |
EP1195744A3 (en) | 2003-01-22 |
DE60114968D1 (de) | 2005-12-22 |
EP1195744A2 (en) | 2002-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4169921B2 (ja) | 音声認識システム | |
US7272561B2 (en) | Speech recognition device and speech recognition method | |
JP3836815B2 (ja) | 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体 | |
JPH11126090A (ja) | 音声認識方法及び音声認識装置並びに音声認識装置を動作させるためのプログラムが記録された記録媒体 | |
JPH08234788A (ja) | 音声認識のバイアス等化方法および装置 | |
US8332222B2 (en) | Viterbi decoder and speech recognition method using same using non-linear filter for observation probabilities | |
JP2001517325A (ja) | 認識システム | |
EP1471500B1 (en) | System and method for speech recognition using models adapted to actual noise conditions | |
JPH075892A (ja) | 音声認識方法 | |
Babani et al. | Acoustic model training for non-audible murmur recognition using transformed normal speech data | |
JP3587966B2 (ja) | 音声認識方法、装置そよびその記憶媒体 | |
CN109155128B (zh) | 声学模型学习装置、声学模型学习方法、语音识别装置和语音识别方法 | |
JP2002366192A (ja) | 音声認識方法及び音声認識装置 | |
JP4464797B2 (ja) | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP3250604B2 (ja) | 音声認識方法および装置 | |
JP4586386B2 (ja) | 素片接続型音声合成装置及び方法 | |
JP2021099454A (ja) | 音声合成装置、音声合成プログラム及び音声合成方法 | |
JP2000259198A (ja) | パターン認識装置および方法、並びに提供媒体 | |
JP2001356793A (ja) | 音声認識装置、及び音声認識方法 | |
Zeiler et al. | Introducing the Turbo-Twin-HMM for Audio-Visual Speech Enhancement. | |
JP2004309959A (ja) | 音声認識装置および音声認識方法 | |
JPH06175678A (ja) | 音声認識装置 | |
JP3256979B2 (ja) | 音響モデルの入力音声に対する尤度を求める方法 | |
JPH11212587A (ja) | 音声認識における雑音適応方法 | |
Obuchi | Improved histogram-based feature compensation for robust speech recognition and unsupervised speaker adaptation. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |