JP6054004B1 - 音声認識装置 - Google Patents
音声認識装置 Download PDFInfo
- Publication number
- JP6054004B1 JP6054004B1 JP2016541466A JP2016541466A JP6054004B1 JP 6054004 B1 JP6054004 B1 JP 6054004B1 JP 2016541466 A JP2016541466 A JP 2016541466A JP 2016541466 A JP2016541466 A JP 2016541466A JP 6054004 B1 JP6054004 B1 JP 6054004B1
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- base matrix
- test data
- acoustic model
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 242
- 238000012360 testing method Methods 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000012821 model calculation Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
Abstract
Description
従来、このような特徴量の適用手法として、例えば非特許文献1に開示されたCMLLR(Constrained−MLLR)法が知られている。これはモデルパラメータの平均及び分散を変換する手法である。当該変換は特徴量ベクトルを変換することと等価であるため、CMLLRは特徴量における変換行列を求めることとなる。具体的には式(1)のように、入力音声から計算されたD次元の音響特徴量otを音素の標準パターンである音響モデルに近づけるようなアフィン変換行列Wを求める。
基底行列は学習データより求め、適応時には入力話者への変換行列をそれらの重みdnのみを求める。適応ステップで求めるべきパラメータは重みdnだけでよく、100フレーム(=1秒)のデータに対し、推定すべきパラメータ数は非特許文献2によれば、式(3)により20個程度で済む。
N=min(ηβ,Nmax) ∵η=0.2 (3)
これは入力フレームβに応じてNを変え、使用する基底行列数を制限することを意味している。
実施の形態1.
図1は、本実施の形態による音声認識装置の構成図である。
本実施の形態による音声認識装置は、図示のように、学習ステップ実行部100と適応ステップ実行部200から構成される。学習ステップ実行部100は、音響モデル算出部101、基底行列算出部102、基底行列の寄与度計算部103を備え、適応ステップ実行部200は、基底行列の重み算出部201、基底行列への重み適用部202、特徴量データへの行列適用部203、デコード部204を備えている。
音声認識装置はコンピュータを用いて実現されており、プロセッサ1、メモリ2、入出力インタフェース(入出力I/F)3、バス4を備える。プロセッサ1は、コンピュータとしての演算処理を行う機能部であり、メモリ2は、各種のプログラムや演算結果を記憶し、また、プロセッサ1が演算処理を行う場合の作業領域を構成する記憶部である。入出力インタフェース3は、学習データ104やテストデータ205を入力したり、認識結果209を外部に出力したりする際のインタフェースである。バス4は、プロセッサ1、メモリ2及び入出力インタフェース3を相互に接続するためのバスである。
先ず、学習ステップ実行部100が行う学習ステップについて図3のフローチャートを用いて説明する。
学習ステップでは、先ず、学習データ104から音響モデル算出部101により音素の標準パターンである音響モデル105を作成する(ステップST1)。ここで音響特徴量としては、フィルタバンク係数、MFCC(Mel Frequency Cepstrum Coefficient)、PLP(Perceptual Linear Predictive)など従来から用いられている特徴ベクトルを利用することができる。
適応ステップでは、先ず、基底行列の重み算出部201は、テストデータ205と音響モデル105と基底行列106から基底行列の重み(dn)206を生成する(ステップST11)。次に、基底行列への重み適用部202は、ステップST11で求めた基底行列の重み206と、基底行列106と基底行列の寄与度(ω1:Nmax)107とを用いて重みづけられた行列としての変換行列(W)207を得る(ステップST12)。逐次的に式(5)に基づいて、基底行列の重み206と変換行列207を求める。
実施の形態2は、変換行列と、変換行列の推定に使用する基底行列とを音素などのクラス毎に求めるようにしたものである。
先ず、学習ステップ実行部100aが行う学習ステップについて図6のフローチャートを用いて説明する。
学習ステップにおいて、学習データを予め音素などのC個のクラス毎に分類し、クラスタリングされたクラス毎の学習データ104aを用意する。この際のクラス数Cやクラスの分け方は、音素に応じて手動で決めてもよいし、決定木やK−means法を用いたクラスタリングにより決定してもよい。音響モデル算出部101aは、このようなクラス毎の学習データ104aから音響モデル105aを算出する(ステップST101)。次にクラス毎の学習データ104aと音響モデル105aとを基底行列算出部102aにそれぞれ入力し、クラス毎の基底行列106aを得る(ステップST102)。
適応ステップでは、アラインメント算出部210により、テストデータ205からアラインメント212を算出する(ステップST201)。ここで、アラインメントとはHMMの状態系列であり、テストデータの各時刻tに対応する音素やクラス情報を対応づける用途に使用される。次に、データのクラス分類部211は、アラインメント212を用いてテストデータ205をクラス毎に分類し、クラス1からクラスCに対応するテストデータをクラス毎のテストデータ213として生成する(ステップST202)。次に、基底行列の重み算出部201aは、クラス毎のテストデータ213に対して、音響モデル105aとクラス毎の基底行列106aを用いて、クラス毎の基底行列の重み206aを算出する(ステップST203)。更に、基底行列への重み適用部202aは、クラス毎の基底行列の重み206aに対して、クラス毎の基底行列106aを用いてクラス毎の変換行列207aを算出する(ステップST204)。ステップST203とステップST204を逐次的に繰り返し、尤度の上がり幅が閾値を下回る、もしくは定めた回数分繰り返した場合にステップST205に進む。
Claims (2)
- 学習データの音響特徴量を用いて当該学習データの標準パターンをモデル化した音響モデルを算出する音響モデル算出部と、
前記音響モデルと前記学習データとを用いて、基底行列を算出する基底行列算出部と、
前記基底行列を用いて、基底行列の寄与度を算出する基底行列の寄与度計算部と、
テストデータの音響特徴量と、前記音響モデルと、前記基底行列とを用いて、基底行列の重みを算出する基底行列への重み算出部と、
前記基底行列の重みと、前記基底行列の寄与度と、前記基底行列とを用いて、基底行列への重み付けを行った変換行列を生成する基底行列への重み適用部と、
前記変換行列を用いて、前記テストデータを前記音響モデルと認識するための変換済みテストデータに変換する特徴量データへの行列適用部と、
前記変換済みテストデータと前記音響モデルとを照合して音声認識を行うデコード部とを備えた音声認識装置。 - クラスタリングされた学習データの音響特徴量を用いて当該学習データの標準パターンをモデル化した音響モデルを算出する音響モデル算出部と、
前記音響モデルと前記学習データとを用いて、クラス毎に基底行列を算出する基底行列算出部と、
前記クラス毎の基底行列を用いて、基底行列の寄与度を算出する基底行列の寄与度計算部と、
テストデータの音響特徴量の状態系列を示すアラインメントを算出するアラインメント算出部と、
前記テストデータと前記アラインメントとを用いて、前記テストデータをクラス毎に分類するデータのクラス分類部と、
前記クラス毎のテストデータと前記基底行列と前記音響モデルとを用いて、クラス毎の基底行列への重みを求める基底行列の重み算出部と、
前記クラス毎の基底行列と、前記クラス毎の基底行列の寄与度と、前記クラス毎の基底行列の重みとを用いて、重みづけによりクラス毎に変換行列を生成する基底行列への重み適用部と、
前記テストデータと前記アラインメントと前記クラス毎の変換行列とを用いて、前記テストデータを前記音響モデルと認識するための変換済みテストデータを生成する特徴量データへの行列適用部と、
前記変換済みテストデータと、前記音響モデルとを照合して音声認識を行うデコード部とを備えた音声認識装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/052724 WO2017130387A1 (ja) | 2016-01-29 | 2016-01-29 | 音声認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6054004B1 true JP6054004B1 (ja) | 2016-12-27 |
JPWO2017130387A1 JPWO2017130387A1 (ja) | 2018-02-01 |
Family
ID=57582225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016541466A Expired - Fee Related JP6054004B1 (ja) | 2016-01-29 | 2016-01-29 | 音声認識装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6054004B1 (ja) |
TW (1) | TW201727620A (ja) |
WO (1) | WO2017130387A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216178A (ja) * | 2002-01-18 | 2003-07-30 | Nec Corp | 階層的固有空間抽出装置、適応モデル作成装置、これらの抽出、作成方法ならびに抽出、作成プログラム |
US20050182626A1 (en) * | 2004-02-18 | 2005-08-18 | Samsung Electronics Co., Ltd. | Speaker clustering and adaptation method based on the HMM model variation information and its apparatus for speech recognition |
US20120173240A1 (en) * | 2010-12-30 | 2012-07-05 | Microsoft Corporation | Subspace Speech Adaptation |
-
2016
- 2016-01-29 WO PCT/JP2016/052724 patent/WO2017130387A1/ja active Application Filing
- 2016-01-29 JP JP2016541466A patent/JP6054004B1/ja not_active Expired - Fee Related
- 2016-05-19 TW TW105115458A patent/TW201727620A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216178A (ja) * | 2002-01-18 | 2003-07-30 | Nec Corp | 階層的固有空間抽出装置、適応モデル作成装置、これらの抽出、作成方法ならびに抽出、作成プログラム |
US20050182626A1 (en) * | 2004-02-18 | 2005-08-18 | Samsung Electronics Co., Ltd. | Speaker clustering and adaptation method based on the HMM model variation information and its apparatus for speech recognition |
US20120173240A1 (en) * | 2010-12-30 | 2012-07-05 | Microsoft Corporation | Subspace Speech Adaptation |
Non-Patent Citations (1)
Title |
---|
JPN7016000735; D.Povey et al.: 'A Basis Representation of Constrained MLLR Transforms for Robust Adaptation' Computer Speech and Language Vol.26, Issue 1, 201201, pp.35-51 * |
Also Published As
Publication number | Publication date |
---|---|
WO2017130387A1 (ja) | 2017-08-03 |
TW201727620A (zh) | 2017-08-01 |
JPWO2017130387A1 (ja) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gibiansky et al. | Deep voice 2: Multi-speaker neural text-to-speech | |
Arik et al. | Deep voice 2: Multi-speaker neural text-to-speech | |
JP5326892B2 (ja) | 情報処理装置、プログラム、および音響モデルを生成する方法 | |
US11450332B2 (en) | Audio conversion learning device, audio conversion device, method, and program | |
WO2020036178A1 (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
WO2019240228A1 (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
CA2652302A1 (en) | Intersession variability compensation for automatic extraction of information from voice | |
JP6764851B2 (ja) | 系列データ変換装置、学習装置、及びプログラム | |
CN113327575B (zh) | 一种语音合成方法、装置、计算机设备和存储介质 | |
Ghaffarzadegan et al. | Deep neural network training for whispered speech recognition using small databases and generative model sampling | |
Kannadaguli et al. | A comparison of Bayesian and HMM based approaches in machine learning for emotion detection in native Kannada speaker | |
US8874438B2 (en) | User and vocabulary-adaptive determination of confidence and rejecting thresholds | |
JP3088357B2 (ja) | 不特定話者音響モデル生成装置及び音声認識装置 | |
JP6054004B1 (ja) | 音声認識装置 | |
Soni et al. | Text-dependent speaker verification using classical LBG, adaptive LBG and FCM vector quantization | |
JP6542823B2 (ja) | 音響モデル学習装置、音声合成装置、それらの方法、及びプログラム | |
Sen et al. | A novel bangla spoken numerals recognition system using convolutional neural network | |
Kannadaguli et al. | Comparison of hidden markov model and artificial neural network based machine learning techniques using DDMFCC vectors for emotion recognition in Kannada | |
JP2009237336A (ja) | 音声認識装置及び音声認識プログラム | |
Kannadaguli et al. | Comparison of artificial neural network and gaussian mixture model based machine learning techniques using ddmfcc vectors for emotion recognition in kannada | |
Kotani et al. | Voice Conversion Based on Deep Neural Networks for Time-Variant Linear Transformations | |
Shahnawazuddin et al. | A fast adaptation approach for enhanced automatic recognition of children’s speech with mismatched acoustic models | |
Sarfjoo et al. | Cross-Lingual Speaker Adaptation for Statistical Speech Synthesis Using Limited Data. | |
Shinoda | Speaker adaptation techniques for speech recognition using probabilistic models | |
Suzuki et al. | Discriminative re-ranking for automatic speech recognition by leveraging invariant structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6054004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |