JP4762176B2 - Speech recognition apparatus and speech recognition program - Google Patents
Speech recognition apparatus and speech recognition program Download PDFInfo
- Publication number
- JP4762176B2 JP4762176B2 JP2007054272A JP2007054272A JP4762176B2 JP 4762176 B2 JP4762176 B2 JP 4762176B2 JP 2007054272 A JP2007054272 A JP 2007054272A JP 2007054272 A JP2007054272 A JP 2007054272A JP 4762176 B2 JP4762176 B2 JP 4762176B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- bispectral
- speech
- analysis
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、入力される音声信号に基づき音声認識処理を行なう音声認識装置および音声認識プログラムに関するものである。 The present invention relates to a speech recognition apparatus and a speech recognition program that perform speech recognition processing based on input speech signals.
従来の音声認識装置および方法では、音声信号の周波数分脈より得られるパワースペクトルの大まかな形状および共振周波数を表現するMFCC(Mel-Frequency Cepstrum Coefficient)やPLP(Perceptual Linear Predictive)といった特微量を使用し、これらの特徴量を探索することによって音声認識を行なっていた。 Conventional speech recognition devices and methods use features such as MFCC (Mel-Frequency Cepstrum Coefficient) and PLP (Perceptual Linear Predictive) that represent the approximate shape and resonance frequency of the power spectrum obtained from the frequency branching of the speech signal. The speech recognition was performed by searching for these feature quantities.
非特許文献1には、音声特徴抽出の方法として、MFCCパラメータを用いること、およびその計算方法が記載されている。 Non-Patent Document 1 describes the use of MFCC parameters as a method for extracting speech features and a calculation method thereof.
上記のような従来の方法では、周波数分析より得られるパワースペクトルの山谷を余弦波の和で表現するため、ある周波数だけに雑音が混入しても認識率が劣化してしまう問題があった。
また、パワースペクトルに基づく特徴量では、音声信号の非ガウス性の部分を表現できないため、この点のより詳細な特徴量が音声認識に活かされておらず、結果として認識率向上を阻害している可能性があった。
In the conventional method as described above, since the peaks and valleys of the power spectrum obtained by frequency analysis are expressed by the sum of cosine waves, there is a problem in that the recognition rate deteriorates even if noise is mixed into only a certain frequency.
In addition, since the feature quantity based on the power spectrum cannot express the non-Gaussian part of the speech signal, the more detailed feature quantity of this point is not utilized for speech recognition, resulting in hindering the recognition rate improvement. There was a possibility.
本発明は、上記の課題認識に基づいて行なわれたものであり、ガウス性の雑音による劣化を受けないなど、より認識率の高い音声認識装置および音声認識プログラムを提供することを目的とする。 The present invention has been made on the basis of the above problem recognition, and an object of the present invention is to provide a speech recognition apparatus and a speech recognition program having a higher recognition rate, such as being free from deterioration due to Gaussian noise.
[1]上記の課題を解決するため、本発明の一態様による音声認識装置は、入力音声信号をバイスペクトル分析して第1バイスペクトル信号を出力するバイスペクトル分析部と、前記バイスペクトル分析部が出力した前記第1バイスペクトル信号を局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理部と、学習音声信号をバイスペクトル分析して得られた第2バイスペクトル信号を局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果を関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部と、前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識部とを備えることを特徴とするものである。 [1] In order to solve the above-described problem, a speech recognition apparatus according to an aspect of the present invention includes a bispectrum analysis unit that performs bispectral analysis on an input speech signal and outputs a first bispectral signal, and the bispectral analysis unit. A feature amount calculation processing unit that calculates an input speech feature amount by performing average value processing on the first bispectral signal output for each local area, and a second bispectral signal obtained by bispectral analysis of the learning speech signal An acoustic model information storage unit for preliminarily storing acoustic model information obtained by associating a learning speech feature amount obtained by performing average value processing for each locality with a correct recognition result corresponding to the learned speech signal, and calculating the feature amount Based on the input speech feature value calculated by the processing unit and the learning speech feature value read from the acoustic model information storage unit, the input speech signal It is characterized in further comprising a recognition unit for determining a recognition result.
ここで、第1バイスペクトル信号を局所毎に平均値処理するとは、バイスペクトルの2つの周波数の軸がなす平面空間において、局所毎の平均値をとる処理である。局所毎とは、所定の方向に沿って1次元的に局所的な(例えば、2つの周波数の和ごとに)平均値処理する場合や、2次元的に局所的な平均値処理をする場合を含む。このような平均値処理により、バイスペクトル信号に含まれるノイズが除去される作用もある。
この構成によれば、バイスペクトル分析部が入力音声信号をバイスペクトル分析するため、パワースペクトル分析だけでは得られない、音声信号の各周波数間の相関関係に関する高次の統計量を得られる。そして、特徴量算出処理部は、このバイスペクトル分析の結果に基づき入力音声特徴量を算出するため、パワースペクトル分析だけでは得られない高次の統計量に基づく特徴量を算出することができる。また、学習音声特徴量も、学習音声信号をバイスペクトル分析して得た特徴量であるため、入力音声特徴量と同様の性質を有する。音響モデル情報は、このような学習音声特徴量を用いて構築されたものである。認識部は、このような特徴量に基づく音響モデル情報を読み出して利用するため、結果として、パワースペクトル分析だけでは得られない特徴を用いた音声認識を行なえる。
具体的には、バイスペクトルを用いた認識により、ガウス性雑音の混入した音声に対しては、認識性能が向上する。また、バイスペクルを利用することで、ガウス性の雑音の影響を受けにくい。また、バイスペクトルでは周波数間の相関関係が値として現れているので、音声のような倍音構造を持つ信号の詳細な表現が可能となり、このような値を用いた認識により認識精度が向上する。
Here, the average value processing of the first bispectral signal for each local area is a process for obtaining an average value for each local area in a plane space formed by two frequency axes of the bispectrum. Each local means a case where average value processing is performed one-dimensionally along a predetermined direction (for example, every two frequencies), or a case where two-dimensional local average value processing is performed. Including. Such average value processing also has an effect of removing noise included in the bispectral signal.
According to this configuration, since the bispectrum analysis unit performs bispectrum analysis on the input voice signal, it is possible to obtain higher-order statistics regarding the correlation between the frequencies of the voice signal, which cannot be obtained only by power spectrum analysis. And since the feature-value calculation process part calculates an input audio | voice feature-value based on the result of this bispectral analysis, it can calculate the feature-value based on the high-order statistic which cannot be obtained only by power spectrum analysis. Further, the learning speech feature amount is a feature amount obtained by bispectral analysis of the learning speech signal, and thus has the same properties as the input speech feature amount. The acoustic model information is constructed using such learned speech feature quantities. Since the recognizing unit reads and uses the acoustic model information based on such feature quantities, as a result, speech recognition using features that cannot be obtained only by power spectrum analysis can be performed.
Specifically, recognition performance is improved for speech mixed with Gaussian noise by recognition using bispectrum. In addition, by using a bispeckle, it is difficult to be affected by Gaussian noise. In addition, since the correlation between frequencies appears as a value in the bispectrum, a detailed expression of a signal having a harmonic structure such as speech is possible, and recognition accuracy is improved by recognition using such a value.
[2]また、本発明の一態様による音声認識装置は、前記の音声認識装置において、前記特徴量算出処理部は、前記第1バイスペクトル信号についてバイスペクトルの周波数の和毎の平均値を算出する平均値計算処理部と、前記平均値計算処理部が算出した前記バイスペクトルの周波数の和毎の平均値をフィルタバンク分析処理する第1フィルタバンク分析処理部と、前記第1フィルタバンク分析処理部によるフィルタバンク分析処理の結果を離散コサイン変換分析処理することによって前記入力音声特徴量を算出する第1離散コサイン変換処理部とで構成され、前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号についてのバイスペクトルの周波数の和毎の平均値に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものであることを特徴とする。 [2] Further, in the speech recognition apparatus according to an aspect of the present invention, in the speech recognition apparatus, the feature amount calculation processing unit calculates an average value for each sum of bispectral frequencies for the first bispectral signal. An average value calculation processing unit, a first filter bank analysis processing unit that performs filter bank analysis processing on an average value for each sum of the frequencies of the bispectrum calculated by the average value calculation processing unit, and the first filter bank analysis processing A first discrete cosine transform processing unit that calculates the input speech feature value by performing a discrete cosine transform analysis process on the result of the filter bank analysis process by the unit, and the acoustic model stored in the acoustic model information storage unit The model information is the learning speech feature amount based on an average value for each sum of the bispectral frequencies of the second bispectral signal. , Characterized in that it is made of in association with the correct recognition result.
この構成により、平均値計算処理部は、バイスペクトルの周波数の和毎の平均値を算出する。このような方向で平均値を算出することにより、ピッチ周波数の変動の影響が現れにくくなり、音声認識の精度向上につながる。 With this configuration, the average value calculation processing unit calculates an average value for each sum of the frequencies of the bispectrum. By calculating the average value in such a direction, the influence of fluctuations in the pitch frequency is less likely to appear, leading to improved accuracy of speech recognition.
[3]また、本発明の一態様による音声認識装置は、前記の音声認識装置において、前記特徴量算出処理部は、前記第1バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理する第2フィルタバンク分析処理部と、前記第2フィルタバンク分析処理部によるフィルタバンク分析処理の結果を2次元離散コサイン変換処理することによって前記入力音声特徴量を算出する第2離散コサイン変換処理部とで構成され、前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理した結果に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものであることを特徴とする。 [3] In the speech recognition device according to an aspect of the present invention, in the speech recognition device, the feature amount calculation processing unit performs a filter bank analysis process on the first bispectral signal in each frequency direction of the bispectrum. A second filter bank analysis processing unit that performs neighborhood averaging processing, and a second discrete that calculates the input speech feature value by performing a two-dimensional discrete cosine transform process on the result of the filter bank analysis processing by the second filter bank analysis processing unit The acoustic model information configured by a cosine transform processing unit and stored in the acoustic model information storage unit is subjected to a neighborhood average process by performing filter bank analysis processing on the second bispectral signal in each frequency direction of the bispectrum. The learning speech feature quantity based on the result and the correct answer recognition result are associated with each other.
[4]また、本発明の一態様による音声認識装置は、前記の音声認識装置において、前記入力音声信号をパワースペクトル分析することによってパワースペクトル特徴量を算出する入力パワースペクトル特徴量算出処理部を更に備え、前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記学習音声信号をパワースペクトル分析して算出される学習パワースペクトル特徴量と前記学習音声特徴量と前記正解認識結果とを関連付けてなるものであり、前記認識部は、前記入力パワースペクトル特徴量算出処理部によって算出された前記パワースペクトル特徴量と、前記音響モデル情報記憶部から読み出した前記学習パワースペクトル特徴量とに更に基づき、前記入力音声信号の認識結果を決定することを特徴とするものである。 [4] A speech recognition apparatus according to an aspect of the present invention includes an input power spectrum feature amount calculation processing unit that calculates a power spectrum feature amount by performing a power spectrum analysis on the input speech signal in the speech recognition apparatus. The acoustic model information stored in the acoustic model information storage unit further includes a learning power spectrum feature amount calculated by analyzing a power spectrum of the learning speech signal, the learning speech feature amount, and the correct answer recognition result. And the recognizing unit includes the power spectrum feature amount calculated by the input power spectrum feature amount calculation processing unit and the learning power spectrum feature amount read from the acoustic model information storage unit. Further, the recognition result of the input voice signal is determined based on the determination result.
ここで、パワースペクトル特徴量とは、メル周波数ケプストラム係数(MFCC)および知覚線形予測(PLP)のいずれか一方、あるいは両方に基づく特徴量である。
この構成により、バイスペクトル特徴量とパワースペクトル特徴量の両方を適切に組み合わせて音声の特徴をより詳細に表現し、このような特徴量を用いた音声認識が可能となり、さらに認識精度の向上が期待できる。
Here, the power spectrum feature amount is a feature amount based on one or both of the mel frequency cepstrum coefficient (MFCC) and perceptual linear prediction (PLP).
With this configuration, the features of speech can be expressed in more detail by appropriately combining both the bispectral feature and the power spectrum feature, enabling speech recognition using such features and further improving the recognition accuracy. I can expect.
[5]また、本発明の一態様による音声認識装置は、前記の音声認識装置において、学習音声信号をバイスペクトル分析し、これにより得られた第2バイスペクトル信号を局所毎に平均値処理し、これにより得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果とを関連付けてなる音響モデル情報を、音響モデル情報記憶部に書き込む学習音声分析部を更に備えることを特徴とするものである。 [5] Further, the speech recognition apparatus according to one aspect of the present invention performs a bispectral analysis on the learning speech signal in the speech recognition apparatus described above, and performs average value processing on the second bispectral signal obtained thereby for each local area. , Further comprising a learning speech analysis unit that writes acoustic model information obtained by associating the learned speech feature quantity obtained in this manner and a correct answer recognition result corresponding to the learning speech signal to the acoustic model information storage unit. To do.
この構成により、学習音声信号に基づき、音響モデル情報を算出し、音響モデル情報記憶部に記憶させることができる。この音響モデル情報は、認識対象音声信号の認識処理をする際に用いられる。 With this configuration, the acoustic model information can be calculated based on the learning speech signal and stored in the acoustic model information storage unit. This acoustic model information is used when the recognition target speech signal is recognized.
[6]また、本発明の一態様による音声認識プログラムは、入力音声信号のデータをバイスペクトル分析して第1バイスペクトル信号のデータを出力するバイスペクトル分析過程と、前記バイスペクトル分析部が出力した前記第1バイスペクトル信号のデータを局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理過程と、学習音声信号のデータをバイスペクトル分析して得られた第2バイスペクトル信号のデータを局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号のデータに対応する正解認識結果とを関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部から前記学習音声特徴量を読み出す読み出し過程と、前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識過程との処理をコンピュータに実行させるコンピュータプログラムである。 [6] A speech recognition program according to an aspect of the present invention includes a bispectrum analysis process of bispectral analysis of input speech signal data and output of first bispectral signal data, and the bispectrum analysis unit outputs The first bispectral signal data is subjected to a mean value processing for each local area to calculate an input voice feature quantity, and a second bispectrum obtained by bispectral analysis of the learning voice signal data. Acoustic model information storage for preliminarily storing acoustic model information obtained by associating learning speech feature quantities obtained by performing average value processing of spectrum signal data for each local area and correct answer recognition results corresponding to the data of the learned speech signals A reading process of reading out the learning speech feature value from the unit, the input speech feature value calculated by the feature value calculation processing unit, Serial based on the said training speech feature value read from the acoustic model information storage unit, a computer program for executing the processing of the recognition process of determining the recognition result of the input audio signal to the computer.
これにより、バイスペクトル特徴量に基づく音声認識装置としてコンピュータを機能させることができる。 Thereby, a computer can be functioned as a speech recognition apparatus based on a bispectral feature amount.
本発明により、前述のように、ガウス性雑音の混入した音声に対しては、認識性能が向上する。また、バイスペクルを利用することで、ガウス性の雑音の影響を受けにくい。また、周波数間の相関関係が値として現れているので、音声のような倍音構造を持つ信号の詳細な表現が可能となる。
高次統計量であるバイスペクトルは、3次統計量から求めているので、ガウス性の雑音の影響を受けにくい特徴を持っており、認識精度を改善できる。加えて、バイスペクトルは音声信号の非ガウス性の部分を表現できるため、より詳細な特微量を抽出し、認識精度を向上できる。
According to the present invention, as described above, recognition performance is improved for speech mixed with Gaussian noise. In addition, by using a bispeckle, it is difficult to be affected by Gaussian noise. Further, since the correlation between frequencies appears as a value, a detailed expression of a signal having a harmonic structure such as speech is possible.
Since the bispectrum, which is a high-order statistic, is obtained from the third-order statistic, it has characteristics that are not easily affected by Gaussian noise, and can improve recognition accuracy. In addition, since the bispectrum can express the non-Gaussian part of the audio signal, more detailed features can be extracted and the recognition accuracy can be improved.
[第1の実施形態]
以下、本発明の実施形態について図面を参照しながら説明する。
図1は、本発明の第1の実施形態による音声認識装置の機能構成を示すブロック図である。図1において、符号1aは音声認識装置である。この音声認識装置1aは、バイスペクトル分析部20と、特徴量算出処理部30と、バイスペクトル分析部120と、特徴量算出処理部130と、バイスペクトル音響モデル学習部170と、音響モデル情報記憶部180と、言語モデル82と、発音辞書84と、音声認識部90(認識部)とを内部に有している。
そして、上記の特徴量算出処理部30は、平均値計算処理部32と、フィルタバンク分析処理部34(第1フィルタバンク分析処理部)と、離散コサイン変換処理部36(第1離散コサイン変換処理部)とを内部に有している。また同様に、上記の特徴量算出処理部130は、平均値計算処理部132と、フィルタバンク分析処理部134と、離散コサイン変換処理部136とを内部に有している。
[First embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a functional configuration of the speech recognition apparatus according to the first embodiment of the present invention. In FIG. 1, the code |
The feature quantity
なお、本実施形態の装置構成において、バイスペクトル分析部20および120は、それぞれ個別に設ける形態であっても良く、また単一のバイスペクトル分析部として設けて共用としても良い。また、特徴量算出処理部30および130についても同様である。電気・電子回路のブロックとして共用する場合には、異なる時間枠で入出力を切り替えるようにする。コンピュータプログラムとして共用する場合には、共通プログラムモジュールを呼び出すようにする。
In the apparatus configuration of the present embodiment, the
図1において、符号10は、音声認識装置1aに入力される認識対象音声信号である。この認識対象音声信号10は時間領域の信号であり、時刻tにおける振幅がx’(t)という一変数関数で表現される。なお、認識対象音声信号10は、連続時間におけるアナログ信号であってもよいし、離散的な時間間隔毎の振幅値のデジタルデータであっても良い。アナログ信号の場合には、適宜A/D(アナログ/デジタル)変換される。
バイスペクトル分析部20は、入力される認識対象音声信号10をバイスペクトル分析する。具体的には、バイスペクトル分析部20は、認識対象音声信号10を窓幅Nで時間ΔtごとにMフレーム抽出し、バイスペクトルB(f1,f2)を次の式(1)により得る(第1バイスペクトル信号)。
In FIG. 1,
The
なお、式(1)において、X(f)は入力された認識対象音声信号10(x’(t))のフーリエ変換であり、X*は複素共役を表わす。つまり、バイスペクトルB(f1,f2)は、この入力信号における周波数f1とf2の相関を表わす。 In Equation (1), X (f) is a Fourier transform of the input recognition target speech signal 10 (x ′ (t)), and X * represents a complex conjugate. That is, the bispectrum B (f 1 , f 2 ) represents the correlation between the frequencies f 1 and f 2 in this input signal.
次に特徴量算出処理部30は、上でバイスペクトル分析部20が算出したバイスペクトルを基に、音声の特徴量を算出するための処理をする。特徴量算出処理部内30の平均値計算処理部32は、式(1)で得られたバイスペクトルを、f3(但し、f3=f1+f2)が一定となる方向に平均値化する処理、言い換えればバイスペクトルの周波数の和(f3)毎の平均値を算出する処理を行なう。2つの周波数の和f3におけるバイスペクトルの平均値IB2(f3)は、次の式(2)で得られる。
つまり、平均値計算処理部32は、バイスペクトルの周波数の和(f3)毎の平均値を算出している。
Next, the feature amount
That is, the average value
次に、フィルタバンク分析処理部34は、上で得られた平均値IB2(f3)に対してメルフィルタバンク処理を行なう。このメルフィルタバンク処理は、周波数の和f3に対して、次の式(3)による周波数軸変換を行なう。但し、式(3)における周波数fの単位はヘルツ(Hz)である。
Next, the filter bank
この変換後の周波数軸は周波数f3の対数をとっているものであり、このようなメルフィルタバンク処理により、ヒトの聴覚により整合した特徴量を得ることが可能となる。 The frequency axis after the conversion takes the logarithm of the frequency f 3 , and by such a mel filter bank process, it is possible to obtain a feature quantity that matches human hearing.
次に、離散コサイン変換処理部36は、上で得られたメルフィルタバンク処理の結果を用いて離散コサイン変換(DCT,Discrete Cosine Transform)分析処理を行ない、その結果得られた低次の次数をバイスペクトル特徴量50(入力音声特徴量)として出力する。
Next, the discrete cosine
つまり特徴量算出処理部30は、バイスペクトルを基に、周波数の和f3毎に(局所毎に)平均値処理することによって入力音声特徴量を算出する。
That is, the feature quantity
一方で、学習音声信号110についても、予め同様の特徴量抽出が行なわれ、その結果が音響モデルとして、半導体メモリや磁気ハードディスクドライブ等の記憶装置に記憶されている。
図1に示す学習音声信号110は、時間領域の信号であり、時刻tにおける振幅がx(t)という一変数関数で表現される。この学習音声信号110の入力を受け、バイスペクトル分析部120は、バイスペクトル分析部20と同様の処理によって、式(1)で表わされる、学習音声信号のバイスペクトル(第2バイスペクトル信号)を得る。次に、特徴量算出処理部130は、学習音声信号のバイスペクトルを基に、特徴量算出処理部30と同様の処理によって、特徴量を抽出する。即ち、平均値計算処理部132が式(2)で表わされる平均値計算処理を行ない、その結果に対してフィルタバンク分析処理部134がメルフィルタバンク処理即ち式(3)による周波数軸変換処理を行ない、その結果を用いて離散コサイン変換処理部136が離散コサイン変換分析処理を行なう。その結果、学習音声信号110に基づくバイスペクトル特徴量150(学習音声特徴量)が得られる。
On the other hand, the same feature amount extraction is performed in advance for the
The
バイスペクトル音響モデル学習部170は、上で得られたバイスペクトル特徴量150を用いて、最尤推定により音響モデルを学習し、得られた音響モデルを音響モデル情報記憶部180に書き込む。ここで、音響モデル情報記憶部180に記憶されているのは、が学習音声信号110から得られた特徴量であるバイスペクトル特徴量150と、当該学習音声信号に対応する正解認識結果とが関連付けられたデータである。なお、この音響モデルにおいては、得られたバイスペクトル特徴量150が必ずしも唯一の正解認識結果が決定的に関連付けられるとは限らず、複数の正解認識結果の候補に関連付けられていても良いし、さらにそれぞれの候補に確率値が付随している形態であっても良い。
具体例としては、隠れマルコフモデル(HMM)に基づき、モノフォンあるいはトライフォンに対する特徴量の確率分布のデータを音響モデルとして構築して音響モデル情報記憶部180に記憶させる。
The bispectral acoustic
As a specific example, on the basis of a hidden Markov model (HMM), the probability distribution data of feature quantities for a monophone or triphone is constructed as an acoustic model and stored in the acoustic model
また、言語モデル82と発音辞書84もそれぞれ、予め作成されて半導体メモリや磁気ハードディスクドライブ等の記憶装置に記憶されている。言語モデル82は、例えば、認識対象の音声に含まれる単語毎の出現確率や、単語間の接続確率等をデータ化したものである。発音辞書84は、例えば、認識結果となり得る音響を辞書化したデータである。
A
音声認識部90は、内部に単語列を探索する機能を有しており、認識対象音声信号10から得られたバイスペクトル特徴量50に基づき、音響モデル情報記憶部180から読み出した音響モデルと、それぞれ記憶装置から読み出された言語モデル82および発音辞書84を用いて、正解単語の探索を行ない、最も確率の高かった単語ないしは文章を音声認識結果100として出力する。あるいは、音声認識部90が、最も確率の高かった音声認識結果だけではなく、複数の正解候補とそれぞれの候補の確率値とを音声認識結果100として出力するようにしても良い。
The
次に、本実施形態において平均値計算処理部32および132が行なった平均値計算処理について説明する。
図2は、バイスペクトル分析によって得られたバイスペクトルを平均値計算する処理のしかたの概略を表わす概略図である。
パワースペクトルでは、各周波数成分の強さだけが情報として得られるのに対して、バイスペクトルは複素数であり、3つの周波数成分f1とf2とf1+f2の従属性を示す量が得られる。ガウス性時系列信号では、バイスペクトルは0となり、非ガウス性時系列信号では統計的な変動による音声の構造を表わしている。
Next, the average value calculation processing performed by the average value
FIG. 2 is a schematic diagram showing an outline of a process for calculating an average value of the bispectrum obtained by the bispectral analysis.
In the power spectrum, only the intensity of each frequency component is obtained as information, whereas the bispectrum is a complex number, and an amount indicating the dependency of the three frequency components f 1 , f 2, and f 1 + f 2 is obtained. It is done. In a Gaussian time-series signal, the bispectrum is 0, and in a non-Gaussian time-series signal, it represents the structure of speech due to statistical fluctuations.
図2(a)は、バイスペクトルの周波数f1およびf2の座標軸による平面と、その平面内での平均値化処理の対象を示している。ある音声区間(例えば、母音「お」)から得られる1フレーム(M=1)のバイスペクトルは、図2(a)の斜線で示した領域、つまり、f1>0かつf2>0かつf1+f2<c(但し、cは所定の定数)の領域に現れる。そして、バイスペクトルの対象性と複素共役の関係により、図2(a)の破線で囲まれた三角形の範囲を用いて特徴量を抽出すれば十分である。 FIG. 2A shows a plane based on the coordinate axes of the bispectral frequencies f 1 and f 2 and an object of averaging processing in the plane. The bispectrum of one frame (M = 1) obtained from a certain voice segment (for example, vowel “o”) is a region indicated by hatching in FIG. 2A, that is, f 1 > 0 and f 2 > 0 and It appears in the region of f 1 + f 2 <c (where c is a predetermined constant). Then, it is sufficient to extract the feature amount using the triangular range surrounded by the broken line in FIG. 2A due to the bispectral subjectivity and the complex conjugate.
この領域について、図2(b)に示すように、バイスペクトルの周波数の片方(図示する例ではf1)の周波数軸について平均値を求める方法も可能であるが、本実施形態では、図2(c)に示すように、f3(=f1+f2)が一定となる方向に平均値を取るようにしている。このように、f3が一定となる方向に平均値を取ることにより、ピッチ周波数の変動が現れにくくなり、音声認識に用いる特徴量として有効な量を抽出できる。 In this region, as shown in FIG. 2B, a method of obtaining an average value for the frequency axis of one of the bispectral frequencies (f 1 in the illustrated example) is possible, but in this embodiment, FIG. As shown in (c), an average value is taken in a direction in which f 3 (= f 1 + f 2 ) is constant. Thus, by taking an average value in the direction in which f 3 is constant, variation of the pitch frequency is less likely to appear, it can be extracted effective amount as the feature amount used for speech recognition.
[第2の実施形態]
次に、本発明の第2の実施形態について図面を参照しながら説明する。
図3は、本発明の第2の実施形態による音声認識装置の機能構成を示すブロック図である。なお、前記実施形態と同様な構成の部分については同じ符号を用いて表して説明を省略し、特徴点のみを詳細に説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to the drawings.
FIG. 3 is a block diagram showing a functional configuration of the speech recognition apparatus according to the second embodiment of the present invention. Note that parts having the same configurations as those of the above-described embodiment are denoted by the same reference numerals and description thereof is omitted, and only feature points will be described in detail.
図3において、認識対象音声信号10に対応する特徴量を算出する特徴量算出処理部30は、フィルタバンク分析処理部35(第2フィルタバンク分析処理部)と離散コサイン変換処理部37(第2離散コサイン変換処理部)とを有している。
本実施形態では、フィルタバンク分析処理部35が、バイスペクトル分析部20で得られたバイスペクトル(第1バイスペクトル信号)の各周波数(f1およびf2)に対してそれぞれ、前記の式(3)による周波数軸変換(メルフィルタ分析処理)を行なう。そして、フィルタバンクチャネル数SでS個に量子化する。
つまり、フィルタバンク分析処理部35は、バイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理する。
そして、離散コサイン変換処理部37は、上の2次元のメルフィルタ分析処理の結果を用いて2次元離散コサイン変換を行い、その低次の次数をバイスペクトル特徴量51(入力音声特徴量)として出力する。
つまり、当実施形態における特徴量算出処理部30は全体として、バイスペクトルの重み付き近傍平均処理(局所毎に平均値処理)することによって入力音声特徴量を算出している。
In FIG. 3, a feature quantity
In the present embodiment, the filter bank
In other words, the filter bank
Then, the discrete cosine
That is, the feature amount
特徴量算出処理部130も同様に、予め、学習音声信号110に対応する特徴量を得る処理を行なう。つまり、フィルタバンク分析処理部135がバイスペクトル分析部120で得られたバイスペクトル(第2バイスペクトル信号)の各周波数に対してそれぞれ、周波数軸変換(メルフィルタ分析処理)を行なう。そして、フィルタバンクチャネル数SでS個に量子化する。そして離散コサイン変換処理部137は、その結果を用いて2次元離散コサイン変換を行い、バイスペクトル特徴量151(学習音声特徴量)として出力する。
Similarly, the feature amount
バイスペクトル音響モデル学習部171は、上記の処理によって得られたバイスペクトル特徴量151を用いて、最尤推定により音響モデルを学習し、得られた音響モデルを音響モデル情報記憶部181に書き込む。音響モデル情報記憶部180に記憶されている情報は、用いられている特徴量およびその算出方法が異なる点を除いては第1の実施形態と同様である。
The bispectral acoustic
音声認識部91は、認識対象音声信号10から得られたバイスペクトル特徴量51と音響モデル情報記憶部181から読み出した音響モデルとに基づき、音声認識結果100を出力する。音声認識結果100を得るための方法は、用いる特徴量が異なる点を除いては、第1の実施形態と同様である。
The
[第3の実施形態]
次に、本発明の第3の実施形態について図面を参照しながら説明する。
図4は、本発明の第3の実施形態による音声認識装置の機能構成を示すブロック図である。なお、前記実施形態と同様な構成の部分については同じ符号を用いて表して説明を省略し、特徴点のみを詳細に説明する。
[Third embodiment]
Next, a third embodiment of the present invention will be described with reference to the drawings.
FIG. 4 is a block diagram showing a functional configuration of a speech recognition apparatus according to the third embodiment of the present invention. Note that parts having the same configurations as those of the above-described embodiment are denoted by the same reference numerals and description thereof is omitted, and only feature points will be described in detail.
本実施形態では、バイスペクトル特徴量とパワースペクトル特徴量とを併用して音声認識を行なう。
図4において、音声認識装置1cの構成の特徴は、MFCC・PLP算出部60(入力パワースペクトル特徴量算出処理部)およびMFCC・PLP算出部160を有する点である。MFCC・PLP算出部60および160は、それぞれ個別に設ける形態であっても良く、また単一のMFCC・PLP算出部として設けて共用としても良い。MFCC・PLP算出部60は、認識対象音声信号10をパワースペクトル分析することによって、認識対象音声信号10に対応する特徴量として、パワースペクトル特徴量を算出する。パワースペクトル特徴量の例は、MFCC(Mel-Frequency Cepstrum Coefficient,メル周波数ケプストラム係数)およびPLP(Perceptual Linear Predictive,知覚線形予測)である。一方で、MFCC・PLP算出部160は、同様に、学習音声信号110に対応する特徴量として学習パワースペクトル特徴量(MFCCおよびPLP)を算出する。
In the present embodiment, speech recognition is performed using both the bispectral feature value and the power spectrum feature value.
In FIG. 4, the feature of the configuration of the
バイスペクトル分析部20および特徴量算出処理部30の処理は、第1の実施形態と同様であり、認識対象音声信号10に対応したバイスペクトル特徴量50を算出する。また、バイスペクトル分析部120および特徴量算出処理部130の処理は、第1の実施形態と同様であり、学習音声信号110に対応したバイスペクトル特徴量150を算出する。
以後の音響モデル学習処理および音声認識処理においては、バイスペクトル特徴量とMFCC、PLPを連結(図4における「+」記号の部分)した特徴量により音声認識を行なう。言うまでもなく、特徴量を連結することにより、バイスペクトル特徴量による特徴空間とMFCC、PLPによる特徴空間の積空間における探索および認識処理が行なえる。
The processes of the
In the subsequent acoustic model learning process and voice recognition process, voice recognition is performed using a feature quantity obtained by connecting the bispectral feature quantity and the MFCC and PLP (portion “+” in FIG. 4). Needless to say, by connecting the feature amounts, search and recognition processing can be performed in the product space of the feature space based on the bispectral feature amount and the feature space based on MFCC and PLP.
バイスペクトル音響モデル学習部172は、バイスペクトル特徴量150と、MFCC・PLP算出部160から出力されるMFCCおよびPLPとを用いて、最尤推定により音響モデルを学習し、得られた音響モデルを音響モデル情報記憶部182に書き込む。つまり、ここでの音響モデル情報は、学習音声信号をパワースペクトル分析して算出された学習パワースペクトル特徴量とバイスペクトル特徴量150と正解認識結果とを関連付けてなるものである。音響モデル情報記憶部180に記憶されている情報は、用いられている特徴量が異なる点を除いては前述の実施形態と同様である。
The bispectral acoustic
音声認識部92は、バイスペクトル特徴量50と音響モデル情報記憶部182から読み出した音響モデルとに基づき、音声認識結果100を出力する。音声認識結果100を得るための方法は、用いる特徴量が異なる点を除いては、前述の実施形態と同様である。
The
なお、ここでは第1の実施形態による方法で算出したバイスペクトル特徴量(50および150)とMFCC,PLPとを組み合わせて認識処理を行なう形態を説明したが、第2の実施形態による方法で算出したバイスペクトル特徴量(図3の51および151)とMFCC,PLPとを連結して得られる特徴量を用いて認識処理するようにしても良い。
また、ここではMFCCおよびPLPの両方を用いた認識処理を行なう形態を説明したが、MFCCあるいはPLPのいずれか一方とバイスペクトル特徴量とを連結して得られる特徴量を用いて認識処理を行なうようにしても良い。
Here, the embodiment has been described in which the recognition processing is performed by combining the bispectral feature amounts (50 and 150) calculated by the method according to the first embodiment and the MFCC and PLP, but the calculation is performed by the method according to the second embodiment. The recognition processing may be performed using the feature amount obtained by connecting the bispectral feature amount (51 and 151 in FIG. 3) and the MFCC and PLP.
Further, here, the form of performing recognition processing using both MFCC and PLP has been described. However, recognition processing is performed using a feature amount obtained by connecting either MFCC or PLP and a bispectral feature amount. You may do it.
次に、上述した第1〜第3の実施形態による実際の信号処理の結果について説明する。 Next, the result of actual signal processing according to the first to third embodiments described above will be described.
図5は、バイスペクトル分析部20および120によるバイスペクトル分析を行なった際の入出力信号の波形を示すグラフである。
図5の符号5aは、入力される音声信号(認識対象音声信号10または学習音声信号110)の振幅を表わす。横軸は時間(t)である。図示する例は、ヒトが「どおいったねらいがあるんでしょうか」と発話したときの音声を用いている。
5bは、比較のための参考グラフであり、5aの入力音声信号をフーリエ変換したときのパワースペクトルを表わす。横軸は5aと対応した時間であり、縦軸は音声周波数である。そして、この平面に表わされているグレースケールの濃淡が周波数のパワーを表わす。
5cは、5aの入力音声信号をバイスペクトル分析した結果であり、前記発話の中の「お」(o)、「た」の母音部(a)、「ね」の子音部(n)、「い」(i)、「あ」(a)、「ん」(N)、「しょ」の子音部(sh)、「か」の子音部(k)、「か」の母音部(a)の各領域に対応する9個のグラフである。これらの各グラフの縦軸および横軸は周波数(f1およびf2)である。前記の式(1)からも明らかなように、f1=f2で表わされる直線に対して線対称なパターンが表れている。
FIG. 5 is a graph showing input / output signal waveforms when bispectrum analysis is performed by the
5 represents the amplitude of the input voice signal (recognition
5c is a result of bispectrum analysis of the input voice signal of 5a. In the utterance, “o” (o), “ta” vowel part (a), “ne” consonant part (n), “ “I” (i), “a” (a), “n” (N), “sho” consonant part (sh), “ka” consonant part (k), “ka” vowel part (a) It is nine graphs corresponding to each area. The vertical and horizontal axes of these graphs are the frequencies (f1 and f2). As is clear from the above equation (1), a line-symmetric pattern appears with respect to the straight line represented by f1 = f2.
パワースペクトルでは各周波数成分の強さだけが情報として得られるのに対して、バイスペクトルは複素数であり、3つの周波数成分f1,f2,f3(=f1+f2)の従属性を示す量が得られる。バイスペクトルは、ガウス性時系列信号では0になり、非ガウス性時系列信号では統計的な変動による構造を表わす量が得られる。
例えば、図5の5cの母音「お」(「o」)の音声区間から得られたバイスペクトルでは、基本周波数とその倍音成分の相関の高い部分が格子状に表れている。
In the power spectrum, only the strength of each frequency component is obtained as information, whereas the bispectrum is a complex number, and the dependency of the three frequency components f 1 , f 2 , f 3 (= f 1 + f 2 ) is shown. The amount shown is obtained. The bispectrum is 0 for a Gaussian time series signal, and a quantity representing a structure due to statistical fluctuation is obtained for a non-Gaussian time series signal.
For example, in the bispectrum obtained from the speech section of the vowel “o” (“o”) in 5c of FIG. 5, portions where the correlation between the fundamental frequency and its harmonic component is high appear in a lattice pattern.
図6は、前述した第1の実施形態に対応するものであり、ヒトの発話とノイズとを合成した音声信号を、パワースペクトル分析したときとバイスペクトル分析したときとの比較を示すグラフである。
図6の符号6aは入力音声信号の振幅を表わす。横軸は時間である。この例では、入力音声信号は、ヒトが「まず、こちらをごらんください」(mazu kochirao goraNkudasai)と発話した音声とヘリコプター音とをSNR(信号対雑音比、Signal to Noise Ratio)0dB(デシベル)で合成したものである。
6bは、6aの入力音声信号をFFT(高速フーリエ変換)したときのパワースペクトルを表わす。横軸は6aと対応した時間であり、縦軸はメルフィルタバンク処理した周波数軸である。そして、この平面に表わされているグレースケールの濃淡が周波数のパワーを表わす。
一方で、6cは、バイスペクトルに基づく特徴量を表わす。横軸は6a、6bと対応した時間であり、縦軸は前記の式(2)によって平均値化処理したときの周波数f3をメルフィルタバンク処理した周波数軸である。そして、この平面に表わされている濃淡が、平均値化処理したバイスペクトルベースの特徴量である。
FIG. 6 corresponds to the first embodiment described above, and is a graph showing a comparison between a power spectrum analysis and a bispectrum analysis of an audio signal obtained by synthesizing human speech and noise. .
Reference numeral 6a in FIG. 6 represents the amplitude of the input audio signal. The horizontal axis is time. In this example, the input speech signal is the SNR (Signal to Noise Ratio) 0 dB (decibel) between the speech uttered by the human and the helicopter sound that “Have a look at here” (mazu kochira goraNkudasai). It is synthesized.
6b represents a power spectrum when the input audio signal of 6a is subjected to FFT (Fast Fourier Transform). The horizontal axis is the time corresponding to 6a, and the vertical axis is the frequency axis subjected to mel filter bank processing. The gray scale shading represented on this plane represents the power of the frequency.
On the other hand, 6c represents a feature quantity based on the bispectrum. The horizontal axis 6a, a 6b and time corresponding, and the vertical axis represents the frequency axis frequency f 3 was treated Mel filter bank when the averaged value by equation (2) above. The shading shown in this plane is the bispectral-based feature quantity that has been averaged.
グラフ6bと6cとを比較すると、FFT(6b)ではヘリコプター音ノイズの影響が高域部分に見られるが、バイスペクトルベースの平均値(6c、IB2(f3))ではヘリコプター音ノイズのガウス性成分の影響が減少している。これは、バイスペクトルベースの特徴量を用いることにより、ノイズに対する耐性がより強い音声認識ができることを表わしている。 Comparing graphs 6b and 6c, the effect of helicopter sound noise is observed in the high frequency part in FFT (6b), but the average value (6c, IB 2 (f 3 )) of the helicopter sound noise is Gaussian. The effect of sex components is decreasing. This indicates that speech recognition with higher resistance to noise can be performed by using a bispectrum-based feature amount.
図7は、前述した第2の実施形態に対応するものであり、2次元のメルフィルタバンク分析による、バイスペクトルの重み付き近傍平均処理の例を示すグラフである。図7の上段はメルフィルタバンク分析前のバイスペクトルであり、同下段はメルフィルタバンク分析後のバイスペクトルである。図5で示した音の各領域のうち、「o」、「a」、「n」、「i」、「sh」の5つのメルフィルタバンク分析前後のスペクトルを表わしている。 FIG. 7 corresponds to the above-described second embodiment, and is a graph showing an example of bispectral weighted neighborhood averaging processing by two-dimensional mel filter bank analysis. The upper part of FIG. 7 is the bispectrum before the mel filter bank analysis, and the lower part is the bispectrum after the mel filter bank analysis. Of the sound regions shown in FIG. 5, the spectra before and after the analysis of five mel filter banks of “o”, “a”, “n”, “i”, and “sh” are shown.
なお、上述した各実施形態における音声認識装置の一部、例えば、バイスペクトル分析部、特徴量算出処理部、バイスペクトルモデル音響学習部、音声認識部などの機能をコンピュータで実現するようにしても良い。その場合、アナログ信号は適宜デジタルデータに変換して処理する。またその場合、それらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 Note that some of the speech recognition apparatuses in the above-described embodiments, for example, functions of a bispectral analysis unit, a feature amount calculation processing unit, a bispectral model acoustic learning unit, a speech recognition unit, and the like may be realized by a computer. good. In that case, the analog signal is appropriately converted into digital data and processed. In that case, a program for realizing these functions may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include those that hold a program for a certain time, such as a volatile memory inside a computer system serving as a server or client in that case. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
例えば、MFCC分析での振幅スペクトル相当のものとして、バイスペクトルの立方根から平均値処理(局所毎の平均値処理)して得られる特徴量を用いて音声認識するようにしても良い。 For example, as an equivalent to an amplitude spectrum in MFCC analysis, speech recognition may be performed using a feature amount obtained by performing average value processing (average value processing for each local area) from the cube root of the bispectrum.
1a,2a,3a 音声認識装置
10 認識対象音声信号 x’(t)
20 バイスペクトル分析部
30 特徴量算出処理部
32 平均値計算処理部
34,35 フィルタバンク分析処理部
36,37 離散コサイン変換処理部
50,51 バイスペクトル特徴量
60 MFC・PLP算出部
82 言語モデル
84 発音辞書
90,91,92 音声認識部
110 学習音声信号 x(t)
120 バイスペクトル分析部
130 特徴量算出処理部
132 平均値計算処理部
134,135 フィルタバンク分析処理部
136,137 離散コサイン変換処理部
150,151 バイスペクトル特徴量
160 MFC・PLP算出部
170,171,172 バイスペクトル音響モデル学習部
180,181,182 音響モデル情報記憶部
1a, 2a, 3a
20
120
Claims (6)
前記バイスペクトル分析部が出力した前記第1バイスペクトル信号を局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理部と、
学習音声信号をバイスペクトル分析して得られた第2バイスペクトル信号を局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果とを関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部と、
前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識部と、
を備え、
前記特徴量算出処理部は、
前記第1バイスペクトル信号についてバイスペクトルの周波数の和毎の平均値を算出する平均値計算処理部と、
前記平均値計算処理部が算出した前記バイスペクトルの周波数の和毎の平均値をフィルタバンク分析処理する第1フィルタバンク分析処理部と、
前記第1フィルタバンク分析処理部によるフィルタバンク分析処理の結果を離散コサイン変換分析処理することによって前記入力音声特徴量を算出する第1離散コサイン変換処理部と、で構成され、
前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号についてのバイスペクトルの周波数の和毎の平均値に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものである
ことを特徴とする音声認識装置。 A bi-spectral analysis unit that bi-spectral analyzes the input speech signal and outputs a first bi-spectral signal;
A feature amount calculation processing unit that calculates an input speech feature amount by performing an average value processing on the first bispectral signal output by the bispectrum analysis unit for each local area;
The learning speech feature value obtained by performing the average processing on the second bispectral signal obtained by bispectral analysis of the learning speech signal for each local area is associated with the correct answer recognition result corresponding to the learning speech signal. An acoustic model information storage unit for storing acoustic model information in advance;
A recognition unit that determines a recognition result of the input speech signal based on the input speech feature amount calculated by the feature amount calculation processing unit and the learning speech feature amount read from the acoustic model information storage unit;
Bei to give a,
The feature amount calculation processing unit
An average value calculation processing unit for calculating an average value for each sum of bispectral frequencies for the first bispectral signal;
A first filter bank analysis processing unit that performs a filter bank analysis process on an average value for each sum of the frequencies of the bispectrum calculated by the average value calculation processing unit;
A first discrete cosine transform processing unit that calculates the input speech feature amount by subjecting the result of the filter bank analysis processing by the first filter bank analysis processing unit to discrete cosine transform analysis processing;
The acoustic model information stored in the acoustic model information storage unit includes the learning speech feature quantity based on an average value for each sum of bispectral frequencies for the second bispectral signal, and the correct recognition result. A speech recognition apparatus characterized by being associated with each other.
前記バイスペクトル分析部が出力した前記第1バイスペクトル信号を局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理部と、
学習音声信号をバイスペクトル分析して得られた第2バイスペクトル信号を局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果とを関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部と、
前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識部と、
を備え、
前記特徴量算出処理部は、
前記第1バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理する第2フィルタバンク分析処理部と、
前記第2フィルタバンク分析処理部によるフィルタバンク分析処理の結果を2次元離散コサイン変換処理することによって前記入力音声特徴量を算出する第2離散コサイン変換処理部と、で構成され、
前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理した結果に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものである
ことを特徴とする音声認識装置。 A bi-spectral analysis unit that bi-spectral analyzes the input speech signal and outputs a first bi-spectral signal;
A feature amount calculation processing unit that calculates an input speech feature amount by performing an average value processing on the first bispectral signal output by the bispectrum analysis unit for each local area;
The learning speech feature value obtained by performing the average processing on the second bispectral signal obtained by bispectral analysis of the learning speech signal for each local area is associated with the correct answer recognition result corresponding to the learning speech signal. An acoustic model information storage unit for storing acoustic model information in advance;
A recognition unit that determines a recognition result of the input speech signal based on the input speech feature amount calculated by the feature amount calculation processing unit and the learning speech feature amount read from the acoustic model information storage unit;
With
The feature amount calculation processing unit
A second filter bank analysis processing unit that performs a filter bank analysis process on the first bispectral signal in each frequency direction of the bispectrum and performs a neighborhood average process;
A second discrete cosine transform processing unit that calculates the input speech feature value by performing a two-dimensional discrete cosine transform process on the result of the filter bank analysis processing by the second filter bank analysis processing unit,
The acoustic model information stored in the acoustic model information storage unit includes the learning speech feature amount based on a result obtained by performing a filter bank analysis process on the second bispectral signal in each frequency direction of the bispectrum and performing a neighborhood average process. A speech recognition apparatus characterized by being associated with the correct recognition result.
学習音声信号をバイスペクトル分析し、これにより得られた第2バイスペクトル信号を元にバイスペクトルの周波数の和毎の平均値を算出し、これにより得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果とを関連付けてなる音響モデル情報を、音響モデル情報記憶部に書き込む学習音声分析部を更に備えることを特徴とする音声認識装置。 The speech recognition device according to claim 1,
Bi-spectral analysis is performed on the learning speech signal, an average value for each sum of the bi-spectral frequencies is calculated based on the second bi-spectral signal obtained thereby, and the learning speech feature amount obtained thereby and the learning speech A speech recognition apparatus, further comprising: a learning speech analysis unit that writes acoustic model information associated with a correct recognition result corresponding to a signal to an acoustic model information storage unit.
学習音声信号をバイスペクトル分析し、これにより得られた第2バイスペクトル信号を元にバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理し、これにより得られた学習音声特徴量と、当該学習音声信号に対応する正解認識結果とを関連付けてなる音響モデル情報を、音響モデル情報記憶部に書き込む学習音声分析部を更に備えることを特徴とする音声認識装置。 The learning speech signal is subjected to bispectral analysis, and based on the second bispectral signal obtained thereby, the filter bank analysis processing is performed in each frequency direction of the bispectrum, and the neighborhood average processing is performed. A speech recognition apparatus further comprising a learning speech analysis unit that writes acoustic model information associated with a correct recognition result corresponding to the learning speech signal to the acoustic model information storage unit.
前記バイスペクトル分析部が出力した前記第1バイスペクトル信号のデータを局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理過程と、
学習音声信号のデータをバイスペクトル分析して得られた第2バイスペクトル信号のデータを局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号のデータに対応する正解認識結果とを関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部から前記学習音声特徴量を読み出す読み出し過程と、
前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識過程と、
の処理をコンピュータに実行させる音声認識プログラムであって、
前記特徴量算出処理過程は、
前記第1バイスペクトル信号についてバイスペクトルの周波数の和毎の平均値を算出する平均値計算処理過程と、
前記平均値計算処理過程が算出した前記バイスペクトルの周波数の和毎の平均値をフィルタバンク分析処理する第1フィルタバンク分析処理過程と、
前記第1フィルタバンク分析処理過程によるフィルタバンク分析処理の結果を離散コサイン変換分析処理することによって前記入力音声特徴量を算出する第1離散コサイン変換処理過程と、で構成され、
前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号についてのバイスペクトルの周波数の和毎の平均値に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものである
ことを特徴とする音声認識プログラム。 A bi-spectral analysis process for bi-spectral analysis of input speech signal data and outputting first bi-spectral signal data;
A feature amount calculation processing step of calculating an input speech feature amount by performing average value processing for each local value on the data of the first bispectral signal output by the bispectrum analysis unit;
Learning speech feature amount obtained by averaging the data of the second bispectral signal obtained by bispectral analysis of the data of the learning speech signal for each region, and correct recognition corresponding to the data of the learning speech signal A reading process of reading out the learned speech feature amount from an acoustic model information storage unit that stores acoustic model information associated with the result in advance,
A recognition process for determining a recognition result of the input voice signal based on the input voice feature quantity calculated by the feature quantity calculation processing unit and the learning voice feature quantity read from the acoustic model information storage unit;
A speech recognition program for executing the processing in a computer,
The feature amount calculation process includes:
An average value calculation process for calculating an average value for each sum of the frequencies of the bispectrum for the first bispectral signal;
A first filter bank analysis processing step of performing a filter bank analysis processing on an average value for each sum of the frequencies of the bispectrum calculated by the average value calculation processing step;
A first discrete cosine transform processing step of calculating the input speech feature quantity by subjecting a result of the filter bank analysis processing by the first filter bank analysis processing step to discrete cosine transform analysis processing,
The acoustic model information stored in the acoustic model information storage unit includes the learning speech feature quantity based on an average value for each sum of bispectral frequencies for the second bispectral signal, and the correct recognition result. It is related
A speech recognition program characterized by that.
前記バイスペクトル分析部が出力した前記第1バイスペクトル信号のデータを局所毎に平均値処理することによって入力音声特徴量を算出する特徴量算出処理過程と、 A feature amount calculation processing step of calculating an input speech feature amount by performing average value processing for each local value on the data of the first bispectral signal output by the bispectrum analysis unit;
学習音声信号のデータをバイスペクトル分析して得られた第2バイスペクトル信号のデータを局所毎に平均値処理して得られた学習音声特徴量と、当該学習音声信号のデータに対応する正解認識結果とを関連付けてなる音響モデル情報を予め記憶する音響モデル情報記憶部から前記学習音声特徴量を読み出す読み出し過程と、 Learning speech feature amount obtained by averaging the data of the second bispectral signal obtained by bispectral analysis of the data of the learning speech signal for each region, and correct recognition corresponding to the data of the learning speech signal A reading process of reading out the learned speech feature amount from an acoustic model information storage unit that stores acoustic model information associated with the result in advance,
前記特徴量算出処理部によって算出された前記入力音声特徴量と、前記音響モデル情報記憶部から読み出した前記学習音声特徴量とに基づき、前記入力音声信号の認識結果を決定する認識過程と、 A recognition process for determining a recognition result of the input voice signal based on the input voice feature quantity calculated by the feature quantity calculation processing unit and the learning voice feature quantity read from the acoustic model information storage unit;
の処理をコンピュータに実行させる音声認識プログラムであって、 A speech recognition program for causing a computer to execute the process of
前記特徴量算出処理過程は、 The feature amount calculation process includes:
前記第1バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理する第2フィルタバンク分析処理過程と、 A second filter bank analysis process in which the first bispectral signal is subjected to a filter bank analysis process in each frequency direction of the bispectrum and a neighborhood average process;
前記第2フィルタバンク分析処理過程によるフィルタバンク分析処理の結果を2次元離散コサイン変換処理することによって前記入力音声特徴量を算出する第2離散コサイン変換処理過程と、で構成され、 A second discrete cosine transform process for calculating the input speech feature value by performing a two-dimensional discrete cosine transform process on the result of the filter bank analysis process in the second filter bank analysis process;
前記音響モデル情報記憶部に記憶されている前記音響モデル情報は、前記第2バイスペクトル信号をバイスペクトルの各周波数方向にフィルタバンク分析処理して近傍平均処理した結果に基づく前記学習音声特徴量と、前記正解認識結果とを関連付けてなるものである The acoustic model information stored in the acoustic model information storage unit includes the learning speech feature amount based on a result obtained by performing a filter bank analysis process on the second bispectral signal in each frequency direction of the bispectrum and performing a neighborhood average process. , The correct answer recognition result is associated with
ことを特徴とする音声認識プログラム。A speech recognition program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007054272A JP4762176B2 (en) | 2007-03-05 | 2007-03-05 | Speech recognition apparatus and speech recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007054272A JP4762176B2 (en) | 2007-03-05 | 2007-03-05 | Speech recognition apparatus and speech recognition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008216659A JP2008216659A (en) | 2008-09-18 |
JP4762176B2 true JP4762176B2 (en) | 2011-08-31 |
Family
ID=39836771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007054272A Expired - Fee Related JP4762176B2 (en) | 2007-03-05 | 2007-03-05 | Speech recognition apparatus and speech recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4762176B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5881454B2 (en) * | 2012-02-14 | 2016-03-09 | 日本電信電話株式会社 | Apparatus and method for estimating spectral shape feature quantity of signal for each sound source, apparatus, method and program for estimating spectral feature quantity of target signal |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6292776B1 (en) * | 1999-03-12 | 2001-09-18 | Lucent Technologies Inc. | Hierarchial subband linear predictive cepstral features for HMM-based speech recognition |
-
2007
- 2007-03-05 JP JP2007054272A patent/JP4762176B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008216659A (en) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4586577B2 (en) | Disturbance component suppression device, computer program, and speech recognition system | |
CN107633851B (en) | Discrete speech emotion recognition method, device and system based on emotion dimension prediction | |
CN111048071B (en) | Voice data processing method, device, computer equipment and storage medium | |
US20080167862A1 (en) | Pitch Dependent Speech Recognition Engine | |
KR101236539B1 (en) | Apparatus and Method For Feature Compensation Using Weighted Auto-Regressive Moving Average Filter and Global Cepstral Mean and Variance Normalization | |
US11929058B2 (en) | Systems and methods for adapting human speaker embeddings in speech synthesis | |
Nanavare et al. | Recognition of human emotions from speech processing | |
EP1511007A2 (en) | Vocal tract resonance tracking using a nonlinear predictor and a target-guided temporal constraint | |
CN111489763B (en) | GMM model-based speaker recognition self-adaption method in complex environment | |
CN113782032B (en) | Voiceprint recognition method and related device | |
KR100897555B1 (en) | Apparatus and method of extracting speech feature vectors and speech recognition system and method employing the same | |
Hachkar et al. | A comparison of DHMM and DTW for isolated digits recognition system of Arabic language | |
JP4762176B2 (en) | Speech recognition apparatus and speech recognition program | |
JP4571871B2 (en) | Speech signal analysis method and apparatus for performing the analysis method, speech recognition apparatus using the speech signal analysis apparatus, program for executing the analysis method, and storage medium thereof | |
JP2011033879A (en) | Identifying method capable of identifying all languages without using samples | |
Płonkowski | Using bands of frequencies for vowel recognition for Polish language | |
US20090063149A1 (en) | Speech retrieval apparatus | |
JP4362072B2 (en) | Speech signal analysis method and apparatus for performing the analysis method, speech recognition apparatus using the speech signal analysis apparatus, program for executing the analysis method, and storage medium thereof | |
Chiu et al. | A micro-control device of soundscape collection for mixed frog call recognition | |
JP6234134B2 (en) | Speech synthesizer | |
Bahja et al. | An overview of the cate algorithms for real-time pitch determination | |
Allosh et al. | Speech recognition of Arabic spoken digits | |
JP7333878B2 (en) | SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, AND SIGNAL PROCESSING PROGRAM | |
Lee | A unit selection approach for voice transformation | |
Taylor’s et al. | Multi-level processing for continuous speech recognition in natural environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110607 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |