JP7077645B2 - Speech recognition device - Google Patents
Speech recognition device Download PDFInfo
- Publication number
- JP7077645B2 JP7077645B2 JP2018023256A JP2018023256A JP7077645B2 JP 7077645 B2 JP7077645 B2 JP 7077645B2 JP 2018023256 A JP2018023256 A JP 2018023256A JP 2018023256 A JP2018023256 A JP 2018023256A JP 7077645 B2 JP7077645 B2 JP 7077645B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- phoneme
- weighting function
- voice
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Description
本発明は、音声認識装置に関する。 The present invention relates to a voice recognition device.
従来、入力音声の特徴と予め作成された音響モデルの各音素の特徴とを比較し、類似度が高いと判定した音素を入力音声に対する音素ラベルとして同定する、音声認識装置が知られている。 Conventionally, there is known a speech recognition device that compares the characteristics of an input voice with the characteristics of each phoneme of an acoustic model created in advance, and identifies the phoneme determined to have a high degree of similarity as a phoneme label for the input voice.
このような音声認識装置において、騒音下での認識率を向上させることが求められている。関連技術として、特許文献1は、発声時の音入力から非発声時の音入力の周波数成分を引き算することで騒音を除去することを開示している。特許文献2は、入力音声と音響モデルとの間の距離を、それぞれの静的特徴パラメータ間の距離と、動的特徴パラメータ間との距離との重みづけ和によって計算し、計算値が小さい音素を同定する際、騒音のパワーの時間変動の分散度合に基づいて変更することを開示している。
In such a voice recognition device, it is required to improve the recognition rate under noisy conditions. As a related technique,
騒音下での認識率向上のためには、同じ騒音特性の環境下で作成した音響モデルを用いるか、音声入力から騒音を差し引くことが考えられる。騒音環境下で音響モデルを作成する場合、複数の環境に対応させるためには、環境ごとにモデルを作成する必要があり工数がかかる。また、音声入力から騒音をスペクトル領域で差し引くとスペクトル歪みが生じ音響モデルとの比較方法によっては、かえって認識率が低下するおそれがある。このように、騒音下における認識率向上には改善の余地があった。 In order to improve the recognition rate under noisy conditions, it is conceivable to use an acoustic model created in an environment with the same noise characteristics or to subtract the noise from the voice input. When creating an acoustic model in a noisy environment, it is necessary to create a model for each environment in order to support multiple environments, which requires man-hours. Further, if noise is subtracted from the voice input in the spectral region, spectral distortion occurs, and the recognition rate may rather decrease depending on the comparison method with the acoustic model. In this way, there was room for improvement in improving the recognition rate under noisy conditions.
本発明は、上記課題を鑑みてなされたものであり、騒音下での認識率を向上した音声認識装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a voice recognition device having an improved recognition rate under noisy conditions.
上記課題を解決するために、本発明の一局面は、音声入力を取得し、音声入力のスペクトルである入力スペクトルを生成する音響処理部と、各音素のスペクトルを音響モデルとして予め記憶している音響モデル記憶部と、入力スペクトルと音響モデルの各音素のスペクトルとのスペクトル間距離を算出し、スペクトル間距離が最小である音素を音声入力に対する音素として特定する音素マッチング部とを備える、音声認識装置である。音素マッチング部は、複数の周波数のそれぞれにおける、入力スペクトルと各音素のスペクトルとの差分に基づく値に重み付けを行い、重み付けした値の総和を計算することによって、スペクトル間距離を算出する。このようなスペクトル間距離の計算方法によって、人間の声を特徴付ける周波数帯を重視した評価や騒音を多く含む周波数帯の影響を小さくした評価を行うことができ、認識率を向上させることができる。 In order to solve the above problems, one aspect of the present invention is to acquire a voice input and store in advance an acoustic processing unit that generates an input spectrum which is a spectrum of the voice input and a spectrum of each phonetic element as an acoustic model. Speech recognition that includes an acoustic model storage unit and a phonetic element matching unit that calculates the interspectral distance between the input spectrum and the spectrum of each acoustic element of the acoustic model and identifies the phoneme that has the smallest interspectral distance as a phonetic element for voice input. It is a device. The phoneme matching unit weights the values based on the difference between the input spectrum and the spectrum of each phoneme at each of the plurality of frequencies, and calculates the interspectral distance by calculating the sum of the weighted values. By such an interspectral distance calculation method, it is possible to perform an evaluation that emphasizes the frequency band that characterizes the human voice and an evaluation that reduces the influence of the frequency band that contains a lot of noise, and it is possible to improve the recognition rate.
また、音響処理部は、音声入力に含まれる騒音のスペクトルである騒音スペクトルをさらに生成し、音声認識装置は、複数の騒音スペクトルのパターンと重み付け関数とを対応付けて記憶する重み付け関数記憶部と、重み付け関数記憶部を参照し、音響処理部が生成した騒音スペクトルに最も類似する騒音スペクトルに対応付けられた重み付け関数を決定する重み付け関数決定部とをさらに備え、音素マッチング部は、重み付け関数決定部が決定した重み付け関数に基づいて、重み付けを行ってもよい。これにより、音声入力に含まれる騒音の特性に応じてその影響を小さくした評価を行うことができ、認識率をより向上させることができる。 Further, the sound processing unit further generates a noise spectrum which is a spectrum of noise included in the voice input, and the voice recognition device includes a weighting function storage unit which stores a plurality of noise spectrum patterns and weighting functions in association with each other. , The weighting function storage unit is further provided with a weighting function determination unit that determines the weighting function associated with the noise spectrum most similar to the noise spectrum generated by the sound processing unit, and the phonetic element matching unit determines the weighting function. Weighting may be performed based on the weighting function determined by the unit. As a result, it is possible to perform an evaluation in which the influence thereof is reduced according to the characteristics of the noise contained in the voice input, and the recognition rate can be further improved.
また、複数の言語種別と重み付け関数とを対応付けて記憶する言語別重み付け関数記憶部と、音声入力に含まれる音声の言語種別を取得し、言語別重み付け関数記憶部を参照し、取得した言語種別に対応付けられた重み付け関数を決定する言語別重み付け関数決定部とをさらに備え、音素マッチング部は、言語別重み付け関数決定部が決定した重み付け関数に基づいて、重み付けを行ってもよい。これにより、音声入力に含まれる音声の言語種別に応じて、その言語を特徴付ける周波数帯を重視した評価を行うことができ、認識率をより向上させることができる。 In addition, the language-specific weighting function storage unit that stores a plurality of language types and the weighting function in association with each other and the language type of the voice included in the voice input are acquired, and the language-specific weighting function storage unit is referred to to obtain the acquired language. The language-specific weighting function determination unit that determines the weighting function associated with the type may be further provided, and the phonetic matching unit may perform weighting based on the weighting function determined by the language-specific weighting function determination unit. As a result, it is possible to perform evaluation with an emphasis on the frequency band that characterizes the language according to the language type of the voice included in the voice input, and it is possible to further improve the recognition rate.
本発明によれば、騒音下での認識率を向上した音声認識装置を提供することができる。 According to the present invention, it is possible to provide a voice recognition device having an improved recognition rate under noisy conditions.
(概要)
本発明に係る音声認識装置においては、音声入力のスペクトルと音響モデルのスペクトルとのスペクトル間距離を算出する際、特定の周波数成分における差分を他の周波数成分における差分より大きく重み付けする。このようなスペクトル間距離の計算方法によって、人間の声を特徴付ける周波数帯を重視した評価や騒音を多く含む周波数帯の影響を小さくした評価を行うことができ、認識率を向上させることができる。
(Overview)
In the speech recognition device according to the present invention, when calculating the interspectral distance between the spectrum of the speech input and the spectrum of the acoustic model, the difference in a specific frequency component is weighted more than the difference in other frequency components. By such an interspectral distance calculation method, it is possible to perform an evaluation that emphasizes the frequency band that characterizes the human voice and an evaluation that reduces the influence of the frequency band that contains a lot of noise, and it is possible to improve the recognition rate.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(第1の実施形態)
<構成>
図1に、本実施形態に係る音声認識装置100の機能ブロック図を示す。音声認識装置100は、音響処理部110、音響モデル記憶部120、音素マッチング部130を含む。音響処理部110は高域強調部111、音響分析部112、騒音処理部113を含む。
(First Embodiment)
<Structure>
FIG. 1 shows a functional block diagram of the voice recognition device 100 according to the present embodiment. The voice recognition device 100 includes an acoustic processing unit 110, an acoustic model storage unit 120, and a phoneme matching unit 130. The sound processing unit 110 includes a high
音響処理部110は、外部から音声入力を受け付け、音声入力のスペクトルである入力スペクトルを生成する。音響モデル記憶部120は、予め作成した各音素のスペクトルを参照用の音響モデルとして記憶している。音素マッチング部130は、音響処理部110が生成した入力スペクトルと、音響モデル記憶部120が記憶している音響モデルの各音素のスペクトルとの距離であるスペクトル間距離を算出する。本実施形態におけるスペクトル間距離の詳細については後述する。そして、スペクトル間距離が最小である音素を音声入力に対する音素として同定してラベリングし音素ラベルを出力する。 The sound processing unit 110 receives voice input from the outside and generates an input spectrum which is a spectrum of voice input. The acoustic model storage unit 120 stores the spectrum of each phoneme created in advance as an acoustic model for reference. The phoneme matching unit 130 calculates the interspectral distance, which is the distance between the input spectrum generated by the acoustic processing unit 110 and the spectrum of each phoneme of the acoustic model stored in the acoustic model storage unit 120. The details of the interspectral distance in this embodiment will be described later. Then, the phoneme having the minimum interspectral distance is identified as a phoneme for the voice input, labeled, and the phoneme label is output.
<動作>
音声認識装置100が行う処理を説明する。図2に音声認識装置100が行う処理のフローチャートを示す。
<Operation>
The process performed by the voice recognition device 100 will be described. FIG. 2 shows a flowchart of processing performed by the voice recognition device 100.
ステップS101:音響処理部110は音声入力を受け付け、音声入力に基づいてそのスペクトルである入力スペクトルを生成する。音声入力は、例えばハミング窓を用いてフレーム化され、フレーム単位で以下の処理が行われる。音声入力は、まず、高域強調部111によって一般に特徴部分となりやすい高周波の領域が強調される。つぎに音響分析部112によってFFT(高速フーリエ変換)が行われ、音声入力のスペクトルが生成される。生成されたスペクトルは、騒音処理部113によって、騒音低減処理が行われる。騒音低減は、一例として、音響分析部112が生成したスペクトルから騒音のスペクトルを減算することで行う。騒音のスペクトルは、例えば、音声入力のうちパワーが小さいフレームや非発声期間として指定されたフレームに基づいて生成してもよいし、予め騒音モデルとして記憶しておいてもよい。騒音低減されたスペクトルが、音声入力のスペクトルである入力スペクトルとして、音響処理部110から出力される。なお、本実施形態では、音響処理部110は、騒音処理部113を備えず、音響分析部112が生成したスペクトルを入力スペクトルとして出力してもよい。
Step S101: The sound processing unit 110 receives the voice input and generates an input spectrum which is the spectrum based on the voice input. The voice input is framed using, for example, a humming window, and the following processing is performed in frame units. In the voice input, first, the high frequency region that tends to be a characteristic portion is emphasized by the high
ステップS102:音素マッチング部130は、音響処理部110が生成した入力スペクトルを取得し、音響モデル記憶部120から各音素スペクトルを取得して、入力スペクトルと各音素のスペクトルとのスペクトル間距離を順次計算する。 Step S102: The phoneme matching unit 130 acquires the input spectrum generated by the acoustic processing unit 110, acquires each phoneme spectrum from the acoustic model storage unit 120, and sequentially determines the interspectral distance between the input spectrum and the spectrum of each phoneme. calculate.
ここで、図3を参照してスペクトル間距離について説明する。スペクトル間距離は、本実施形態においては、複数の周波数(角周波数)ωi(i=1、2、…、l)における2つのスペクトルの差分di(i=1、2、…、l)の重み付け和で定義する。重み付けの係数は、周波数ωの関数F(ω)を重み付け関数として定義し、各ωiにおける関数値F(ωi)(i=1、2、…、l)により定める。図4に、一例に係る重み付関数F(ω)のグラフを示す。スペクトル間距離DWは以下の数式で表される。 Here, the interspectral distance will be described with reference to FIG. In the present embodiment, the interspectral distance is the difference di (i = 1, 2, ..., L) between two spectra at a plurality of frequencies (angular frequencies) ω i (i = 1, 2, ..., L). It is defined by the weighted sum of. The weighting coefficient defines the function F (ω) of the frequency ω as a weighting function, and is determined by the function value F (ω i ) (i = 1, 2, ..., L) in each ω i . FIG. 4 shows a graph of the weighted function F (ω) according to an example. The interspectral distance D W is expressed by the following formula.
ここで、重み付け係数F(ωi)(i=1、2、…、l)は、いずれかの値が他の値と異なるように予め定められる。すなわち、入力スペクトルと各音素のスペクトルとのスペクトル間距離を計算するにあたり、特定の周波数における差分の影響を他の周波数における差分の影響より大きくする。これにより、人間が騒音下で人間の声を聴き分ける場合などに行っていると考えられる、意識的に人間の声を特徴付ける特定の周波数帯を中心に聞き入るという聴覚特性と同様に、特定の周波数帯を重視した評価が可能となる。例えば、150Hzの周波数を含む帯域と、1kHz以上2kHz以下の範囲の周波数を含む帯域とにおける重み付け係数を他の帯域における重み付け係数より大きくすると、車両騒音下での日本語音声の認識率を向上することができる。重み付け係数はこれに限定されず、適宜設計すればよい。 Here, the weighting coefficient F (ω i ) (i = 1, 2, ..., L) is predetermined so that one of the values is different from the other values. That is, in calculating the interspectral distance between the input spectrum and the spectrum of each phoneme, the influence of the difference at a specific frequency is made larger than the influence of the difference at other frequencies. As a result, a specific frequency is similar to the auditory characteristic of consciously listening to a specific frequency band that characterizes the human voice, which is considered to be performed when a human listens to the human voice under noisy conditions. Evaluation with an emphasis on the band is possible. For example, if the weighting coefficient in the band including the frequency of 150 Hz and the band including the frequency in the range of 1 kHz or more and 2 kHz or less is made larger than the weighting coefficient in the other bands, the recognition rate of Japanese voice under vehicle noise is improved. be able to. The weighting coefficient is not limited to this, and may be appropriately designed.
音素マッチング部130は、上述の式によって、入力スペクトルと音響モデルに含まれるm個の音素のスペクトルのそれぞれとのスペクトル間距離DWを計算する。入力スペクトルとj番目の音素のスペクトルとのスペクトル間距離をDWj(j=1、2、…、m)とする。 The phoneme matching unit 130 calculates the interspectral distance D W between the input spectrum and each of the spectra of m phonemes included in the acoustic model by the above equation. Let D Wj (j = 1, 2, ..., M) be the interspectral distance between the input spectrum and the spectrum of the jth phoneme.
ステップS103:音素マッチング部130は、スペクトル間距離DWj(j=1、2、…、m)の最小値を与える音素を特定する。音声認識装置100はこのようにして特定した音素を、音声入力フレームに対する音素ラベルとして出力する。1フレームについての処理は以上で終了となるが、次に処理すべきフレームがある場合は、そのフレームについてステップS101~S103の処理を実行する。 Step S103: The phoneme matching unit 130 identifies a phoneme that gives the minimum value of the interspectral distance D Wj (j = 1, 2, ..., M). The voice recognition device 100 outputs the phoneme thus specified as a phoneme label for the voice input frame. The processing for one frame is completed by the above, but if there is a frame to be processed next, the processing of steps S101 to S103 is executed for that frame.
<効果>
本実施形態においては、騒音を含む入力スペクトルを音素のスペクトルと比較する際に、人間の声を特徴付ける周波数帯を重視した評価を行うことにより、認識率を向上させることができる。
<Effect>
In the present embodiment, when comparing the input spectrum including noise with the spectrum of phonemes, the recognition rate can be improved by performing the evaluation with an emphasis on the frequency band that characterizes the human voice.
なお、スペクトル間距離DWは差分diの重み付け線形和としたが、周波数ごとの重み付けができれば限定されず、重み付け2乗和でもよい。 The interspectral distance D W is a weighted linear sum of the differences di, but it is not limited as long as it can be weighted for each frequency, and a weighted square sum may be used.
(第2の実施形態)
<構成>
図5に、本実施形態に係る音声認識装置200の機能ブロック図を示す。音声認識装置200は、第1の実施形態に係る音声認識装置100において、重み付け関数決定部140および重み付け関数記憶部150をさらに備えたものである。音声認識装置200は、音声入力に含まれる騒音のスペクトルのパターンに基づいて、重み付け関数決定部140が、重み付け関数記憶部150を参照して重み付け関数F(ω)を決定する点で、第1の実施形態に係る音声認識装置100と異なる。第1の実施形態に係る音声認識装置100と同様のまたは対応する構成要素には同一の参照符号を付す。
(Second embodiment)
<Structure>
FIG. 5 shows a functional block diagram of the voice recognition device 200 according to the present embodiment. The voice recognition device 200 further includes a weighting function determination unit 140 and a weighting function storage unit 150 in the voice recognition device 100 according to the first embodiment. The voice recognition device 200 is first in that the weighting function determination unit 140 determines the weighting function F (ω) with reference to the weighting function storage unit 150 based on the pattern of the spectrum of noise included in the voice input. It is different from the voice recognition device 100 according to the embodiment of. Similar or corresponding components as the speech recognition device 100 according to the first embodiment are designated by the same reference numerals.
<動作>
音声認識装置200が行う処理を説明する。図6に音声認識装置200が行う処理のフローチャートを示す。
<Operation>
The process performed by the voice recognition device 200 will be described. FIG. 6 shows a flowchart of the process performed by the voice recognition device 200.
ステップS201:音響処理部110は音声入力を受け付け、音声入力に基づいてそのスペクトルである入力スペクトルを生成する。本ステップの処理は、第1の実施形態におけるステップS101と同様であるが、本実施形態では、騒音処理部113による騒音低減処理を実行することが好適である。騒音低減処理に用いる騒音のスペクトルは、音声入力に基づいて生成する。例えば音声入力のうち、パワーが小さいフレームや非発声期間として指定されたフレームに基づいてスペクトルを生成することができる。騒音低減されたスペクトルが、音声入力のスペクトルである入力スペクトルとして、音響処理部110から出力される。また、騒音スペクトルも音響処理部110から出力される。 Step S201: The sound processing unit 110 receives the voice input and generates an input spectrum which is the spectrum based on the voice input. The processing of this step is the same as that of step S101 in the first embodiment, but in this embodiment, it is preferable to execute the noise reduction processing by the noise processing unit 113. The noise spectrum used in the noise reduction process is generated based on the voice input. For example, the spectrum can be generated based on a frame of voice input with low power or a frame designated as a non-speech period. The noise-reduced spectrum is output from the sound processing unit 110 as an input spectrum which is a spectrum of voice input. The noise spectrum is also output from the sound processing unit 110.
ステップS202:重み付け関数決定部140は、騒音スペクトルに基づいて、重み付け関数記憶部150を参照して、重み付け関数を決定する。重み付け関数記憶部150は、騒音スペクトルのパターンと重み付け関数とを対応付けて記憶している。この対応付けの例を図7に示す。図7に示す騒音A、B、Cの各スペクトルは、車両内、オフィス、トンネルにおける騒音スペクトルである。騒音A、B、Cのそれぞれに重み付け関数FA(ω)、FB(ω)、FC(ω)が対応付けられている。重み付け関数は、例えば、人間の音声を特徴づける帯域の重みを大きくし、かつ、騒音のレベルが大きい帯域の重みを小さくする方針で設計することができる。重み付け関数決定部140は、音響処理部110から取得した騒音スペクトルに最も類似する騒音スペクトルを、重み付け関数記憶部150が記憶している騒音スペクトルから選択し、選択した騒音スペクトルに対応付けられた重み付け関数を決定する。なお、騒音スペクトルの類似の判定は、例えば、重み付けなしのスぺクトル間距離に基づいて行うことができる。 Step S202: The weighting function determination unit 140 determines the weighting function with reference to the weighting function storage unit 150 based on the noise spectrum. The weighting function storage unit 150 stores the noise spectrum pattern and the weighting function in association with each other. An example of this association is shown in FIG. Each of the noise A, B, and C spectra shown in FIG. 7 is a noise spectrum in a vehicle, an office, and a tunnel. Weighting functions FA (ω), FB (ω), and FC (ω) are associated with each of the noises A , B , and C , respectively. The weighting function can be designed, for example, with a policy of increasing the weight of the band that characterizes human voice and decreasing the weight of the band that has a high noise level. The weighting function determination unit 140 selects a noise spectrum most similar to the noise spectrum acquired from the sound processing unit 110 from the noise spectra stored in the weighting function storage unit 150, and weights the noise spectrum associated with the selected noise spectrum. Determine the function. It should be noted that the determination of the similarity of the noise spectra can be performed, for example, based on the distance between the spectra without weighting.
ステップS203:音素マッチング部130は、音響処理部110が生成した入力スペクトルを取得し、重み付け関数決定部140が決定した重み付け関数を取得し、音響モデル記憶部120から各音素スペクトルを取得して、入力スペクトルと各音素のスペクトルとのスペクトル間距離DWj(j=1、2、…、m)を順次計算する。 Step S203: The phoneme matching unit 130 acquires the input spectrum generated by the acoustic processing unit 110, acquires the weighting function determined by the weighting function determination unit 140, acquires each phoneme spectrum from the acoustic model storage unit 120, and obtains each phoneme spectrum. The interspectral distance D Wj (j = 1, 2, ..., M) between the input spectrum and the spectrum of each phoneme is sequentially calculated.
ステップS204:音素マッチング部130は、スペクトル間距離DWj(j=1、2、…、m)の最小値を与える音素を特定する。音声認識装置200はこのようにして特定した音素を、音声入力フレームに対する音素ラベルとして出力する。1フレームについての処理は以上で終了となるが、次に処理すべきフレームがある場合は、そのフレームについてステップS201~S204の処理を実行する。 Step S204: The phoneme matching unit 130 identifies a phoneme that gives the minimum value of the interspectral distance D Wj (j = 1, 2, ..., M). The voice recognition device 200 outputs the phoneme thus specified as a phoneme label for the voice input frame. The processing for one frame is completed by the above, but if there is a frame to be processed next, the processing of steps S201 to S204 is executed for that frame.
<効果>
本実施形態においては、第1の実施形態と同様、騒音を含む入力スペクトルを音素のスペクトルと比較する際に、人間の声を特徴付ける周波数帯を重視した評価を行うことにより、認識率を向上させることができる。本実施形態ではさらに、騒音の特性に応じてその影響を小さくした評価を行うことができ、認識率をより向上させることができる。
<Effect>
In the present embodiment, as in the first embodiment, when the input spectrum including noise is compared with the spectrum of phonemes, the recognition rate is improved by performing the evaluation focusing on the frequency band that characterizes the human voice. be able to. Further, in the present embodiment, it is possible to perform an evaluation in which the influence thereof is reduced according to the characteristics of noise, and the recognition rate can be further improved.
(第3の実施形態)
<構成>
図8に、本実施形態に係る音声認識装置300の機能ブロック図を示す。音声認識装置300は、第2の実施形態に係る音声認識装置200において、重み付け関数決定部140の代わりに言語別重み付け関数決定部141を備え、重み付け関数記憶部150の代わりに言語別重み付け関数決定部151を備えたものである。第2の実施形態に係る音声認識装置200は、音声入力に含まれる騒音のスペクトルのパターンに基づいて、重み付け関数決定部140が、重み付け関数記憶部150を参照して重み付け関数F(ω)を決定するのに対し、本実施形態に係る音声認識装置300は、音声入力に含まれる音声の言語種別に基づいて、言語別重み付け関数決定部141が、言語別重み付け関数記憶部151を参照して重み付け関数F(ω)を決定する。また、音声認識装置300は、一例として、単語マッチング部160、日本語単語記憶部171、英語単語記憶部172を備える。第1および第2の実施形態に係る音声認識装置100、200と同様のまたは対応する構成要素には同一の参照符号を付す。
(Third embodiment)
<Structure>
FIG. 8 shows a functional block diagram of the voice recognition device 300 according to the present embodiment. In the voice recognition device 200 according to the second embodiment, the voice recognition device 300 includes a language-specific weighting function determination unit 141 instead of the weighting function determination unit 140, and a language-specific weighting function determination instead of the weighting function storage unit 150. It is provided with a part 151. In the voice recognition device 200 according to the second embodiment, the weighting function determination unit 140 refers to the weighting function storage unit 150 and uses the weighting function F (ω) based on the pattern of the noise spectrum included in the voice input. On the other hand, in the voice recognition device 300 according to the present embodiment, the language-specific weighting function determination unit 141 refers to the language-specific weighting function storage unit 151 based on the language type of the voice included in the voice input. Determine the weighting function F (ω). Further, the voice recognition device 300 includes, as an example, a word matching unit 160, a Japanese
<動作>
音声認識装置300が行う処理を説明する。図9に音声認識装置300が行う処理のフローチャートを示す。
<Operation>
The process performed by the voice recognition device 300 will be described. FIG. 9 shows a flowchart of the process performed by the voice recognition device 300.
ステップS301:音響処理部110は音声入力を受け付け、音声入力に基づいてそのスペクトルである入力スペクトルを生成する。本ステップの処理は、第1の実施形態におけるステップS101と同様である。 Step S301: The sound processing unit 110 receives the voice input and generates an input spectrum which is the spectrum based on the voice input. The processing of this step is the same as that of step S101 in the first embodiment.
ステップS302:言語別重み付け関数決定部141は、音声入力に含まれる音声の言語種別に基づいて、言語別重み付け関数記憶部151を参照して、重み付け関数を決定する。言語種別の判定の方法は後述する。 Step S302: The language-specific weighting function determination unit 141 determines the weighting function with reference to the language-specific weighting function storage unit 151 based on the language type of the voice included in the voice input. The method of determining the language type will be described later.
言語別重み付け関数記憶部151は、言語種別と重み付け関数とを対応付けて記憶している。この対応付けの例を図10に示す。図10に示すように、日本語、英語のそれぞれに重み付け関数FJ(ω)、FE(ω)が対応付けられている。重み付け関数は、例えば、各言語における人間の音声を特徴付ける帯域の重みを大きくする方針で設計することができる。 The language-specific weighting function storage unit 151 stores the language type and the weighting function in association with each other. An example of this association is shown in FIG. As shown in FIG. 10, weighting functions F J (ω) and FE (ω) are associated with each of Japanese and English, respectively. The weighting function can be designed, for example, with a policy of increasing the weighting of the band that characterizes human speech in each language.
日本語は、音素が基本的に子音(C)の後に母音(V)が続く「C+V」の構造によって構成され、母音の出現比率が比較的高い。そのため、500Hz以下のフォルマントが支配的である母音が特徴的となる。本実施形態では、一例として、日本語の重み付け関数FJ(ω)を低、中域から高域にかけて、おおむね一様だが、緩やかに減少するように設定し、日本語音声を特徴づける帯域の重みを大きくする。 In Japanese, phonemes are basically composed of a "C + V" structure in which a consonant (C) is followed by a vowel (V), and the appearance ratio of vowels is relatively high. Therefore, vowels in which formants of 500 Hz or less are dominant are characteristic. In this embodiment, as an example, the Japanese weighting function FJ (ω) is set to be generally uniform from the low, middle to high frequencies, but gradually decreases, and the band that characterizes Japanese speech is set. Increase the weight.
これに対して英語は、子音の種類が日本語より多く、また、音素が「C+V」に加えて、「C+C+V」、「C」、「C+C」等の構造によって構成され、子音の出現比率が高い。そのため、中域から高域の成分が支配的である子音が特徴的となる。本実施形態では、一例として、英語の重み付け関数FE(ω)を低域から中、高域にかけて増加するように設定し、英語音声を特徴づける帯域の重みを大きくする。 On the other hand, in English, there are more types of consonants than in Japanese, and phonemes are composed of structures such as "C + C + V", "C", and "C + C" in addition to "C + V", and the appearance ratio of consonants is high. high. Therefore, the consonants in which the mid-range to high-range components are dominant are characteristic. In the present embodiment, as an example, the English weighting function FE (ω) is set to increase from the low range to the middle and high frequencies, and the weight of the band that characterizes the English voice is increased.
ステップS303:音素マッチング部130は、音響処理部110が生成した入力スペクトルを取得し、言語別重み付け関数決定部141が決定した重み付け関数を取得し、音響モデル記憶部120から各音素スペクトルを取得して、入力スペクトルと各音素のスペクトルとのスペクトル間距離DWj(j=1、2、…、m)を順次計算する。 Step S303: The phoneme matching unit 130 acquires the input spectrum generated by the acoustic processing unit 110, acquires the weighting function determined by the language-specific weighting function determination unit 141, and acquires each phoneme spectrum from the acoustic model storage unit 120. Then, the interspectral distance D Wj (j = 1, 2, ..., M) between the input spectrum and the spectrum of each phoneme is sequentially calculated.
ステップS304:音素マッチング部130は、スペクトル間距離DWj(j=1、2、…、m)の最小値を与える音素を、音声入力フレームに対する音素ラベルとして特定する。音素マッチング部130はこのようにして特定した音素を、音声入力フレームに対する音素ラベルとして出力する。 Step S304: The phoneme matching unit 130 specifies a phoneme that gives the minimum value of the interspectral distance D Wj (j = 1, 2, ..., M) as a phoneme label for the voice input frame. The phoneme matching unit 130 outputs the phoneme thus specified as a phoneme label for the voice input frame.
ステップS305:単語マッチング部160は、音素マッチング部130から出力される音素ラベルを順次受け取り、単語マッチングを行う。単語マッチングは、一例として、順次受け取った音素ラベルの配列に対して、最も類似度が高い、すなわち、確率(尤度)が高い単語を対応付けることによって行う。候補となる単語として、日本語の単語が日本語単語記憶部171に記憶されており、英語の単語が英語単語記憶部172に記憶されている。単語マッチング部160は、日本語単語記憶部171および英語単語記憶部172の両方を参照し、最も確率の高い単語を特定する。単語マッチング部160は、音声認識装置300の出力として、この単語を出力する。1フレームについての処理は以上で終了となるが、次に処理すべきフレームがある場合は、そのフレームについてステップS301~S305の処理を実行する。
Step S305: The word matching unit 160 sequentially receives phoneme labels output from the phoneme matching unit 130 and performs word matching. As an example, word matching is performed by associating words with the highest degree of similarity, that is, with the highest probability (likelihood), with an array of phoneme labels received sequentially. As candidate words, Japanese words are stored in the Japanese
ここで、音声入力に含まれる音声の言語種別の判定の方法の一例を説明する。単語マッチング部160は、上記ステップS305の処理の際、日本語単語記憶部171および英語単語記憶部172から、それぞれ、確率が上位の、例えば、10位以内の単語を選択し、選択した日本語の単語の確率の平均値と、選択した英語の単語の確率の平均値とを比較する。単語マッチング部160は、確率の平均値の高いほうの言語を、音声入力に含まれる音声の言語種別と判定し、判定結果を、言語別重み付け関数決定部141に通知する。言語別重み付け関数決定部141は、ステップS302で、通知された判定結果に基づいて重み付け関数を決定し、音素マッチング部130は、ステップS303で、現在処理対象の入力スペクトルに対して、この重み付け関数を用いた処理を行う。単語マッチング部160による言語種別の判定処理および通知処理は、ステップS305において、常時実行してもよく、所定周期ごとに実行してもよい。また、複数回の判定結果の多数決をとった結果を言語別重み付け関数決定部141に通知してもよい。
Here, an example of a method for determining the language type of the voice included in the voice input will be described. In the process of step S305, the word matching unit 160 selects a word having a high probability, for example, a word within the 10th place from the Japanese
上述の説明では、音声認識装置300は、単語マッチング部160を備えるので、第1、第2の実施形態に係る音声認識装置100、200が音素ラベルを出力するのとは異なり、単語マッチング部160が特定した単語を出力するものとした。しかし、音声認識装置300は、単語の代わりに、あるいは単語に加えて、音素ラベルを出力してもよい。また、音声認識装置300は、単語マッチング部160、日本語単語記憶部171、英語単語記憶部172を備えず、音素ラベルを出力してもよい。この場合、言語別重み付け関数決定部141は、単語マッチング部160から判定結果を受け取る代わりに、音声入力やそのスペクトルを音響処理部110から受け取り、各種の言語識別手法を用いて自身で言語を判定してもよいし、あるいは、音素ラベルに基づいて外部の機器が行った言語種別の判定処理の結果を受け取ってもよい。
In the above description, since the voice recognition device 300 includes the word matching unit 160, the word matching unit 160 is different from the voice recognition devices 100 and 200 according to the first and second embodiments to output a phoneme label. Is supposed to output the specified word. However, the speech recognition device 300 may output a phoneme label instead of or in addition to the word. Further, the voice recognition device 300 does not include the word matching unit 160, the Japanese
また、言語の例として日本語、英語の2言語を挙げたが、本実施形態においては、言語の種別や数は限定されず、他の言語にも適用可能である。 In addition, although two languages, Japanese and English, have been given as examples of languages, in the present embodiment, the type and number of languages are not limited, and can be applied to other languages.
<効果>
本実施形態においては、第1の実施形態と同様、騒音を含む入力スペクトルを音素のスペクトルと比較する際に、人間の声を特徴付ける周波数帯を重視した評価を行うことにより、認識率を向上させることができる。本実施形態ではさらに、音声入力に含まれる音声の言語種別に応じて、特にその言語を特徴付ける周波数帯を重視した評価を行うことができ、認識率をより向上させることができる。
<Effect>
In the present embodiment, as in the first embodiment, when the input spectrum including noise is compared with the spectrum of phonemes, the recognition rate is improved by performing the evaluation focusing on the frequency band that characterizes the human voice. be able to. Further, in the present embodiment, the evaluation can be performed with particular emphasis on the frequency band that characterizes the language according to the language type of the voice included in the voice input, and the recognition rate can be further improved.
なお、本発明は、音声認識装置の機能ブロックの構成として捉えるだけでなく、プロセッサを備えるコンピューターが実行する音声認識方法やプログラムとして捉えることができる。 It should be noted that the present invention can be regarded not only as a configuration of a functional block of a voice recognition device, but also as a voice recognition method or program executed by a computer provided with a processor.
本発明は、音声認識装置等に有用である。 The present invention is useful for speech recognition devices and the like.
100、200、300 音声認識装置
110 音響処理部
111 高域強調部
112 音響分析部
113 騒音処理部
120 音響モデル記憶部
130 音素マッチング部
140 重み付け関数決定部
141 言語別重み付け関数決定部
150 重み付け関数記憶部
151 言語別重み付け関数記憶部
160 単語マッチング部
171 日本語単語記憶部
172 英語単語記憶部
100, 200, 300 Speech recognition device 110
Claims (1)
各音素のスペクトルを音響モデルとして予め記憶している音響モデル記憶部と、
前記入力スペクトルと前記音響モデルの各音素のスペクトルとのスペクトル間距離を算出し、前記スペクトル間距離が最小である音素を前記音声入力に対する音素として特定する音素マッチング部と、
複数の言語種別と重み付け関数とを対応付けて記憶する言語別重み付け関数記憶部と、
前記音声入力に含まれる音声の言語種別を取得し、前記言語別重み付け関数記憶部を参照し、取得した前記言語種別に対応付けられた重み付け関数を決定する言語別重み付け関数決定部と、を備える、音声認識装置であって、
前記音素マッチング部は、複数の周波数のそれぞれにおける、前記入力スペクトルと前記各音素のスペクトルとの差分に基づく値に重み付けを行い、重み付けした値の総和を計算することによって、前記スペクトル間距離を算出し、前記言語別重み付け関数決定部が決定した重み付け関数に基づいて、前記重み付けを行う、音声認識装置。 An acoustic processing unit that acquires a voice input and generates an input spectrum that is the spectrum of the voice input.
An acoustic model storage unit that stores the spectrum of each phoneme as an acoustic model in advance,
A phoneme matching unit that calculates the interspectral distance between the input spectrum and the spectrum of each phoneme of the acoustic model and specifies the phoneme having the minimum interspectral distance as the phoneme for the voice input .
A language-specific weighting function storage unit that stores multiple language types and weighting functions in association with each other,
It is provided with a language-specific weighting function determination unit that acquires a language type of voice included in the voice input, refers to the language-specific weighting function storage unit, and determines a weighting function associated with the acquired language type. , A voice recognition device
The phoneme matching unit calculates the distance between the spectra by weighting the values based on the difference between the input spectrum and the spectrum of each phoneme at each of the plurality of frequencies and calculating the sum of the weighted values. A speech recognition device that performs the weighting based on the weighting function determined by the language-specific weighting function determination unit .
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017155739 | 2017-08-10 | ||
JP2017155739 | 2017-08-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019035935A JP2019035935A (en) | 2019-03-07 |
JP7077645B2 true JP7077645B2 (en) | 2022-05-31 |
Family
ID=65637342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023256A Active JP7077645B2 (en) | 2017-08-10 | 2018-02-13 | Speech recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7077645B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421556B (en) * | 2021-06-30 | 2024-02-13 | 平安科技(深圳)有限公司 | Speech recognition method, device, computer equipment and storage medium |
WO2023182016A1 (en) * | 2022-03-22 | 2023-09-28 | パナソニックIpマネジメント株式会社 | Voice authentication device and voice authentication method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003501701A (en) | 1999-06-07 | 2003-01-14 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Weighted spectral distance calculator |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635495A (en) * | 1992-07-16 | 1994-02-10 | Ricoh Co Ltd | Speech recognizing device |
JPH0736477A (en) * | 1993-07-16 | 1995-02-07 | Ricoh Co Ltd | Pattern matching system |
JPH10177393A (en) * | 1996-12-19 | 1998-06-30 | Toyota Motor Corp | Voice recognition device |
-
2018
- 2018-02-13 JP JP2018023256A patent/JP7077645B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003501701A (en) | 1999-06-07 | 2003-01-14 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Weighted spectral distance calculator |
Also Published As
Publication number | Publication date |
---|---|
JP2019035935A (en) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11475907B2 (en) | Method and device of denoising voice signal | |
CN108198547B (en) | Voice endpoint detection method and device, computer equipment and storage medium | |
EP2363852B1 (en) | Computer-based method and system of assessing intelligibility of speech represented by a speech signal | |
WO2018223727A1 (en) | Voiceprint recognition method, apparatus and device, and medium | |
WO2011024572A1 (en) | Audio feature extracting apparatus, audio feature extracting method, and audio feature extracting program | |
EP0838805B1 (en) | Speech recognition apparatus using pitch intensity information | |
US20140177853A1 (en) | Sound processing device, sound processing method, and program | |
US20140148933A1 (en) | Sound Feature Priority Alignment | |
KR20080086298A (en) | Method and apparatus for estimating noise using harmonics of speech | |
WO2023283823A1 (en) | Speech adversarial sample testing method and apparatus, device, and computer-readable storage medium | |
US9076446B2 (en) | Method and apparatus for robust speaker and speech recognition | |
EP3574499B1 (en) | Methods and apparatus for asr with embedded noise reduction | |
CN106653004B (en) | Speaker identification feature extraction method for sensing speech spectrum regularization cochlear filter coefficient | |
JP7077645B2 (en) | Speech recognition device | |
JP5803125B2 (en) | Suppression state detection device and program by voice | |
JP6373621B2 (en) | Speech evaluation device, speech evaluation method, program | |
JP6087731B2 (en) | Voice clarifying device, method and program | |
JP4571871B2 (en) | Speech signal analysis method and apparatus for performing the analysis method, speech recognition apparatus using the speech signal analysis apparatus, program for executing the analysis method, and storage medium thereof | |
Rout et al. | Data-adaptive single-pole filtering of magnitude spectra for robust keyword spotting | |
Płonkowski | Using bands of frequencies for vowel recognition for Polish language | |
TWI585756B (en) | Method and device for recognizing stuttered speech and computer program product | |
Alasadi et al. | Review of Modgdf & PNCC techniques for features extraction in speech recognition | |
Park et al. | Emotional information processing based on feature vector enhancement and selection for human–computer interaction via speech | |
Lyubimov et al. | Exploiting non-negative matrix factorization with linear constraints in noise-robust speaker identification | |
Kumar et al. | A dynamic latent variable model for source separation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220502 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7077645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |