JP4758919B2 - Speech recognition apparatus and speech recognition program - Google Patents
Speech recognition apparatus and speech recognition program Download PDFInfo
- Publication number
- JP4758919B2 JP4758919B2 JP2007011422A JP2007011422A JP4758919B2 JP 4758919 B2 JP4758919 B2 JP 4758919B2 JP 2007011422 A JP2007011422 A JP 2007011422A JP 2007011422 A JP2007011422 A JP 2007011422A JP 4758919 B2 JP4758919 B2 JP 4758919B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- word
- learning
- speech recognition
- word string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
Description
本発明は、音声認識装置及び音声認識プログラムに係り、特に高精度な音声認識を実現するための音声認識装置及び音声認識プログラムに関する。 The present invention relates to a voice recognition apparatus and a voice recognition program, and more particularly to a voice recognition apparatus and a voice recognition program for realizing highly accurate voice recognition.
従来の音声認識手法において、音声及び言語に対してそれぞれ独立に確率モデルを学習し、音声認識時にその確率モデル(音響モデル、言語モデル等)を組み合わせて使用する手法が知られている。 In a conventional speech recognition method, a method is known in which a probability model is learned independently for speech and language, and the probability model (acoustic model, language model, etc.) is used in combination during speech recognition.
なお、音響モデルは、例えば音声信号より各音素と入力信号との尤度を出力するHMM(隠れマルコフモデル)による確率モデルであり、言語モデルは、例えば人手によって作成した文法による確率、又は音声から書き起こした文章の各単語において単語間の意味的な接続のし易さを示す単語連鎖確率等についてn−gramモデル等を用いて学習された確率モデルである。 The acoustic model is, for example, a probabilistic model based on HMM (Hidden Markov Model) that outputs the likelihood of each phoneme and input signal from a speech signal, and the language model is, for example, a probability based on a grammar created manually or from speech. This is a probability model learned using an n-gram model or the like for word chain probabilities or the like indicating ease of semantic connection between words in each word of a written sentence.
つまり、従来では、上述した音響モデルと言語モデルは、それぞれ独立しており、音響モデルと言語モデルの関係を直接表現するモデルは存在していなかった。そこで、近年では、認識精度の向上をめざして、音響モデルと言語モデルの関係を表現するような技術が開示されている(例えば、非特許文献1〜3等参照。)。 That is, conventionally, the acoustic model and the language model described above are independent of each other, and there is no model that directly expresses the relationship between the acoustic model and the language model. Therefore, in recent years, techniques for expressing the relationship between an acoustic model and a language model have been disclosed with the aim of improving recognition accuracy (see, for example, Non-Patent Documents 1 to 3).
ここで、非特許文献1に示されている手法では、各単語の音素の発話継続時間長の平均と分散を学習データから学習して確率モデル化し、音声認識に利用する手法を提案している。また、この手法は、発話継続時間長の値を直接用いており、認識音素と学習音素とが常に一定の同じ発話スピードで話している場合に一番高い効果が期待できる。また、この手法では、話速(音素の発話継続時間長)が変化する場合には劣化の可能性もあるが、全ての音素に対して一意に話速の正規化を行うことで上記の課題の解決を試みている。 Here, the technique shown in Non-Patent Document 1 proposes a technique for learning the average and variance of the phoneme utterance duration length of each word from learning data, making a probability model, and using it for speech recognition. . Also, this method directly uses the value of the utterance duration length, and the highest effect can be expected when the recognized phoneme and the learning phoneme are always speaking at the same utterance speed. Also, with this method, there is a possibility of deterioration when the speech speed (phoneme duration) changes, but the above problem can be solved by performing normalization of speech speed for all phonemes. We are trying to solve this.
また、非特許文献2に示されている手法では、言語的情報と音響信号の相関をモデル化することで、認識精度の改善を図っている。また、この手法では、学習用の音声信号とその音声信号から文章を書き起こしたテキストを使用して、パワーや母音継続時間、ピッチに関する統計量を求めてモデル化して使用している。 In the method disclosed in Non-Patent Document 2, the recognition accuracy is improved by modeling the correlation between linguistic information and an acoustic signal. Further, in this method, a learning speech signal and text obtained by writing a sentence from the speech signal are used, and statistics relating to power, vowel duration, and pitch are obtained and modeled.
また、非特許文献3に示されている手法では、講演音声の認識エラーが何の影響を大きく受けているのかについて、決定木を用いて分析を行っている。また、この手法では、エラーに影響するのは話速、音素の出現頻度等が重要であり、認識精度の改善には、話速や単語内に含まれる音素数等を考慮した方がよいことが示されている。
上述した従来の音声認識手法では、音響モデルや言語モデルをそれぞれ独立に学習し、音声認識時に両モデルを用いて正解となる文章を探索している。そのため、単語毎に発話の仕方等の異なる部分についてはモデル化されていない。 In the conventional speech recognition method described above, an acoustic model and a language model are independently learned, and a correct sentence is searched using both models during speech recognition. For this reason, different parts such as utterance methods for each word are not modeled.
また、現状のモデルでは発音辞書に読みを与えるだけであるため、同じ音素列の単語の時間経過に対する評価は同じになってしまう。また、学習データの平均に比べて、発話速度が早口なのか、ゆっくり発話しているのかというような指標がモデル化できておらず、上述した従来手法のような単語単位で継続時間長を扱うだけでは、音声と言語との間にある相関関係のモデル化が不十分である。 In addition, since the current model only gives readings to the pronunciation dictionary, the evaluation over time of words in the same phoneme sequence becomes the same. In addition, the index of whether the speaking speed is faster or slower than the average of the learning data has not been modeled, and the duration is handled in units of words as in the conventional method described above. Alone is insufficient to model the correlation between speech and language.
上述の例を挙げると、例えば正解単語列の探索中における枝刈り操作は、その時点における最大確率値(最大尤度)を基準として、ある一定の範囲(幅)を持って、それ以下の尤度を有する単語の候補は途中で枝狩り(除外)するビームサーチが多く用いられている。しかしながら、所定時間あたりの単語数や、各単語固有の発声時間長、発話文章の単語出現位置等が考慮されていないため、不要な探索空間が多く、音声認識処理時間が増加してしまう。 Taking the above example, for example, the pruning operation during the search for a correct word string has a certain range (width) with a maximum probability value (maximum likelihood) at that time as a reference, and a likelihood less than that. A beam search is often used for branching (excluding) a branch of a word candidate having a degree. However, since the number of words per predetermined time, the utterance time length unique to each word, the word appearance position of the utterance sentence, and the like are not taken into consideration, there are many unnecessary search spaces, and the speech recognition processing time increases.
また、読みの情報がある場合には、一般的には読み毎に個別のモデルとして処理する場合と、等確率で扱う場合との二通りに分けられる。しかしながら、読み毎に個別のモデルとして取り扱うと、統計データを扱うには学習データ量不足(スパースネス)の問題が生じ、言語モデルの精度が低下する。また、複数の読みを等確率で扱う場合は、単語の読み毎に異なる頻度情報が全く考慮されておらず挿入誤り等の認識精度の劣化を引き起こしてしまう場合がある。 In addition, when there is reading information, it is generally divided into two types: a case where each reading is processed as an individual model and a case where handling is performed with equal probability. However, if each reading is handled as an individual model, there is a problem of insufficient learning data amount (sparseness) to handle statistical data, and the accuracy of the language model is lowered. Further, when handling a plurality of readings with equal probability, different frequency information is not taken into consideration at every reading of the word, which may cause deterioration of recognition accuracy such as an insertion error.
本発明は、上述した問題点に鑑みなされたものであり、高精度な音声認識を実現するための音声認識装置及び音声認識プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide a speech recognition device and a speech recognition program for realizing highly accurate speech recognition.
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。 In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
請求項1に記載された発明は、学習用の音声信号及び該音声信号に対応して書き起こされたテキストから学習した確率モデルを用いて、入力される認識対象の音声信号に対する音声認識を行う音声認識装置において、前記学習用の音声信号に対して音響特徴量の分析を行う音響分析手段と、前記テキストに対して形態素解析を行う形態素解析手段と、前記音響分析手段及び前記形態素解析手段の結果から所定処理時間毎における音声と文字の対応関係を生成するアライメント生成手段と、前記アライメント生成手段により得られる前記対応関係に基づいて、音声と言語の相関関係確率モデルを学習する相関関係確率学習手段と、前記相関関係確率学習手段により得られる相関関係確率モデルに基づいて、前記認識対象の音声信号に対する音声認識を行う音声認識手段とを有し、前記音声認識手段は、前記認識対象の音声信号から音響特徴量を抽出し、抽出した音響特徴量と前記相関関係確率モデルと音響モデル・言語モデルとに基づいて、所定処理時間における所定数の単語列候補を選択する第1単語列探索手段と、前記第1単語列探索手段により得られる単語列候補に対して、前記相関関係確率モデルから得られる情報により単語毎に重み付けを行い、前記単語列候補における重み付けされた確率値に基づいて所定数の単語列を出力する第2単語列探索手段とを有し、前記第2単語列探索手段は、前記単語列候補に対して前記相関関係確率モデルにより得られる1文章内の単語総数、1文章内の音素総数、文章内の音素頻度分布、文章内の不要語数、文章内の相づち数、及び文章内の品詞分布のうち、少なくとも1つを用いて1文単位の単語列の探索を行うことを特徴とする。 The invention described in claim 1 performs speech recognition on an input speech signal to be recognized using a learning speech signal and a probability model learned from a text transcribed corresponding to the speech signal. In the speech recognition apparatus, an acoustic analysis unit that analyzes an acoustic feature amount for the learning speech signal, a morpheme analysis unit that performs morpheme analysis on the text, the acoustic analysis unit, and the morpheme analysis unit Alignment generation means for generating correspondence between speech and characters from the result every predetermined processing time, and correlation probability learning for learning a correlation probability model of speech and language based on the correspondence obtained by the alignment generation means And a speech for the speech signal to be recognized based on the correlation probability model obtained by the correlation probability learning means. Have a speech recognition means for performing identification, the speech recognition unit extracts the acoustic features from the speech signal of the recognition target, the extracted acoustic feature quantity and said correlation probability model and an acoustic model, language model First word string search means for selecting a predetermined number of word string candidates in a predetermined processing time, and information obtained from the correlation probability model for word string candidates obtained by the first word string search means And a second word string search means for outputting a predetermined number of word strings based on the weighted probability values in the word string candidates, wherein the second word string search means The total number of words in one sentence, the total number of phonemes in the sentence, the phoneme frequency distribution in the sentence, the number of unnecessary words in the sentence, the number of words in the sentence, and the sentence obtained by the correlation probability model with respect to the word string candidate Among parts of speech distribution, and performs a search for word strings one sentence unit using at least one.
請求項1記載の発明によれば、音声と言語の相関情報を利用することができ、より学習データ中の統計量を音声認識に有効に活用することができる。つまり、相関関係確率モデル用いて高精度な音声認識を実現することができる。また、相関関係確率モデルにより単語毎に探索中のビームサーチの幅を制御できるため、処理時間を制約し高速化することができる。また、逆に同一処理時間とした場合、効果的に探索空間を広げるといった処理も可能となり、より認識率の精度を向上させることができる。また、相関関係確率モデルから得られる頻度情報等の情報を用いて単語列の正解確率を高精度に取得することができる。更に、1文単位で単語列の探索を行うこともできるため、より認識率の精度を向上させることができる。 According to the first aspect of the present invention, correlation information between speech and language can be used, and statistics in the learning data can be effectively used for speech recognition. That is, highly accurate speech recognition can be realized using the correlation probability model. Moreover, since the width of the beam search during the search can be controlled for each word by the correlation probability model, the processing time can be restricted and the processing speed can be increased. On the contrary, when the same processing time is used, it is possible to effectively expand the search space, and the recognition rate accuracy can be further improved. In addition, the correct probability of the word string can be obtained with high accuracy using information such as frequency information obtained from the correlation probability model. Furthermore, since the word string can be searched in units of sentences, the accuracy of the recognition rate can be further improved.
請求項2に記載された発明は、前記相関関係確率モデルには、前記学習用の音声信号の長さ毎の書き起こしテキストに含まれる平均単語数と分散、もしくは音素数の平均と分散、音素の分布、各音素の頻度平均と分散、品詞の分布と各品詞の頻度平均と分散、前記学習用の音声信号より与えられた各単語内での音素の分布、前記各単語の発話の位置情報、前記単語毎のパワーもしくはゼロクロスの平均と分散、及び前記各単語の発音区間長の平均と分散等の情報のうち、少なくとも1つを有することを特徴とする。 In the invention according to claim 2 , the correlation probability model includes an average number of words and variance included in a transcription text for each length of the learning speech signal, or an average and variance of phonemes, phonemes Distribution, frequency average and variance of each phoneme, part-of-speech distribution and frequency average and variance of each part-of-speech, phoneme distribution within each word given from the learning speech signal, position information of the utterance of each word And at least one of information such as the average and variance of the power or zero cross for each word, and the average and variance of the pronunciation interval length of each word.
請求項2記載の発明によれば、上述した情報を確率モデルとして学習しておくことにより、認識結果と学習データの相関を取ることができる。これにより、学習データにおける話し方等を含めた文章らしさを数値として表現することができる。 According to the second aspect of the present invention, the recognition result and the learning data can be correlated by learning the information described above as a probability model. Thereby, the text-likeness including how to speak in the learning data can be expressed as a numerical value.
請求項3に記載された発明は、前記第1単語列探索手段は、前記認識対象の音声信号に含まれる時間情報に基づいて、前記認識対象の音声信号に対する経過時間あたりの単語数、音素数による単語列の枝刈り、及び/又は各単語内の経過時間、音素頻度回数、ゼロクロス頻度等による単語の枝刈りを行うことを特徴とする。 According to a third aspect of the present invention, the first word string search means includes the number of words and the number of phonemes per elapsed time for the speech signal to be recognized based on time information contained in the speech signal to be recognized. And / or pruning of words based on elapsed time, number of phoneme frequencies, zero cross frequency, etc. in each word.
請求項3記載の発明によれば、時間情報に基づいて発話の長さあたりの単語の頻度を探索条件に含めることができるため、認識対象の音声が学習データの平均に比べ、早口なのかゆっくり発話しているのかを考慮しながら枝刈り等の処理を行うことができる。 According to the third aspect of the present invention, since the frequency of words per utterance length can be included in the search condition based on the time information, whether the speech to be recognized is fast or slow compared to the average of the learning data. Processing such as pruning can be performed while considering whether the user is speaking.
請求項4に記載された発明は、前記第1単語列探索手段は、前記相関関係確率モデルに基づいて同形異音語の確率補正を行うことを特徴とする。 The invention described in claim 4 is characterized in that the first word string search means performs probability correction of homomorphic abnormal words based on the correlation probability model.
請求項4記載の発明によれば、同形異音語に関して、それぞれの読みの割合(確率)を考慮して確率補正を行うことで、探索精度を向上させることができる。 According to the fourth aspect of the present invention, it is possible to improve the search accuracy by performing probability correction for homomorphic abnormal words in consideration of the ratio (probability) of each reading.
請求項5に記載された発明は、コンピュータを、請求項1乃至4の何れか1項に記載の音声認識装置として機能させることを特徴とする音声認識プログラムである。 According to a fifth aspect of the present invention, there is provided a voice recognition program that causes a computer to function as the voice recognition device according to any one of the first to fourth aspects .
請求項5記載の発明によれば、相関関係確率モデル用いて高精度な音声認識を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に音声認識処理を実現することができる。 According to the fifth aspect of the present invention, highly accurate speech recognition can be realized using the correlation probability model. In addition, voice recognition processing can be easily realized by installing an execution program in a computer.
本発明によれば、高精度な音声認識を実現することができる。 According to the present invention, highly accurate speech recognition can be realized.
<本発明の概要>
本発明は、学習データから得られる音声と言語の相関関係に関する統計量を抽出して確率モデル化し、音声認識時に音響モデルと言語モデルとを組み合わせて用いることで、学習データより得られる情報をより有効に活用することができ、これにより、認識精度の向上を図るものである。
<Outline of the present invention>
The present invention extracts a statistic related to the correlation between speech and language obtained from learning data, generates a probability model, and uses a combination of an acoustic model and a language model at the time of speech recognition, so that information obtained from the learning data can be further improved. It can be used effectively, thereby improving the recognition accuracy.
これは、今まで提案されている話速(音素の発話継続時間長)等のような物理的な値だけはなく、例えば母音と子音の比による話速の取り扱いや、文章単位の単語数、品詞頻度数、単語位置情報等を組み合わせて用いることで、より言語と音声との相関情報をモデル化して利用し、認識精度の向上を図る。 This is not only a physical value such as the proposed speech speed (phoneme duration), but the handling of the speech speed by the ratio of vowels and consonants, the number of words per sentence, By combining the number of part-of-speech frequencies, word position information, and the like, the correlation information between language and speech is modeled and used to improve recognition accuracy.
以下に、上述したような特徴を有する本発明における音声認識装置及び音声認識プログラムを好適に実施した形態について、図面を用いて詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, a preferred embodiment of a voice recognition device and a voice recognition program according to the present invention having the above-described features will be described in detail with reference to the drawings.
<音声認識装置:装置構成>
図1は、本発明における音声認識装置の一構成例を示す図である。図1に示す音声認識装置1は、大別すると、学習手段10と、音声認識手段20とを有するよう構成されている。ここで、学習手段10は、音響分析手段11と、形態素解析手段12と、アライメント生成手段13と、相関関係確率モデル学習手段14とを有するよう構成されている。また、音声認識手段20は、第1単語列探索手段21と、第2単語列探索手段22とを有するよう構成されている。
<Voice recognition device: device configuration>
FIG. 1 is a diagram showing a configuration example of a speech recognition apparatus according to the present invention. The speech recognition apparatus 1 shown in FIG. 1 is roughly configured to include a learning unit 10 and a speech recognition unit 20. Here, the learning unit 10 is configured to include an acoustic analysis unit 11, a morpheme analysis unit 12, an alignment generation unit 13, and a correlation probability model learning unit 14. The speech recognition means 20 is configured to include a first word string search means 21 and a second word string search means 22.
なお、学習手段10による学習ステップと、音声認識手段20による音声ステップとは、別構成であってもよく、またそれぞれが単独で処理されてもよい。 Note that the learning step by the learning unit 10 and the voice step by the voice recognition unit 20 may have different configurations, or each may be processed independently.
図1に示す音声認識装置1は、学習ステップとして、予め設定された音声信号と、それに対応する書き起こしテキスト31から音声と言語との相関関係を示す音声・言語相関関係確率モデル32を学習する。なお、学習ステップにおける音響分析や形態素解析等を行う場合には、予め従来手法等を用いて設定されたHMM(Hidden Markov Model)等により学習された音響的特徴を有する音響モデル33、言葉のつながりを確率を使って表現された言語モデル(例えば、n−gram言語モデル等)34、単語又は語彙(単語の集合)とその発音を規定した発音辞書35等を用いてもよい。 The speech recognition apparatus 1 shown in FIG. 1 learns, as a learning step, a speech / language correlation probability model 32 that indicates a correlation between speech and language from a preset speech signal and a transcription text 31 corresponding thereto. . When performing acoustic analysis, morphological analysis, or the like in the learning step, an acoustic model 33 having acoustic features learned by an HMM (Hidden Markov Model) or the like previously set by using a conventional method or the like, connection of words A language model (for example, an n-gram language model or the like) 34 expressed using probability, a word or vocabulary (a set of words), and a pronunciation dictionary 35 that defines pronunciation thereof may be used.
また、音声認識装置1は、音声認識ステップとして、入力される認識対象音声信号36について、上述の学習ステップにより学習結果として得られる音声・言語相関関係確率モデル32と、予め設定される音響モデル33、言語モデル34、発音辞書35等を用いて音声認識手段20による正解単語列の探索(第1単語列探索手段21)を行い、正解単語列候補37を生成する。更に、音声認識装置1は、正解単語列候補37から確率値のリスコアリングによる単語列探索(第2単語列探索手段22)を行い、音声認識結果38を出力する。次に、学習手段10及び音声認識手段20のそれぞれにおける各処理について、図を用いて説明する。 In addition, the speech recognition apparatus 1 performs, as a speech recognition step, a speech / language correlation probability model 32 obtained as a learning result by the above-described learning step and an acoustic model 33 set in advance for the input recognition target speech signal 36. The correct word string search (first word string searching means 21) is performed by the speech recognition means 20 using the language model 34, the pronunciation dictionary 35, etc., and the correct word string candidates 37 are generated. Furthermore, the speech recognition apparatus 1 performs a word sequence search (second word sequence search means 22) by rescoring probability values from the correct word sequence candidates 37, and outputs a speech recognition result 38. Next, each process in the learning means 10 and the speech recognition means 20 will be described with reference to the drawings.
<学習手段10>
本実施形態における学習手段10において、音響分析手段11は、学習データとして例えばニュース番組等の予め設定された音声信号と、その音声信号に対応して発話内容を文章等により書き起こした書き起こしテキスト31のうち、少なくとも音声信号を入力し、音響分析として音声の継続時間と各分析時刻のパワーを計算したり、ゼロクロス等のカウント等を行う。ここで、上述の内容について具体的に説明する。
<Learning means 10>
In the learning means 10 according to the present embodiment, the acoustic analysis means 11 is a transcriptional text in which speech data, such as a news program, which is set in advance as learning data, and the utterance content is transcribed by sentences or the like corresponding to the voice signal. At least an audio signal is input from among 31 and, as acoustic analysis, the duration of the audio and the power at each analysis time are calculated, and counting such as zero crossing is performed. Here, the above-mentioned content is demonstrated concretely.
ここで、図2は、学習データとしての音声信号の一例を示す図である。なお、図2において縦軸は音声波形の振幅を示し、横軸は時間を示している。ここで、例えば音響分析手段11における対数パワーEは、例えば以下に示す(1)式により計算される。 Here, FIG. 2 is a diagram illustrating an example of an audio signal as learning data. In FIG. 2, the vertical axis represents the amplitude of the speech waveform, and the horizontal axis represents time. Here, for example, the logarithmic power E in the acoustic analysis means 11 is calculated by, for example, the following equation (1).
また、音響分析手段11におけるゼロクロスの計算については、通常ゼロクロスは、図2に示す音声信号41の振幅が0レベルの軸を何回クロスするのかをカウントした値になる。つまり、図2の例では、ゼロクロスは0レベルの横軸と音声信号41の波形とが交差した点の数となる。 Regarding the calculation of the zero cross in the acoustic analysis means 11, the normal zero cross is a value obtained by counting how many times the axis of the audio signal 41 shown in FIG. That is, in the example of FIG. 2, zero crossing is the number of points where the horizontal axis of the 0 level and the waveform of the audio signal 41 intersect.
ここで、カウントされたゼロクロスの数値は、高域の音声(周波数)ほど振動の回数が多くなるため、その分数値が増加し、また低い音声ほど振動の回数が少なくなるため、その分数値が減少する。なお、ゼロクロスの数値については、分析窓幅に比例してカウントする音声波形の長さが異なる。 Here, the counted number of zero crosses increases as the number of vibrations increases as the high frequency sound (frequency) increases, and the number of vibrations decreases as the sound decreases. Decrease. As for the zero cross value, the length of the speech waveform to be counted is different in proportion to the analysis window width.
また、音響分析手段11は、音響分析として、入力した音声信号から通常の音声認識手法で用いられる音響特徴量も抽出する。なお、この音響特徴量としては、例えばMFCC(Mel−Frequency Cepstrum Coefficients)等のような声道の形状を数値化した特徴量や、韻律(ピッチ、抑揚等)等の特徴量、またそれらの特徴量の平均値や分散等の統計的情報を分析する。音響分析手段11は、取得した音響分析結果等をアライメント生成手段13及び相関関係確率モデル学習手段14に出力する。 The acoustic analysis unit 11 also extracts an acoustic feature amount used in a normal speech recognition method from the input speech signal as acoustic analysis. As the acoustic feature amount, for example, a feature amount obtained by quantifying the shape of the vocal tract, such as MFCC (Mel-Frequency Cepstrum Coefficients), a feature amount such as prosody (pitch, inflection), or the like Analyze statistical information such as mean value and variance. The acoustic analysis unit 11 outputs the acquired acoustic analysis result and the like to the alignment generation unit 13 and the correlation probability model learning unit 14.
また、形態素解析手段12は、予め設定された音声信号と、それに対応する書き起こしテキスト31のうち、少なくとも書き起こしテキストを入力し、入力したテキストに対して発音、単語分割、品詞分類等の形態素解析を行う。形態素解析手段12は、取得した形態素解析結果をアライメント生成手段13及び相関関係確率モデル学習手段14に出力する。 Further, the morpheme analyzing means 12 inputs at least a transcription text among preset speech signals and the corresponding transcription text 31, and morphemes such as pronunciation, word division, part-of-speech classification for the inputted text. Perform analysis. The morpheme analysis unit 12 outputs the acquired morpheme analysis result to the alignment generation unit 13 and the correlation probability model learning unit 14.
アライメント生成手段13は、音響分析手段11により得られる音響分析結果と、形態素解析手段12により得られる形態素解析結果とに基づいて、音声信号と単語又は音素等との対応関係を生成する。なお、対応関係は、音響分析手段11の出力と形態素解析手段12により得られる単語との対応関係を、音響モデル33、言語モデル34、発音辞書35を用いて設定を行う。これにより、発話内容等の音声信号とそれに対応するテキストとの間でアライメントを取ることができる。 The alignment generation unit 13 generates a correspondence relationship between the voice signal and the word or phoneme based on the acoustic analysis result obtained by the acoustic analysis unit 11 and the morpheme analysis result obtained by the morpheme analysis unit 12. The correspondence relationship is set by using the acoustic model 33, the language model 34, and the pronunciation dictionary 35 as the correspondence relationship between the output of the acoustic analysis unit 11 and the words obtained by the morphological analysis unit 12. Thereby, alignment can be performed between the audio signal such as the utterance content and the corresponding text.
つまり、アライメント生成手段13は、音声信号中のどの時間帯(例えば、何秒から何秒まで等といった時間)にどのような単語が音声として出力されているか等、音声、文字、及び時間のそれぞれの対応関係を設定する。アライメント生成手段13は、アライメント結果を相関関係確率モデル学習手段14に出力する。 In other words, the alignment generation means 13 determines which words are output as speech in what time zone (for example, from what seconds to what seconds, etc.) in the speech signal. Set the correspondence of. The alignment generation unit 13 outputs the alignment result to the correlation probability model learning unit 14.
相関関係確率モデル学習手段14は、音響分析手段11、形態素解析手段12、アライメント生成手段13によりそれぞれ得られた結果を用いて、入力音声信号と言語との相関関係確率モデルを学習する。 The correlation probability model learning means 14 learns a correlation probability model between the input speech signal and the language using the results obtained by the acoustic analysis means 11, the morpheme analysis means 12, and the alignment generation means 13, respectively.
なお、本実施形態において学習するモデルにおける音声と言語との相関関係としては、例えば以下に示す(a)〜(i)等のうち、何れか1つの情報を含む。
(a)学習音声(学習用の音声信号)の長さ(1文章)毎の書き起こしテキストに含まれる単語数の平均と分散
(b)学習音声の長さ毎の書き起こしテキストに含まれる音素数の平均と分散
(c)学習音声の長さ毎の音素の分布(ヒストグラム)と各音素の頻度平均と分散
(d)品詞の分布(ヒストグラム)と各品詞の頻度平均と分散
(e)学習音声より与えられた各単語内での音素(頻度)の分布(ヒストグラム)
(f)学習音声より与えられた各単語の発話の位置情報(発話文書中で単語の発話された位置に関する平均と分散、単語出現位置のヒストグラム)
(g)学習音声の単語毎のパワーの平均と分散
(h)学習音声の単語毎のゼロクロスの平均と分散
(i)学習音声より与えられた各単語の発音区間長(発話継続時間長)の平均と分散
また、相関関係確率モデル学習手段14において学習するモデルに含まれる情報としては上述した内容に限定されるものではなく、例えば以下に示す(j)〜(m)等も含めることができる。
(j)相づちの学習音声の長さ毎の分布(ヒストグラム)
(k)不要語の学習音声の長さ毎の分布(ヒストグラム)
(l)発話者の入れ替わりの学習音声の長さ毎の分布(ヒストグラム)
(m)それぞれの単語が含まれる学習音声の長さの分布(ヒストグラム)を含めることもできる。
Note that the correlation between speech and language in the model to be learned in this embodiment includes, for example, any one of the following information (a) to (i).
(A) Average and number of words included in transcription text for each length (one sentence) of learning speech (speech signal for learning) (b) Sound included in transcription text for each length of learning speech Average and variance of prime numbers (c) Distribution of phonemes for each length of learning speech (histogram), frequency average and variance of each phoneme (d) Distribution of parts of speech (histogram), frequency average and variance of each part of speech (e) Learning Distribution of phonemes (frequency) within each word given by speech (histogram)
(F) Position information of the utterance of each word given from the learning speech (average and variance regarding the utterance position of the word in the utterance document, histogram of the word appearance position)
(G) Average and variance of power for each word of learning speech (h) Average and variance of zero cross for each word of learning speech (i) Pronunciation interval length (utterance duration length) of each word given from learning speech Average and variance Further, the information included in the model learned by the correlation probability model learning unit 14 is not limited to the above-described content, and for example, the following (j) to (m) can also be included. .
(J) Distribution (histogram) for each length of the learning speech of each other
(K) Distribution of unwanted words for each length of learning speech (histogram)
(L) Distribution (histogram) of the length of the learning speech for changing the speaker
(M) It is also possible to include a length distribution (histogram) of learning speech in which each word is included.
相関関係確率モデル学習手段14は、上述した情報を含む音声・言語相関確率モデル32を生成して出力する。出力された音声・言語相関確率モデル32は、蓄積手段等に蓄積される。ここで、音声・言語確率相関関係確率モデル32に含まれる項目の幾つかについて、更に具体的に説明する。 The correlation probability model learning unit 14 generates and outputs a speech / language correlation probability model 32 including the above-described information. The output speech / language correlation probability model 32 is stored in storage means or the like. Here, some items included in the speech / language probability correlation probability model 32 will be described more specifically.
図3は、音声・言語相関関係確率モデルの単語・音素の統計量について説明するための一例の図である。なお、図3(A)は所定の書き起こしテキストに含まれる出現単語数の平均と分散についての一例を示す図であり、図3(B)は所定の書き起こしテキストに含まれる音素数の平均と分散についての一例を示す図である。なお、図3は、上述した相関関係の(a),(b)の情報に対応している。 FIG. 3 is a diagram illustrating an example of a word / phoneme statistic of the speech / language correlation probability model. FIG. 3 (A) is a diagram showing an example of the average and the number of appearance words included in a predetermined transcription text, and FIG. 3 (B) is an average of the number of phonemes included in the predetermined transcription text. It is a figure which shows an example about dispersion | distribution. FIG. 3 corresponds to the correlation information (a) and (b) described above.
ここで、図3(A)、(B)における左側のグラフは、それぞれ経過時間あたりの単語(図3(A))と音素(図3(B))の平均出現数を示しており、右側のグラフがそれぞれ単語(図3(A))と音素(図3(B))の分散を示している。 Here, the graphs on the left side in FIGS. 3A and 3B show the average number of appearances of words (FIG. 3A) and phonemes (FIG. 3B) per elapsed time, respectively. These graphs show the variance of words (FIG. 3A) and phonemes (FIG. 3B), respectively.
図3に示すような、統計量をモデルに含めることで、例えば音声認識における単語接続候補をリストアップする場合に、そのモデルを用いて単語の出現数や音素の出現数より所定処理時間毎の確率値等を求めることで、候補を高精度に選択することができる。 By including a statistic as shown in FIG. 3 in a model, for example, when word connection candidates in speech recognition are listed, the model is used to determine the number of occurrences of words and the number of occurrences of phonemes. A candidate can be selected with high accuracy by obtaining a probability value or the like.
また、図4は、音素分布による話速の比較の一例を示す図である。なお、図4は、上述した相関関係の(c),(d)の情報に対応している。ここで、話速は、単語や音素の頻度情報と相関があるため、認識にとって重要な情報である。 FIG. 4 is a diagram showing an example of speech speed comparison based on phoneme distribution. Note that FIG. 4 corresponds to the correlation information (c) and (d) described above. Here, the speech speed is important information for recognition because it correlates with the frequency information of words and phonemes.
したがって、まず話速が速くなると母音の継続時間長が短くなる特性を利用し、図4(A)に示すように学習データから得られる母音と子音の正規化したヒストグラムにより母音と子音の比(母音/子音)をαとし、そのαを認識対象音声の母音と子音の比と比べることで話速が速いのか遅いのかを表現することができる。 Therefore, first, using the characteristic that the duration time of the vowel becomes shorter as the speech speed becomes faster, the ratio of the vowel to the consonant is obtained by the normalized histogram of the vowel and the consonant obtained from the learning data as shown in FIG. It is possible to express whether the speech speed is fast or slow by comparing α with the ratio of the vowel to the consonant of the recognition target speech.
例えば、図4(B)の場合は、認識対象音声の母音対子音の比がαよりも小さい((母音/子音)<α)ため、学習音声に比べて話速が速いことがわかり、また文章内の単語数や音素数が平均より多いことがわかる。同様に、図4(C)の場合は、母音対子音の比がαよりも大きい((母音/子音)>α)ため、学習音声に比べて話速が遅いことがわかり、また文章内の単語数や音素数が平均より少ないことがわかる。 For example, in the case of FIG. 4B, since the ratio of the vowel to consonant of the recognition target speech is smaller than α ((vowel / consonant) <α), it can be seen that the speech speed is faster than the learning speech, It can be seen that the number of words and phonemes in the sentence is more than average. Similarly, in the case of FIG. 4C, since the ratio of vowel to consonant is larger than α ((vowel / consonant)> α), it can be seen that the speaking speed is slower than the learning speech, It can be seen that the number of words and phonemes is less than average.
また、図5は、音素頻度分布による単語毎の最もらしさの確率について説明するための図である。なお、図5は、上述した相関関係の(e)の情報に対応している。ここで、単語の最もらしさは、学習データのヒストグラムと認識時のヒストグラムの類似度を数値化することで取得することができる。 FIG. 5 is a diagram for explaining the probability of likelihood for each word based on the phoneme frequency distribution. Note that FIG. 5 corresponds to the above-described correlation information (e). Here, the likelihood of a word can be acquired by quantifying the similarity between a histogram of learning data and a histogram at the time of recognition.
例えば、図5に示すように、単語『次』(読み「つぎ」(tugi))について、学習データにより図5(A)に示すような正規化したヒストグラム(音素の頻度分布)が得られたとする。ここで、音声認識時の単語『次』の正規化したヒストグラムが図5(B)のようになった場合、単語独自の確率を図5(A)の頻度分布より計算する。つまり、音素頻度を正規化し、図5(A)に示す音素毎の頻度の差の絶対値を取得する。また、取得した差を単語で足し合わせて1から引くことで、単語の最もらしさを取得することができる。 For example, as shown in FIG. 5, for the word “next” (reading “next” (tugi)), a normalized histogram (phoneme frequency distribution) as shown in FIG. To do. Here, when the normalized histogram of the word “next” at the time of speech recognition is as shown in FIG. 5B, the probability unique to the word is calculated from the frequency distribution of FIG. That is, the phoneme frequency is normalized, and the absolute value of the frequency difference for each phoneme shown in FIG. In addition, by adding the obtained differences by a word and subtracting from 1, it is possible to obtain the most likely word.
例えば、図5(B)の場合には、単語の最もらしさは図5(A)の頻度分布を用いて「1−(|i(0.4)−0.4|+|u(0.4)−0.3|+|g(0.1)−0.2|+|t(0.1)−0.1|)=0.8」と算出することができる。 For example, in the case of FIG. 5B, the most likely word is “1- (| i (0.4) −0.4 | + | u (0. 4) −0.3 | + | g (0.1) −0.2 | + | t (0.1) −0.1 |) = 0.8 ”.
また同様に、図5(C)の場合には、単語の最もらしさは「1−|(i(0.4)−0.4|+|u(0.1)−0.3|+|g(0.1)−0.2|+|t(0.4)−0.1|)=0.4」と算出することができる。このように、単語の最もらしさを確率で表現して音声認識時に利用することで、認識性能を向上させることができる。 Similarly, in the case of FIG. 5C, the most likely word is “1- | (i (0.4) −0.4 | + | u (0.1) −0.3 | + | g (0.1) −0.2 | + | t (0.4) −0.1 |) = 0.4 ”. In this way, recognition performance can be improved by expressing the likelihood of a word as a probability and using it during speech recognition.
また、図6は、同形異音語の確率分配と単語位置確率について説明するための図である。なお、図6は、上述した相関関係の(f)の情報に対応している。ここで、確率分配の例として、単語『今日』(読み「きょう」(kyo:)、「こんにち」(koNnichi))を例にする。 FIG. 6 is a diagram for explaining the probability distribution of homomorphic abnormal words and the word position probability. Note that FIG. 6 corresponds to the above-described correlation information (f). Here, as an example of probability distribution, the word “today” (reading “Kyo:”, “Konichi”) is taken as an example.
また、図6の例では、単語の音素ヒストグラムを用いて、読み毎に対応する音素のヒストグラム頻度の和を音素数で正規化した値を求める。この読み毎に求めた値の比にしたがって確率値1を分配する。 In the example of FIG. 6, a value obtained by normalizing the sum of the histogram frequencies of phonemes corresponding to each reading by the number of phonemes is obtained using a phoneme histogram of words. The probability value 1 is distributed according to the ratio of the values obtained for each reading.
例えば、図6(A)に示すヒストグラムの場合は、(きょう:こんにち)の確率が1:1であるため、上述した確率値1を分配すると、確率分配は0.5:0.5になる。このとき、例えば30回単語『今日』が出現した時の音素頻度が図6(B)に示すヒストグラムの場合には、(きょう:こんにち)の確率が20:10=2:1であるため、確率分配は0.667:0.333となる。 For example, in the case of the histogram shown in FIG. 6A, since the probability of (today: today) is 1: 1, when the above probability value 1 is distributed, the probability distribution is 0.5: 0.5. become. At this time, for example, when the phoneme frequency when the word “today” appears 30 times is the histogram shown in FIG. 6B, the probability of (today) is 20: 10 = 2: 1. Therefore, the probability distribution is 0.667: 0.333.
また、図6(C)に示す単語位置確率の実施例では、『今日』の単語出現位置ヒストグラムより、各出現位置でのヒストグラム頻度の割合を用いる。したがって、図6(C)の例によれば、単語『今日』が文頭から2単語目に出現する確率は、出現回数30回のうち、2回目に出現した回数が8回であるため、単語位置確率は8/30=約0.267と算出することができる。 In the embodiment of the word position probability shown in FIG. 6C, the ratio of the histogram frequency at each appearance position is used from the word appearance position histogram of “today”. Therefore, according to the example of FIG. 6C, the probability that the word “today” appears as the second word from the beginning of the sentence is the number of times of the second appearance out of the number of appearances of 30, so the word The position probability can be calculated as 8/30 = about 0.267.
また、図7は、学習音声の音響分析手段より得られる単語毎の対数パワー及びゼロクロスの頻度分布の一例を示す図である。なお、図7は、上述した相関関係の(g)、(h)の情報に対応している。 FIG. 7 is a diagram showing an example of logarithmic power and zero-cross frequency distribution for each word obtained from the learning speech acoustic analysis means. FIG. 7 corresponds to the correlation information (g) and (h) described above.
まず、図7(A)は、対数パワーの頻度分布を利用した例を示している。学習データより単語『そと』と『そっと』の対数パワーの頻度分布が図7(A)に示すように得られたとする。ここで、単語『そと:soto』及び『そっと:soQto』は共に、音響的にはほぼ同じで小休止の音素『っ:Q』があるかないかの違いだけである。 First, FIG. 7A shows an example using the logarithmic power frequency distribution. It is assumed that the logarithmic power frequency distribution of the words “soft” and “soft” is obtained from the learning data as shown in FIG. Here, the words “soto: soto” and “soto: soQto” are both acoustically the same and are different only in whether there is a short pause phoneme “t: Q”.
なお、小休止区間は無音と同等で、信号がなく対数パワーが低いため、単語毎の対数パワーで比較すれば、図7(A)に示すように『そと』と『そっと』の分布は異なる。したがって、この分布をモデルに含めて利用することで『そと』及び『そっと』を対数パワーで比較することができ、認識精度を向上させることができる。 In addition, since the short pause section is equivalent to silence and there is no signal and log power is low, the distribution of “soft” and “soft” is as shown in FIG. Different. Therefore, by using this distribution in a model, “soft” and “soft” can be compared with logarithmic power, and recognition accuracy can be improved.
また、図7(B)は、ゼロクロスの頻度分布を利用した例を示している。ここで、一般にゼロクロスは、摩擦性の音素『さ』『し』『す』『せ』『そ』等に多い特徴がある。したがって、ゼロクロスをカウントした情報等をモデルに含めることで、例えば図7(B)に示すように学習データより『来た』と『した』の各単語のゼロクロスの頻度分布が得られた場合、音声認識時に『来た』であるか『した』であるかをゼロクロスの値を使って比較することができる。これにより、認識精度を向上させることができる。 FIG. 7B shows an example in which a zero-cross frequency distribution is used. Here, in general, the zero cross has many features such as frictional phonemes “sa” “shi” “su” “se” “so” and the like. Therefore, by including information such as counting zero crosses in the model, for example, as shown in FIG. 7B, when the frequency distribution of the zero cross of each word “Come” and “Done” is obtained from the learning data, It is possible to compare whether “I came” or “I did” at the time of speech recognition using the zero cross value. Thereby, recognition accuracy can be improved.
上述したような情報のうち、少なくとも1つを音声・言語相関関係確率モデル32と含めることで、認識時にこのモデルを用いることで高精度且つ迅速に音声認識を実現することができる。 By including at least one of the information as described above with the speech / language correlation probability model 32, speech recognition can be realized with high accuracy and speed by using this model at the time of recognition.
<音声認識手段20>
次に、音声認識手段20についての機能構成について、具体的に説明する。音声認識手段20の第1単語列探索手段21は、上述した音声・言語相関関係確率モデル32、音響モデル33、言語モデル34、及び発音辞書35を入力し、認識対象音声信号36の入力に対して例えば上述した音響分析手段21で行ったような音響特徴量の抽出を行い、抽出した特徴量等から正解単語の探索を行う。
<Voice recognition means 20>
Next, the functional configuration of the voice recognition unit 20 will be specifically described. The first word string search means 21 of the speech recognition means 20 inputs the above-mentioned speech / language correlation probability model 32, acoustic model 33, language model 34, and pronunciation dictionary 35, and in response to the input of the recognition target speech signal 36. For example, the acoustic feature amount is extracted as in the acoustic analysis means 21 described above, and the correct word is searched from the extracted feature amount.
更に具体的に説明すると、第1単語列探索手段21は、音声・言語相関確率モデル32を用いて探索空間の枝刈り、探索中の言語モデルの確率値の補正等を行う。 More specifically, the first word string search means 21 uses the speech / language correlation probability model 32 to prun the search space, correct the probability value of the language model being searched, and the like.
正解単語探索空間の枝刈りでは、通常の尤度を基にしたビームサーチに加えて、音声・言語相関確率モデル32における所定処理時刻での平均単語数と平均音素数を用いて、標準偏差σを基準に、例えばK(Kは、2、3等の定数)σ以上離れたものを枝刈りする。また、第1単語列探索手段21は、単語毎にそれぞれの対数パワー、ゼロクロス、継続処理時間等の平均等から時間的なプラスの方向にKσ以上離れているアクティブなノードの枝刈りを行う。 In the pruning of the correct word search space, in addition to the beam search based on the normal likelihood, the standard deviation σ is used by using the average number of words and the average number of phonemes at a predetermined processing time in the speech / language correlation probability model 32. Based on the above, for example, K (K is a constant such as 2, 3) σ or more is pruned. Further, the first word string search means 21 performs pruning of active nodes that are separated by Kσ or more in the positive direction in time from the average of each log power, zero cross, continuous processing time, etc. for each word.
つまり、第1単語列探索手段21は、認識対象音声信号36の時間長に基づいて、経過時間あたりの単語数、音素数による単語列の枝刈り、及び/又は各単語内の経過時間、音素頻度回数、ゼロクロス頻度等による単語の枝刈りを行う。 That is, the first word string search means 21 determines the number of words per elapsed time, the pruning of the word string based on the number of phonemes, and / or the elapsed time and phoneme within each word based on the time length of the recognition target speech signal 36. Prunes words based on frequency, zero-cross frequency, etc.
これにより、時間長に基づいて発話の長さあたりの単語の頻度を探索条件に含めることができるため、認識対象の音声が学習データの平均に比べ、早口なのかゆっくり発話しているのかを考慮しながら枝刈り等の処理を行うことができる。 As a result, the frequency of words per utterance length can be included in the search condition based on the length of time, so whether the speech to be recognized is speaking quickly or slowly compared to the average of the learning data. While pruning can be performed.
また、探索中の言語モデルの確率値の補正では、まず音声・言語相関確率モデル32を用いて、処理時刻毎に単語位置情報確率と平均単語数確率、平均音素数確率の値の積で補正し、更に対象の単語が同形異音語である場合には、各単語の発音と音素ヒストグラムの割合によって常に確率値を分配する。このように、同形異音語に関して、それぞれの読みの割合(確率)を考慮して確率補正を行うことで、探索精度を向上させることができる。 Further, in the correction of the probability value of the language model being searched, first, the speech / language correlation probability model 32 is used to correct the product of the word position information probability, the average word number probability, and the average phoneme number probability at each processing time. In addition, when the target word is an isomorphic allophone, the probability value is always distributed according to the pronunciation of each word and the ratio of the phoneme histogram. As described above, with respect to homomorphic abnormal words, search accuracy can be improved by performing probability correction in consideration of the ratio (probability) of each reading.
また、第1単語列探索手段21は、探索の結果として例えば得られる解として尤度の高いものを予め設定される所定数(例えば、上位N位まで)を選択し、得られたNベスト(N−best)探索結果の文章を正解単語列候補37として出力する。 In addition, the first word string search means 21 selects a predetermined number (for example, up to the top N) that has a high likelihood as a solution obtained as a result of the search, for example, and obtains the N best ( N-best) The sentence of the search result is output as the correct word string candidate 37.
第2単語列探索手段22は、第1単語列探索手段21により得られた正解単語列候補37から言語モデル34と音声・言語相関関係確率モデル32とを用いて正解単語列候補37の各単語毎の確率値に重み付けを行ってリスコアリングした確率値の結果から所定数(0以上)の正解単語列を音声認識結果38として出力する。例えば、正解単語列の確率値が所定値以下の場合は、単語列を出力せず、所定値より大きい場合は、確率値が最大の単語列、上位N位までの単語列、又は確率値が所定値より大きい全ての単語列を出力する。 The second word string search means 22 uses each word of the correct word string candidates 37 from the correct word string candidates 37 obtained by the first word string search means 21 using the language model 34 and the speech / language correlation probability model 32. A predetermined number (0 or more) of correct word strings are output as the speech recognition result 38 from the result of the probability value obtained by weighting each probability value and re-scoring. For example, if the probability value of the correct word string is less than or equal to a predetermined value, the word string is not output. If the probability value is greater than the predetermined value, the word string having the maximum probability value, the word string up to the top N, or the probability value is All word strings larger than a predetermined value are output.
なお、第2単語列探索手段22は、リスコアリングの際、選択された単語列候補から単語毎に各確率モデル(発音辞書35を含む)等に含まれる処理時間、単語出現位置、読み等により確率値を取得し、音響モデル33との類似性を示す音の類似確率を取得し、取得した値を用いて確率値に重み付けを行いリスコアリングすることもできる。 The second word string search means 22 performs processing time, word appearance position, reading, etc. included in each probability model (including the pronunciation dictionary 35) for each word from the selected word string candidates during rescoring. It is also possible to acquire a probability value, acquire a sound similarity probability indicating similarity to the acoustic model 33, weight the probability value using the acquired value, and re-score.
なお、音声認識時において、音響モデル33は、音素や音節の周波数パターンを保持し、主に入力音声とマッチングを行う。また、言語モデル34は、単語間の連鎖が規定されている。更に、発音辞書35を用いる場合は、認識対象の語彙(=単語の集合)とその発音が規定されているため、ここで規定されているもののみがマッチングの対象となる。 At the time of speech recognition, the acoustic model 33 retains phoneme and syllable frequency patterns and mainly performs matching with input speech. The language model 34 defines a chain between words. Further, when the pronunciation dictionary 35 is used, since the vocabulary to be recognized (= a set of words) and the pronunciation thereof are defined, only those defined here are targeted for matching.
ここで、第2単語列探索手段22は、上述したリスコアリングにあたり、例えば音声・言語相関関係確率モデル32により認識対象音声信号36に対応した1文章内の単語総数、1文章内の音素総数、文章内の音素頻度分布、文章内の不要語数、文章内の相づち数、文章内の品詞分布のそれぞれの確率値等を計算し、同時に各単語単位で例えば単語発話経過時間、対数パワー、ゼロクロス、発話位置、音素頻度分布等の確率を計算し、言語モデル34の確率値と合計して1文単位の確率値を計算して、その値に基づいて正解単語列を選択してもよい。これにより、1文単位で単語列の探索を行うこともできるため、より認識率の精度を向上させることができる。 Here, the second word string search means 22 performs the above-described rescoring, for example, the total number of words in one sentence corresponding to the recognition target speech signal 36 by the speech / language correlation probability model 32, and the total number of phonemes in the sentence. , Calculate the phoneme frequency distribution in the sentence, the number of unnecessary words in the sentence, the number of words in the sentence, the probability value of the part of speech distribution in the sentence, etc., and at the same time, for example, the elapsed time of word utterance, logarithmic power, zero cross The probability such as the utterance position and the phoneme frequency distribution may be calculated, and the probability value of one sentence unit may be calculated by summing with the probability value of the language model 34, and the correct word string may be selected based on the value. As a result, the word string can be searched in units of sentences, so that the accuracy of the recognition rate can be further improved.
<音声認識の具体例>
ここで、本実施形態における音声認識の具体例について説明する。なお、以下の説明では、本実施形態における音声認識の一例として『今日』の発話位置統計量を利用した音声認識例について説明する。図8は、単語位置情報の一例を示す図である。
<Specific examples of speech recognition>
Here, a specific example of speech recognition in the present embodiment will be described. In the following description, a speech recognition example using “today” speech position statistics will be described as an example of speech recognition in the present embodiment. FIG. 8 is a diagram illustrating an example of word position information.
図8では、単語『今日』が100回出現した時の学習データの各文章において、単語『今日』が何単語目に出現したかの割合(出現頻度)を示している。例えば、上述した情報を利用することによって、第1単語列探索手段21における出力単語列が”『ランチ』『の』『カレー』『ニラ』『今日』『は』『かかせ』『ない』”となった場合、単語『今日』の出現位置は5単語目であり、図8に示す出現頻度の確率値は0.04である。 FIG. 8 shows the ratio (appearance frequency) of what word “Today” appears in each sentence of the learning data when the word “Today” appears 100 times. For example, by using the above-described information, the output word string in the first word string search means 21 is ““ Lunch ”“ No ”“ Curry ”“ Leek ”“ Today ”“ Ha ”“ Kakase ”“ None ”” In this case, the appearance position of the word “today” is the fifth word, and the probability value of the appearance frequency shown in FIG. 8 is 0.04.
したがって、この出現位置確率を第2単語列探索手段22における計算に加えてリスコアリングすることにより、例えば、第1単語列探索手段21における他の単語列の”『ランチ』『の』『カレー』『に』『ラッキョウ』『は』『かかせ』『ない』”の確率が相対的に上昇することになり、結果として、より高精度な正解単語列を音声認識結果として出力することができる。 Therefore, by re-scoring this appearance position probability in addition to the calculation in the second word string search means 22, for example, “lunch” “no” “curry” of other word strings in the first word string search means 21 ”“ Ni ”“ Rakkyo ”“ Ha ”“ Kakase ”“ None ”” probabilities will rise relatively, and as a result, a more accurate correct word string can be output as a speech recognition result. .
また、逆に、例えば”『京』『は』『晴れて』『気温』『も』『上昇』『する』『見込み』『です』”のような単語列の場合は、文頭単語『京』よりも、単語『今日』の方が、文頭での出現頻度が多い。そのため、単語列”『今日』『は』『晴れて』『気温』『も』『上昇』『する』『見込み』『です』”を正解単語列の文章として出力させることができる。 Conversely, for example, in the case of a word string such as “Kyo” “Ha” “Sunny” “Temperature” “M” “Rise” “To” “Prospect” “It” ”, the initial word“ Kyo ” The word “Today” appears more frequently at the beginning of the sentence than it does. Therefore, the word string “today” “ha” “sunny” “temperature” “mo” “rise” “do” “prospect” “is” ”can be output as a sentence of the correct word sequence.
次に、上述した図7に示すように対数パワーやゼロクロスの頻度分布を利用して音声認識を考える。例えば、単語列”『散歩』『に』『来た』『から』『に』『は』”と単語列”『散歩』『に』『した』『から』『に』『は』”とが、第1単語列探索手段21で正解単語列候補として出力されたとする。このとき、どちらの単語列も単語の連鎖性の観点から判断すればあり得る文章であるが、各比較対象単語の対数パワーやゼロクロスの頻度分布を比較し、単語『した』の方がより学習データに近く最もらしい場合には、単語列”『散歩』『に』『した』『から』『に』『は』”を正解として出力することができる。 Next, speech recognition is considered using logarithmic power and zero-cross frequency distribution as shown in FIG. For example, the word sequence “walk” “ni” “coming” “kara” “ni” “ha” ”and the word sequence“ walk ”“ ni ”“ do ”“ kara ”“ ni ”“ ha ”” Suppose that the first word string search means 21 outputs the correct word string candidate. At this time, both word strings are sentences that can be judged from the viewpoint of word chainability, but the word “do” is learned more by comparing the logarithmic power of each comparison target word and the frequency distribution of zero crossing. When the data is most likely close to the data, the word strings “walk” “ni” “done” “kara” “ni” “ha” ”can be output as correct answers.
上述したように、本実施形態を用いることにより、高精度な音声認識を実現することができる。また、処理時間を短縮させた音声認識を実現することができる。つまり、学習手段21により音声・言語相関関係確率モデル32を学習により求めることで、音声と言語の相関情報を利用することができ、より学習データ中の統計量を音声認識に有効に活用することができる。また、音声・言語相関関係確率モデル32によって、認識結果と学習データの相関を取ることができるため、学習データにおける話し方等を含めた文章らしさを数値として表現することができる。 As described above, highly accurate speech recognition can be realized by using this embodiment. In addition, it is possible to realize speech recognition with a shortened processing time. That is, by obtaining the speech / language correlation probability model 32 by learning by the learning means 21, the correlation information between the speech and the language can be used, and the statistics in the learning data can be effectively used for speech recognition. Can do. In addition, since the speech / language correlation probability model 32 can correlate the recognition result with the learning data, it is possible to express the text likeness including the way of speaking in the learning data as a numerical value.
具体的には、第1単語列探索手段21において、単語列候補の数を設定する等の処理により、単語毎に探索中のビームサーチの幅を制御することができるため、認識処理時間を制約し高速化することができ、逆に同一処理時間における探索(対象)空間を広げるといった処理が可能となり、より認識率の精度を向上させることができる。また、第1単語列探索手段21において、発話の長さあたりの単語の頻度を探索条件に含めることができるため、認識対象音声が学習データの平均に比べ、早口なのかゆっくり発話しているのかを考慮しながら、動的に音素による枝刈りや確率値の補正等を行うことができる。 Specifically, the first word string search means 21 can control the width of the beam search that is being searched for each word by processing such as setting the number of word string candidates, thereby limiting the recognition processing time. However, it is possible to increase the speed, and conversely, processing such as expanding the search (target) space in the same processing time becomes possible, and the accuracy of the recognition rate can be further improved. In addition, since the first word string search means 21 can include the frequency of words per utterance length in the search condition, is the speech to be recognized spoke quickly or slowly compared to the average of the learning data? In consideration of the above, it is possible to dynamically perform pruning with a phoneme, correction of a probability value, and the like.
また、第2単語列探索手段22において、品詞の割合を考慮することで、発話が1単語の場合には挨拶や相づち等であることが効果的に表現できる。また、発話が長い文章では、文法的な制約の一部を取り入れることができる。また、第2単語列探索手段22において、1文単位の音素ヒストグラムの母音と子音の比を比較することにより、学習データの平均話速と比べて話速が速いのか遅いのかをある程度表現することができる。 In addition, in the second word string search means 22, it is possible to effectively express a greeting or a combination when the utterance is one word by considering the part-of-speech ratio. For sentences with long utterances, some grammatical restrictions can be incorporated. Further, the second word string search means 22 expresses to some extent whether the speech speed is faster or slower than the average speech speed of the learning data by comparing the ratio of the vowels and consonants of the phoneme histogram of one sentence unit. Can do.
また、第1単語列探索手段21や第2単語列探索手段22において、同形異音語に対して、それぞれの読みの割合(確率)を考慮して確率補正を行うことで、探索精度を向上させることができる。更に、第1単語列探索手段21や第2単語列探索手段22において、学習音声の継続時間を考慮した言語モデルの連鎖確率を表現することができる。また、単語毎の音素の頻度等を用いることで、単語発声の特徴を確率値として反映することができる。したがって、第1単語列探索手段21では単語内での音素の継続時間の割合等で認識誤りを枝狩りすることができる。また、第2単語列探索手段22では、単語の位置情報等を考慮して1文毎の高精度に表現することができる。つまり、1文単位で単語列の探索を行うことで、より認識率の精度を向上させることができる。 Further, the first word string search means 21 and the second word string search means 22 improve the search accuracy by performing probability correction for homomorphic abnormal words in consideration of the respective reading ratio (probability). Can be made. Further, the first word string search means 21 and the second word string search means 22 can express the chain probability of the language model considering the duration of the learning speech. Further, by using the frequency of phonemes for each word, the characteristics of the word utterance can be reflected as a probability value. Therefore, the first word string search means 21 can prune recognition errors based on the proportion of phoneme duration in a word. In addition, the second word string search means 22 can express each sentence with high accuracy in consideration of word position information and the like. That is, the accuracy of the recognition rate can be further improved by searching the word string in units of sentences.
<実行プログラム>
ここで、上述した音声認識装置1は、上述した専用の装置構成等を用いて本発明における音声認識処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラム(音声認識プログラム)を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る音声認識処理を実現することができる。
<Execution program>
Here, the above-described speech recognition apparatus 1 can perform the speech recognition processing according to the present invention using the above-described dedicated device configuration or the like, but an execution program (sound For example, the speech recognition processing according to the present invention can be realized by installing the program into a general-purpose personal computer, server, or the like.
<ハードウェア構成>
ここで、本発明における音声認識処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図9は、本発明における音声認識処理が実現可能なハードウェア構成の一例を示す図である。
<Hardware configuration>
Here, an example of a hardware configuration of a computer capable of executing speech recognition processing according to the present invention will be described with reference to the drawings. FIG. 9 is a diagram illustrating an example of a hardware configuration capable of realizing the speech recognition process according to the present invention.
図9におけるコンピュータ本体には、入力装置51と、出力装置52と、ドライブ装置53と、補助記憶装置54と、メモリ装置55と、各種制御を行うCPU(Central Processing Unit)56と、ネットワーク接続装置57とを有するよう構成されており、これらはシステムバスBで相互に接続されている。 9 includes an input device 51, an output device 52, a drive device 53, an auxiliary storage device 54, a memory device 55, a CPU (Central Processing Unit) 56 for performing various controls, and a network connection device. 57 are connected to each other by a system bus B.
入力装置51は、ユーザが操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置52は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、CPU56が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。 The input device 51 includes a keyboard and a pointing device such as a mouse operated by a user, a voice input device such as a microphone, and the like, and inputs various operation signals such as execution of a program from the user. The output device 52 includes a display for displaying various windows and data necessary for operating the computer main body for performing processing in the present invention, a speaker for outputting sound, and the like, and the program of the program is controlled by the control program of the CPU 56. Execution progress, results, etc. can be displayed or voice output.
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばCD−ROM等の記録媒体58等により提供される。プログラムを記録した記録媒体58は、ドライブ装置53にセット可能であり、記録媒体58に含まれる実行プログラムが、記録媒体58からドライブ装置53を介して補助記憶装置54にインストールされる。 Here, in the present invention, the execution program installed in the computer main body is provided by a recording medium 58 such as a CD-ROM. The recording medium 58 on which the program is recorded can be set in the drive device 53, and the execution program included in the recording medium 58 is installed in the auxiliary storage device 54 from the recording medium 58 via the drive device 53.
補助記憶装置54は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。 The auxiliary storage device 54 is a storage means such as a hard disk, and can store an execution program according to the present invention, a control program provided in a computer, etc., and perform input / output as necessary.
メモリ装置55は、CPU56により補助記憶装置54から読み出された実行プログラム等を格納する。なお、メモリ装置55は、ROM(Read Only Memory)やRAM(Random Access Memory)等からなる。 The memory device 55 stores an execution program or the like read from the auxiliary storage device 54 by the CPU 56. The memory device 55 includes a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
CPU56は、OS(Operating System)等の制御プログラム、メモリ装置55に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、CPU56は、プログラムの実行中に必要な各種情報を補助記憶装置54から取得することができ、またCPU56は、処理結果等を格納することもできる。 The CPU 56 controls processing of the entire computer, such as various operations and data input / output with each hardware component, based on a control program such as an OS (Operating System) and an execution program stored in the memory device 55. Each processing can be realized. Further, the CPU 56 can acquire various types of information necessary during execution of the program from the auxiliary storage device 54, and the CPU 56 can also store processing results and the like.
ネットワーク接続装置57は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。 The network connection device 57 obtains an execution program from another terminal connected to the communication network by connecting to a communication network or the like, or an execution result obtained by executing the program or an execution in the present invention The program itself can be provided to other terminals.
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に音声認識処理を実現することができる。また、プログラムをインストールすることにより、音声認識処理を容易に実現することができる。 With the hardware configuration as described above, a voice recognition process can be realized efficiently at low cost without requiring a special device configuration. In addition, the speech recognition process can be easily realized by installing the program.
<音声認識処理手順>
次に、本発明における実行プログラム(音声認識プログラム)を用いた音声認識処理手順についてフローチャートを用いて説明する。図10は、音声認識処理手順の一例を示すフローチャートである。
<Voice recognition processing procedure>
Next, a voice recognition processing procedure using the execution program (voice recognition program) in the present invention will be described with reference to a flowchart. FIG. 10 is a flowchart illustrating an example of a voice recognition processing procedure.
図10において、まず学習データとして、音声信号と、それに対応する書き起こしテキストを入力する(S01)。次に、S01にて入力した音声信号と、予め設定された音響モデル及び発音辞書等を用いて音響分析を行う(S02)。次に、S01にて入力した書き起こしテキストと、予め設定された言語モデル等を用いて形態素解析を行う(S03)。 In FIG. 10, first, a speech signal and a transcription text corresponding to it are input as learning data (S01). Next, acoustic analysis is performed using the audio signal input in S01, a preset acoustic model, pronunciation dictionary, and the like (S02). Next, morphological analysis is performed using the transcription text input in S01 and a preset language model or the like (S03).
更に、S02及びS03にて得られた結果からアライメント生成を行う(S04)。なお、アライメント生成は、例えば音声信号中のどの時間帯(例えば、何秒から何秒まで等といった時間)にどのような単語が音声として出力されているか等の音声、文字、及び時間のそれぞれの対応関係を設定する。 Further, alignment generation is performed from the results obtained in S02 and S03 (S04). Note that alignment generation is performed for each of voice, characters, and time, such as what word is output as a voice in which time zone (for example, how many seconds to how many seconds, etc.) in the voice signal. Set the correspondence.
また、S04におけるアライメント結果と、S02における音響分析結果と、S03における形態素解析結果とに基づいて、上述したように相関関係確率モデルの学習を行い(S05)、音声と言語の相関関係確率モデルを蓄積する(S06)。 Further, based on the alignment result in S04, the acoustic analysis result in S02, and the morphological analysis result in S03, the correlation probability model is learned as described above (S05), and the correlation probability model between speech and language is determined. Accumulate (S06).
なお、上述したS01〜S06の処理は学習ステップとして、S07〜S13に示す音声認識ステップの前に処理されるが、音声認識時に必ず行わなくてもよく、それぞれが単独で処理が行われてもよい。 In addition, although the process of S01-S06 mentioned above is processed before the speech recognition step shown to S07-S13 as a learning step, it does not necessarily need to be performed at the time of speech recognition, and each may be processed independently. Good.
次に、音声認識ステップでは、認識対象の音声信号を入力し(S07)、入力した音声信号に対して音響特徴量を抽出する(S08)。また、抽出された音響特徴量から音声・言語相関関係確率モデルや、言語モデル、音響モデル、発音辞書等の各確率モデル等とマッチング(照合)を行い、所定処理時間(数秒〜数分)における単語列候補を選択する(S09)。 Next, in the speech recognition step, a speech signal to be recognized is input (S07), and an acoustic feature quantity is extracted from the input speech signal (S08). Also, matching is performed from the extracted acoustic features with each probability model such as a speech / language correlation probability model, a language model, an acoustic model, and a pronunciation dictionary, and in a predetermined processing time (several seconds to several minutes). A word string candidate is selected (S09).
次に、選択された単語列候補から単語毎に音響モデル等の各確率モデルに含まれる処理時間、単語出現位置、読み等により、確率値を取得し(S10)、モデルとの類似性を示す音の類似確率を取得する(S11)。更に、単語の音素分布等を取得し(S12)、音声・言語相関関係確率モデルから得られる単語頻度、音素頻度、話速等の情報により確率値に重みを付加してリスコアリングを行い、その確率値が所定の条件を満たす単語列(例えば、最大となる単語列)を音声認識結果(正解単語列)として出力する(S13)。 Next, a probability value is acquired from the selected word string candidate by processing time, word appearance position, reading, etc. included in each probability model such as an acoustic model for each word (S10), and shows similarity to the model. The similarity probability of sound is acquired (S11). Further, the phoneme distribution of the word is acquired (S12), and the rescoring is performed by adding a weight to the probability value based on information such as the word frequency, the phoneme frequency, and the speech speed obtained from the speech / language correlation probability model, A word string whose probability value satisfies a predetermined condition (for example, a word string having the maximum value) is output as a speech recognition result (correct word string) (S13).
このように、音声認識プログラムを用いた音声認識処理により、迅速且つ高精度に音声認識を実現することができる。また、プログラムをインストールすることにより、容易に音声認識処理を実現することができる。 As described above, the speech recognition process using the speech recognition program can realize speech recognition quickly and with high accuracy. In addition, voice recognition processing can be easily realized by installing a program.
<音声認識処理動作例>
図11は、音声・言語相関関係確率モデルを用いた音声認識の動作例を示す図である。図11では、上述した音声・言語相関関係確率モデルと言語モデルに含まれる単語連鎖確率とを利用してリストアップされた候補単語に対し、入力音声との照合を行い、例えば最も尤度が高い単語列(図11においては、形態素間において確率の積が最大の経路)を正解単語列として出力する音声認識の動作例を示す図である。
<Example of voice recognition processing operation>
FIG. 11 is a diagram illustrating an operation example of speech recognition using a speech / language correlation probability model. In FIG. 11, the candidate words listed using the above-mentioned speech / language correlation probability model and the word chain probability included in the language model are collated with the input speech, for example, with the highest likelihood. It is a figure which shows the operation example of the speech recognition which outputs a word sequence (In FIG. 11, the path | route with the largest product of a probability between morphemes) as a correct word sequence.
具体的に説明すると、まず「つぎのニュースです」という入力音声信号61に対して音響分析62を行い、音響特徴量等を取得する。予め設定される言語モデル(単語出現頻度、単語接続情報等を含む)63と、上述した音声・言語相関関係確率モデル64を用いて音素の出現頻度等を考慮した単語のリストアップを行う。 More specifically, first, an acoustic analysis 62 is performed on the input voice signal 61 “next news”, and an acoustic feature amount or the like is acquired. Using a preset language model (including word appearance frequency, word connection information, etc.) 63 and the above-described speech / language correlation probability model 64, a word list that takes into account the phoneme appearance frequency and the like is listed.
次に、上述した同形異音語の確率分配や単語出現位置による確率値等を用いて重み付けを行い、確率値のリスコアリングを行う。具体的には、図11において、例えば上述した図6に示す音声・言語相関関係確率モデルの情報を用いて、単語『今日』が文頭から2単語目に出現する単語位置確率0.267、同形異音語の確率分配値『今日(きょう)』=0.667、及び『今日(こんにち)』=0.333を重みとして言語モデル63から得られる正解単語列候補の該当する連鎖確率値に付加(乗算等)する。 Next, weighting is performed using the above-described probability distribution of homomorphic abnormal words, probability values based on word appearance positions, and the like, and re-scoring of the probability values. Specifically, in FIG. 11, for example, using the information of the speech / language correlation probability model shown in FIG. 6 described above, the word position probability 0.267 in which the word “today” appears as the second word from the beginning of the sentence, Probability distribution values of allophone words “today” = 0.667 and “today” = 0.333 as weights corresponding chain probability values of correct word string candidates obtained from the language model 63 Is added (multiplication, etc.).
また、入力音声信号61中の処理時間の単語と、予め設定される言語モデル(単語出現頻度、単語接続情報等を含む)63から得られる発音情報(例えば、「tsugi」)65とについて、音響モデル66によるHMM等を用いた照合67を行い、音の類似確率(図11では、0.4)を求め、この確率値も重みとして該当する連鎖確率値に付加(乗算等)する。上述したように重み付けを行った後、確率値のリスコアリングを行う。 Further, the sound of the processing time word in the input voice signal 61 and the pronunciation information (for example, “tsugi”) 65 obtained from a preset language model (including word appearance frequency, word connection information, etc.) 63 are acoustically used. A collation 67 using an HMM or the like based on the model 66 is performed to obtain a sound similarity probability (0.4 in FIG. 11), and this probability value is also added (multiplied or the like) to the corresponding chain probability value as a weight. After weighting as described above, rescoring of probability values is performed.
また、音声認識時には、音声・言語相関関係確率モデル64を用いて枝刈り処理を行うことができる。例えば、上述した図5に示すように単語内の音素頻度分布等を用いて単語の枝刈りをしたり、上述した図3等に示すように所定処理時間あたりの音声の長さと事前に学習した単語・音素の平均と分散等を用いることにより連結する単語の枝刈りをすることができる。このように、音声と言語の相関関係を積極的に利用することで、より音声認識の精度を向上させることができる。 At the time of speech recognition, pruning processing can be performed using the speech / language correlation probability model 64. For example, as shown in FIG. 5 described above, word pruning is performed using the phoneme frequency distribution in the word, or the length of speech per predetermined processing time is learned in advance as shown in FIG. 3 described above. Pruning of connected words can be performed by using the average and variance of words and phonemes. Thus, the accuracy of speech recognition can be further improved by positively utilizing the correlation between speech and language.
上述したように本発明によれば、高精度な音声認識を実現することができる。具体的には、音声・言語相関関係確率モデルを学習により求めることで、音声と言語の相関情報を利用することができ、より学習データ中の統計量を音声認識に有効に活用することができる。また、音声・言語相関関係確率モデルによって、認識結果と学習データの相関をとることができるため、学習データにおける話し方等を含めた文章らしさを数値として表現することができる。 As described above, according to the present invention, highly accurate speech recognition can be realized. Specifically, by obtaining a speech / language correlation probability model by learning, the correlation information between speech and language can be used, and the statistics in the learning data can be used more effectively for speech recognition. . Further, since the correlation between the recognition result and the learning data can be obtained by the speech / language correlation probability model, the text likeness including the way of speaking in the learning data can be expressed as a numerical value.
また、本発明は、放送番組の字幕制作、音声対話システム、音声ワープロ、会議の議事録の自動作成、声による機器の制御等、音声認識や言語処理を利用した様々な分野の技術に適用することができる。 In addition, the present invention is applied to technologies in various fields using speech recognition and language processing, such as subtitle production for broadcast programs, voice dialogue systems, voice word processors, automatic creation of meeting minutes, and control of devices by voice. be able to.
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
1 音声認識装置
10 学習手段
11 音響分析手段
12 形態素解析手段
13 アライメント生成手段
14 相関関係確率モデル学習手段
20 音声認識手段
21 第1単語列探索手段
22 第2単語列探索手段
31 音声信号と、それに対応する書き起こしテキスト
32,64 音声・言語相関関係確率モデル
33,66 音響モデル
34,63 言語モデル
35 発音辞書
36 認識対象音声信号
37 正解単語列候補
38 音声認識結果
41 音声信号
51 入力装置
52 出力装置
53 ドライブ装置
54 補助記憶装置
55 メモリ装置
56 CPU
57 ネットワーク接続装置
58 記録媒体
61 入力音声信号
62 音響分析
65 発音情報
67 照合
68 領域
DESCRIPTION OF SYMBOLS 1 Speech recognition apparatus 10 Learning means 11 Acoustic analysis means 12 Morphological analysis means 13 Alignment generation means 14 Correlation probability model learning means 20 Speech recognition means 21 First word string search means 22 Second word string search means 31 Speech signal and Corresponding transcribed text 32, 64 Speech / language correlation probability model 33, 66 Acoustic model 34, 63 Language model 35 Pronunciation dictionary 36 Recognition target speech signal 37 Correct word sequence candidate 38 Speech recognition result 41 Speech signal 51 Input device 52 Output Device 53 Drive device 54 Auxiliary storage device 55 Memory device 56 CPU
57 Network connection device 58 Recording medium 61 Input audio signal 62 Acoustic analysis 65 Pronunciation information 67 Verification 68 Area
Claims (5)
前記学習用の音声信号に対して音響特徴量の分析を行う音響分析手段と、
前記テキストに対して形態素解析を行う形態素解析手段と、
前記音響分析手段及び前記形態素解析手段の結果から所定処理時間毎における音声と文字の対応関係を生成するアライメント生成手段と、
前記アライメント生成手段により得られる前記対応関係に基づいて、音声と言語の相関関係確率モデルを学習する相関関係確率学習手段と、
前記相関関係確率学習手段により得られる相関関係確率モデルに基づいて、前記認識対象の音声信号に対する音声認識を行う音声認識手段とを有し、
前記音声認識手段は、
前記認識対象の音声信号から音響特徴量を抽出し、抽出した音響特徴量と前記相関関係確率モデルと音響モデル・言語モデルとに基づいて、所定処理時間における所定数の単語列候補を選択する第1単語列探索手段と、前記第1単語列探索手段により得られる単語列候補に対して、前記相関関係確率モデルから得られる情報により単語毎に重み付けを行い、前記単語列候補における重み付けされた確率値に基づいて所定数の単語列を出力する第2単語列探索手段とを有し、
前記第2単語列探索手段は、
前記単語列候補に対して前記相関関係確率モデルにより得られる1文章内の単語総数、1文章内の音素総数、文章内の音素頻度分布、文章内の不要語数、文章内の相づち数、及び文章内の品詞分布のうち、少なくとも1つを用いて1文単位の単語列の探索を行うことを特徴とする音声認識装置。 In a speech recognition apparatus that performs speech recognition on an input speech signal to be recognized using a learning speech signal and a probability model learned from a text transcribed corresponding to the speech signal,
Acoustic analysis means for analyzing acoustic features for the learning speech signal;
Morphological analysis means for performing morphological analysis on the text;
Alignment generating means for generating a correspondence relationship between speech and characters at predetermined processing times from the results of the acoustic analysis means and the morphological analysis means,
Correlation probability learning means for learning a speech and language correlation probability model based on the correspondence obtained by the alignment generation means;
On the basis of the correlation a probability model obtained by correlation probability learning unit, have a speech recognition means for performing speech recognition for the recognition target voice signal,
The voice recognition means
First, an acoustic feature is extracted from the speech signal to be recognized, and a predetermined number of word string candidates in a predetermined processing time are selected based on the extracted acoustic feature, the correlation probability model, and the acoustic model / language model. A word string search means and a word string candidate obtained by the first word string search means are weighted for each word according to information obtained from the correlation probability model, and the weighted probability in the word string candidate Second word string search means for outputting a predetermined number of word strings based on the value,
The second word string search means includes:
The total number of words in one sentence, the total number of phonemes in one sentence, the phoneme frequency distribution in the sentence, the number of unnecessary words in the sentence, the number of words in the sentence, and the sentence obtained by the correlation probability model for the word string candidate A speech recognition apparatus that searches for a word string in a sentence unit using at least one of the part-of-speech distributions .
前記学習用の音声信号の長さ毎の書き起こしテキストに含まれる平均単語数と分散、もしくは音素数の平均と分散、音素の分布、各音素の頻度平均と分散、品詞の分布と各品詞の頻度平均と分散、前記学習用の音声信号より与えられた各単語内での音素の分布、前記各単語の発話の位置情報、前記単語毎のパワーもしくはゼロクロスの平均と分散、及び前記各単語の発音区間長の平均と分散等の情報のうち、少なくとも1つを有することを特徴とする請求項1に記載の音声認識装置。 The correlation probability model includes
The average number of words and variance included in the transcription text for each length of the speech signal for learning, or the average and variance of the number of phonemes, the distribution of phonemes, the frequency average and variance of each phoneme, the distribution of parts of speech and the Frequency average and variance, phoneme distribution within each word given from the learning speech signal, utterance location information for each word, power or zero cross average and variance for each word, and for each word The speech recognition apparatus according to claim 1 , wherein the speech recognition apparatus has at least one of information such as an average and a variance of pronunciation intervals.
前記認識対象の音声信号に含まれる時間情報に基づいて、前記認識対象の音声信号に対する経過時間あたりの単語数、音素数による単語列の枝刈り、及び/又は各単語内の経過時間、音素頻度回数、ゼロクロス頻度等による単語の枝刈りを行うことを特徴とする請求項1又は2に記載の音声認識装置。 The first word string search means includes:
Based on the time information included in the speech signal to be recognized, the number of words per elapsed time for the speech signal to be recognized, the pruning of the word string by the number of phonemes, and / or the elapsed time in each word, the phoneme frequency The speech recognition apparatus according to claim 1, wherein the word is pruned based on the number of times, the zero cross frequency, and the like.
前記相関関係確率モデルに基づいて同形異音語の確率補正を行うことを特徴とする請求項1乃至3の何れか1項に記載の音声認識装置。 The first word string search means includes:
The speech recognition apparatus according to any one of claims 1 to 3, wherein probability correction of homomorphic abnormal words is performed based on the correlation probability model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007011422A JP4758919B2 (en) | 2007-01-22 | 2007-01-22 | Speech recognition apparatus and speech recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007011422A JP4758919B2 (en) | 2007-01-22 | 2007-01-22 | Speech recognition apparatus and speech recognition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008176202A JP2008176202A (en) | 2008-07-31 |
JP4758919B2 true JP4758919B2 (en) | 2011-08-31 |
Family
ID=39703251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007011422A Expired - Fee Related JP4758919B2 (en) | 2007-01-22 | 2007-01-22 | Speech recognition apparatus and speech recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4758919B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8781825B2 (en) * | 2011-08-24 | 2014-07-15 | Sensory, Incorporated | Reducing false positives in speech recognition systems |
JP5895501B2 (en) * | 2011-12-14 | 2016-03-30 | 三菱電機株式会社 | Speech recognition apparatus and speech recognition method |
JP6009396B2 (en) * | 2013-04-24 | 2016-10-19 | 日本電信電話株式会社 | Pronunciation providing method, apparatus and program thereof |
JP6276516B2 (en) * | 2013-05-08 | 2018-02-07 | 日本放送協会 | Dictionary creation apparatus and dictionary creation program |
CN110164445B (en) * | 2018-02-13 | 2023-06-16 | 阿里巴巴集团控股有限公司 | Speech recognition method, device, equipment and computer storage medium |
CN112397059B (en) * | 2020-11-10 | 2024-02-06 | 武汉天有科技有限公司 | Voice fluency detection method and device |
WO2023149644A1 (en) * | 2022-02-03 | 2023-08-10 | 삼성전자주식회사 | Electronic device and method for generating customized language model |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197389A (en) * | 1991-08-13 | 1993-08-06 | Toshiba Corp | Voice recognition device |
JP3166646B2 (en) * | 1996-12-13 | 2001-05-14 | 日本電気株式会社 | Meaning disambiguation device |
JP2000267693A (en) * | 1999-03-12 | 2000-09-29 | Fuji Xerox Co Ltd | Voice processor and index preparation device |
JP4239479B2 (en) * | 2002-05-23 | 2009-03-18 | 日本電気株式会社 | Speech recognition apparatus, speech recognition method, and speech recognition program |
JP2004198832A (en) * | 2002-12-19 | 2004-07-15 | Nissan Motor Co Ltd | Speech recognition device |
JP4541781B2 (en) * | 2004-06-29 | 2010-09-08 | キヤノン株式会社 | Speech recognition apparatus and method |
-
2007
- 2007-01-22 JP JP2007011422A patent/JP4758919B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008176202A (en) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chang et al. | Large vocabulary Mandarin speech recognition with different approaches in modeling tones. | |
US6212498B1 (en) | Enrollment in speech recognition | |
US20180137109A1 (en) | Methodology for automatic multilingual speech recognition | |
KR101153078B1 (en) | Hidden conditional random field models for phonetic classification and speech recognition | |
US20090258333A1 (en) | Spoken language learning systems | |
US20070239444A1 (en) | Voice signal perturbation for speech recognition | |
JP2011033680A (en) | Voice processing device and method, and program | |
US20060129392A1 (en) | Method for extracting feature vectors for speech recognition | |
JP4758919B2 (en) | Speech recognition apparatus and speech recognition program | |
US20130289987A1 (en) | Negative Example (Anti-Word) Based Performance Improvement For Speech Recognition | |
JPWO2007046267A1 (en) | Voice discrimination system, voice discrimination method, and voice discrimination program | |
Khelifa et al. | Constructing accurate and robust HMM/GMM models for an Arabic speech recognition system | |
Mary | Extraction of prosody for automatic speaker, language, emotion and speech recognition | |
Jothilakshmi et al. | Large scale data enabled evolution of spoken language research and applications | |
Aggarwal et al. | Integration of multiple acoustic and language models for improved Hindi speech recognition system | |
US20050038647A1 (en) | Program product, method and system for detecting reduced speech | |
Mary et al. | Searching speech databases: features, techniques and evaluation measures | |
Badenhorst et al. | Collecting and evaluating speech recognition corpora for 11 South African languages | |
Navrátil | Automatic language identification | |
CN111078937B (en) | Voice information retrieval method, device, equipment and computer readable storage medium | |
Gruhn et al. | Automatic speech recognition | |
JP2011180308A (en) | Voice recognition device and recording medium | |
Mon et al. | Building HMM-SGMM continuous automatic speech recognition on Myanmar Web news | |
Mandal et al. | Word boundary detection based on suprasegmental features: A case study on Bangla speech | |
Soe et al. | Syllable-based speech recognition system for Myanmar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110603 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |