JP2007025279A - Device and program for speech recognition - Google Patents
Device and program for speech recognition Download PDFInfo
- Publication number
- JP2007025279A JP2007025279A JP2005207526A JP2005207526A JP2007025279A JP 2007025279 A JP2007025279 A JP 2007025279A JP 2005207526 A JP2005207526 A JP 2005207526A JP 2005207526 A JP2005207526 A JP 2005207526A JP 2007025279 A JP2007025279 A JP 2007025279A
- Authority
- JP
- Japan
- Prior art keywords
- word
- sequence
- likelihood
- candidate
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、音声を認識して、その音声に対応する単語系列を出力する音声認識装置及び音声認識プログラムに関するものである。 The present invention relates to a speech recognition apparatus and a speech recognition program for recognizing speech and outputting a word sequence corresponding to the speech.
言葉をテキスト化する技術は有用であり、例えば、医療や法律分野の書き起こしや、放送字幕の作成など、多くの分野で書き起こしに対する効率向上が望まれている。
しかし、実際の使用時には、ユーザが入力を希望する音声と、入力を希望しない音声があり、これらの音声を弁別するには大きな技術的課題がある。
A technique for converting words into text is useful, and for example, it is desired to improve the efficiency of transcription in many fields, such as transcription in medical and legal fields and creation of broadcast subtitles.
However, in actual use, there are voices that the user wants to input and voices that the user does not want to input, and there is a great technical problem to distinguish these voices.
無意味語の照合によって認識単語をリジェクトすることにより、上記の技術的な課題を解決している音声認識装置が、以下の特許文献1に開示されている。
また、冗長語を含むモデルと、冗長語が除かれているモデルを用いることにより、音声の認識精度を高めている音声認識装置が、以下の特許文献2に開示されている。
ただし、この音声認識装置では、発声内の冗長語に特化した処理ではなく、発声単位に入力したい句であるか否かを弁別可能とするものである。
以下、この明細書で用いる専門用語は、以下の非特許文献1,2に開示されている用語である。
A speech recognition device that solves the above technical problem by rejecting a recognized word by means of meaningless word matching is disclosed in
Also, a speech recognition apparatus that improves speech recognition accuracy by using a model including redundant words and a model from which redundant words are removed is disclosed in
However, in this speech recognition apparatus, it is possible to discriminate whether or not a phrase is desired to be input for each utterance, rather than processing specialized for redundant words in the utterance.
Hereinafter, the technical terms used in this specification are terms disclosed in
従来の音声認識装置では、入力音声を精度よく認識することができるようにするため、言語モデルとしてn−gramを用いる方式を採用しており、マイク、音響処理装置、単語予測装置、RAM、3−gram表及び出力装置から構成されている。
以下、この音声認識装置の処理内容を説明する。
In the conventional speech recognition device, a method using n-gram as a language model is adopted in order to be able to recognize input speech with high accuracy, and a microphone, an acoustic processing device, a word prediction device, a RAM, 3 -It consists of a gram table and an output device.
Hereinafter, processing contents of the speech recognition apparatus will be described.
音声認識装置のマイクは、ユーザが声を発すると、その音声を取り込み、その音声信号を電気信号に変換して出力する。
音響処理装置は、マイクから電気信号を受けると、その電気信号をA/D変換し、ディジタル信号である電気信号を量子化する。
そして、音響処理装置は、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離する認識処理を実施する。
そして、音響処理装置は、音節単位の認識結果を連接して音韻列候補を生成し、その音韻列候補をRAMに記憶する。
When the user utters a voice, the microphone of the voice recognition device captures the voice, converts the voice signal into an electric signal, and outputs the electric signal.
When receiving the electrical signal from the microphone, the sound processing device A / D converts the electrical signal and quantizes the electrical signal which is a digital signal.
Then, the acoustic processing device performs a spectrum analysis of the quantized signal and performs a recognition process for separating the quantized signal into syllable units.
Then, the sound processing apparatus generates a phoneme string candidate by concatenating the recognition results in syllable units, and stores the phoneme string candidate in the RAM.
単語予測装置は、上記のようにして、音響処理装置が音韻列候補をRAMに記憶すると、そのRAMから音韻列候補を1つ取り出し、先頭単語列の初期化を実施する。
また、単語予測装置は、3−gram表から検索キーに対応する3−gram情報を検索し、その3−gram情報に基づいて単語3連鎖の確率値を計算する。
As described above, when the sound processing apparatus stores the phoneme string candidate in the RAM, the word predicting apparatus extracts one phoneme string candidate from the RAM and initializes the leading word string.
Further, the word prediction device searches for 3-gram information corresponding to the search key from the 3-gram table, and calculates a probability value of
単語予測装置は、単語3連鎖の確率値を計算すると、その単語3連鎖の確率値を参照して、RAMに記憶されている音韻列候補に対して最も確率の高い単語列を特定し、その単語列をRAMに記憶する。
単語予測装置は、RAMに記憶されている全ての音韻列候補に対して、最も確率の高い単語列の特定処理を実施し、最も確率の高い単語列Wと音韻列候補を選択する。
出力装置は、単語予測装置が単語列Wと音韻列候補を選択すると、その単語列Wから表記を取り出し、その表記を出力する。
これにより、ユーザの音声に類似している確率が高い単語列が提示される。
When the word prediction device calculates the probability value of the word 3-chain, the word prediction device refers to the probability value of the word 3-chain, identifies the word sequence having the highest probability for the phoneme sequence candidates stored in the RAM, The word string is stored in the RAM.
The word predicting device performs the word string specifying process with the highest probability on all the phoneme string candidates stored in the RAM, and selects the word string W and the phoneme string candidate with the highest probability.
When the word prediction device selects a word string W and a phoneme string candidate, the output device extracts a notation from the word string W and outputs the notation.
As a result, a word string having a high probability of being similar to the user's voice is presented.
ここで、音韻列候補に対して最も確率の高い単語列の特定処理について説明する。
単語列候補の生成は、単語列の確率P(W|Y)を最大にする単語列Wを算出することで得られる。単語列の確率は次式から得られる。
Generation of a word string candidate is obtained by calculating a word string W that maximizes the probability P (W | Y) of the word string. The probability of the word string is obtained from the following equation.
式(1)において、Wは発話された単語列であり、Yは音韻列である。
式(1)では、P(W|Y)を最大にするWを求めればよく、右辺の中で単語列Wに共通なP(Y)については省略することができるため、P(Y|W)P(W)を最大にするWを求めればよい。
P(Y|W)は単語列Wが与えられたときの音韻列の出現確率であり、P(W)は単語列の出現確率である。
In Expression (1), W is a spoken word string, and Y is a phoneme string.
In Formula (1), W that maximizes P (W | Y) may be obtained, and P (Y) common to the word string W in the right side can be omitted. ) What is necessary is just to obtain | require W which maximizes P (W).
P (Y | W) is the appearance probability of the phoneme string when the word string W is given, and P (W) is the appearance probability of the word string.
時刻t=1,2,…,Lにおいて、単語列Wに対応する音韻列が下記の式(2)で決定される場合、下記の式(3)に示すように、P(W|Y)は音韻確率から算出することができる。
Y=Y1,Y2,・・・,YL (2)
Y = Y 1 , Y 2 ,..., Y L (2)
また、単語列の出現確率P(W)は、m語の単語列Wが下記の式(4)で決定される場合、音韻確率とは独立に、下記の式(5)に示す単語3−gramの確率から近似することができる。
W=w1,w2,・・・,wm (4)
W = w 1 , w 2 ,..., W m (4)
上記の計算により、音韻列候補のうち、3−gramインデックスに単語の列が存在するものについて、単語列確率P(W|Y)を最大にする単語列Wを算出する。
各単語の出現確率は、単語の3−gram表に記憶されている頻度値を参照して算出する。
これにより、音声認識装置の音声認識精度が高められるが、ユーザの音声が、入力を希望する音声であるのか、入力を希望しない音声であるのかの弁別は、次のようにしている。
From the above calculation, the word string W that maximizes the word string probability P (W | Y) is calculated for the phoneme string candidates having word strings in the 3-gram index.
The appearance probability of each word is calculated with reference to the frequency value stored in the 3-gram table of the word.
As a result, the voice recognition accuracy of the voice recognition device is improved, but the discrimination as to whether the user's voice is a voice desired to be input or a voice not desired to be input is as follows.
即ち、音声認識装置は、入力単語と非入力単語を単語辞書に登録する手法を採用して、弁別を行っている。
例えば、入力単語として「泣こう」、非入力単語として「鳴こう」を単語辞書に登録することにより、ユーザの音声が「なこう」であるとき、音声認識結果として「泣こう」を出力し、「鳴こう」を出力しないようにしている。
これにより、「泣こう」と「鳴こう」の単語を弁別することができるが、次のような句は、句の全体を1単語として単語辞書に登録しない限り、弁別することができない。
例えば、「子供が泣く」と「鳥が鳴く」が入力句で、「子供が鳴く」と「鳥が泣く」が非入力句であることは弁別することができない。言語現象は実際にはさらに複雑であり「子供が鳴く鳥をさがす」などのように単語の組み合わせは無数に存在するため正しい句として予め登録するには困難がある。
That is, the speech recognition apparatus employs a technique of registering input words and non-input words in a word dictionary to perform discrimination.
For example, by registering "Let's cry" as an input word and "Let's ring" as a non-input word in the word dictionary, when the user's voice is "Let's say", "Let's cry" is output as the voice recognition result. , "Let's ring" is not output.
Thus, the words “Let's cry” and “Let's cry” can be distinguished, but the following phrases cannot be distinguished unless the entire phrase is registered as one word in the word dictionary.
For example, it cannot be discriminated that “child cry” and “bird cry” are input phrases, and “child cry” and “bird cry” are non-input phrases. The linguistic phenomenon is actually more complicated, and there are an infinite number of combinations of words such as “Look for a bird that a child sings”, and it is difficult to register as a correct phrase in advance.
従来の音声認識装置は以上のように構成されているので、入力単語と非入力単語を単語辞書に登録すれば、単語を弁別することができるが、ユーザの音声が句である場合、句の全体を1単語として単語辞書に登録しない限り、弁別することができない。換言すると、句の全体を1単語として単語辞書に登録すれば、句の弁別も可能になるが、句の全体を1単語として単語辞書に登録するには、膨大な記憶メモリが必要になり、現実的には対応が困難である課題があった。 Since the conventional speech recognition apparatus is configured as described above, it is possible to discriminate words by registering input words and non-input words in the word dictionary, but when the user's speech is a phrase, Unless the whole is registered in the word dictionary as one word, it cannot be discriminated. In other words, if the entire phrase is registered as one word in the word dictionary, the phrase can be discriminated. However, in order to register the entire phrase as one word in the word dictionary, a huge storage memory is required. In reality, there were issues that were difficult to deal with.
この発明は上記のような課題を解決するためになされたもので、句の全体を1単語として単語辞書に登録することなく、精度よく句単位のユーザの音声を弁別することができる音声認識装置を得ることを目的とする。 The present invention has been made to solve the above-described problem, and can accurately discriminate a user's voice in units of phrases without registering the whole phrase as one word in a word dictionary. The purpose is to obtain.
この発明に係る音声認識装置は、入力対象分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第1の単語系列特定手段と、入力不要分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第2の単語系列特定手段とを設け、第1の単語系列特定手段により特定された単語系列の尤度と第2の単語系列特定手段により特定された単語系列の尤度を比較し、第1の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列を出力するようにしたものである。 The speech recognition apparatus according to the present invention refers to a first word sequence identification unit that identifies an acoustic sequence converted by the acoustic sequence conversion unit and a word sequence with the highest likelihood by referring to the word n-gram in the input target field. And a second word sequence specifying unit that specifies the acoustic sequence converted by the acoustic sequence conversion unit and the word sequence having the highest likelihood, with reference to the word n-gram in the input unnecessary field, The likelihood of the word sequence identified by the first word sequence identification unit is compared with the likelihood of the word sequence identified by the word sequence identification unit and the likelihood of the word sequence identified by the second word sequence identification unit. If is higher, the word sequence is output.
この発明によれば、入力対象分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第1の単語系列特定手段と、入力不要分野の単語n−gramを参照して、音響系列変換手段により変換された音響系列と最も尤度が高い単語系列を特定する第2の単語系列特定手段とを設け、第1の単語系列特定手段により特定された単語系列の尤度と第2の単語系列特定手段により特定された単語系列の尤度を比較し、第1の単語系列特定手段により特定された単語系列の尤度の方が高ければ、その単語系列を出力するように構成したので、句の全体を1単語として単語辞書に登録することなく、ユーザの音声が入力対象分野の音響系列である場合に限り、その音響系列に対応している単語系列を出力することができる効果がある。 According to this invention, referring to the word n-gram of the input target field, the first word sequence specifying means for specifying the acoustic sequence converted by the acoustic sequence conversion means and the word sequence having the highest likelihood, and the input An acoustic sequence converted by the acoustic sequence conversion means and a second word sequence specifying means for specifying the word sequence with the highest likelihood are provided with reference to the word n-gram of the unnecessary field, and the first word sequence specification is provided. The likelihood of the word sequence specified by the means is compared with the likelihood of the word sequence specified by the second word sequence specifying means, and the likelihood of the word sequence specified by the first word sequence specifying means is better. If it is high, the word sequence is output, so that the entire phrase is not registered in the word dictionary as a single word, but only when the user's voice is an acoustic sequence in the input target field. Compatible single There is an effect that it is possible to output the sequence.
実施の形態1.
図1はこの発明の実施の形態1による音声認識装置を示す構成図であり、図において、マイク1はユーザが声を発すると、その音声を取り込んで、その音声信号を電気信号に変換して出力する処理を実施する。なお、マイク1は音声取込手段を構成している。
音響処理装置2はマイク1から出力された電気信号をA/D変換して、ディジタル信号である電気信号を量子化し、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離することにより、音節単位の認識結果を連接して音韻列候補(音響系列)を生成し、その音韻列候補をRAM3に記憶する処理を実施する。RAM3は音響処理装置2により生成された音韻列候補を格納するメモリである。
なお、音響処理装置2から音響系列変換手段が構成されている。
FIG. 1 is a block diagram showing a speech recognition apparatus according to
The sound processing device 2 A / D-converts the electrical signal output from the
The
対象単語n−gram4は音響系列に対応する単語系列の出現確率が記憶されている入力対象分野(例えば、医療業務の分野)のn−gramモデルである。
不要単語n−gram5は音響系列に対応する単語系列の出現確率が記憶されている入力不要分野(例えば、日常一般的に使用する言葉がモデル化された入力不要の分野)のn−gramモデルである。
対象単語n−gram4及び不要単語n−gram5のn−gramモデルは十分な規模のコーパスから生成されて事前に記録されており、例えば、2−gram(単語2連鎖)と1−gramから構成されている。
なお、先頭の音韻列が検索キーになっており、2−gramでは、検索キーに対して前接形態素、後接形態素及び確率が記録されている。2−gramに記録されている確率は、前接形態素の次に後接形態素が接続する確率であり、2−gramの生起確率に相当する。
1−gramでは、直接、次に連接する形態素の情報と確率が記録されている。1−gramに記録されている確率は、その形態素自身の生起確率である。なお、形態素は表記、音素表記、見出し読み及び品詞の組で表されている。
The target word n-gram 4 is an n-gram model of an input target field (for example, medical service field) in which the appearance probability of the word series corresponding to the acoustic series is stored.
The unnecessary word n-
The n-gram model of the target word n-gram4 and the unnecessary word n-gram5 is generated from a corpus of a sufficient size and recorded in advance, and is composed of, for example, 2-gram (word double chain) and 1-gram. ing.
Note that the first phoneme string is a search key. In 2-gram, a front morpheme, a back morpheme, and a probability are recorded for the search key. The probability recorded in 2-gram is the probability that the next morpheme is connected after the front morpheme, and corresponds to the occurrence probability of 2-gram.
In 1-gram, the information and probability of the next connected morpheme are recorded directly. The probability recorded in 1-gram is the occurrence probability of the morpheme itself. A morpheme is represented by a combination of notation, phoneme notation, heading reading, and part of speech.
言語処理装置6は前処理部6aと単語系列特定部6bと単語系列特定部6cから構成されている。
言語処理装置6の前処理部6aは所定の初期化処理等を実施する。
言語処理装置6の単語系列特定部6bは対象単語n−gram4を参照して、RAM3に格納されている音韻列候補と最も尤度が高い単語系列を特定する処理を実施する。
言語処理装置6の単語系列特定部6cは不要単語n−gram5を参照して、RAM3に格納されている音韻列候補と最も尤度が高い単語系列を特定する処理を実施する。
なお、単語系列特定部6bは第1の単語系列特定手段を構成し、単語系列特定部6cは第2の単語系列特定手段を構成している。
The
The
The word sequence specifying unit 6b of the
The word sequence specifying unit 6c of the
The word sequence identification unit 6b constitutes a first word sequence identification unit, and the word sequence identification unit 6c constitutes a second word sequence identification unit.
リジェクト装置7は言語処理装置6の単語系列特定部6bにより特定された単語系列の尤度と単語系列特定部6cにより特定された単語系列の尤度を比較し、単語系列特定部6cにより特定された単語系列の尤度の方が高ければ、音声認識結果である単語系列の出力を行わず、単語系列特定部6bにより特定された単語系列の尤度の方が高ければ、その単語系列を出力する処理を実施する。
出力装置8はリジェクト装置7から単語系列を受けると、その単語系列から表記を取り出し、その表記を出力する処理を実施する。なお、リジェクト装置7及び出力装置8からリジェクト手段が構成されている。
図2はこの発明の実施の形態1による音声認識装置の処理内容を示すフローチャートである。
The reject device 7 compares the likelihood of the word sequence specified by the word sequence specifying unit 6b of the
When the
FIG. 2 is a flowchart showing the processing contents of the speech recognition apparatus according to
なお、図1の例では、音声認識装置の構成要素である音響処理装置2、言語処理装置6、リジェクト装置7及び出力装置8が個々のハードウェア(例えば、MPUなどのLSIを実装している半導体集積回路基板)で構成されていることを想定しているが、音声認識装置がコンピュータで構成されている場合、音響処理装置2、言語処理装置6、リジェクト装置7及び出力装置8の処理内容が記述されているプログラムをコンピュータのメモリに格納し、コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
In the example of FIG. 1, the
次に動作について説明する。
マイク1は、ユーザが声を発すると、その音声を取り込んで(ステップST1)、その音声信号を電気信号に変換して、その電気信号を音響処理装置2に出力する(ステップST2)。
ここでは、図3に示すように、“aQkasitaseNeN”の音声が取り込まれたものとして説明する。
Next, the operation will be described.
When the user speaks, the
Here, as shown in FIG. 3, it is assumed that the voice of “aQkasitaseNeN” is captured.
音響処理装置2は、マイク1から電気信号を受けると、その電気信号をA/D変換して、ディジタル信号である電気信号を量子化する。
音響処理装置2は、その電気信号を量子化すると、その量子化信号をスペクトル分析して、その量子化信号を音節単位に分離することにより、音節単位の認識結果を連接して音韻列候補(音響系列)を生成し、その音韻列候補をRAM3に記憶する(ステップST3)。
なお、量子化信号をスペクトル分析して、その量子化信号を音節単位に分離する手法は、例えば、上記の非特許文献1に開示されている。
When receiving the electrical signal from the
When the
Note that a technique for spectrally analyzing a quantized signal and separating the quantized signal into syllable units is disclosed in
ここで、音韻列候補は、マイク1により取り込まれた音声信号であるアナログデータに対応する各音韻の確からしさが確率値で表現されたものであり、音響処理装置2から音韻列候補として、連鎖している音韻連鎖と、その連鎖の音響尤度とが出力されて、RAM3に記憶される。
この実施の形態1では、説明の簡単化のため、音響系列を1ベストの音韻列候補音韻連鎖として、以下に示す音韻連鎖と音響尤度が出力されるものとする。
#aQkasitaseNeN# 0.9
この例では、音響尤度として確率“0.9”を出力しているが、上記の非特許文献1と同様に、確率ではなく、対数確率を出力するようにしてもよい。また、音韻連鎖については、ラティス等の効率的な記憶方式を用いてもよい。
Here, the phoneme string candidate is a probability value representing the probability of each phoneme corresponding to analog data that is an audio signal captured by the
In the first embodiment, for simplification of description, it is assumed that the following phoneme chain and acoustic likelihood are output with the acoustic sequence as the best phoneme string candidate phoneme chain.
# AQkashitaseNeN # 0.9
In this example, the probability “0.9” is output as the acoustic likelihood, but a logarithmic probability may be output instead of a probability, as in
言語処理装置6の前処理部6aは、音響処理装置2が音韻列候補をRAM3に記憶すると、RAM3から音韻列候補を1つ取り出すとともに、所定の初期化処理を実施する(ステップST4)。
所定の初期化処理としては、例えば、先行単語列候補として、ヌル単語「{# # # 文頭}」をRAM3に記憶するとともに、その先行単語列候補の初期言語尤度値として、確率値「1」をRAM3に記憶する処理を実施する。
When the
As the predetermined initialization process, for example, a null word “{### sentence}” is stored in the
言語処理装置6の前処理部6aは、上記のようにして、所定の初期化処理を実施すると、RAM3に記憶されている全ての先行単語列候補が音韻列候補における末端の音韻と対応しているかをチェックする(ステップST5)。
全ての先行単語列候補が音韻列候補における末端の音韻と対応していれば、ステップST10の処理に移行するが、この段階では、まだ対応していないので、ステップST6の処理に移行する。
When the
If all the preceding word string candidates correspond to the terminal phoneme in the phoneme string candidate, the process proceeds to step ST10. However, at this stage, it does not yet correspond, so the process proceeds to step ST6.
言語処理装置6の前処理部6aは、まだ対応していない場合、RAM3から先行単語列候補を1つ取り出す処理を実施する(ステップST6)。
この段階では、上述したように、先行単語列候補として、ヌル単語「{# # # 文頭}」がRAM3に記憶されているので、ヌル単語「{# # # 文頭}」が先行単語列候補として取り出される。
If the
At this stage, as described above, the null word “{### beginning}} is stored in the
言語処理装置6の単語系列特定部6bは、前処理部6aが先行単語列候補を取り出すと、対象単語n−gram4に記憶されている音韻列の中に、ステップST4で取り出されている音韻列候補と前方一致する音韻列が記憶されているか否かを判別する(ステップST7)。
図4は対象単語n−gram4の記憶内容を示す説明図である。
この実施の形態1では、“aQkasitaseNeN”の音声が取り込まれているので、対象単語n−gram4の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列が記憶されていないが、対象単語n−gram4の1−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQkasita」が記憶されているので、その音韻列の後接続形態素「悪化した aQkasita あっかした 動詞」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.001”を抽出する。
When the
FIG. 4 is an explanatory diagram showing the stored contents of the target word n-gram4.
In the first embodiment, since the speech of “aQkashitaseNeN” is captured, the 2-word of the target word n-gram4 does not store the phoneme sequence that matches the phoneme sequence “aQkasitaseNeN”, but the target The 1-gram of the word n-gram4 stores the phoneme sequence “aQkasita” that matches the phoneme sequence “aQkashitaseNeN”. As a word candidate, the 1-gram of the target word n-gram4 is extracted, and the probability “0.001” of the phoneme string is extracted from the 1-gram of the target word n-gram4.
言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「悪化した aQkasita あっかした 動詞」を抽出すると、前処理部6aにより取り出された先行単語列候補(現在の先行単語列候補)に、その後接続形態素「悪化した aQkasita あっかした 動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように計算する(ステップST8)。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=1×0.001
=0.001
When the word sequence specifying unit 6b of the
Further, the word sequence identification unit 6b calculates the language likelihood of a new preceding word string candidate as follows (step ST8).
Language Likelihood of New Predecessor Word Sequence Candidate = Probability of Current Predecessor Word Sequence Candidate × Probability of Post Connected Morphology = 1 × 0.001
= 0.001
言語処理装置6の単語系列特定部6bは、上記のようにして、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「seNeN」が残されているので、対象単語n−gram4に記憶されている音韻列の中に、その音韻列「seNeN」と前方一致する音韻列が記憶されているか否かを判別する。
この場合、対象単語n−gram4の1−gramには、音韻列「seNeN」と前方一致する音韻列「seN」が記憶されているので、その音韻列の後接続形態素「腺 seN せん 接尾語」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.003”を抽出する。
Even if the word sequence specifying unit 6b of the
In this case, the 1-gram of the target word n-gram4 stores the phoneme sequence “seN” that matches the phoneme sequence “seNeN” in advance, so the post-connected morpheme “gland seN suffix” of the phoneme sequence is stored. Is extracted from 1-gram of the target word n-gram4 as a candidate for the backward word, and the probability “0.003” of the phoneme string is extracted from 1-gram of the target word n-gram4.
言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「腺 seN せん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「腺 seN せん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=0.001×0.003
=0.000003
When the word sequence specifying unit 6b of the
Further, the word sequence identification unit 6b recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word string candidate = current probability of preceding word string candidate × probability of subsequent connected morpheme = 0.001 × 0.003
= 0.000003
また、言語処理装置6の単語系列特定部6bは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「eN」が残されているので、対象単語n−gram4に記憶されている音韻列の中に、その音韻列「eN」と前方一致する音韻列が記憶されているか否かを判別する。
この場合、対象単語n−gram4の1−gramには、音韻列「eN」と前方一致する音韻列「eN」が記憶されているので、その音韻列の後接続形態素「炎 eN えん 接尾語」を後方単語の候補として、対象単語n−gram4の1−gramから抽出するとともに、対象単語n−gram4の1−gramから当該音韻列の確率“0.002”を抽出する。
Further, even if the word sequence identification unit 6b of the
In this case, the 1-gram of the target word n-gram4 stores the phoneme sequence “eN” that matches the phoneme sequence “eN”, so that the post-connected morpheme “flame eN en suffix” of the phoneme sequence is stored. Is extracted from 1-gram of the target word n-gram4 as a candidate for the backward word, and the probability “0.002” of the phoneme string is extracted from 1-gram of the target word n-gram4.
言語処理装置6の単語系列特定部6bは、後方単語の候補として、音韻列の後接続形態素「炎 eN えん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「炎 eN えん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6bは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=0.000003×0.002
=0.000000006
=6.0×10-9
When the word sequence specifying unit 6b of the
Further, the word sequence identification unit 6b recalculates the language likelihood of the new preceding word string candidate as follows.
Language Likelihood of New Leading Word Sequence Candidate = Probability of Current Preceding Word Sequence Candidate x Probability of Post Connected Morphology = 0.000003 x 0.002
= 0.000000006
= 6.0 × 10 -9
言語処理装置6の単語系列特定部6bは、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に前方一致していない音韻列がなくなると、下記に示すように、入力対象分野における新たな先行単語列候補の尤度を計算し、新たな先行単語列候補の尤度をRAM3に記憶する(ステップST9)。
新たな先行単語列候補の尤度
=新たな先行単語列候補の言語尤度×音響尤度
=6.0×10-9×0.9
=5.4×10-9
When the phoneme sequence candidate “aQkasitaseNe” extracted in step ST4 has no phoneme sequence that does not match forward, the word sequence specifying unit 6b of the
Likelihood of new preceding word string candidate = Language likelihood of new preceding word string candidate × Acoustic likelihood = 6.0 × 10 −9 × 0.9
= 5.4 × 10 -9
言語処理装置6の単語系列特定部6cは、前処理部6aが先行単語列候補を取り出すと、不要単語n−gram5に記憶されている音韻列の中に、ステップST4で取り出されている音韻列候補と前方一致する音韻列が記憶されているか否かを判別する(ステップST7)。
図5は不要単語n−gram5の記憶内容を示す説明図である。
この実施の形態1では、“aQkasitaseNeN”の音声が取り込まれており、不要単語n−gram5の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQ」が記憶されているので、その音韻列の後接続形態素「あっ aQ あっ 感動詞」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.01”を抽出する。
When the
FIG. 5 is an explanatory diagram showing the stored contents of the unnecessary word n-gram5.
In the first embodiment, the speech of “aQcasitaseNeN” is captured, and the phoneme sequence “aQ” that matches the phoneme sequence “aQkasitaseNeN” is stored in 2-gram of the unnecessary word n-gram5. Then, the post-connected morpheme “a aQ a impression verb” is extracted from 2-gram of the unnecessary word n-
言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「あっ aQ あっ 感動詞」を抽出すると、前処理部6aにより取り出された先行単語列候補(現在の先行単語列候補)に、その後接続形態素「あっ aQ あっ 感動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように計算する(ステップST8)。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×後接続形態素の確率
=1×0.01
=0.01
When the word sequence specifying unit 6c of the
Further, the word sequence identification unit 6c calculates the language likelihood of the new preceding word string candidate as follows (step ST8).
Language Likelihood of New Leading Word Sequence Candidate = Probability of Current Leading Word Sequence Candidate x Probability of Post-Connected Morphology = 1 x 0.01
= 0.01
言語処理装置6の単語系列特定部6cは、上記のようにして、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」中に未だ前方一致していない音韻列「kasitaseNeN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「あっ aQ あっ 感動詞」が前接続形態素で、かつ残りの音韻列「kasitaseNeN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「aQkasitaseNeN」と前方一致する音韻列「aQkasita」が記憶されているので、その音韻列の後接続形態素「貸した kasita かした 動詞」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.02”を抽出する。
Even if the word sequence specifying unit 6c of the
In this case, the 2-gram of the unnecessary word n-gram5 stores the phoneme string “aQkasita” that matches the phoneme string “aQkashitaseNe”, and therefore the connected morpheme “the loaned kasita” verb after the phoneme string is stored. ”As a backward word candidate, and the probability“ 0.02 ”of the phoneme string is extracted from the 2-gram of the unnecessary word n-gram5 and the 2-gram of the unnecessary word n-gram5.
言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「貸した kasita かした 動詞」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「貸した kasita かした 動詞」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.01×0.02
=0.0002
When the word sequence specifying unit 6c of the
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word string candidate = probability of current preceding word string candidate × probability of phoneme string = 0.01 × 0.02
= 0.0002
また、言語処理装置6の単語系列特定部6cは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「seNeN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「貸した kasita かした 動詞」が前接続形態素で、かつ残りの音韻列「seNeN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「kasitaseNeN」と前方一致する音韻列「kasitaseN」が記憶されているので、その音韻列の後接続形態素「千 seN せん 数字」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.03”を抽出する。
Further, even if the word sequence identification unit 6c of the
In this case, the 2-gram of the unnecessary word n-gram5 stores the phoneme sequence “kasitaseN” that matches the phoneme sequence “kasitaseNeN”. As a candidate for the backward word, the 2-word of the unnecessary word n-gram5 is extracted, and the probability “0.03” of the phoneme string is extracted from the 2-gram of the unnecessary word n-gram5.
言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「千 seN せん 数字」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「千 seN せん 数字」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.0002×0.03
=0.00006
=6×10-5
When the word sequence specifying unit 6c of the
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of a new preceding word string candidate = probability of current preceding word string candidate × probability of phoneme string = 0.0002 × 0.03
= 0.00006
= 6 × 10 -5
また、言語処理装置6の単語系列特定部6cは、新たな先行単語列候補を生成して、新たな先行単語列候補の言語尤度を計算しても、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に未だ前方一致していない音韻列「eN」が残されているので、不要単語n−gram5に記憶されている音韻列の中に、RAM3に記憶されている「千 seN せん 数字」が前接続形態素で、かつ残りの音韻列「eN」と後接続形態素の部分音韻列が前方一致する音韻列が記憶されているか否かを判別する。
この場合、不要単語n−gram5の2−gramには、音韻列「seNeN」と前方一致する音韻列「seNeN」が記憶されているので、その音韻列の後接続形態素「円 eN えん 接尾語」を後方単語の候補として、不要単語n−gram5の2−gramから抽出するとともに、不要単語n−gram5の2−gramから当該音韻列の確率“0.03”を抽出する。
Further, even if the word sequence identification unit 6c of the
In this case, since the phoneme string “seNe” that coincides with the phoneme string “seNeN” is stored in the 2-gram of the unnecessary word n-gram5, the subsequent connected morpheme “yen eN suffix” is stored. Is extracted from 2-gram of the unnecessary word n-gram5 as a candidate for the backward word, and the probability “0.03” of the phoneme string is extracted from 2-gram of the unnecessary word n-gram5.
言語処理装置6の単語系列特定部6cは、後方単語の候補として、音韻列の後接続形態素「円 eN えん 接尾語」を抽出すると、先に生成した新たな先行単語列候補(現在の先行単語列候補)に、その後接続形態素「円 eN えん 接尾語」を接続して新たな先行単語列候補を生成し、新たな先行単語列候補をRAM3に記憶する。
また、単語系列特定部6cは、新たな先行単語列候補の言語尤度を下記のように再計算する。
新たな先行単語列候補の言語尤度
=現在の先行単語列候補の確率×音韻列の確率
=0.00006×0.03
=0.00000018
=1.8×10-7
When the word sequence specifying unit 6c of the
The word sequence identification unit 6c recalculates the language likelihood of the new preceding word string candidate as follows.
Language likelihood of new preceding word sequence candidate = probability of current preceding word sequence candidate × probability of phoneme sequence = 0.00006 × 0.03
= 0.000000018
= 1.8 × 10 −7
言語処理装置6の単語系列特定部6cは、ステップST4で取り出されている音韻列候補「aQkasitaseNeN」の中に前方一致していない音韻列がなくなると、下記に示すように、入力不要分野における新たな先行単語列候補の尤度を計算し、新たな先行単語列候補の尤度をRAM3に記憶する(ステップST9)。
新たな先行単語列候補の尤度
=新たな先行単語列候補の言語尤度×音響尤度
=1.8×10-7×0.9
=1.62×10-7
なお、図6は単語系列特定部6b,6cにより生成された新たな先行単語列候補の形態素列と、新たな先行単語列候補の尤度を示している。
When the phoneme sequence candidate “aQkasitaseNe” extracted in step ST4 has no phoneme sequence that does not match forward, the word sequence identification unit 6c of the
Likelihood of new preceding word string candidate = Language likelihood of new preceding word string candidate × Acoustic likelihood = 1.8 × 10 −7 × 0.9
= 1.62 × 10 −7
FIG. 6 shows morpheme sequences of new preceding word sequence candidates generated by the word sequence identification units 6b and 6c and the likelihood of the new preceding word sequence candidates.
なお、この実施の形態1では、説明の簡単化のため、単語系列特定部6b,6cが前方一致する音韻列を検索するものについて示したが、これに限るものではなく、上記の非特許文献1に開示されている曖昧な音韻連鎖との照合処理の手法や、文献「阿部他,“認識誤り傾向の確率モデルを用いた2段階探索法による大語彙連続音声認識”,電子情報通信学会論文誌,Vol J−83−DI No12,2000.12」に開示されている手法を用いて音韻列を検索するようにしてもよい。 In the first embodiment, for simplification of description, the word sequence specifying units 6b and 6c search for phoneme strings that coincide with each other. However, the present invention is not limited to this. The method of collation processing with the ambiguous phoneme chain disclosed in 1 and the literature “Abe et al.,“ Large Vocabulary Continuous Speech Recognition by Two-Step Search Method Using the Probability Model of Recognition Error Trend ”, IEICE Transactions You may make it search a phoneme string using the method currently disclosed by the magazine, Vol J-83-DI No12,200.12.
言語処理装置6の前処理部aは、上記のようにして、単語系列特定部6b,6cが新たな先行単語列候補の尤度をRAM3に記憶すると、未だ取り出していない音韻列候補がRAM3に記憶されているか否かを判定し(ステップST10)、未だ取り出していない音韻列候補があれば、ステップST4の処理に戻り、ステップST4〜ST9の処理を繰り返し実施する。全ての音韻列候補を取り出していれば、ステップST11の処理に移行する。
As described above, when the word sequence identification units 6b and 6c store the likelihood of new preceding word sequence candidates in the
リジェクト装置7は、RAM3から単語系列特定部6b,6cにより生成された新たな先行単語列候補の尤度を取り出し、単語系列特定部6bにより生成された新たな先行単語列候補の尤度と、単語系列特定部6cにより生成された新たな先行単語列候補の尤度とを比較する(ステップST11)。
リジェクト装置7は、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、入力を希望しない音声がユーザから発せられた可能性が高いので、単語系列特定部6cにより生成された新たな先行単語列候補は出力しない。
The reject device 7 takes out the likelihood of the new preceding word string candidate generated by the word series identification units 6b and 6c from the
The reject device 7 desires an input when the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6b. Since there is a high possibility that the user does not hear the voice, the new preceding word string candidate generated by the word sequence specifying unit 6c is not output.
一方、単語系列特定部6bにより生成された新たな先行単語列候補の尤度が、単語系列特定部6cにより生成された新たな先行単語列候補の尤度より高い場合、あるいは、両者の尤度が等しい場合、入力を希望する音声がユーザから発せられた可能性が高いので、RAM3から単語系列特定部6bにより生成された新たな先行単語列候補を読み出し、その先行単語列候補を出力装置8に出力する(ステップST12)。
出力装置8はリジェクト装置7から先行単語列候補を受けると、その先行単語列候補から表記を取り出し、その表記を音声認識結果として外部に出力する(ステップST13)。
これにより、「腺炎」、「千円」などの同音語が存在する場合でも、不要音声である「あっ貸した千円」についてはリジェクトされるようになる。
On the other hand, when the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6b is higher than the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6c, or the likelihood of both If the two are equal, it is highly possible that the voice desired to be input is uttered by the user. Therefore, a new preceding word string candidate generated by the word sequence identification unit 6b is read from the
When receiving the preceding word string candidate from the rejecting device 7, the
As a result, even if a homonym such as “adenitis” or “thousand yen” exists, “unsold thousand yen” that is an unnecessary voice is rejected.
以上で明らかなように、この実施の形態1によれば、対象単語n−gram4を参照して、音響処理装置2により生成された音響系列候補と最も尤度が高い単語列候補を生成する単語系列特定部6bと、不要単語n−gram5を参照して、音響処理装置2により生成された音響系列候補と最も尤度が高い単語列候補を生成する単語系列特定部6cとを設け、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより特定された単語列候補の尤度の方が高ければ、その単語列候補の表記を出力するように構成したので、句の全体を1単語として単語辞書に登録することなく、ユーザの音声が入力対象分野の音響系列である場合に限り、その音響系列に対応している単語系列を出力することができる効果を奏する。
As is clear from the above, according to the first embodiment, the word that generates the word sequence candidate having the highest likelihood and the acoustic sequence candidate generated by the
また、この実施の形態1によれば、単語系列特定部6cにより特定された単語列候補の尤度の方が高ければ、音声認識結果である単語系列の出力を行わないように構成したので、不要音声をリジェクトして、精度よく句単位のユーザの音声を弁別することができる効果を奏する。 Further, according to the first embodiment, since the word sequence candidate specified by the word sequence specifying unit 6c has a higher likelihood, the word sequence that is the speech recognition result is not output. There is an effect that the unnecessary voice is rejected and the voice of the user in phrase units can be discriminated accurately.
なお、この実施の形態1では、対象単語n−gram4及び不要単語n−gram5が、2−gramと1−gramから構成されているものについて示したが、これに限るものではなく、例えば、1−gramと2−gramと3−gramなどから構成されていてもよい。
In the first embodiment, the target word n-gram 4 and the unnecessary word n-
実施の形態2.
図7はこの発明の実施の形態2による音声認識装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
重み付きリジェクト装置11は図1のリジェクト装置7と同様に、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより生成された単語列候補の尤度の方が高ければ、その単語列候補を出力するが、尤度の比較処理を実施する前に、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算し、重み係数乗算後の単語列候補の尤度同士を比較するようにしている。なお、重み付きリジェクト装置11はリジェクト手段を構成している。
図8はこの発明の実施の形態2による音声認識装置の処理内容を示すフローチャートである。
7 is a block diagram showing a speech recognition apparatus according to
The
FIG. 8 is a flowchart showing the processing contents of the speech recognition apparatus according to
次に動作について説明する。
上記実施の形態1では、リジェクト装置7が単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより特定された単語列候補の尤度の方が高ければ、その単語列候補を出力するものについて示したが、重み付きリジェクト装置11が、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算することにより、それらの単語列候補の尤度を補正してから単語列候補の尤度同士を比較するようにしてもよい。
具体的には、以下の通りである。
Next, the operation will be described.
In the first embodiment, the reject device 7 compares the likelihood of the word sequence candidate generated by the word sequence specifying unit 6b with the likelihood of the word sequence candidate generated by the word sequence specifying unit 6c, and the word sequence specifying unit If the likelihood of the word string candidate specified by 6b is higher, the word string candidate is output, but the
Specifically, it is as follows.
上記実施の形態1では、対象単語n−gram4が十分な規模のコーパスから作成されているものとして説明したが、現実的には十分な規模のコーパスが得られない場合や、入力対象を絞りたい場合がある。
図9の対象単語n−gram4は、コーパスが「リンパ腺炎悪化した」という1文しかないと仮定した場合の記憶例である。
この場合、対象単語n−gram4の2−gramは、全ての音韻列の確率が“1”、1−gramは全ての音韻列の確率が“0.2”という大きな値にある(図9と図4を比較参照)。
In
The target word n-gram4 in FIG. 9 is a memory example when it is assumed that the corpus has only one sentence that “the lymphadenitis worsened”.
In this case, 2-gram of the target word n-gram4 has a large value such that the probabilities of all phoneme strings are “1” and 1-gram has a probability of “0.2” of all phoneme strings (FIG. 9 and FIG. 9). (See FIG. 4 for comparison).
上記実施の形態1と同様に、“aQkasitaseNeN”の音声が取り込まれた場合、言語処理装置6の単語系列特定部6bが、上記実施の形態1と同様の先行単語列候補({# # # 文頭}{悪化した aQkasita あっかした 動詞}{腺 seN せん 接尾語}{炎 eN えん 接尾語})を生成することになるが、先行単語列候補の尤度は以下のように計算される。
先行単語列候補の尤度
=1×1×1×1
=1
As in the first embodiment, when the speech of “aQkashitaseNeN” is captured, the word sequence identification unit 6b of the
Likelihood of preceding word string candidate = 1 × 1 × 1 × 1
= 1
図10の不要単語n−gram5の記憶内容は、図5の不要単語n−gram5の記憶内容と同じであるため、言語処理装置6の単語系列特定部6cは、上記実施の形態1と同様の先行単語列候補({# # # 文頭}{あっ aQ あっ 感動詞}{貸した kasita かした 動詞}{千 seN せん 数字}{円 eN えん 接尾語}を生成するとともに、先行単語列候補の尤度を計算する。
先行単語列候補の尤度
=1×0.01×0.02×0.03×0.03
=1.8×10-7
Since the storage content of the unnecessary word n-
Likelihood of preceding word string candidate = 1 × 0.01 × 0.02 × 0.03 × 0.03
= 1.8 × 10 −7
このように、対象単語n−gram4が十分な規模のコーパスから作成されていない場合、入力を希望しない音声であるにも拘わらず、単語系列特定部6bにより生成された単語列候補の尤度“1”が、単語系列特定部6cにより生成された単語列候補の尤度“1.8×10-7”より大きくなることがある。
そこで、この実施の形態2では、重み付きリジェクト装置11が、n−gramのコーパス量の偏りの影響を回避するため、単語系列特定部6bにより生成された単語列候補の尤度“1”に入力対象分野の重み係数9(例えば、“10-7”)を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度“1.8×10-7”に入力不要分野の重み係数10(例えば、“1”)を乗算する(ステップST21)。
As described above, when the target word n-gram 4 is not created from a corpus having a sufficient size, the likelihood “of the word string candidate generated by the word sequence specifying unit 6b even though the input word is not desired to be input”. 1 ”may be larger than the likelihood“ 1.8 × 10 −7 ”of the word string candidate generated by the word sequence identification unit 6c.
Therefore, in the second embodiment, the
これにより、単語系列特定部6bにより生成された単語列候補の尤度は“1.0×10-7”、単語系列特定部6cにより生成された単語列候補の尤度は“1.8×10-7”に補正される。
重み付きリジェクト装置11は、補正後の単語列候補の尤度同士を比較するが、上記の補正を実施したことにより、単語系列特定部6cにより生成された単語列候補の尤度の方が大きくなるため、対象単語n−gram4が十分な規模のコーパスから作成されている場合と同様に、不要音声である「あっ貸した千円」についてはリジェクトすることができるようになる。
Thereby, the likelihood of the word string candidate generated by the word sequence specifying unit 6b is “1.0 × 10 −7 ”, and the likelihood of the word string candidate generated by the word sequence specifying unit 6c is “1.8 × It is corrected to 10-7 ".
The
以上で明らかなように、この実施の形態2によれば、単語系列特定部6bにより生成された単語列候補の尤度に入力対象分野の重み係数9を乗算するとともに、単語系列特定部6cにより生成された単語列候補の尤度に入力不要分野の重み係数10を乗算し、重み係数乗算後の単語列候補の尤度同士を比較するように構成したので、対象単語n−gram4と不要単語n−gram5のコーパス量に偏りがある場合でも、不要音声をリジェクトして、精度よく句単位のユーザの音声を弁別することができる効果を奏する。
As apparent from the above, according to the second embodiment, the likelihood of the word string candidate generated by the word sequence specifying unit 6b is multiplied by the weighting factor 9 of the input target field, and the word sequence specifying unit 6c Since the likelihood of the generated word string candidate is multiplied by the
実施の形態3.
図11はこの発明の実施の形態3による音声認識装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
形態変更リジェクト装置12は単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6bにより生成された単語列候補の尤度の方が高ければ、図1のリジェクト装置7と同様に、その単語列候補を出力するが、単語系列特定部6cにより生成された単語列候補の尤度の方が高ければ、その単語列候補の表記を所定の形態(例えば、「*」)に変換して出力する処理を実施する。なお、形態変更リジェクト装置12はリジェクト手段を構成している。
図12はこの発明の実施の形態3による音声認識装置の処理内容を示すフローチャートである。
11 is a block diagram showing a speech recognition apparatus according to
The form change reject
FIG. 12 is a flowchart showing the processing contents of the speech recognition apparatus according to
次に動作について説明する。
形態変更リジェクト装置12は、単語系列特定部6b,6cが新たな先行単語列候補の尤度をRAM3に記憶すると、図1のリジェクト装置7と同様に、RAM3から単語系列特定部6b,6cにより生成された新たな先行単語列候補の尤度を取り出し、単語系列特定部6bにより生成された新たな先行単語列候補の尤度と、単語系列特定部6cにより生成された新たな先行単語列候補の尤度とを比較する(ステップST11)。
Next, the operation will be described.
When the word sequence specifying units 6b and 6c store the likelihood of a new preceding word string candidate in the
図1のリジェクト装置7では、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、単語系列特定部6cにより生成された新たな先行単語列候補を出力しないようにしているが、この場合、ユーザが、自分の音声が取り込まれずに音声認識結果が出力されないのか、リジェクトされて音声認識結果が出力されないのかを判別することができず、不便さを伴うことがある。
そこで、形態変更リジェクト装置12は、不要な音声が取り込まれた旨を明示するため、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、単語系列特定部6cにより生成された新たな先行単語列候補の表記を「*」に変換し、変換後の先行単語列候補をRAM3に記憶する(ステップST31)。
In the reject device 7 of FIG. 1, when the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word string candidate generated by the word sequence specifying unit 6b, The new preceding word string candidate generated by the word sequence specifying unit 6c is not output, but in this case, the user is rejected as to whether his speech is not captured and the speech recognition result is output, and speech recognition is performed. It may not be possible to determine whether the result is not output, which may be inconvenient.
Therefore, in order to clearly indicate that unnecessary speech has been captured, the form
形態変更リジェクト装置12は、単語系列特定部6bにより生成された新たな先行単語列候補の尤度が、単語系列特定部6cにより生成された新たな先行単語列候補の尤度より高い場合、あるいは、両者の尤度が等しい場合、入力を希望する音声がユーザから発せられた可能性が高いので、図1のリジェクト装置7と同様に、RAM3から単語系列特定部6bにより生成された新たな先行単語列候補を読み出して、その先行単語列候補を出力装置8に出力する。
一方、単語系列特定部6cにより生成された新たな先行単語列候補の尤度が、単語系列特定部6bにより生成された新たな先行単語列候補の尤度より高い場合、RAM3から先に表記を「*」に変換した先行単語列候補を読み出して、その先行単語列候補を出力装置8に出力する(ステップST32)。
出力装置8はリジェクト装置7から先行単語列候補を受けると、その先行単語列候補から表記を取り出し、その表記を音声認識結果として外部に出力する(ステップST13)。
これにより、不要音声である「あっ貸した千円」が取り込まれた場合には、「*******」が表示されるようになる。
The form
On the other hand, if the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6c is higher than the likelihood of the new preceding word sequence candidate generated by the word sequence specifying unit 6b, the notation is given first from the
When receiving the preceding word string candidate from the rejecting device 7, the
As a result, when the unnecessary sound “Thousand yen lent out” is captured, “******” is displayed.
以上で明らかなように、この実施の形態3によれば、単語系列特定部6bにより生成された単語列候補の尤度と単語系列特定部6cにより生成された単語列候補の尤度を比較し、単語系列特定部6cにより生成された単語列候補の尤度の方が高ければ、その単語列候補の表記を「*」に変換して出力するように構成したので、不要な音声が取り込まれた旨を明示することができる効果を奏する。 As is apparent from the above, according to the third embodiment, the likelihood of the word sequence candidate generated by the word sequence specifying unit 6b is compared with the likelihood of the word sequence candidate generated by the word sequence specifying unit 6c. If the likelihood of the word string candidate generated by the word sequence specifying unit 6c is higher, the notation of the word string candidate is converted to “*” and output, so that unnecessary speech is captured. There is an effect that can be clearly stated.
1 マイク(音声取込手段)、2 音響処理装置(音響系列変換手段)、3 RAM、4 対象単語n−gram、5 不要単語n−gram、6 言語処理装置、6a 前処理部、6b 単語系列特定部(第1の単語系列特定手段)、6c 単語系列特定部(第2の単語系列特定手段)、7 リジェクト装置(リジェクト手段)、8 出力装置(リジェクト手段)、 9 入力対象分野の重み係数、10 入力不要分野の重み係数、11 重み付きリジェクト装置(リジェクト手段)、 12 形態変更リジェクト装置(リジェクト手段)。
DESCRIPTION OF
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207526A JP4727330B2 (en) | 2005-07-15 | 2005-07-15 | Speech recognition apparatus and speech recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207526A JP4727330B2 (en) | 2005-07-15 | 2005-07-15 | Speech recognition apparatus and speech recognition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007025279A true JP2007025279A (en) | 2007-02-01 |
JP4727330B2 JP4727330B2 (en) | 2011-07-20 |
Family
ID=37786131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005207526A Expired - Fee Related JP4727330B2 (en) | 2005-07-15 | 2005-07-15 | Speech recognition apparatus and speech recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4727330B2 (en) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01158498A (en) * | 1987-12-16 | 1989-06-21 | Hitachi Ltd | Voice recognition system |
JPH0695684A (en) * | 1992-09-17 | 1994-04-08 | Meidensha Corp | Sound recognizing system |
JPH08211892A (en) * | 1995-02-01 | 1996-08-20 | Toyota Motor Corp | Speech recognition device |
JPH10171488A (en) * | 1996-12-11 | 1998-06-26 | Canon Inc | Method for speech recognition and device therefor and storage medium |
JP2000132549A (en) * | 1998-10-26 | 2000-05-12 | Sony Corp | Natural language processing device and method therefor |
JP2001242886A (en) * | 2000-02-28 | 2001-09-07 | Mitsubishi Electric Corp | Speech recognition device, morpheme analyzer, kana kanji converter and its method and recording medium with recorded program |
JP2002140094A (en) * | 2000-11-01 | 2002-05-17 | Mitsubishi Electric Corp | Device and method for voice recognition, and computer- readable recording medium with voice recognizing program recorded thereon |
JP2002221985A (en) * | 2001-01-25 | 2002-08-09 | Mitsubishi Electric Corp | Voice recognition device, morpheme analyzer, kana (japanese syllabary)/kanji (chinese character) converter, its method and recording medium which records its program |
JP2003308091A (en) * | 2002-04-17 | 2003-10-31 | Pioneer Electronic Corp | Device, method and program for recognizing speech |
JP2003330491A (en) * | 2002-05-10 | 2003-11-19 | Nec Corp | Method, device, and program for voice recognition |
JP2004046388A (en) * | 2002-07-10 | 2004-02-12 | Hitachi Ltd | Information processing system and character correction method |
JP2005049655A (en) * | 2003-07-29 | 2005-02-24 | Nippon Hoso Kyokai <Nhk> | Device, method, and program for character data correction |
-
2005
- 2005-07-15 JP JP2005207526A patent/JP4727330B2/en not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01158498A (en) * | 1987-12-16 | 1989-06-21 | Hitachi Ltd | Voice recognition system |
JPH0695684A (en) * | 1992-09-17 | 1994-04-08 | Meidensha Corp | Sound recognizing system |
JPH08211892A (en) * | 1995-02-01 | 1996-08-20 | Toyota Motor Corp | Speech recognition device |
JPH10171488A (en) * | 1996-12-11 | 1998-06-26 | Canon Inc | Method for speech recognition and device therefor and storage medium |
JP2000132549A (en) * | 1998-10-26 | 2000-05-12 | Sony Corp | Natural language processing device and method therefor |
JP2001242886A (en) * | 2000-02-28 | 2001-09-07 | Mitsubishi Electric Corp | Speech recognition device, morpheme analyzer, kana kanji converter and its method and recording medium with recorded program |
JP2002140094A (en) * | 2000-11-01 | 2002-05-17 | Mitsubishi Electric Corp | Device and method for voice recognition, and computer- readable recording medium with voice recognizing program recorded thereon |
JP2002221985A (en) * | 2001-01-25 | 2002-08-09 | Mitsubishi Electric Corp | Voice recognition device, morpheme analyzer, kana (japanese syllabary)/kanji (chinese character) converter, its method and recording medium which records its program |
JP2003308091A (en) * | 2002-04-17 | 2003-10-31 | Pioneer Electronic Corp | Device, method and program for recognizing speech |
JP2003330491A (en) * | 2002-05-10 | 2003-11-19 | Nec Corp | Method, device, and program for voice recognition |
JP2004046388A (en) * | 2002-07-10 | 2004-02-12 | Hitachi Ltd | Information processing system and character correction method |
JP2005049655A (en) * | 2003-07-29 | 2005-02-24 | Nippon Hoso Kyokai <Nhk> | Device, method, and program for character data correction |
Also Published As
Publication number | Publication date |
---|---|
JP4727330B2 (en) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107590135B (en) | Automatic translation method, device and system | |
US8831947B2 (en) | Method and apparatus for large vocabulary continuous speech recognition using a hybrid phoneme-word lattice | |
US8478591B2 (en) | Phonetic variation model building apparatus and method and phonetic recognition system and method thereof | |
JP4791984B2 (en) | Apparatus, method and program for processing input voice | |
US11721329B2 (en) | Method, system and apparatus for multilingual and multimodal keyword search in a mixlingual speech corpus | |
US6910012B2 (en) | Method and system for speech recognition using phonetically similar word alternatives | |
Huang et al. | The sequence-to-sequence baseline for the voice conversion challenge 2020: Cascading asr and tts | |
US20030187643A1 (en) | Vocabulary independent speech decoder system and method using subword units | |
US20220262352A1 (en) | Improving custom keyword spotting system accuracy with text-to-speech-based data augmentation | |
JP2017513047A (en) | Pronunciation prediction in speech recognition. | |
Wong et al. | Methods to improve Gaussian mixture model based language identification system | |
WO2000058943A1 (en) | Speech synthesizing system and speech synthesizing method | |
JP7295839B2 (en) | Automatic speech recognition based on syllables | |
JP6284462B2 (en) | Speech recognition method and speech recognition apparatus | |
Mantena et al. | Use of articulatory bottle-neck features for query-by-example spoken term detection in low resource scenarios | |
JP2955297B2 (en) | Speech recognition system | |
Patel et al. | Development of Large Vocabulary Speech Recognition System with Keyword Search for Manipuri. | |
Mohanty et al. | Speaker identification using SVM during Oriya speech recognition | |
KR100480790B1 (en) | Method and apparatus for continous speech recognition using bi-directional n-gram language model | |
JP4230142B2 (en) | Hybrid oriental character recognition technology using keypad / speech in adverse environment | |
Manjunath et al. | Automatic phonetic transcription for read, extempore and conversation speech for an Indian language: Bengali | |
Tetariy et al. | Cross-language phoneme mapping for phonetic search keyword spotting in continuous speech of under-resourced languages. | |
JP3088364B2 (en) | Spoken language understanding device and spoken language understanding system | |
Nga et al. | A Survey of Vietnamese Automatic Speech Recognition | |
Rebai et al. | Linto platform: A smart open voice assistant for business environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080609 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4727330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |