JP3378547B2 - Voice recognition method and apparatus - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、言語的な各カテゴ
リの音声特徴量をモデル化しておき、入力音声特徴量系
列に対する各モデルの照合スコアを求めて入力音声の認
識を行う音声認識方法及び装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech recognition method for recognizing an input speech by modeling speech features of each linguistic category and obtaining a matching score of each model with respect to an input speech feature series. Regarding the device.

【０００２】[0002]

【従来の技術】確率、統計論に基づいた確率モデルによ
る認識方法は、音声、文字、図形などのパターン認識に
おいて有用な技術である。以下では、音声認識におい
て、現在主流になっている、隠れマルコフモデル（Ｈid
den Ｍarkov Ｍodel、以下ＨＭＭと記す）による従来技
術について説明する。隠れマルコフモデルについては、
例えば、中川聖一「確率モデルによる音声認識」電磁情
報通信学会編（１９８８）に詳述されている。2. Description of the Related Art A probabilistic model-based recognition method based on probability and statistics is a useful technique for pattern recognition of voices, characters, and figures. In the following, Hidden Markov Model (Hid
A conventional technique by den Markov Model (hereinafter referred to as HMM) will be described. For hidden Markov models,
For example, it is described in detail in Seiichi Nakagawa, "Speech Recognition by Probabilistic Model", edited by Institute of Electro-Communications (1988).

【０００３】従来の音声認識装置において、音素ごとに
ＨＭＭを用いてモデル化しておく方法は、性能が高く、
現在の主流になっている。図４に、従来のこの種の音声
認識装置のブロック図を示す。音声信号入力端子１１か
ら入力された音声をＡ／Ｄ変換部１２においてデジタル
化し、そのデジタル音声信号を音声特徴パラメータ分析
部１３において分析し、音声特徴パラメータを抽出す
る。この音声特徴パラメータを用いて、照合部１４にお
いて、あらかじめ用意された単語リスト（単語等の表記
と読みのリスト）１６と音声モデル１６により生成され
る音声認識候補パターン（照合パターン）と入力音声と
の照合を行う。このときの各認識候補に対する照合スコ
アを候補選択部２５において比較し、最も高いスコアを
示す認識候補を選択する。ここで選ばれた候補が認識結
果出力部２６によって出力される。In the conventional speech recognition apparatus, the method of modeling each phoneme using HMM has high performance,
It has become the current mainstream. FIG. 4 shows a block diagram of a conventional voice recognition device of this type. The voice input from the voice signal input terminal 11 is digitized by the A / D converter 12, and the digital voice signal is analyzed by the voice feature parameter analyzer 13 to extract voice feature parameters. Using this voice feature parameter, the matching unit 14 prepares a word list (list of words and readings) 16 prepared in advance, a voice recognition candidate pattern (matching pattern) generated by the voice model 16, and an input voice. Is checked. The matching score for each recognition candidate at this time is compared in the candidate selection unit 25, and the recognition candidate having the highest score is selected. The candidates selected here are output by the recognition result output unit 26.

【０００４】[0004]

【発明が解決しようとする課題】これまでの音声認識技
術では、一般にある特定の言語に対し、音声モデルを用
意することで、その言語の音声認識を可能にしてきた。
複数の言語に対しては、それぞれの言語の音声モデルを
用意することで、各言語音声を認識できる。母国語でな
い話者に対しては、そういった話者の発声を集めること
で、母国語でない話者の音声モデルを構築できる。だ
が、それだけでは、母国語ではない話者の発声には対応
できない。発話者のその言語に対する習熟度により、発
話様式が大きく異なる。また、外国語に熟練した話者で
あっても、状況により、必ずしもその言語の発声ではな
く、母国語で外来語として扱っているような発声をする
場合もある。一方、複数言語の母国語話者による音声モ
デルを用いるだけの音声認識システムでは、発話者側で
は、母国語でない言語に対して、発声する度に、発声す
べき言語を意識する必要があり、大変不便で、また、認
識精度も高くなかった。In the speech recognition technology up to the present, generally, by preparing a speech model for a specific language, speech recognition of that language has been enabled.
For a plurality of languages, it is possible to recognize each language voice by preparing a voice model for each language. For speakers who are not native speakers, a speech model of speakers who are not native speakers can be constructed by collecting the utterances of those speakers. However, this alone cannot handle the utterances of speakers who are not native speakers. The utterance style varies greatly depending on the speaker's proficiency with the language. In addition, even a speaker who is proficient in a foreign language may not necessarily speak in that language, but may speak as a foreign language in his native language. On the other hand, in a speech recognition system that only uses a speech model of a native language speaker of multiple languages, the speaker side needs to be aware of the language to be uttered each time it utters a language that is not the native language. It was very inconvenient and the recognition accuracy was not high.

【０００５】なお、例えば特開平１０−２５４３５０号
公報には、母国語話者による音声モデルを、他言語の母
国語話者による発声との類似性によって入れ替えること
により、母国語でない話者の認識精度を向上させる技術
が記載されているが、発音の個人差により認識性能が変
化する等、汎用性の点で問題がある。Note that, for example, in Japanese Unexamined Patent Publication No. 10-254350, the recognition of non-native speakers is carried out by replacing the speech model by the native speaker with the similarity of the utterance by the native speakers of other languages. Although a technique for improving accuracy is described, there is a problem in versatility such that recognition performance changes due to individual differences in pronunciation.

【０００６】本発明の目的は、認識対象言語の母国語話
者だけでなく、認識対象言語の母国語でない話者の音声
も、高精度で認識することができ、かつ、発音の個人差
による影響の少ない汎用性の高い音声認識方法及び装置
を提供することにある。The object of the present invention is to recognize not only the speaker of the native language of the recognition target language but also the speaker of a language other than the native language of the recognition target language with high accuracy and depending on individual differences in pronunciation. An object of the present invention is to provide a highly versatile voice recognition method and device with little influence.

【０００７】[0007]

【課題を解決するための手段】本発明では、利用する話
者の母国語でない言語に対して、母国語による読みや発
音で表現される照合パターンを与え、認識対象言語の母
国語話者による音声モデルだけでなく、利用話者の母国
語に対する音声モデルを同時に入力音声の照合に使うこ
とで、母国語話者だけでなく、母国語でない話者の音声
を認識できるようにする。また、母国語でない話者によ
る認識対象言語の音声モデルも用いることで、より一
層、幅広い発話様式を覆うことができるようにする。According to the present invention, a matching pattern expressed by reading or pronunciation in a native language is given to a language which is not the native language of the speaker to be used, and a native language speaker of the recognition target language is used. By using not only the voice model but also the voice model corresponding to the native language of the user speaker for the matching of the input voice, the voices of not only the native language speaker but also the non-native language speaker can be recognized. Further, by using a speech model of a recognition target language by a speaker who is not a native language, it is possible to cover a wider range of utterance styles.

【０００８】本発明によれば、認識対象言語の母国語で
ない話者による母国語話者に近い発音であっても、母国
語話者発声による音声モデル、または、母国語でない話
者で、母国語話者に近い発声による音声モデルにより認
識することができる。また、認識対象言語に対して母国
語でない話者の母国語で外来語的な発音をする場合に
は、母国語による発音、読みを与え、母国語音声モデル
をあてはめた照合パターンを用いて認識することができ
る。According to the present invention, even if the pronunciation of a language other than the native language of the recognition target language is close to that of the native language speaker, the speech model produced by the native language speaker or a speaker who is not the native language, It can be recognized by a voice model with utterance close to that of a Japanese speaker. Also, when a foreign language is pronounced in the native language of a speaker who is not the native language for the recognition target language, the pronunciation and reading in the native language are given, and recognition is performed using a matching pattern to which the native language speech model is applied. can do.

【０００９】[0009]

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面により詳述する。図１に、本発明を適用した音
声認識装置の一実施例の全体的構成図を示す。本実施例
は、言語１と言語２の２種類の言語を認識でき、さら
に、言語２の言語については、他言語の言語１の母国語
話者による音声も認識できる音声認識装置を示してい
る。Ａ／Ｄ変換部１２、音声特徴パラメータ分析部１
３、照合スコア比較候補選択部１７、認識結果出力部１
８は、図４の従来の場合と同様である。ただし、照合ス
コア比較候補選択部１７は、後述の照合部１９、２２、
２４の各照合結果を入力して、それらの中から最も高い
スコアを示す認識候補を選択するように構成される。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described in detail below with reference to the drawings. FIG. 1 shows an overall configuration diagram of an embodiment of a voice recognition device to which the present invention is applied. The present embodiment shows a voice recognition device capable of recognizing two kinds of languages, language 1 and language 2, and also recognizing a voice of a native language speaker of language 1 of another language for language 2. . A / D converter 12, voice feature parameter analyzer 1
3, collation score comparison candidate selection unit 17, recognition result output unit 1
8 is the same as the conventional case of FIG. However, the matching score comparison candidate selection unit 17 uses the matching units 19 and 22, which will be described later,
It is configured to input each of the 24 matching results and select a recognition candidate having the highest score from them.

【００１０】図１において、言語１、言語２とも、母国
語話者による専用の音声モデル１６、２１を持ち、それ
ぞれの言語に応じた表記と読み発音を明記した単語リス
ト１５、２０を用意する。図２の（ａ）、（ｂ）に単語
リスト１５、２０の一例を示す。言語１の言語に対し
て、その母国語話者による音声を認識する場合、単語リ
スト１５と音声モデル１６を用い、照合部１４におい
て、言語１の音声認識候補パターン（照合パターン）と
入力音声との照合を行う。同様に言語２の言語に対し
て、その母国語話者による音声を認識する場合には、単
語リスト２０と音声モデル２１を用い、照合部１９にお
いて、言語２の音声認識候補パターンと入力音声との照
合を行う。これは従来方法と同様である。図１では、別
々に照合部１４、１９を表現しているが、言語的な特性
は音声モデル、単語リストで吸収できるため、照合部自
体は共通のものが使える。照合部１４や１９で得られる
音声認識候補に対する照合スコアを候補選択部１７で比
較し、スコアのよいものを最終的な候補とし、認識結果
として出力部１８から出力する。これにより、複数の言
語音声（ここでは言語１と２の音声）に対し、同時に音
声認識を行うことができる。In FIG. 1, both language 1 and language 2 have dedicated voice models 16 and 21 by native speakers, and word lists 15 and 20 in which notations and pronunciations are specified according to each language are prepared. . 2A and 2B show examples of word lists 15 and 20, respectively. When recognizing the voice of the native language speaker for the language of language 1, the word list 15 and the voice model 16 are used, and the matching unit 14 uses the voice recognition candidate pattern (matching pattern) of the language 1 and the input voice. Is checked. Similarly, in the case of recognizing the voice of the native language speaker for the language of language 2, the word list 20 and the voice model 21 are used, and the matching unit 19 uses the voice recognition candidate pattern of language 2 and the input voice. Is checked. This is similar to the conventional method. In FIG. 1, the matching units 14 and 19 are expressed separately, but since the linguistic characteristics can be absorbed by the voice model and the word list, the common matching unit can be used. The matching scores for the voice recognition candidates obtained by the matching units 14 and 19 are compared by the candidate selecting unit 17, and the candidate having a good score is determined as the final candidate and output from the output unit 18 as the recognition result. As a result, it is possible to simultaneously perform voice recognition on a plurality of language voices (voices of languages 1 and 2 here).

【００１１】ただし、各言語に対し、母国語話者による
音声モデルだけでは、母国語でない言語を認識する場合
には認識精度が低下する。例として、言語１を日本語、
言語２を英語とし、日本語を母国語とする日本人が発声
した英語を認識する場合を考える。日本人の場合、英語
を発声したつもりでも、実際には、アメリカ人などが話
すような英語とはかけ離れている場合が多い。日本語に
はないような音素［ｒ］、［ｌ］、［ｆ］などの発声
は、多くの日本人が苦手としている。このような日本人
の英語を、英語を母国語とするイギリス人やアメリカ人
の発声により作成した音声モデルで認識するのはたいて
い困難である。However, for each language, the recognition accuracy is lowered when only a speech model by a native language speaker is used to recognize a language other than the native language. As an example, language 1 is Japanese,
Consider the case of recognizing English spoken by a Japanese whose native language is Japanese and language 2 is English. In the case of Japanese people, in many cases, even though they intend to speak English, they are often far from the English spoken by Americans. Many Japanese are not good at uttering phonemes [r], [l], and [f] that are not found in Japanese. It is usually difficult to recognize such Japanese English with a speech model created by utterances of English or American whose native language is English.

【００１２】また、別の問題として、英語の上手な日本
人であっても、英語を必ず英語的な発音で発声するとは
限らず、状況によっては、日本語的な発声をする。例え
ば、「ｃｏｍｐｕｔｅｒ」という英単語を英語として発
声することもあるだろうし、「こんぴゅーた」と日本語
的に読むこともありえる。この同じ単語に対する２種類
の発声は、音声としては全く異なるものになる。したが
って、英単語であっても、日本人英語、母国語でない話
者の発声を、英語音声モデルだけで認識するのは困難で
ある。Further, as another problem, even a Japanese who is good at English does not always speak English with an English pronunciation, and in some circumstances, speaks Japanese. For example, the English word "computer" may be uttered in English, or "konpyuta" may be read in Japanese. The two types of utterances for the same word are completely different in voice. Therefore, even for English words, it is difficult to recognize the utterances of speakers who are not native English speakers or Japanese speakers only with the English speech model.

【００１３】本発明では、これら２つの問題に対する対
策を大きく２つ行う。一つは、母国語でない話者による
発声から音声モデルを作成すること、もう一つは、母国
語の音声モデルを用いて、他言語単語の発音を母国語で
の発音で置き換えたものを用意し、認識時に、母国語音
声モデルによる照合パターンとして用いる。In the present invention, two major measures are taken against these two problems. One is to create a speech model from utterances by speakers who are not in the native language, and another is to use the speech model of the native language and replace the pronunciation of other language words with the pronunciation in the native language. However, at the time of recognition, it is used as a matching pattern based on the native language speech model.

【００１４】前者は、図１において、言語１母国語話者
による言語２用の音声モデル２３と言語２用単語リスト
２０を用い、言語２用（言語１母国語話者）照合部２２
で照合を行う。これは、例で言うと、日本人英語の音声
を収集し、その音声モデルを作成して用いることにあた
る。単語リストは英語用のリストを使う。ここで得られ
れる認識候補の照合パターンは、日本人が英語らしく発
声した時の音声パターンに相当する。The former uses a speech model 23 for a language 2 by a native language speaker of language 1 and a word list 20 for language 2 in FIG. 1, and uses a language 2 (language 1 native language speaker) collation unit 22.
Check with. For example, this corresponds to collecting Japanese English voices and creating and using a voice model thereof. Use the English list for the word list. The matching pattern of the recognition candidates obtained here corresponds to a voice pattern when a Japanese utters an English voice.

【００１５】後者は、図１において、言語１用の音声モ
デル１６と言語１から言語２へ発音を対応させた単語リ
スト２７を用い、言語１→言語２用の照合部２４で照合
を行う。ここで、単語リスト２７は、単語リスト生成部
２５において、言語１から言語２へ発音を対応させるた
めの発音変換モデル（発音変換辞書、規則等）２６を参
照して、言語２用単語リスト２０から作成する。例で
は、英単語に片仮名で書くような日本語読みを与え、日
本語音声モデルで音声認識することにあたる。これは、
日本人が英語を片仮名読みした発声や、英語発声のつも
りであっても、日本語音声の特徴のほうが多く存在する
ような発声に対して対応できる。図２の（ｃ）に、言語
１→２用単語リスト２７の一例を示す。In the latter case, in FIG. 1, the collation unit 24 for language 1 → language 2 performs collation by using the speech model 16 for language 1 and the word list 27 in which pronunciation is corresponded from language 1 to language 2. Here, the word list 27 refers to the pronunciation conversion model (pronunciation conversion dictionary, rules, etc.) 26 for associating pronunciations from language 1 to language 2 in the word list generation unit 25, and refers to the word list 20 for language 2. Create from. In the example, Japanese pronunciation is given to English words such as writing in Katakana, and speech recognition is performed using the Japanese speech model. this is,
Even if a Japanese person speaks English in katakana, or if he / she intends to speak in English, he / she can deal with speech that has more characteristics of Japanese speech. FIG. 2C shows an example of the word list 1 for language 1 → 2.

【００１６】以下に、単語リスト生成部２５および発音
変換モデル２６により、言語２用単語リスト２０から言
語１→２用単語リスト２７を作成するいくつかの実施例
を示す。Below, several embodiments will be shown in which the word list generator 25 and the pronunciation conversion model 26 create the language 1 → 2 word list 27 from the language 2 word list 20.

【００１７】（１）発声変換モデル２６として、あらか
じめ言語２の単語に対し、言語１の発音を明記した辞書
を作成して用意し、単語リスト生成部２６において、辞
書引きで、言語２用単語リスト２０の英単語等に日本語
読みをつけ、言語１→２用単語リスト２７とする。ここ
で、外来語として浸透しているものは、使われていそう
な読みをつける。そうでないものは、仮名に置き換える
とこうなるだろうと思われるものを読みとしてつける。(1) As the voicing conversion model 26, a dictionary in which the pronunciation of the language 1 is clearly specified is prepared for the words of the language 2 in advance, and the word list generation unit 26 draws the dictionary for the words for the language 2. Japanese words are added to the English words and the like in the list 20 to form a word list 27 for language 1 → 2 . Here, the words that are pervasive as foreign words are given the readings that are likely to be used. For those that do not, read as what you think would be like this if you replace it with a kana.

【００１８】（２）発声変換モデル２６として、あらか
じめ単語表記あるいは発音記号から読みへの変換規則に
よる変換部分的な表記や発音記号列から仮名への変換規
則を用意しておき、単語リスト生成部２５において、言
語２用単語リスト２０内の単語にそれをあてはめ、自動
で読みを生成し、言語−２用単語リスト２７を得る。 (2) As the utterance conversion model 26, a partial notation based on a conversion rule from a word notation or a phonetic symbol to a pronunciation and a conversion rule from a phonetic symbol string to a kana are prepared in advance. In 25, it is applied to the words in the word list 20 for language 2 to automatically generate a reading, and the word list 27 for language-2 is obtained.

【００１９】（３） 統計的手法による単語表記あるい
は発音記号からの変換を利用する。発声変換モデル２６
として、上記（１）で作成した辞書や、多くの人に多数
の単語について読みを付加してもらったものを用いて、
言語２用単語リスト２０の英語の単語表記、あるいは発
音表記と日本語読みを対応づけるような確率モデルを作
成する。そのモデルを用いて、単語リスト生成部２５に
おいて、言語２用単語リスト２０の英単語に対し、日本
語読みを自動生成し、言語１−２用単語リスト２７を得
る。(3) Use of word notation or phonetic symbol conversion by a statistical method. Speech conversion model 26
As an example, using the dictionary created in (1) above or the one that many people have added readings for many words,
A probabilistic model that associates the English word notation or the phonetic notation of the word list 20 for language 2 with the Japanese reading is created. Using the model, the word list generating unit 25 automatically generates Japanese reading for the English words in the word list 20 for language 2, and obtains the word list 27 for language 1-2.

【００２０】ここで、（１）〜（３）に示したような技
術には、機械翻訳技術の分野で使われている音訳技術が
ある。これは英単語を日本語の片仮名表記に翻訳する技
術であり、ここで適用しようとしている音声認識にも利
用できる。例えば、塚田・増田，「英単語に対する日本
語読み付与方法の検討」（情報処理学会、第５３回全国
大会、２−３５９、平成８年後期）には、変換規則の生
成、その音声合成への適用が記載されており、（２）の
方法に利用できる。また、Ｋnight and Ｇraehl，「Ｍa
chine Ｔransliteration」(Ｃomputational Ｌinguisti
cs，Ｖol.２４，ＮＯ.４，ｐ.５９９，１９９８）に
は、機械翻訳において、統計的手法により英語の発音記
号から日本語の発音記号へ変換する技術が記載されてお
り、（３）の方法に利用できる。Here, the techniques shown in (1) to (3) include transliteration techniques used in the field of machine translation techniques. This is a technology that translates English words into Japanese Katakana notation, and can also be used for speech recognition, which is being applied here. For example, Tsukada and Masuda, "Examination of Japanese reading addition method for English words" (Information Processing Society of Japan, 53rd National Convention, 2-359, late 1996), describes conversion rule generation and its speech synthesis. Is described and can be used for the method (2). See also Knight and Graehl, “Ma
chine Transliteration "(Computational Linguisti
cs, Vol. 24, NO. 4, p. 599, 1998) describes a technique for converting English phonetic symbols into Japanese phonetic symbols by a statistical method in machine translation, (3). Available in any way.

【００２１】さらに、（３）の手法には、本出願人の先
願にかかる特願平１１−３２４８９２号で提案した英単
語の表記からカタカナ表記を生成する方法を利用するこ
ともできる。先願の方法は次のような内容のものであ
る。まず、基本単位となる英文字とカタカナとの対応を
設定しておく。「ｓ／ス」「ｔａ／テー」「ｔｉｏ／シ
ョ」「ｎ／ン］などのように、子音と母音の組み合わせ
やアルファベット１文字に対する仮名を設定する。ま
た、英単語とカタカナ表記を単語単位で対応付けたリス
トを用意しておく。このリストを用いて、基本単位をも
とに、対応付けを動的計画法により行う。対応付けられ
たリストから、基本単位の連鎖統計（ｎｇｒａｍ）を取
っておく。この統計量を用いて、英単語表記からカタカ
ナ文字列が確率スコアとともに生成できる。Further, as the method (3), a method of generating katakana notation from the notation of English words proposed in Japanese Patent Application No. 11-324892, which is a prior application of the present applicant, can be used. The method of the earlier application has the following contents. First, set the correspondence between English characters, which are the basic units, and katakana. Set a combination of consonants and vowels or a kana for one letter of the alphabet, such as “s / s”, “ta / ta”, “tio / show”, “n / n”, etc. Also, use English words and katakana notation in word units. A dynamic programming method is used to perform the association based on the basic units using this list. From the associated lists, the chain statistics (ngram) of the basic units can be obtained. Note that this statistic can be used to generate Katakana character strings along with probability scores from English word notation.

【００２２】（４） 音節あるいは音素モデルの対応付
けによる変換を利用する。上記の方法では、日本語の音
節構造（子音＋母音の構造など）が必ず含まれる。英語
では、日本語にない構造も取るため（子音連鎖、子音で
終わる、など）、上記の方法だけでは不十分である。そ
こで、発声変換モデル２６に、あらかじめ音節あるいは
音素のレベルで、英語と日本語で近い、あるいは、置き
換わりやすいものを対応づけておき、単語リスト生成部
２５において、この対応表にしたがって、言語２用単語
リスト２０の単語等の発音を置き換えることで言語１→
２用単語リスト２７を得る。(4) Utilizing conversion by associating syllables or phoneme models. The above method always includes the Japanese syllable structure (consonant + vowel structure, etc.). In English, the above method is not enough because it takes a structure not found in Japanese (consonant chain, ends with consonant, etc.). Therefore, the vowel conversion model 26 is associated in advance with a syllable or phoneme level that is close to or easy to replace in English and Japanese, and the word list generation unit 25 uses the correspondence table for the language 2 according to this correspondence table. Language 1 by replacing the pronunciation of words etc. in word list 20
The second word list 27 is obtained.

【数１】 この２つ目の例で、「すとり」と仮名で書くと、子音＋
母音の構造が存在するため、子音［ｓ］、［ｔ］、
［ｒ］の間に母音［ｕ］、［ｏ］、［ｉ］が挿入され
る。この音素列がそのまま認識候補のパターンになるた
め、発声が英語的で、母音を含まない場合には、うまく
マッチングが取れないことになる。[Equation 1] In this second example, if you write "sutori" in the kana, it will be a consonant +
Due to the existence of the vowel structure, consonants [s], [t],
Vowels [u], [o], and [i] are inserted between [r]. Since this phoneme string becomes the pattern of the recognition candidate as it is, if the utterance is English-like and does not include a vowel, it is not possible to successfully match.

【００２３】音声認識装置を構築する場合、上記（１）
〜（４）の方法の一つあるいは二つ以上を組み合わせて
利用することができる。When constructing the voice recognition device, the above (1)
One or more of the methods (4) to (4) can be used in combination.

【００２４】次に、図１の実施例における認識処理の全
体的流れを図３により簡単に説明する。入力端子１１か
ら入力された音声信号をＡ／Ｄ変換部１２にてデジタル
信号に変換した後（ステップ１０１）、音声特徴パラメ
ータ分析部１３において、ある長さの分析フレーム単位
で音声分析を行い、音声特徴パラメータを得る（ステッ
プ１０２）。実施例では、このフレーム単位で、以下の
処理を繰り返し行う。Next, the overall flow of the recognition processing in the embodiment of FIG. 1 will be briefly described with reference to FIG. After the voice signal input from the input terminal 11 is converted into a digital signal by the A / D converter 12 (step 101), the voice feature parameter analyzer 13 performs voice analysis in units of a certain length of analysis frame, Obtain voice feature parameters (step 102). In the embodiment, the following processing is repeated for each frame.

【００２５】単語リストに応じた音声認識候補が存在す
る場合（ステップ１０３でＹＥＳ）、言語１用照合部１
４、言語２用照合部１９、言語１母国語話者に対する言
語２用照合部２２、言語１から言語２への発音変換によ
る照合部２４のそれぞれへ、音声特徴パラメータを送る
（ステップ１０４〜１０７）。一方、音声終端を待た
ず、候補がない場合は（ステップ１０３でＮＯ）、結果
を得ないまま、認識処理を終える。各照合部１４、１
９、２２、２４では、それぞれ、対応の単語リストと音
声モデルとを用いて音声認識パターン（照合パターン）
を作成して入力音声特徴パラメータとの照合を行い（ス
テップ１０８〜１１１）、その照合スコアを元に、各認
識候補のスコアを計算する（ステップ１１２〜１１
５）。即ち、照合部１４では、言語１単語リスト１５と
言語１用音声モデル１６を用いて、言語１の母国語話者
に対する言語１用の照合パターンを得、入力音声特徴パ
ラメータとの照合計算を行う。照合部１９では、言語２
用単語リスト２０と言語２用音声モデル２１を用いて、
言語２の母国語話者に対する言語２用の照合パターンを
得、入力音声特徴パラメータとの照合計算を行う。照合
部２２では、言語２用単語リスト２０と言語２用（言語
１母国語話者）音声モデル２３を用いて、言語１の母国
語話者に対する言語２用の照合パターンを得、入力音声
パラメータとの照合を行う。照合部２４では、言語１→
２用単語リスト２７と言語１用音声モデル１６を用い
て、言語２用として言語１の母国語話者の照合パターン
を得、入力音声パラメータとの照合を行う。照合スコア
比較候補選択部１７では、各照合部１４、１９，２２、
２４からの照合スコアを用いて、照合スコア比較および
候補選択を行う（ステップ１１６）。If there is a voice recognition candidate corresponding to the word list (YES in step 103), the language 1 collation unit 1
4, the speech feature parameter is sent to each of the language 2 collation unit 19, the language 2 collation unit 22 for a language 1 native speaker, and the collation unit 24 by pronunciation conversion from the language 1 to the language 2 (steps 104 to 107). ). On the other hand, if there is no candidate (NO at step 103) without waiting for the end of voice, the recognition process ends without obtaining a result. Each matching unit 14, 1
In 9, 22, and 24, a speech recognition pattern (matching pattern) using the corresponding word list and speech model, respectively.
Is created and collated with the input voice feature parameter (steps 108 to 111), and the score of each recognition candidate is calculated based on the collation score (steps 112 to 11).
5). That is, the matching unit 14 uses the language 1 word list 15 and the language 1 speech model 16 to obtain a matching pattern for the language 1 for the native language speaker of the language 1 and performs matching calculation with the input speech feature parameter. . In the matching unit 19, the language 2
Using the word list 20 for speech and the speech model 21 for language 2,
The matching pattern for the language 2 for the native language speaker of the language 2 is obtained, and the matching calculation with the input voice feature parameter is performed. The matching unit 22 obtains a matching pattern for the language 2 for the native speaker of the language 1 using the word list 20 for the language 2 and the speech model 23 for the language 2 (language 1 native speaker), and the input speech parameter Match with. In the matching unit 24, the language 1 →
Using the second word list 27 and the language 1 speech model 16, the matching pattern of the native speaker of the language 1 for the language 2
And input voice parameters are matched. In the matching score comparison candidate selection unit 17, each matching unit 14, 19, 22,
Matching scores from 24 are used for matching score comparison and candidate selection (step 116).

【００２６】以下、現在のフレームが音声終端でなけれ
ば（ステップ１１７でＮＯ）、次のフレームに対し、ス
テップ１０２からの処理を繰り返す。音声終端であれば
（ステップ１１７でＹＥＳ）、照合処理を終了し、残っ
ている認識候補を結果として認識結果出力部１８から出
力する。Thereafter, if the current frame is not the voice end (NO in step 117), the process from step 102 is repeated for the next frame. If it is the end of the voice (YES in step 117), the matching process is ended, and the remaining recognition candidates are output from the recognition result output unit 18 as a result.

【００２７】このように、本実施例によれば母国語話者
の音声モデルによる候補、母国語でない話者の音声モデ
ルによる候補、母国語の音声モデルを用いて、他言語単
語の発音を母国語での発音で置き換えた候補、等を用意
することにより、複数言語の音声認識、さらに、母国
語、母国語でない話者の発声に対して、言語を選択する
ことなく、同時に音声認識が可能になる。As described above, according to the present embodiment, the pronunciation of another language is pronounced by using the candidate based on the voice model of the native speaker, the candidate based on the voice model of the speaker who is not the native language, and the voice model of the native language. By preparing candidates that have been replaced by pronunciations in the national language, it is possible to simultaneously recognize voices in multiple languages, and even for native speakers and non-native speakers, without selecting a language. become.

【００２８】なお、図１では、２つの言語、言語１の母
国語話者についてのみの実施例を示したが、同様な手法
により、言語１から２への対応もでき、また、３つ以上
の言語への応用も可能である。Although FIG. 1 shows an embodiment only for native speakers of two languages, language 1, language 1 to 2 can be dealt with by a similar method, and three or more languages can be used. Is also applicable to the language.

【００２９】[0029]

【発明の効果】以上述べたように、本発明によれば、複
数の言語に対する音声モデル、単語リストだけでなく、
母国語でない話者の音声モデル、他言語単語に対する母
国語への発音変換等を用いることで、母国語以外の話者
による発音の個人差によらない、汎用性のある高い精度
の音声認識が可能になる。また、複数言語において、母
国語話者、および母国語でない話者の発声を、言語を選
択することなく、同時に音声認識を可能にすることがで
きる。As described above, according to the present invention, not only the voice models and word lists for a plurality of languages but also
By using a speech model of a speaker who is not a native language, pronunciation conversion of other language words into a native language, etc., versatile and highly accurate speech recognition that does not depend on individual differences in pronunciation by speakers other than the native language It will be possible. In addition, in a plurality of languages, it is possible to simultaneously recognize the utterances of the native language speaker and the non-native language speaker without selecting a language.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の音声認識方法を適用した音声認識装置
の一実施例を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a voice recognition device to which a voice recognition method of the present invention is applied.

【図２】図１の単語リストの具体例を示す図である。FIG. 2 is a diagram showing a specific example of the word list of FIG.

【図３】図１の実施例における音声認識処理手順の一例
を示す流れ図である。3 is a flowchart showing an example of a voice recognition processing procedure in the embodiment of FIG.

【図４】従来の音声認識装置の機能構成を示すブロック
図である。FIG. 4 is a block diagram showing a functional configuration of a conventional voice recognition device.

【符号の説明】[Explanation of symbols]

１１ 音声信号入力端子 １２ Ａ／Ｄ変換部 １３ 音声特徴パラメータ分析部 １４ 言語１用照合部 １５ 言語１用単語リスト １６ 言語１用音声モデル １７ 照合スコア比較候補選択部 １８ 認識結果出力部 １９ 言語２用照合部 ２０ 言語２用単語リスト ２１ 言語２用音声モデル ２２ 言語２用（言語１母国語話者）照合部 ２３ 言語２用音声モデル（言語１母国語話者） ２４ 言語１→２用照合部 ２５ 単語リスト生成部 ２６ 言語１→２に対する発音変換モデル ２７ 言語１→２用単語リスト 11 Audio signal input terminal 12 A / D converter 13 Speech feature parameter analysis unit 14 Language 1 collation unit Word list for 15 languages 1 16 language 1 voice models 17 Collation score comparison candidate selection unit 18 Recognition result output section 19 Language 2 collation unit Word list for 20 languages 2 21 Language 2 voice model 22 Language 2 (Language 1 Native speaker) Collation unit 23 Language 2 Speech Model (Language 1 Native speaker) 24 Language 1 → 2 collation unit 25 Word list generator 26 Pronunciation conversion model for 1 to 2 languages Word list for 27 languages 1 → 2

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−254350（ＪＰ，Ａ) 特開 平10−116093（ＪＰ，Ａ) 特開 平10−133686（ＪＰ，Ａ) 特開 平11−250063（ＪＰ，Ａ) 特開 平11−231888（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/10 G10L 15/06 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-10-254350 (JP, A) JP-A-10-116093 (JP, A) JP-A-10-133686 (JP, A) JP-A-11- 250063 (JP, A) JP 11-231888 (JP, A) (58) Fields investigated (Int.Cl. ⁷ , DB name) G10L 15/10 G10L 15/06

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 入力音声信号から音声特徴パラメータを
抽出し、あらかじめ用意された言語的単位の各カテゴリ
の特徴を表現した音声モデルによる音声認識候補パター
ン（以下、照合パターン）と前記入力音声信号から抽出
した音声特徴パラメータとの照合スコアを計算し、高い
スコアが示す照合パターンが表現する認識対象を出力す
る音声認識方法において、認識対象言語の母国語話者による音声モデルを用いた照
合パターンにより、入力音声信号から抽出した音声特徴
パラメータとの照合スコアを計算し 、認識対象とする言語と他言語の表記、あるいは発音記号
から、部分的な記号連鎖を元に、認識対象とする言語と
他言語との発音の対応をあらかじめ取っておき、他言語
の母国語話者による他言語音声モデルを用いて認識対象
を識別できる照合パターンを生成し、該照合パターンに
より、入力音声信号から抽出した音声特徴パラメータと
の照合スコアを計算し、 高いスコアが示す照合パターンが表現する認識対象を出
力することを特徴とする音声認識方法。1. A speech recognition candidate pattern (hereinafter referred to as a collation pattern) based on a speech model in which a speech feature parameter is extracted from an input speech signal and the characteristics of each category of a linguistic unit prepared in advance are extracted from the input speech signal. In the speech recognition method that calculates the matching score with the extracted speech feature parameters and outputs the recognition target represented by the matching pattern indicated by the high score, the verification is performed using the speech model of the native language speaker of the recognition target language.
Voice features extracted from the input voice signal by the matching pattern
The matching score with the parameter is calculated , and the language to be recognized and the notation in other languages or phonetic symbols
Based on the partial symbol chain,
Pre-correspondence of pronunciation with other languages
Targets of Multilingual Speech Models by Native Speakers
Generate a matching pattern that can identify
From the voice feature parameters extracted from the input voice signal
A speech recognition method characterized by calculating a matching score of, and outputting a recognition target represented by a matching pattern indicated by a high score. 【請求項２】 入力音声信号から音声特徴パラメータを
抽出し、あらかじめ用意された言語的単位の各カテゴリ
の特徴を表現した音声モデルによる照合パターンと前記
入力音声から抽出した音声特徴パラメータとの照合スコ
アを計算し、高いスコアを示す照合パターンが表現する
認識対象を出力する音声認識方法において、認識対象言語の母国語話者による音声モデルを用いた照
合パターンにより、入力音声信号から抽出した音声特徴
パラメータとの照合スコアを計算し 、他言語の母国語話者による認識対象言語の音声モデルを
用いた照合パターンにより、入力音声信号から抽出した
音声特徴パラメータとの照合スコアを計算し、 認識対象とする言語と他言語の表記、あるいは発音記号
から、部分的な記号連鎖を元に、認識対象とする言語と
他言語との発音の対応をあらかじめ取っておき、他言語
の母国語話者による他言語音声モデルを用いて認識対象
を識別できる照合パターンを生成し、該照合パターンに
より、入力音声信号から抽出した音声特徴パラメータと
の照合スコアを計算し、 高いスコアが示す照合パターンが表現する認識対象を出
力することを特徴とする音声認識方法。2. A matching score between a matching pattern obtained by extracting a speech characteristic parameter from an input speech signal and expressing a characteristic of each category of a linguistic unit prepared in advance and a speech characteristic parameter extracted from the input speech. In the speech recognition method that outputs the recognition target represented by the matching pattern with a high score, and uses the speech model of the native language speaker of the recognition target language.
Voice features extracted from the input voice signal by the matching pattern
The matching score with the parameter is calculated, and the speech model of the language to be recognized by the native speaker of another language is calculated.
Extracted from the input voice signal according to the matching pattern used
The matching score with the speech feature parameter is calculated, and the recognition target language and other language notation or phonetic symbols
Based on the partial symbol chain,
Pre-correspondence of pronunciation with other languages
Targets of Multilingual Speech Models by Native Speakers
Generate a matching pattern that can identify
From the voice feature parameters extracted from the input voice signal
A speech recognition method characterized by calculating a matching score of, and outputting a recognition target represented by a matching pattern indicated by a high score. 【請求項３】 入力音声信号から音声特徴パラメータを
抽出し、あらかじめ用意された言語的単位の各カテゴリ
の特徴を表現した音声モデルによる照合パターンと前記
入力音声信号から抽出した音声特徴パラメータとの照合
スコアを計算し、高いスコアが示す照合パターンが表現
する認識対象を出力する音声認識装置において、複数言語に対応したそれぞれの母国語話者による音声モ
デルと、 認識対象言語の母国語話者による音声モデルを用いた照
合パターンと入力音声信号から抽出した音声特徴パラメ
ータとの照合スコアを計算する第１照合手段と、 認識対象とする言語と他言語の表記、あるいは発音記号
から、部分的な記号連鎖を元に、認識対象とする言語と
他言語との発音の対応をあらかじめ取っておいたリスト
により、他言語の母国語話者による他言語音声モデルを
用いて認識対象を識別できる照合パターンを生成し、該
照合パターンと、入力音声信号から抽出した音声特徴パ
ラメータとの照合スコアを計算する第２照合手段と、 前記第１および第２照合手段による照合スコアを比較
し、高いスコアを示す照合パターンが表現する認識対象
を出力する手段と、 を有することを特徴とする音声認識装置。 3. Matching between a voice feature parameter extracted from the input voice signal and a voice pattern parameter extracted from the input voice signal by extracting a voice feature parameter from the input voice signal and using a voice model expressing the features of each category of a linguistic unit prepared in advance. In a voice recognition device that calculates a score and outputs a recognition target represented by a matching pattern indicated by a high score, a voice recognition device for each native language speaker corresponding to multiple languages is used.
Dell and the native language speaker of the target language for verification using a speech model.
Voice feature parameters extracted from the matching pattern and the input voice signal
First matching means for calculating a matching score with the data , notation of the language to be recognized and another language, or phonetic symbols
Based on the partial symbol chain,
List of correspondences in pronunciation with other languages
Allows a multilingual speech model by a native speaker of another language
Generate a matching pattern that can identify the recognition target using
The matching pattern and the voice feature pattern extracted from the input voice signal.
The second matching means for calculating the matching score with the parameter and the matching scores by the first and second matching means are compared.
And the recognition target represented by the matching pattern with a high score
And a means for outputting the voice recognition device. 【請求項４】 入力音声信号から音声特徴パラメータを
抽出し、あらかじめ用意された言語的単位の各カテゴリ
の特徴を表現した音声モデルによる照合パターンと前記
入力音声信号から抽出した音声特徴パラメータとの照合
スコアを計算し、高いスコアが示す照合パターンが表現
する認識対象を出力する音声認識装置において、 複数言語に対し、母国語話者による音声モデルと、母国
語話者が他言語を発声したときの音声モデルと、 認識対象言語の母国語話者による音声モデルを用いた照
合パターンと入力音声信号から抽出した音声特徴パラメ
ータとの照合スコアを計算する第１照合手段と、 他言語の母国語話者による認識対象言語の音声モデルを
用いた照合パターンと入力音声信号から抽出した音声特
徴パラメータとの照合スコアを計算する第２照合手段
と、 認識対象とする言語と他言語の表記、あるいは発音記号
から、部分的な記号連鎖を元に、認識対象とする言語と
他言語との発音の対応をあらかじめ取っておいたリスト
により、他言語の母国語話者による他言語音声モデルを
用いて認識対象を識別できる照合パターンを生成し、該
照合パターンと、入力音声信号から抽出した音声特徴パ
ラメータとの照合スコアを計算する第３照合手段と、 前記第１、第２および第３照合手段による照合スコアを
比較し、高いスコアを示す照合パターンが表現する認識
対象を出力する手段と、 を有することを特徴とする音声認識装置。 4. A voice feature parameter is obtained from an input voice signal.
Each category of extracted and prepared linguistic units
The matching pattern by the voice model expressing the characteristics of
Matching with speech feature parameters extracted from input speech signal
Calculates the score and expresses the matching pattern indicated by the high score.
In a speech recognition device that outputs a target to be recognized , a speech model by a native speaker and
The verification is performed using the speech model when the speaker speaks another language and the speech model of the native language speaker of the recognition target language.
Voice feature parameters extracted from the matching pattern and the input voice signal
A first matching means for calculating a matching score with the data, and a speech model of a target language recognized by a native speaker of another language.
The matching pattern used and the speech feature extracted from the input speech signal.
Second matching means for calculating a matching score with the signature parameter
And the language to be recognized and other language notation or phonetic symbols
Based on the partial symbol chain,
List of correspondences in pronunciation with other languages
Allows a multilingual speech model by a native speaker of another language
Generate a matching pattern that can identify the recognition target using
The matching pattern and the voice feature pattern extracted from the input voice signal.
The third matching means for calculating the matching score with the parameter and the matching scores by the first, second and third matching means.
Recognition expressed by matching patterns that compare and show high scores
And a means for outputting a target .