JPS60158495A - Voice recognition equipment - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。(57) [Summary] This bulletin contains application data before electronic filing, so abstract data is not recorded.

Description

【発明の詳細な説明】 し技術分野］ 本発明はｉ声を認識して識別する音声認識装置に関し、
特に装置の認識状態を示す色表示により、発声者の発声
状態を知ることができるようにした音声認識装置に関す
る。[Detailed Description of the Invention] Technical Field] The present invention relates to a speech recognition device that recognizes and identifies i-voice,
In particular, the present invention relates to a speech recognition device in which the speaking state of a speaker can be known by color display indicating the recognition state of the device.

［従来技術］ 従来この種の装置では、予め発声者の標準音声を入力し
、この入力信号に所定の変換を施していくつかの特徴ベ
クトルを抽出し、得られた特徴ベクトルの組合せから音
声を認識してその認識が正しければ抽出ベクトルをその
認識概念とともに登録ファイルに特徴標準パターンとし
て登録しておく、また必要ならキーボード等からの文字
、図形または記号入力を前記得られた特徴ベクトルの組
合せに対応させて登録ファイルに特徴標準パターンとし
て登録しておく。[Prior Art] Conventionally, in this type of device, the standard voice of the speaker is input in advance, a predetermined conversion is performed on this input signal to extract several feature vectors, and the voice is extracted from the combination of the obtained feature vectors. If the recognition is correct, the extracted vector is registered as a feature standard pattern in the registration file along with the recognition concept.If necessary, input characters, figures, or symbols from the keyboard etc. to the combination of the obtained feature vectors. The corresponding pattern is registered as a feature standard pattern in the registration file.

次に、装置が通常の音声認識をするときは、前記同様の
変換で特徴ベクトルを抽出し、これを前記登録ファイル
の特徴標準パターンと比較して類似度を計算し、最も入
力音声に近い特徴ベクトルを前記特徴標準パターンの中
から選択して当該音声の認識をするものであった。従っ
て発声者は、例えば認識結果を符号化した表示文字が正
しい間は、自己の発声の一様性や再現性を正しいものと
信じているが、表示文字が発声と違ったときに初めて自
己の発声が登録したときの標準パターンからずれたこと
を知る。しかし人の音声は様々な人的コンディションに
も強く依存するから、例えば　−装置が認識を誤ったと
きには、もはやその音声は登録時のものから徐々にずれ
て認識不能があるいは誤認識されるまでに変わったもの
である場合が多い。しかもそれまでには時間がたってお
り、発声者が登録した際の音声の感じを思い出すことは
もはや困難であり、止むなく音声を再登録するようなこ
とも多かった。Next, when the device performs normal speech recognition, it extracts a feature vector using the same conversion as described above, compares this with the feature standard pattern in the registered file, calculates the degree of similarity, and calculates the feature closest to the input speech. In this method, a vector is selected from the standard feature patterns to recognize the speech. Therefore, for example, as long as the displayed characters that encode the recognition results are correct, the speaker believes that the uniformity and reproducibility of his or her own utterances are correct, but it is only when the displayed characters differ from the utterances that the speaker believes that the uniformity and reproducibility of his or her own utterances are correct. Know that the vocalization has deviated from the standard pattern when it was registered. However, since human speech is highly dependent on various human conditions, for example: - When a device makes a mistake in recognition, the speech gradually deviates from the one at the time of registration and may become unrecognizable or misrecognized. It is often something unusual. Moreover, by then, time had passed, and it was no longer possible for the speaker to remember the feel of the voice when it was registered, and there were many cases where the voice had to be re-registered.

し目的］ 本発明は上述した従来技術の欠点に鑑みて成されたもの
であってその目的とする所は、装置の音声認識の状態を
色分けして表示することにより、発声者には常に再現性
の良い発声を維持させ、装置には常に良好な音声入力を
可能とするような音声認識装置を提供することにある。[Purpose] The present invention has been made in view of the above-mentioned drawbacks of the prior art, and its purpose is to display the voice recognition status of the device in different colors, so that the speaker can always see what is being reproduced. To provide a voice recognition device which maintains good utterance and always enables good voice input to the device.

［実施例］ 以下、図面に従って本発明に係る一実施例の音声認識装
置を詳細に説明する。第１図は一実施例の音声認識装置
の主要な機能構成を示すブロック図である。図において
、ｌは音声を電気信号に変換するマイクロホン、２は音
声の電気信号を増１幅する増幅部、３は増幅された音声
信号にス々クトル変換処理を施して様々な特徴ベクトル
を抽出する特徴ベクトル抽出部、４は、標準音声の登録
時に、特徴ベクトル抽出部３で抽出された特徴ベクトル
を特徴標準パターンとして登録する標準パターン登録部
、５は、通常の音声の認識時に、特徴ベクトル抽出部３
で抽出された特徴ベクトルと標準パターン登録部４から
読み出された特徴標準パターンベクトルを比較し、両者
の類似度を計算して最も高い類似度を得たものについて
その該当単語又は該当音素を識別して符号化する音声認
識部、６は音声認識部５で計算された類似度を複数段階
のレベルにクラス分けし、計算された類似度のクラス分
けに従ってこれに対応させた色情報を選択出力する表示
色選択部、７は認識部５で識別、符号化された文字、図
形または記号を表示する文字表示部７１と表示色選択部
６で選択された色情報を可視化して表示する色表示部７
２とから成る表示部である。[Embodiment] Hereinafter, a speech recognition device according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the main functional configuration of a speech recognition device according to an embodiment. In the figure, l is a microphone that converts audio into an electrical signal, 2 is an amplification unit that amplifies the audio electrical signal, and 3 is a spectral conversion process on the amplified audio signal to extract various feature vectors. 4 is a standard pattern registration unit that registers the feature vector extracted by the feature vector extraction unit 3 as a feature standard pattern when standard speech is registered; Extraction part 3
Compare the feature vector extracted with the feature standard pattern vector read out from the standard pattern registration unit 4, calculate the degree of similarity between the two, and identify the word or phoneme with the highest degree of similarity. A speech recognition unit 6 classifies the similarity calculated by the speech recognition unit 5 into multiple levels, and selects and outputs color information corresponding to the classification of the calculated similarity. 7 is a character display section 71 that displays the characters, figures, or symbols identified and encoded by the recognition section 5, and a color display that visualizes and displays the color information selected by the display color selection section 6. Part 7
This is a display section consisting of 2.

第２図は第１図に示す構成の動作を説明するフローチャ
ートである。ステップＳ１ではマイクロホン１から音声
人力をする。ステップＳ２では所定のスペクトル変換に
より入力音声の特徴ベクトルを抽出する。ステップＳ３
では登録モードか否かの判別をする。装置は標準音声の
登録モードと通常の音声の認識モードを有し、スイッチ
手段（図示せず）により予めいずれかのモードに選択さ
れている。登録モードであればステップＳ４に進み抽出
された特徴ベクトルの組を特徴標準パターンとして登録
する。フローはステップ３．１に戻り、次の音声入力を
待つ。一般に音声人力はその特徴ベクトルを分析するだ
けでもある程度の認識が可能である。しかし、人の音声
はそれぞれに特徴があるので、実施例の装置は音声認識
の高信頼性を確保するため特徴標準パターンの登録方式
を採用している。さて、ステップＳ３の判別で登録モー
ドでないときは通常の音声の認識モードである。フロー
はステップＳ５に進み音素や単語の符号を格納す、る符
号レジスタＣＲと、類似度の最大価を格納するレジスタ
ＭＲの内容をＯに初期化する。るテップＳ６では既に登
録されている特徴標準パターンがあるか否かの判別をす
る。登録パターンがあればステップＳ７に進む際にその
頭から順々に特徴標準パターンを読み出す。ステップＳ
７ではステップＳ２で抽出された特徴ベクトルとステッ
プＳ６で読み出された特徴標準パターンを比較して類似
度Ｘｍを計算する。ステップＳ８では１つ前の比較で読
み出された特徴標準パターンとの間で計算したときの類
似度をＸｍ−１とするときに、現時点の類似度Ｘｍとの
大小を比較判別する。ＸｍがＸ　ｍ　−１，より大きい
ときはステップＳ９に進んでレジスタＣＲに当該標準パ
ター゛ンに関連させて登録しておいた音素や単語の符号
を転送し、レジスタＭＲには現時点の類似度Ｘｍを転送
する。またステップＳ８の判別がＮＯてあれば何もせず
にフローはステップＳ６に戻る。つまり以上の処理でレ
ジスタＣＲには現時点までに最もよく類似していると判
断される音素や単語等の符号が、またレジスタＭＲには
そのときの類似度の仙Ｘｍが夫々保持されることになる
。このような処理を繰り返して、やがてステップＳ６の
判別で、登録されている標準パターンの終りにくると該
判別はＮｏになりステップＳ１０に進む。ステップＳＩ
ＯではレジスタＣＲの内容を文字表示部７．Ｉに送って
該当文字等の表示をする。ステップＳ１１ではレジスタ
ＭＲの内容を表示色選択部６に送る。表示色選択部６で
は、例えば類似度Ｘｍの値１００を最大として、Ｘｍが
Ｏ〜５９のときは赤色、Ｘｍが６０〜７９のときは黄色
、Ｘｍが８０〜１００のときは青色のようにレベル分け
して表示色の対応を決めておく。この選択された色情報
は色表示部７２に送られて対応する色の表示を行う。フ
ローはステップＳ１に戻って次の音声の入力を待つ。こ
のようにすれば、発声者は自己の発声の状態をいつでも
モニタできる。類似度ｘｍが８０以上のときは青色か表
示されるから、発声者は安心して音声入力を続ける。発
声者は色表示の方式に慣れれば、表示の文字自体を見て
いちいち認識の正誤を確認するよりもずっと楽に装置を
扱えるようになるであろう。類似度Ｘｍが６０〜７９の
ときは認識可能であるが要注意でもあるンつまり他の登
録パターンとの間でもこの程度の類似度が計算され得る
から、装置は誤認識する可能性が高い。発声者が黄色い
表示を見たときは、併せて認識結果の表示文字等にも注
意を払う必要がある。そしてどの音素や単語の類似度が
低かったのかを直ちに知ることができるであろう。FIG. 2 is a flowchart illustrating the operation of the configuration shown in FIG. In step S1, voice input is performed from the microphone 1. In step S2, a feature vector of the input voice is extracted by a predetermined spectrum transformation. Step S3
Then, it is determined whether the mode is registration mode or not. The device has a standard voice registration mode and a normal voice recognition mode, and one of the modes is selected in advance by a switch means (not shown). If it is the registration mode, the process advances to step S4 and the extracted feature vector set is registered as a feature standard pattern. The flow returns to step 3.1 and waits for the next audio input. In general, human voice recognition is possible to some extent just by analyzing its feature vectors. However, since each human voice has its own characteristics, the apparatus of the embodiment employs a characteristic standard pattern registration method to ensure high reliability of voice recognition. Now, if it is determined in step S3 that the mode is not the registration mode, the mode is the normal speech recognition mode. The flow advances to step S5, where the contents of the code register CR, which stores the codes of phonemes and words, and the register MR, which stores the maximum value of similarity, are initialized to O. In step S6, it is determined whether or not there is a feature standard pattern that has already been registered. If there is a registered pattern, the feature standard patterns are read out in order from the beginning when proceeding to step S7. Step S
In step 7, the feature vector extracted in step S2 and the feature standard pattern read out in step S6 are compared to calculate the degree of similarity Xm. In step S8, when the similarity calculated with the feature standard pattern read in the previous comparison is assumed to be Xm-1, a comparison is made to determine whether it is larger or smaller than the current similarity Xm. When Xm is larger than Xm-1, the process proceeds to step S9, where the codes of phonemes and words registered in relation to the standard pattern are transferred to the register CR, and the current degree of similarity is stored in the register MR. Transfer Xm. If the determination in step S8 is NO, the flow returns to step S6 without doing anything. In other words, with the above processing, the code of the phoneme, word, etc. that is judged to be most similar up to the present time is stored in the register CR, and the code of the similarity Xm at that time is stored in the register MR. Become. Such processing is repeated, and when the end of the registered standard patterns is reached in the determination in step S6, the determination becomes No, and the process proceeds to step S10. Step SI
At O, the contents of register CR are displayed in character display section 7. Send it to I and display the corresponding characters. In step S11, the contents of the register MR are sent to the display color selection section 6. In the display color selection section 6, for example, with the similarity Xm value of 100 as the maximum, red when Xm is 0 to 59, yellow when Xm is 60 to 79, and blue when Xm is 80 to 100. Divide into levels and decide on display color correspondence. This selected color information is sent to the color display section 72 to display the corresponding color. The flow returns to step S1 and waits for the next voice input. In this way, the speaker can monitor the state of his or her own vocalization at any time. When the similarity xm is 80 or more, the color is displayed in blue, so the speaker can continue inputting voice with peace of mind. Once the speaker gets used to the color display method, he or she will be able to use the device much more easily than if he or she had to look at the displayed characters themselves to confirm the correctness of the recognition. When the degree of similarity Xm is between 60 and 79, it is possible to recognize it, but caution is required. In other words, since this degree of similarity can be calculated even with other registered patterns, there is a high possibility that the device will misrecognize it. When the speaker sees a yellow display, he or she must also pay attention to the characters displayed as a recognition result. And it will be possible to immediately know which phonemes and words have low similarity.

発声者はそのような音素や単語の発声について登録した
ときの発声からあまりかけはなれないうちに発声のずれ
を知り、直ちに発声を修正することが可能である。It is possible for the speaker to notice the deviation in pronunciation before the pronunciation of such a phoneme or word is far removed from the registered pronunciation, and to immediately correct the pronunciation.

第３図は他の一実施例の音声認識装置の主要な機能構成
を示すブロック図である。図において第１図と同等のも
のには同一番号を付して説明を省略する。この実施例で
特徴をなす構成は認識の確実度計算部８である。確実度
計算部８は過去に何度か識別された同一種の音素や単語
の識別単位ｉについて音声認識部５かも出力される類似
度の時系列テークＸ’ｍ　、　ＸＡ′ｒＱ−１，Ｘ”ｍ
　−２、−＝　Ｘ’ｍ　−ｎに重みつき平均処理を行う
。識別単位ｉとは例えば“ア゛の語に対応する音声であ
る。あるいは同一種の識別単位に限るのてはなく、単純
に時系列にそって過去に現れた順のどんな音素や単語で
も認識に用いられた類似度を混ぜこせにした数個分の確
実度として計算してもよい。今、重み係数をス・ ａとすると現時点における音声認識の確実度Ｙはａ４゜
＊　ｘ’４＋　ａｚ−、・Ｘ”ｍ−１＋　＊　ｅ　φｈ
　ａ　−ｎφＸ’ｍ　−ｎで与えられる。確実度計算部
８はこうしてめた現時点の確実度Ｙ”ｍ　を表示色選択
部６に出力する。表示色選択部６では例えは確実度へ の１００を最大としてＹｍがＯ〜５９のときは赤色、Ｙ
”ｍが６０〜７９のときは黄色、ＹＬｍが８０〜１００
のときは青色のようにして表示色の対応を決めておく。FIG. 3 is a block diagram showing the main functional configuration of a speech recognition device according to another embodiment. Components in the figure that are equivalent to those in FIG. 1 are given the same numbers and their explanations will be omitted. The feature of this embodiment is the recognition certainty calculation section 8. The certainty calculation unit 8 calculates a time-series take of the similarity X'm, XA'rQ-1, "m
-2, -=X'm Perform weighted average processing on -n. The identification unit i is, for example, the sound corresponding to the word "A".Also, it is not limited to identification units of the same type, but can simply recognize any phoneme or word in the order in which they appeared in the past in chronological order. It may also be calculated as several certainty degrees by mixing up the similarities used in .Now, if the weighting coefficient is s・a, the certainty Y of speech recognition at the present moment is a4゜* −,・X”m−1+ * e φh
It is given by a −nφX'm −n. The certainty calculation section 8 outputs the current certainty Y"m obtained in this way to the display color selection section 6. In the display color selection section 6, for example, if the maximum certainty is 100 and Ym is O to 59, Red, Y
"When m is 60 to 79, it is yellow, and YLm is 80 to 100.
In this case, set the display color to blue.

この色選択情報はカラーＣＲＴ表示部９に送られて対応
する色の表示を行う。表示は例えば音声認識部５で符号
化された文字等の表示に直接色を現すものである。従っ
て発声者は入力した音声が音素や単語に変換されて表示
される際に、その文字の色から認識の確実度を知ること
ができる。通常は青色の文字が集って入力音声に対応す
る音素や単語が組立てられるであろう。その中にもし確
実度の低い音素や単語があるなら、その音素や単語だけ
黄色く表示されるから発声者はその音素や単語に対する
自己の発声が要注意であることを知り、直ちに発声の状
態を修正できる。また認識不能になることの多いものは
赤色で表示されることになる。例えは認識できたときは
その音素や単語を赤色で表示し、認識できなかったとき
は認識不能を示す所定の記号を赤色で表示する。このよ
うにして発声者は音声認識の状態を統計的にとらえるこ
とが可能になる。例えばａの重みづけを均一の値にすれ
ば確実度Ｙ’ｍは過去のｎ＋１回分の平均類似度という
ことになり単純な認識確実度の傾向を把握できる。また
ａを最近の認識結果に近づくにつれ重みをおくように設
定すれば単純平均に比べて認識確実度の応答感度が良く
なる。This color selection information is sent to the color CRT display section 9 to display the corresponding color. The display is such that, for example, colors are directly displayed on the display of characters encoded by the voice recognition unit 5. Therefore, when the input speech is converted into phonemes or words and displayed, the speaker can know the degree of certainty of recognition from the color of the characters. Normally, the blue letters would be grouped together to form phonemes or words that correspond to the input speech. If there is a phoneme or word with low certainty, that phoneme or word will be displayed in yellow, so the speaker will know that he/she needs to be careful when pronouncing that phoneme or word, and will immediately check the state of the utterance. It can be fixed. Also, items that are often unrecognizable are displayed in red. For example, if the phoneme or word is recognized, it is displayed in red, and if it is not recognized, a predetermined symbol indicating unrecognizability is displayed in red. In this way, the speaker can statistically grasp the state of speech recognition. For example, if the weighting of a is set to a uniform value, the degree of certainty Y'm becomes the average degree of similarity for the past n+1 times, and it is possible to grasp a simple tendency of the degree of recognition certainty. Furthermore, if a is set to be weighted as it approaches the latest recognition result, the response sensitivity of the recognition certainty will be better than when using a simple average.

［効果コ 以上述べた如く本発明によれば、発声者はそのときどき
の音声認識の難易度を色によって知ることができる。色
による表示は認識の大まかな状態を知らせるには極めて
都合が良い。また認識した音素や単語を画面に表示して
確認できるタイプの装置では、その文字に直接色を加え
ることができる。従って本来の処理目的の遂行のじゃま
にならず、しかも音素や単語毎に認識の難易度を知るこ
とができる。このようにすれば、発声者は比較的早い時
点で自己の標準からの発声のずれを知ることができ、直
ちに修正することがてきる。従って装置の認識率と信頼
性の高い稼働が可能になる。[Effects] As described above, according to the present invention, the speaker can know the difficulty level of speech recognition at any given time based on the color. Color display is extremely convenient for informing the general state of recognition. Additionally, with devices that display recognized phonemes and words on a screen for confirmation, it is possible to directly add color to the characters. Therefore, the recognition difficulty level can be known for each phoneme or word without interfering with the original purpose of processing. In this way, the speaker will be able to know the deviation of his/her vocalization from the standard at a relatively early stage, and will be able to correct it immediately. Therefore, it is possible to operate the device with high recognition rate and reliability.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は本発明に係る一実施例の主要な機能構成を示す
ブロック図、 第２図は第１図に示す構成の動作を説明するフローチャ
ート、 第３図は本発明に係る他の一実施例の主要な機能構成を
示すブロック図である。FIG. 1 is a block diagram showing the main functional configuration of an embodiment according to the present invention, FIG. 2 is a flowchart explaining the operation of the configuration shown in FIG. 1, and FIG. 3 is another embodiment according to the present invention. FIG. 2 is a block diagram showing the main functional configuration of an example.

Claims (4)

【特許請求の範囲】[Claims] （１）音声の特徴標準パターンと音声の特徴入カバター
ンとの類似度をめて入力音声の識°別を行う音声認識装
置において請求めた類似度を複数段階のレベルにクラス
分けする手段と、前記類似度を前記クラス分１すに従っ
てこれに対応させた色情報を選択出力する手段と、前記
選択出力された色情報を可視化して表示する色表示手段
を備えることを特徴とする音声認識装置。(1) means for classifying the claimed similarities into multiple levels in a speech recognition device that identifies input speech based on the similarity between the speech feature standard pattern and the speech feature input cover pattern; A voice recognition device comprising means for selectively outputting color information corresponding to the degree of similarity divided by the class, and color display means for visualizing and displaying the selectively outputted color information. . （２）入力音声の識別結果をこれに対応する文字、図形
または記号で表示する表示手段を有し、色表示手段は前
記表示文字、図形または記号上で色情報を可視化して表
示することを特徴とする特許請求の範囲第１項記載の音
声認識装置。(2) It has a display means for displaying the identification result of the input voice with corresponding characters, figures, or symbols, and the color display means visualizes and displays color information on the displayed characters, figures, or symbols. A speech recognition device according to claim 1, characterized in that: （３）音声の特徴標準ノ々ターンと音声の住寺徴入カバ
ターンとの類似度をめて入力音声の識ｆｆ１ｌを′Ｉ〒
う音声認識袋Ｈにおいて請求めた類似度のａ与系夕１１
に沿った所定の回数分の重みつき平均値を算ＩＪｊする
手段と、前記算出された重みつき平均イ「（をネ１り段
階のレベルにクラス分けする手段と、１１■δ己算出さ
れた重みつき平均値を前記クラス分けに従ってこれに対
応させた色情報を選択出力する手段と、前記選択出力さ
れた色情報を可視化して表示する色表示手段を備えるこ
とを特徴とする音声認識装置。(3) Characteristics of the voice Based on the similarity between the standard Nono turn and the voice of the Shuji-choi Kabataan, the input voice is identified as ff1l.
The degree of similarity claimed in the voice recognition bag H
means for calculating a weighted average value for a predetermined number of times according to A speech recognition device comprising: means for selectively outputting color information corresponding to the weighted average value according to the classification; and color display means for visualizing and displaying the selectively outputted color information. （４）重みつき平均値を算出する手段は同一の文字、図
形または記号に識別されたものにつｌ、）てイ固別に重
みつき平均値を算出することを特徴とする特許請求の範
囲第３項記載の音声認識装置。(4) The means for calculating a weighted average value calculates a weighted average value for each character, figure, or symbol identified by the same character, figure, or symbol. The speech recognition device according to item 3.