JP2993862B2 - Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition device - Google Patents
Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition deviceInfo
- Publication number
- JP2993862B2 JP2993862B2 JP7062513A JP6251395A JP2993862B2 JP 2993862 B2 JP2993862 B2 JP 2993862B2 JP 7062513 A JP7062513 A JP 7062513A JP 6251395 A JP6251395 A JP 6251395A JP 2993862 B2 JP2993862 B2 JP 2993862B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- classification
- signal
- processing parameter
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、映像、画像、音声、音
響、電磁波など、数値表現が可能な種々の信号につい
て、与えられた信号を予め用意された複数の類のいずれ
かに分類し、又は認識不能であるとの結果を出力する信
号認識方法、信号認識装置、信号認識装置のための学習
方法、及び信号認識装置のための学習装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention classifies given signals, such as video, image, sound, sound, electromagnetic waves, etc., which can be expressed numerically, into one of a plurality of prepared classes. The present invention relates to a signal recognition method, a signal recognition device, a learning method for a signal recognition device, and a learning device for a signal recognition device, which output a result indicating that recognition is not possible.
【0002】[0002]
【従来の技術】図5は、従来例の信号認識装置のブロッ
ク図である。図5に示すように、信号入力データメモリ
121内の信号データは、特徴抽出部101に入力さ
れ、特徴抽出部101は、入力された信号データに基づ
いて、所定の特徴パラメータを抽出した後、認識処理部
102に出力する。認識処理部102は、入力された特
徴パラメータに基づいて、映像、画像、音声、音響、電
磁波など、数値表現が可能な種々の信号の特性を認識す
る処理、すなわち分類処理を実行して、その処理結果で
ある認識結果データを認識結果データメモリ123に格
納する。2. Description of the Related Art FIG. 5 is a block diagram of a conventional signal recognition device. As shown in FIG. 5, the signal data in the signal input data memory 121 is input to the feature extraction unit 101, and the feature extraction unit 101 extracts a predetermined feature parameter based on the input signal data. Output to the recognition processing unit 102. The recognition processing unit 102 performs a process of recognizing characteristics of various signals that can be expressed numerically, such as video, images, audio, sound, and electromagnetic waves, based on the input characteristic parameters, that is, performs a classification process. The recognition result data, which is the processing result, is stored in the recognition result data memory 123.
【0003】上記分類処理とは、与えられた信号を予め
用意された複数の類(以下、認識対象類という。)のい
ずれかに分類する処理である。ところが現実には、信号
認識装置に対して、認識対象類のいずれにも属さない信
号や、分類に必要な情報が十分に内在しない信号が入力
されることが起こり得る。信号認識装置は、これらの信
号が入力された場合には、認識対象類のいずれかに分類
するよりも認識不能であることを報告するほうが望まし
い。従って、認識不能(すなわち、分類不能)であるこ
とを判断するための処理をリジェクト処理と呼ぶことに
する。信号認識装置は、一般に、分類処理とリジェクト
処理の両者を実行する。The above-mentioned classification processing is a processing of classifying a given signal into one of a plurality of classes prepared in advance (hereinafter referred to as recognition target classes). However, in reality, a signal that does not belong to any of the recognition targets or a signal that does not sufficiently include information necessary for classification may be input to the signal recognition device. It is desirable that the signal recognition device, when these signals are input, report that recognition is not possible, rather than classifying them into any of the recognition targets. Therefore, processing for determining that recognition is not possible (that is, classification is not possible) is referred to as reject processing. The signal recognition device generally performs both classification processing and rejection processing.
【0004】[0004]
【発明が解決しようとする課題】従来の信号認識装置に
おいては、分類処理に用いられるパラメータ(以下、分
類処理パラメータという。)とリジェクト処理に用いら
れるパラメータ(以下、リジェクト処理パラメータとい
う。)はそれぞれ別々に構成されて学習されていた。そ
のため、両処理の不適合が発生し、分類不能の判断も含
めた信号認識結果の正答率は必ずしも高くなかった。以
下、分類処理パラメータとリジェクト処理パラメータを
総じて認識パラメータと呼ぶ。In a conventional signal recognition apparatus, parameters used for classification processing (hereinafter, referred to as classification processing parameters) and parameters used for reject processing (hereinafter, referred to as reject processing parameters) are respectively provided. They were separately structured and learned. For this reason, incompatibility between the two processes occurs, and the correct answer rate of the signal recognition result including the determination of classification failure is not always high. Hereinafter, the classification processing parameter and the rejection processing parameter are collectively referred to as a recognition parameter.
【0005】本発明の目的は以上の問題点を解決し、分
類処理とリジェクト処理の両処理の実行を必要とする信
号認識処理において、従来例に比較して高い正答率を得
ることができる、新規な信号認識方法、信号認識装置、
信号認識装置の学習方法、及び信号認識装置の学習装置
を提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems, and to obtain a higher correct answer rate in the signal recognition processing which requires execution of both the classification processing and the rejection processing as compared with the conventional example. New signal recognition method, signal recognition device,
An object of the present invention is to provide a learning method for a signal recognition device and a learning device for a signal recognition device.
【0006】[0006]
【課題を解決するための手段】本発明に係る請求項1記
載の信号認識方法は、入力された信号を予め用意された
類に分類するための分類処理パラメータと、認識不能を
判断するためのリジェクト処理パラメータとを記憶装置
に記憶するステップと、上記記憶された分類処理パラメ
ータとリジェクト処理パラメータとを用いて、入力され
た信号を予め用意された複数の類のいずれかに分類し、
又は認識不能と判断して認識結果を出力するステップ
と、入力された信号とその信号の正解認識結果とに基づ
いて、分類の誤りとリジェクトの誤りの両者を近似する
単一の損失関数の勾配を用いて、所定の勾配探索法によ
り上記損失関数が最小化するように、上記記憶された分
類処理パラメータと上記リジェクト処理パラメータの両
者を学習して更新するステップとを含むことを特徴とす
る。According to a first aspect of the present invention, there is provided a signal recognition method for classifying an input signal into a class prepared in advance, and a classification processing parameter for determining whether or not recognition is impossible. Storing a reject processing parameter in a storage device, and using the stored classification processing parameter and reject processing parameter, classifying the input signal into one of a plurality of classes prepared in advance,
Or a step of outputting a recognition result by determining that the recognition is impossible, and a gradient of a single loss function that approximates both a classification error and a rejection error based on the input signal and the correct recognition result of the signal. And learning and updating both of the stored classification processing parameters and the rejection processing parameters so that the loss function is minimized by a predetermined gradient search method.
【0007】また、本発明に係る請求項2記載の信号認
識装置は、入力された信号を予め用意された類に分類す
るための分類処理パラメータと、認識不能を判断するた
めのリジェクト処理パラメータとを記憶する記憶手段
と、上記分類処理パラメータと上記リジェクト処理パラ
メータとを用いて、入力された信号を予め用意された複
数の類のいずれかに分類し、又は認識不能と判断して認
識結果を出力する認識手段と、入力された信号とその信
号の正解認識結果とに基づいて、分類の誤りとリジェク
トの誤りの両者を近似する単一の損失関数の勾配を用い
て、所定の勾配探索法により上記損失関数が最小化する
ように、上記記憶された分類処理パラメータと上記リジ
ェクト処理パラメータの両者を学習して更新する更新手
段とを備えたことを特徴とする。According to a second aspect of the present invention, there is provided a signal recognition apparatus, comprising: a classification processing parameter for classifying an input signal into a class prepared in advance; and a rejection processing parameter for judging unrecognition. Using the classification processing parameter and the rejection processing parameter to classify the input signal into one of a plurality of classes prepared in advance, or determine that the recognition result is unrecognizable and determine the recognition result. A predetermined gradient search method using a single loss function gradient that approximates both a classification error and a reject error based on an output recognition unit and an input signal and a correct recognition result of the signal. And updating means for learning and updating both the stored classification processing parameters and the rejection processing parameters so that the loss function is minimized. And butterflies.
【0008】さらに、本発明に係る請求項3記載の信号
認識装置の学習方法は、入力された信号を予め用意され
た類に分類するための分類処理パラメータと、認識不能
を判断するためのリジェクト処理パラメータとを用い
て、入力された信号を予め用意された複数の類のいずれ
かに分類し、又は認識不能と判断して認識結果を出力す
る信号認識装置の学習方法であって、入力された信号を
予め用意された類に分類するための分類処理パラメータ
と、認識不能を判断するためのリジェクト処理パラメー
タとを記憶装置に記憶するステップと、入力された信号
とその信号の正解認識結果とに基づいて、分類の誤りと
リジェクトの誤りの両者を近似する単一の損失関数の勾
配を用いて、所定の勾配探索法により上記損失関数が最
小化するように、上記記憶された分類処理パラメータと
上記リジェクト処理パラメータの両者を学習して更新す
るステップとを含むことを特徴とする。Further, according to a third aspect of the present invention, there is provided a method for learning a signal recognition apparatus, comprising: a classification processing parameter for classifying an input signal into a class prepared in advance; Using a processing parameter, the input signal is classified into any of a plurality of classes prepared in advance, or a learning method of a signal recognition device that outputs a recognition result by determining that recognition is not possible, Storing in the storage device a classification processing parameter for classifying the obtained signal into a class prepared in advance, and a rejection processing parameter for determining unrecognition, and the input signal and the correct recognition result of the signal. Based on the above, using a single gradient of the loss function that approximates both the classification error and the rejection error, the above loss function is minimized by a predetermined gradient search method, Stored classification process parameters and to learn both the reject process parameter, characterized in that it comprises the step of updating.
【0009】またさらに、本発明に係る請求項4記載の
信号認識装置の学習装置は、入力された信号を予め用意
された類に分類するための分類処理パラメータと、認識
不能を判断するためのリジェクト処理パラメータとを用
いて、入力された信号を予め用意された複数の類のいず
れかに分類し、又は認識不能と判断して認識結果を出力
する信号認識装置の学習装置であって、入力された信号
とその信号の正解認識結果とに基づいて、分類の誤りと
リジェクトの誤りの両者を近似する単一の損失関数の勾
配を用いて、所定の勾配探索法により上記損失関数が最
小化するように、上記分類処理パラメータと上記リジェ
クト処理パラメータの両者を学習して更新する更新手段
を備えたことを特徴とする。According to a fourth aspect of the present invention, there is provided a learning apparatus for a signal recognizing apparatus, comprising: a classification processing parameter for classifying an input signal into a class prepared in advance; Using a rejection processing parameter, the input signal is classified into any of a plurality of classes prepared in advance, or a learning device of a signal recognition device that outputs a recognition result by determining that recognition is not possible, The loss function is minimized by a predetermined gradient search method using a single loss function gradient that approximates both a classification error and a reject error based on the extracted signal and the correct recognition result of the signal. And updating means for learning and updating both the classification processing parameter and the reject processing parameter.
【0010】[0010]
【作用】請求項1記載の信号認識方法においては、入力
された信号を予め用意された類に分類するための分類処
理パラメータと、認識不能を判断するためのリジェクト
処理パラメータとを記憶装置に記憶し、上記記憶された
分類処理パラメータとリジェクト処理パラメータとを用
いて、入力された信号を予め用意された複数の類のいず
れかに分類し、又は認識不能と判断して認識結果を出力
し、入力された信号とその信号の正解認識結果とに基づ
いて、分類の誤りとリジェクトの誤りの両者を近似する
単一の損失関数の勾配を用いて、所定の勾配探索法によ
り上記損失関数が最小化するように、上記記憶された分
類処理パラメータと上記リジェクト処理パラメータの両
者を学習して更新する。According to the signal recognition method of the present invention, a classification processing parameter for classifying an input signal into a class prepared in advance and a rejection processing parameter for determining recognizability are stored in a storage device. Then, using the stored classification processing parameters and the rejection processing parameters, the input signal is classified into any of a plurality of classes prepared in advance, or the recognition result is determined to be unrecognizable, and the recognition result is output. Using a single loss function gradient that approximates both a classification error and a reject error based on the input signal and the correct recognition result of the signal, the loss function is minimized by a predetermined gradient search method. Both the stored classification processing parameters and the rejection processing parameters are learned and updated so as to be converted.
【0011】また、請求項2記載の信号認識装置におい
ては、上記記憶手段は、入力された信号を予め用意され
た類に分類するための分類処理パラメータと、認識不能
を判断するためのリジェクト処理パラメータとを記憶す
る。次いで、上記認識手段は、上記分類処理パラメータ
と上記リジェクト処理パラメータとを用いて、入力され
た信号を予め用意された複数の類のいずれかに分類し、
又は認識不能と判断して認識結果を出力する。さらに、
上記更新手段は、入力された信号とその信号の正解認識
結果とに基づいて、分類の誤りとリジェクトの誤りの両
者を近似する単一の損失関数の勾配を用いて、所定の勾
配探索法により上記損失関数が最小化するように、上記
記憶された分類処理パラメータと上記リジェクト処理パ
ラメータの両者を学習して更新する。Further, in the signal recognition device according to the second aspect, the storage means includes a classification processing parameter for classifying an input signal into a class prepared in advance, and a rejection processing for judging an unrecognizable signal. The parameters are stored. Next, the recognition unit classifies the input signal into one of a plurality of classes prepared in advance using the classification processing parameter and the reject processing parameter,
Alternatively, it determines that recognition is not possible and outputs a recognition result. further,
The updating unit uses a single gradient of a single loss function that approximates both the classification error and the reject error based on the input signal and the correct recognition result of the signal, and performs a predetermined gradient search method. Both the stored classification processing parameters and the reject processing parameters are learned and updated so that the loss function is minimized.
【0012】さらに、請求項3記載の信号認識装置の学
習方法においては、入力された信号を予め用意された類
に分類するための分類処理パラメータと、認識不能を判
断するためのリジェクト処理パラメータとを記憶装置に
記憶し、入力された信号とその信号の正解認識結果とに
基づいて、分類の誤りとリジェクトの誤りの両者を近似
する単一の損失関数の勾配を用いて、所定の勾配探索法
により上記損失関数が最小化するように、上記記憶され
た分類処理パラメータと上記リジェクト処理パラメータ
の両者を学習して更新する。Further, in the learning method of the signal recognition device according to the third aspect, a classification processing parameter for classifying an input signal into a class prepared in advance, and a rejection processing parameter for judging unrecognizable signal are provided. Is stored in a storage device, and a predetermined gradient search is performed using a gradient of a single loss function that approximates both a classification error and a reject error based on the input signal and the correct recognition result of the signal. Both the stored classification processing parameters and the rejection processing parameters are learned and updated so that the loss function is minimized by the method.
【0013】またさらに、請求項4記載の信号認識装置
の学習装置においては、上記更新手段は、入力された信
号とその信号の正解認識結果とに基づいて、分類の誤り
とリジェクトの誤りの両者を近似する単一の損失関数の
勾配を用いて、所定の勾配探索法により上記損失関数が
最小化するように、上記分類処理パラメータと上記リジ
ェクト処理パラメータの両者を学習して更新する。Still further, in the learning apparatus for a signal recognition apparatus according to the fourth aspect, the updating means may include both a classification error and a reject error based on the input signal and the correct recognition result of the signal. Using the gradient of a single loss function that approximates the above, both the classification processing parameter and the reject processing parameter are learned and updated so that the loss function is minimized by a predetermined gradient search method.
【0014】[0014]
【実施例】以下、図面を参照して本発明に係る実施例に
ついて説明する。本発明に係る本実施例の信号認識装置
は、2つの課題を同時に解くものである。課題の1つ
は、入力された信号をK個の認識対象類{C1,C2,
…,CK}のいずれかに分類する分類処理であり、もう
1つの課題は、分類処理の結果の信頼性が比較的低い場
合には認識不能であるとの決定を下すリジェクト処理で
ある。記法上の便宜のため、認識不能(又は分類不能)
であることを類C0に属すると見なす。Embodiments of the present invention will be described below with reference to the drawings. The signal recognition device of this embodiment according to the present invention solves two problems simultaneously. One of the tasks is to convert the input signal into K recognition objects {C 1 , C 2 ,
, C K }, and another problem is rejection processing for determining that recognition is not possible if the reliability of the result of the classification processing is relatively low. Unrecognizable (or unclassifiable) for notational convenience
Is regarded as belonging to the class C 0 .
【0015】以上をまとめると、本発明に係る本実施例
の信号認識装置は、入力された信号に対して、認識不能
であるとの認識結果を出力することに相当する類C0へ
の分類をも含んだ{C0,C1,…,CK}の(K+1)
個の類への分類を行う。本実施例における信号認識装置
は、図1に示すように、特徴抽出部1と、認識処理部2
と、認識パラメータ更新部3と、認識パラメータ記憶部
50と、2つのモードスイッチ31,32とを備え、本
実施例は、特に、認識パラメータ更新部3を備えたこと
を特徴とする。In summary, the signal recognizing device of the present embodiment according to the present invention classifies an input signal into a class C 0 corresponding to outputting a recognition result indicating that the signal cannot be recognized. (K + 1) of {C 0 , C 1 ,..., C K }
Classify into individual classes. As shown in FIG. 1, a signal recognition device according to the present embodiment includes a feature extraction unit 1 and a recognition processing unit 2.
, A recognition parameter updating unit 3, a recognition parameter storage unit 50, and two mode switches 31 and 32. The present embodiment is characterized in that the recognition parameter updating unit 3 is particularly provided.
【0016】本実施例の信号認識装置においては、ま
ず、特徴抽出部1は、入力信号データメモリ21に格納
された入力信号を読み出して、その入力信号の特徴を表
わす特徴パラメータである数値又は物理量の集合である
入力パターンXに変換して認識処理部2に出力する。次
いで、認識処理部2は、認識不能であることを示す類C
0を含む各類{C0,C1,…,CK}について判別関数g
k(X,Λ)(k=0,1,…,K)を計算する。ここ
で、Λは認識処理に用いられる修正又は更新可能な認識
パラメータであるが、認識パラメータΛは部分集合ΛC
とΛRからなる。ΛCは分類処理に用いられる分類処理パ
ラメータであり分類処理パラメータ記憶部51に予め格
納され、ΛRはリジェクト処理のみに用いられるリジェ
クト処理パラメータでありリジェクト処理パラメータ記
憶部52に予め格納される。分類処理は分類処理パラメ
ータΛCのみを使用して行われる一方、リジェクト処理
は分類処理パラメータΛC及びリジェクト処理パラメー
タΛRを使用して行われる。認識処理部2において用い
られる判別関数gk(X,Λ)は次の数1で定義され
る。なお、この明細書において、上付きの上付きの表示
又は上付きの下付きの表示は不可能であるので上付きの
みで表示し、また、下付きの上付きの表示又は下付きの
下付きの表示は不可能であるので、下付きのみで表示す
る。In the signal recognition apparatus of the present embodiment, first, the feature extracting unit 1 reads out an input signal stored in an input signal data memory 21 and reads a numerical value or a physical quantity as a feature parameter representing the feature of the input signal. Is converted to an input pattern X which is a set of Next, the recognition processing unit 2 generates a class C indicating that recognition is not possible.
Discriminant function g for each class {C 0 , C 1 ,..., C K } including 0
Calculate k (X, Λ) (k = 0, 1,..., K). Here, Λ is a recognizable or updateable recognition parameter used in the recognition process, and the recognition parameter Λ is a subset Λ C
And Λ R. Lambda C is previously stored in a classification process parameter classification processing parameter memory 51 to be used in the classification process, lambda R is previously stored in it reject process parameter storage section 52 a reject process parameters used only in the reject treatment. While the classification process is performed using only the classification process parameter lambda C, reject processing is performed using the classification processing parameter lambda C and reject process parameter lambda R. The discriminant function g k (X, Λ) used in the recognition processing unit 2 is defined by the following equation 1. In this specification, superscript superscript display or superscript subscript display is impossible, so only superscript display is used. Also, subscript superscript display or subscript subscript Since it is impossible to display, only the subscript is displayed.
【0017】[0017]
【数1】 gk(X,Λ) =f(X,Λ),k=0のとき =δk(X,ΛC),k=1,2,…,KのときG k (X, Λ) = f (X, Λ), when k = 0 = δ k (X, Λ C ), when k = 1,2,.
【0018】ここで、判別関数δk(X,ΛC)を類Ck
の分類処理判別関数といい、f(X,Λ)をリジェクト
処理判別関数という。本実施例の目的は、学習によって
分類処理パラメータΛCとリジェクト処理パラメータΛR
の両者を更新し、分類処理とリジェクト処理の両者を実
行する認識装置の性能を向上させることにある。Here, the discriminant function δ k (X, Λ C ) is represented by the class C k
And f (X, Λ) is called a rejection processing determination function. The purpose of the present embodiment is to classify processing parameters Λ C and reject processing parameters Λ R by learning.
In order to improve the performance of the recognition device that executes both the classification processing and the rejection processing.
【0019】<<実施例の信号認識装置の構成>>本発
明に係る実施例の信号認識装置は、図1に示すように、
特徴抽出部1と、認識処理部2と、認識パラメータ更新
部3と、分類処理パラメータ記憶部51とリジェクト処
理パラメータ記憶部52とからなる認識パラメータ記憶
部50と、2つのモードスイッチ31,32より構成さ
れる。<< Configuration of Signal Recognition Apparatus According to Embodiment >> A signal recognition apparatus according to an embodiment of the present invention has a structure as shown in FIG.
A feature extraction unit 1, a recognition processing unit 2, a recognition parameter updating unit 3, a recognition parameter storage unit 50 including a classification processing parameter storage unit 51 and a reject processing parameter storage unit 52, and two mode switches 31 and 32. Be composed.
【0020】まず、入力信号データメモリ21に格納さ
れた入力信号が読み出されて特徴抽出部1へ入力され、
特徴抽出部1は、特徴抽出処理を実行した後、その処理
結果である入力パターンを認識処理部2に出力するとと
もに、モードスイッチ31を介して認識パラメータ更新
部3に出力する。認識処理部2は、入力パターンに基づ
いて、分類処理パラメータ記憶部51に予め格納された
分類処理パラメータと、リジェクト処理パラメータ記憶
部52に予め格納されたリジェクト処理パラメータと用
いて認識処理を実行し、認識結果を出力して認識結果デ
ータメモリ23に格納する。First, the input signal stored in the input signal data memory 21 is read out and input to the feature extracting unit 1,
After executing the feature extraction process, the feature extraction unit 1 outputs an input pattern as a result of the process to the recognition processing unit 2 and outputs the input pattern to the recognition parameter update unit 3 via the mode switch 31. The recognition processing unit 2 executes recognition processing based on the input pattern using the classification processing parameters stored in the classification processing parameter storage unit 51 in advance and the reject processing parameters stored in the reject processing parameter storage unit 52 in advance. The recognition result is output and stored in the recognition result data memory 23.
【0021】正解認識結果データメモリ22に格納され
た正解認識結果データは、入力信号が既知であるときそ
れが{C0,C1,…,CK}のいずれの類に分類される
べきかを表わす教師信号であり、その正解認識結果デー
タはモードスイッチ32を介して認識パラメータ更新部
3に入力される。ここで、モードスイッチ31及び32
はこの実施例の学習モード(T)と認識モード(R)の
2つの動作モードを反映する。この実施例は、入力信号
が既知であるときのみ学習モードで動作し得る。The correct recognition result data stored in the correct recognition result data memory 22 is classified into {C 0 , C 1 ,..., C K } when the input signal is known. And the correct answer recognition result data is input to the recognition parameter updating unit 3 via the mode switch 32. Here, the mode switches 31 and 32
Reflects the two operation modes of this embodiment, the learning mode (T) and the recognition mode (R). This embodiment can operate in the learning mode only when the input signal is known.
【0022】学習モードであるときは、モードスイッチ
31及び32が連動して接点T側に切り換えられ、特徴
抽出部1から出力される入力パターンはモードスイッチ
31を介して認識パラメータ更新部3に入力されるとと
もに、入力信号データメモリ21に格納された既知の入
力信号に対応しかつ正解認識結果データメモリ22に格
納された正解認識結果データはモードスイッチ32を介
して認識パラメータ更新部3に入力される。このとき、
認識パラメータ更新部3は、既知の入力信号データから
変換された入力パターンとそれに対応する正解認識結果
データを用いて、分類処理パラメータ記憶部51に格納
された分類処理パラメータと、リジェクト処理パラメー
タ記憶部52に格納されたリジェクト処理パラメータの
両者の学習を行うことにより更新を行う。When in the learning mode, the mode switches 31 and 32 are switched to the contact T side in conjunction with each other, and the input pattern output from the feature extracting unit 1 is input to the recognition parameter updating unit 3 via the mode switch 31. At the same time, the correct recognition result data corresponding to the known input signal stored in the input signal data memory 21 and stored in the correct recognition result data memory 22 is input to the recognition parameter updating unit 3 via the mode switch 32. You. At this time,
The recognition parameter updating unit 3 uses the input pattern converted from the known input signal data and the corresponding correct recognition result data to execute the classification processing parameter stored in the classification processing parameter storage unit 51 and the rejection processing parameter storage unit. The update is performed by learning both of the rejection processing parameters stored in 52.
【0023】一方、認識モードであるときは、モードス
イッチ31及び32が連動して接点R側に切り換えら
れ、入力パターンは認識パラメータ更新部3に入力され
ず、認識パラメータの学習による更新は行われない。On the other hand, when the recognition mode is set, the mode switches 31 and 32 are switched to the contact R side in conjunction with each other, and the input pattern is not input to the recognition parameter updating unit 3, but the recognition parameter is updated by learning. Absent.
【0024】認識処理部2は、図2に示すように、分類
処理判別関数計算部41と、リジェクト処理判別関数計
算部42と、認識結果決定部43とを備える。分類処理
判別関数計算部41は、入力パターンXと分類処理パラ
メータΛCを用いて分類処理判別関数δk(X,ΛC)
(k=1,…,K)を計算して認識結果決定部43に出
力する。リジェクト処理判別関数計算部42は、入力パ
ターンXと、分類処理パラメータΛCと、リジェクト処
理パラメータΛRとを用いてリジェクト処理判別関数f
(X,Λ)を計算して認識結果決定部43に出力する。
認識結果決定部43は、分類処理判別関数δk(X,
Λ)(=gk(X,ΛC))(k=1,2,…,K)とリ
ジェクト処理判別関数f(X,Λ)(=g0(X,
Λ))のそれぞれの計算結果を比較し、次の数2を満足
する類Ciを認識結果と決定判断し、認識結果データと
して出力して認識結果データメモリ23に格納する。As shown in FIG. 2, the recognition processing section 2 includes a classification processing determination function calculation section 41, a reject processing determination function calculation section 42, and a recognition result determination section 43. Classification process discriminant function calculation section 41, the classification process discriminant function using the classification process parameter lambda C and the input pattern X δ k (X, Λ C )
(K = 1,..., K) are calculated and output to the recognition result determination unit 43. Reject process discriminant function calculation unit 42, the input pattern X and the classification processing parameter lambda C and, reject process parameter lambda reject using the R processing discriminant function f
(X, Λ) is calculated and output to the recognition result determination unit 43.
The recognition result determination unit 43 outputs the classification processing discrimination function δ k (X,
Λ) (= g k (X, Λ C )) (k = 1, 2,..., K) and the rejection processing discriminant function f (X, Λ) (= g 0 (X,
Comparing the respective calculated results of lambda)), to determine determines that the recognition result of the kind C i that satisfies the following Equation 2, and stores the recognition result data memory 23 and outputs as the recognition result data.
【0025】[0025]
【数2】 gi(X,Λ) = min gk(X,Λ) k∈{0,1,…,K}G i (X, Λ) = min g k (X, Λ) k {0,1,..., K}
【0026】<<分類処理判別関数>>本実施例におい
ては、分類処理判別関数計算部41が計算する分類処理
判別関数δk(X,ΛC)は、入力パターンXの類Ckへ
の帰属度が大きいほど小さい値をとるように定義され
る。以下、分類処理判別関数の種々の例について述べ
る。分類処理判別関数の例1乃至例4は入力パターンが
D個の数値の組、すなわちD次元実ベクトルであると
き、すなわち次の数3で表されるときに用いることがで
きる。<< Classification Processing Discriminant Function >> In the present embodiment, the classification processing discrimination function δ k (X, Λ C ) calculated by the classification processing discrimination function calculation unit 41 converts the input pattern X into a class C k . It is defined so that the larger the degree of belonging, the smaller the value. Hereinafter, various examples of the classification processing determination function will be described. Examples 1 to 4 of the classification processing discriminant function can be used when the input pattern is a set of D numerical values, that is, a D-dimensional real vector, that is, when the input pattern is represented by the following Expression 3.
【0027】[0027]
【数3】X={x},x∈RDのときEquation 3] When X = {x}, x∈R D
【0028】分類処理判別関数の例5乃至例10は入力
パターンXがD次元実ベクトルの列であるとき、すなわ
ち次の数4で表されるときに用いることができる。Examples 5 to 10 of the classification processing discriminant function can be used when the input pattern X is a sequence of D-dimensional real vectors, that is, when it is expressed by the following equation (4).
【0029】[0029]
【数4】 X={x(1),x(2),…,x(T(X))},こ
こで、∀tx(t)∈RD Equation 4] X = {x (1), x (2), ..., x (T (X))}, where, ∀ t x (t) ∈R D
【0030】ここで、T(X)は列の長さを表わす。Here, T (X) represents the length of the column.
【0031】<分類処理判別関数の例1>この例では分
類処理パラメータΛCは各類ごとに1つずつ用意された
D次元実ベクトルrk及び類ごとに固有のD×D直交行
列Σkの集合である。[0031] <classification example of processing discriminant function 1> classification process parameters in this example lambda C is unique to each D-dimensional real vector r k and s, which are prepared, one for each class D × D orthogonal matrix sigma k Is a set of
【0032】[0032]
【数5】rk=[rk,1 rk,2 … rk,D]T R k = [r k, 1 r k, 2 ... R k, D ] T
【0033】[0033]
【数6】 (Equation 6)
【0034】上記数5及び数6で表わされるとき、分類
処理パラメータΛCは次の数7で表される。[0034] As represented by the number 5 and 6, the classification processing parameter lambda C is expressed by the following equation 7.
【0035】[0035]
【数7】 ΛC = {{rk,d}D d=1,{{σk,d1,d2}D d2=1}D d1=1}K k=1 7 C = {{r k, d } D d = 1 , {{σ k, d1, d2 } D d2 = 1 } D d1 = 1 } K k = 1
【0036】分類処理判別関数δk(X,ΛC)は、入力
パターンX={x}と参照パターンrkとのΣkを用いた
マハラノビス距離として次の数8で定義される。The classification process discriminant function δ k (X, Λ C) is defined by the following equation 8 as the Mahalanobis distance using the sigma k of the reference pattern r k and the input pattern X = {x}.
【0037】[0037]
【数8】δk(X,ΛC)=νM(x,rk,Σk)Equation 8] δ k (X, Λ C) = ν M (x, r k, Σ k)
【0038】ただし、関数νM(・)は次の数9で定義
される。The function ν M (·) is defined by the following equation (9).
【0039】[0039]
【数9】 νM(x,r,Σ)=(x−r)TΣ-1(x−r), r∈RD,Σ∈RDxDのときEquation 9] ν M (x, r, Σ ) = (x-r) T Σ -1 (x-r), r∈R D, when Shiguma∈R DxD
【0040】ここで、Tは行列の転置を表す。Here, T represents transposition of a matrix.
【0041】<分類処理判別関数の例2>この例では分
類処理パラメータΛCは各類ごとに1つずつ用意された
D次元実ベクトルrkの集合であり、次の数10で表さ
れる。The classification process parameter lambda C is <Example 2 of the classification process discriminant function> In this example is a set of D-dimensional real vector r k that are prepared, one for each class, represented by the following equation 10 .
【0042】[0042]
【数10】ΛC={{rk,d}D d=1}K k=1 10 C = {{r k, d } D d = 1 } K k = 1
【0043】分類処理判別関数δk(X,ΛC)は、任意
の自然数Lについて、D次元実ベクトル空間のL乗ノル
ムとして次の数11で定義される。The classification processing discriminant function δ k (X, Λ C ) is defined by the following equation 11 as an L-th norm of a D-dimensional real vector space for an arbitrary natural number L.
【0044】[0044]
【数11】δk(X,ΛC)=νL(x,rk)Δ k (X, Λ C ) = ν L (x, r k )
【0045】ただし、数11における関数νL(・)は
次の数12で定義される。However, the function ν L (·) in Equation 11 is defined by the following Equation 12.
【0046】[0046]
【数12】 (Equation 12)
【0047】ここで、xd,rdはそれぞれ、D次元実ベ
クトルx及びrの第d要素を表わす。[0047] Here, x d, r d, respectively, represent the d component of the D-dimensional real vector x and r.
【0048】<分類処理判別関数の例3>この例では、
分類処理パラメータΛCは各類ごとに1つ又は複数個用
意されたD次元実ベクトルr(n) k及び対応する直交行列
Σ(n) kの集合である。類Ckに用意されたベクトルの総
数をNkとし、数13及び数14としたときに、分類処
理パラメータΛCは数15で表される。<Example 3 of Classification Processing Discrimination Function> In this example,
The classification processing parameter Λ C is a set of one or more D-dimensional real vectors r (n) k and a corresponding orthogonal matrix Σ (n) k prepared for each class. When the total number of vectors prepared for the class C k is N k and Expressions 13 and 14 are used, the classification processing parameter Λ C is expressed by Expression 15.
【0049】[0049]
【数13】 r(n) k = [r(n) k,1 r(n) k,2 … r(n) k,D]T R (n) k = [r (n) k, 1 r (n) k, 2 ... r (n) k, D ] T
【0050】[0050]
【数14】 [Equation 14]
【0051】[0051]
【数15】 ΛC={{{r(n) k,d}D d=1,{{σ(n) k,d1,d2}D d2=1}D d1=1}Nk n=1}K k=1 Λ C = {{{r (n) k, d } D d = 1 , {{σ (n) k, d1, d2 } D d2 = 1 } D d1 = 1 } Nk n = 1 } K k = 1
【0052】分類処理判別関数δk(X,ΛC)は、任意
の正の定数ξを用いて、次の数16のごとく定義され
る。The classification processing discriminant function δ k (X, Λ C ) is defined by the following equation 16 using an arbitrary positive constant ξ.
【0053】[0053]
【数16】 (Equation 16)
【0054】<分類処理判別関数の例4>分類処理判別
関数の例3において、マハラノビス距離の代わりにL乗
ノルムを用いる。すなわち、数17とするときに、分類
処理パラメータΛCは数18で表される。<Example 4 of Classification Processing Discrimination Function> In Example 3 of the classification processing discrimination function, an L-th norm is used instead of the Mahalanobis distance. That is, when the number 17, the classification processing parameter lambda C is represented by the number 18.
【0055】[0055]
【数17】 r(n) k=[r(n) k,1 r(n) k,2 … r(n) k,D]T R (n) k = [r (n) k, 1 r (n) k, 2 ... R (n) k, D ] T
【数18】 ΛC={{{r(n) k,d}D d=1}Nk n=1}K k=1 18 C = {{{r (n) k, d } D d = 1 } Nk n = 1 } K k = 1
【0056】このとき、分類処理判別関数δk(X,
ΛC)は次の数19で定義される。At this time, the classification processing discrimination function δ k (X,
Λ C ) is defined by the following equation (19).
【0057】[0057]
【数19】 [Equation 19]
【0058】<分類処理判別関数の例5>この例では、
入力パターンXはD次元実ベクトルの列である。すなわ
ち、入力パターンXは次の数20で表される。<Example 5 of Classification Processing Discrimination Function> In this example,
The input pattern X is a sequence of D-dimensional real vectors. That is, the input pattern X is expressed by the following equation (20).
【0059】[0059]
【数20】 X={x(1),x(2),…,x(T(X))}, ∀tx(t)∈RDのときEquation 20] X = {x (1), x (2), ..., x (T (X))}, when the ∀ t x (t) ∈R D
【0060】ここで、T(X)は列の長さを表わす。ま
たこの例では、分類処理パラメータΛCはD次元実ベク
トル列と各ベクトルに対応するD×D行列の集合であ
り、すなわち、数21と数22とするとき次の数23で
表される。Here, T (X) represents the length of the column. Further, in this example, the classification processing parameter Λ C is a set of a D-dimensional real vector sequence and a D × D matrix corresponding to each vector, that is, is expressed by the following Expression 23 when Expression 21 and Expression 22 are used.
【0061】[0061]
【数21】 r(n) k(t) = [r(n) k,1(t) r(n) k,2(t) … r(n) k,D(t)]T R (n) k (t) = [r (n) k, 1 (t) r (n) k, 2 (t) ... r (n) k, D (t)] T
【0062】[0062]
【数22】 (Equation 22)
【0063】[0063]
【数23】 ΛC ={{{{r(n) k,d(t)}D d=1,{{σ(n) k,d1,d2(t)}D d2=1}D d1=1}T(n)k t=1}Nk n=1}K k=1 23 C = {{{{r (n) k, d (t)} D d = 1 , {{σ (n) k, d1, d2 (t)} D d2 = 1 } D d1 = 1 } T (n) k t = 1 } Nk n = 1 } K k = 1
【0064】ここで、Nkは類Ckに対応するD次元実ベ
クトル列の総数、T(n) kあるいは数23におけるT
(n)kは類Ckに対応するn番目のD次元実ベクトル
列の長さである。さらにこの例では、分類処理判別関数
δk(X,ΛC)は以下のように定義される。まず、入力
パターンXを構成するベクトルの指標の集合{1,2,
…,T(X)}から類Ckに対応するNk個のベクトル列
のn番目のものを構成するベクトルの指標の集合{1,
2,…,T(n) k}への写像のうち、取り扱う信号におい
て考えられ得る対応関係に相当するもののみを集めた部
分集合を考え、これをΘ(n) kとする。入力パターンXを
構成するベクトルの指標tがΘ(n) kの元θによって写像
されたものをθ(t)とする。これらを用いて、経路距
離関数Δ(n) k(X,ΛC,θ)は次の数24で定義され
る。Here, N k is the total number of D-dimensional real vector sequences corresponding to the class C k , T (n) k or T (n) k
(N) k is the length of the n-th D-dimensional real vector sequence corresponding to the class C k . Further, in this example, the classification processing discrimination function δ k (X, Λ C ) is defined as follows. First, a set of indices {1, 2, 2,.
.., T (X)}, a set of indices {1, 1, 2} of vectors forming the n-th N k vector sequence corresponding to the class C k
2,..., T (n) k }, consider a subset of only those that correspond to possible correspondences in the signal to be handled, and let this be Θ (n) k . Let θ (t) be the index t of the vector forming the input pattern X mapped by the element θ of Θ (n) k . Using these, the path distance function Δ (n) k (X, Λ C , θ) is defined by the following equation ( 24).
【0065】[0065]
【数24】 (Equation 24)
【0066】次に、累積経路距離関数δ(n) k(X,
ΛC)は、上記で定義された経路距離関数Δ(n) k(X,
ΛC,θ)を用いて、次の数25のように定義する。Next, the cumulative path distance function δ (n) k (X,
Λ C ) is the path distance function Δ (n) k (X,
Λ C , θ) is defined as in the following Expression 25.
【0067】[0067]
【数25】 (Equation 25)
【0068】ここで、ηは任意の正の定数であり、│Θ
(n) k|はΘ(n) kの元の総数である。最後に、上記で定義
された累積経路距離関数δ(n) k(X,ΛC)を用いて次
の数26で表される分類処理判別関数δk(X,ΛC)を
定義する。Here, η is an arbitrary positive constant, and | Θ
(n) k | is the total number of elements of Θ (n) k . Finally, a classification processing discriminant function δ k (X, Λ C ) represented by the following equation 26 is defined using the cumulative path distance function δ (n) k (X, Λ C ) defined above.
【0069】[0069]
【数26】 (Equation 26)
【0070】ここで、ξは任意の正の定数である。Here, ξ is an arbitrary positive constant.
【0071】<分類処理判別関数の例6>この例では、
入力パターンXはD次元実ベクトルの列であり、次の数
27で表される。<Example 6 of Classification Processing Discrimination Function> In this example,
The input pattern X is a sequence of D-dimensional real vectors, and is represented by the following Expression 27.
【0072】[0072]
【数27】 X={x(1),x(2),…,x(T(X))} ∀tx(t)∈RDのときEquation 27] X = {x (1), x (2), ..., x (T (X))} When ∀ t x (t) ∈R D
【0073】ここで、T(X)は列の長さを表わす。ま
たこの例では、分類処理パラメータΛCはD次元実ベク
トルとD×D行列及び各ベクトルに対応する重みパラメ
ータの集合の列である。すなわち、数28及び数29で
表されるときに、分類処理パラメータΛCは、数30で
表される。Here, T (X) represents the length of the column. In this example, the classification process parameter lambda C is a sequence of sets of weighting parameters corresponding to the D-dimensional real vector and D × D matrix and each vector. That is, when represented by the number 28 and number 29, the classification processing parameter lambda C is represented by the number 30.
【0074】[0074]
【数28】 r(n) k(t)=[r(n) k,1(t) r(n) k,2(t) … r(n) k,D(t)]T R (n) k (t) = [r (n) k, 1 (t) r (n) k, 2 (t) ... r (n) k, D (t)] T
【0075】[0075]
【数29】 (Equation 29)
【0076】[0076]
【数30】 ΛC ={{{{r(n) k,d(t)}D d=1,{{σ(n) k,d1,d2(t)}D d2=1}D d1=1,wn(t) }Nk(t) n=1}Tk t=1}K k=1 30 C = {{{{r (n) k, d (t)} D d = 1 , {{σ (n) k, d1, d2 (t)} D d2 = 1 } D d1 = 1 , w n (t)} Nk (t) n = 1 } Tk t = 1 } K k = 1
【0077】ここで、Tkまたは数30におけるTkは
類Ckに対応するベクトル集合列の長さであり、N
k(t)または数30におけるNk(t)は類Ckに対応
するt番目のベクトル集合に含まれるベクトルの総数で
ある。さらにこの例では、分類処理判別関数δk(X,
ΛC)は以下のように定義される。まず、入力パターン
Xを構成するベクトルの指標の集合{1,2,…,T
(X)}から類Ckに対応する分類処理パラメータであ
るベクトル集合列を構成するベクトル集合の指標の集合
{1,2,…,Tk}への写像のうち、取り扱う信号に
おいて考えられ得る対応関係に相当するもののみを集め
た部分集合を考え、これをΘkとする。入力パターンX
を構成するベクトルの指標tがΘkの元θによって写像
されたものをθ(t)とする。これらを用いて、経路距
離関数Δk(X,ΛC,θ)は次の数31のように定義され
る。Here, T k or T k in Equation 30 is the length of the vector set sequence corresponding to the class C k.
k (t) or Nk (t) in Equation 30 is the total number of vectors included in the t-th vector set corresponding to the class C k . Further, in this example, the classification processing discrimination function δ k (X,
Lambda C) is defined as follows. First, a set of indices of vectors constituting the input pattern X {1, 2,.
Of the mapping from (X)} to the index set {1, 2,..., T k } of the vector set constituting the vector set sequence which is the classification processing parameter corresponding to the class C k , it can be considered in the signal to be handled. Consider a subset of only those that correspond to the correspondence, and let this be Θ k . Input pattern X
The what index t vectors are mapped by the original theta of theta k and theta (t) constituting. Using these, the path distance function Δ k (X, Λ C , θ) is defined as in the following Expression 31.
【0078】[0078]
【数31】 (Equation 31)
【0079】ここで、ξは任意の正の定数であり、Where ξ is an arbitrary positive constant,
【0080】[0080]
【数32】 (Equation 32)
【0081】次に、上記で定義された経路距離関数Δk
(X,ΛC,θ)を用いて、分類処理判別関数δk(X,
ΛC)は次の数33のように定義される。Next, the path distance function Δ k defined above
Using (X, Λ C , θ), the classification processing discriminant function δ k (X,
Λ C ) is defined as in the following Expression 33.
【0082】[0082]
【数33】 [Equation 33]
【0083】ここで、ηは任意の正の定数であり、|Θ
k|はΘkの元の総数である。Here, η is an arbitrary positive constant, and | Θ
k | is the total number of the original Θ k.
【0084】<分類処理判別関数の例7>分類処理判別
関数の例5において、マハラノビス距離νM(・)の代
わりにL乗ノルム距離νL(・)を用いる。すなわち、
分類処理パラメータΛCは、次の数34で表される。<Example 7 of Classification Processing Discrimination Function> In Example 5 of the classification processing discrimination function, an L-th norm distance ν L (•) is used instead of the Mahalanobis distance ν M (•). That is,
Classification processing parameter lambda C is expressed by the following equation 34.
【0085】[0085]
【数34】 ΛC={{{{r(n) k,d(t)}D d=1}T(n)k t=1}Nk n=1}K k=1 34 C = {{{{r (n) k, d (t)} D d = 1 } T (n) k t = 1 } Nk n = 1 } K k = 1
【0086】経路距離関数Δ(n) k(X,ΛC,θ)
は、次の数35で表される。Path distance function Δ (n) k (X, Λ C , θ)
Is represented by the following Expression 35.
【0087】[0087]
【数35】 (Equation 35)
【0088】<分類処理判別関数の例8>分類処理判別
関数の例6において、マハラノビス距離νM(・)の代
わりにL乗ノルム距離νL(・)を用いる。すなわち、
分類処理パラメータΛCは次の数36で表される。<Example 8 of Classification Processing Discrimination Function> In Example 6 of the classification processing discrimination function, an L-th norm distance ν L (•) is used instead of the Mahalanobis distance ν M (•). That is,
Classification processing parameter lambda C is expressed by the following equation 36.
【0089】[0089]
【数36】 ΛC={{{{r(n) k,d(t)}D d=1,wn(t)}Nk(t) n=1}Tk t=1}K k=1 36 C = {{{{r (n) k, d (t)} D d = 1 , w n (t)} Nk (t) n = 1 } Tk t = 1 } K k = 1
【0090】経路距離関数Δk(X,ΛC,θ)は次の数
37で定義される。The path distance function Δ k (X, Λ C , θ) is defined by the following equation (37).
【0091】[0091]
【数37】 (37)
【0092】<分類処理判別関数の例9>この例では、
分類処理パラメータΛCはD次元実ベクトルとD×D行
列の集合の列の集合である。この場合の分類処理パラメ
ータΛCの内容及び分類処理判別関数δk(X,ΛC)の
定義は、分類処理判別関数の例5と分類処理判別関数の
例6から容易に導かれる。<Example 9 of Classification Processing Discrimination Function> In this example,
Classification processing parameter lambda C is a set of columns of the set of D-dimensional real vector and D × D matrix. In this case, the contents of the classification processing parameter Λ C and the definition of the classification processing discrimination function δ k (X, Λ C ) are easily derived from Example 5 of the classification processing discrimination function and Example 6 of the classification processing discrimination function.
【0093】<分類処理判別関数の例10>この例で
は、分類処理パラメータΛCはD次元実ベクトル及び各
ベクトルに対応する重みパラメータの集合の列の集合で
ある。この場合の分類処理パラメータΛCの内容及び分
類処理判別関数δk(X,ΛC)の定義は、分類処理判別
関数の例7と分類処理判別関数の例8から容易に導かれ
る。[0093] In <Example 10 of the classification process discriminant function> this example, the classification processing parameter lambda C is a set of columns of a set of weight parameters corresponding to the D-dimensional real vector and each vector. In this case, the contents of the classification processing parameter Λ C and the definition of the classification processing discrimination function δ k (X, Λ C ) are easily derived from Example 7 of the classification processing discrimination function and Example 8 of the classification processing discrimination function.
【0094】<<リジェクト処理判別関数>>リジェク
ト処理判別関数計算部42が計算するリジェクト処理判
別関数は、入力パターンXに対する類{C1,C2,…,
CK}への分類処理の信頼度を測る尺度であり、本実施
例においては、信頼度が低いほどその値が小さくなるよ
うに定義される。以下、リジェクト処理判別関数f
(X,Λ)の種々の例について述べる。<< Reject Process Discriminant Function >> The reject process discriminant function calculated by the reject process discriminant function calculator 42 is of the kind {C 1 , C 2 ,.
This is a measure for measuring the reliability of the classification process into C K 、, and in the present embodiment, is defined such that the lower the reliability, the smaller the value. Hereinafter, the rejection processing determination function f
Various examples of (X, Λ) will be described.
【0095】<リジェクト処理判別関数の例1>この例
では、リジェクト処理判別関数f(X,Λ)は、類{C
1,C2,…,Ck}の分類処理判別関数の平均に1つの
変数を乗じたものとして次の数38で定義される。<Example 1 of rejection processing determination function> In this example, the rejection processing determination function f (X, Λ)
1, C 2, ..., it is defined by the following equation 38 as multiplied by the mean single variable classification processing discriminant function C k}.
【0096】[0096]
【数38】 (38)
【0097】このとき、リジェクト処理パラメータΛR
は次の数39で表される。At this time, the reject processing parameter Λ R
Is represented by the following Expression 39.
【0098】[0098]
【数39】ΛR={h}[Equation 39] Λ R = {h}
【0099】<リジェクト処理判別関数の例2>この例
では、リジェクト処理判別関数f(X,Λ)は、類{C
1,C2,…,CK}の分類処理判別関数の荷重平均とし
て次の数40で定義される。<Example 2 of rejection processing determination function> In this example, the rejection processing determination function f (X, Λ)
1, C 2, ..., it is defined by the following equation 40 as a weighted average of the classification process discriminant function C K}.
【0100】[0100]
【数40】 (Equation 40)
【0101】このとき、リジェクト処理パラメータΛR
は次の数41で表される。At this time, the reject processing parameter Λ R
Is represented by the following equation 41.
【0102】[0102]
【数41】ΛR={h1,h2,…,hK}41 R = {h 1 , h 2 , ..., h K }
【0103】<リジェクト処理判別関数の例3>この例
では、リジェクト処理判別関数f(X,Λ)は、任意の
正の定数ζを用いて、次の数42で定義される。<Example 3 of rejection processing determination function> In this example, the rejection processing determination function f (X, Λ) is defined by the following equation 42 using an arbitrary positive constant ζ.
【0104】[0104]
【数42】 (Equation 42)
【0105】このとき、リジェクト処理パラメータΛR
は、次の数43で表される。At this time, the reject processing parameter Λ R
Is represented by the following Expression 43.
【0106】[0106]
【数43】ΛR={h}[Equation 43] Λ R = {h}
【0107】<リジェクト処理判別関数の例4>この例
では、リジェクト処理判別関数f(X,Λ)は、任意の
正の定数ζを用いて、次の数44で定義される。<Example 4 of rejection processing discrimination function> In this example, the rejection processing discrimination function f (X, Λ) is defined by the following equation 44 using an arbitrary positive constant ζ.
【0108】[0108]
【数44】 [Equation 44]
【0109】このとき、リジェクト処理パラメータΛR
は次の数45で表される。At this time, the reject processing parameter Λ R
Is represented by the following equation 45.
【0110】[0110]
【数45】ΛR={h1,h2,…,hK}45 R = {h 1 , h 2 , ..., h K }
【0111】<リジェクト処理判別関数の例5>この例
では、リジェクト処理判別関数f(X,Λ)は、任意の
正の定数ζ及びM(<K)なる自然数を用いて、次の数
46で定義される。<Example 5 of rejection processing discrimination function> In this example, the rejection processing discrimination function f (X, Λ) is obtained by using an arbitrary positive constant ζ and a natural number M (<K) as follows: Is defined by
【0112】[0112]
【数46】 [Equation 46]
【0113】ここで、KPMは、K個の類{C1,C2,
…,CK}からM個の類を重複なく取り出す順列の総数
であり、また、関数γM p(X,Λ)は次の数47で表さ
れる。[0113] Here, K P M is, K number of classes {C 1, C 2,
, C K } is the total number of permutations from which M classes are extracted without duplication, and the function γ M p (X, Λ) is represented by the following equation 47.
【0114】[0114]
【数47】 M γM p(X,Λ)=(1/M) Σ δk(p,m)(X,Λ) m=1(47) M γ M p (X, Λ) = (1 / M) Σδ k (p, m) (X, Λ) m = 1
【0115】ただし、k(p,m)は、K個の類
{C1,C2,…,CK}からM個の類を重複なく取り出
す順列の第p番目のものにおいて、m番目に取り出され
る類の指標である。このとき、リジェクト処理パラメー
タΛRは次の数48で表される。Here, k (p, m) is the m-th one of the p-th permutations of M classes from the K classes {C 1 , C 2 ,... It is an index of the kind that is taken out. In this case, the reject processing parameter lambda R is expressed by the following equation 48.
【0116】[0116]
【数48】ΛR={h}[Equation 48] Λ R = {h}
【0117】<リジェクト処理判別関数の例6>この例
では、リジェクト処理判別関数f(X,Λ)は、任意の
正の定数ζ及びM(<K)なる自然数を用いて、次の数
49で定義される。<Example 6 of rejection processing discrimination function> In this example, the rejection processing discrimination function f (X, Λ) is obtained by using an arbitrary positive constant ζ and a natural number M (<K) as follows: Is defined by
【0118】[0118]
【数49】 KPM f(X,Λ)=ln{(1/KPM) Σ exp(−ζγM p(X,Λ))}-1/ζ p=1 ここで、 K p M f (X, Λ) = ln {(1 / K P M ) Σexp (−ζγ M p (X, Λ))} -1 / ζ p = 1 where
【数50】 M γM p(X,Λ)=(1/M) Σ exp(hk(p,m))δk(p,m)(X,ΛC) m=1M γ M p (X, Λ) = (1 / M) Σexp (h k (p, m) ) δ k (p, m) (X, Λ C ) m = 1
【0119】このとき、リジェクト処理パラメータΛR
は次の数51で表される。At this time, the reject processing parameter Λ R
Is represented by the following equation 51.
【0120】[0120]
【数51】ΛR={h1,h2,…,hK}51 R = {h 1 , h 2 , ..., h K }
【0121】<リジェクト処理判別関数の例7>この例
では、リジェクト処理判別関数の例5において、関数γ
M p(X,Λ)の定義を次の数52のように変更したもの
が用いられる。<Example 7 of rejection processing determination function> In this example, the function γ is used in Example 5 of the rejection processing determination function.
The definition of M p (X, Λ) changed as in the following Expression 52 is used.
【0122】[0122]
【数52】 M γM p(X,Λ)=exp(h)・(1/M) Σ wmδk(p,m)(X,ΛC) m=1M γ M p (X, Λ) = exp (h) · (1 / M) Σ w m δk (p, m) (X, Λ C ) m = 1
【0123】重み係数w1,w2,…,wMはそれぞれ正
の定数である。このとき、リジェクト処理パラメータΛ
Rは次の数53で表される。The weight coefficients w 1 , w 2 ,..., W M are positive constants. At this time, the reject processing parameter Λ
R is represented by the following equation 53.
【0124】[0124]
【数53】ΛR={h}[Equation 53] Λ R = {h}
【0125】<リジェクト処理判別関数の例8>この例
では、リジェクト処理判別関数の例6において、関数γ
M p(X,Λ)の定義を次の数54のように変更したもの
が用いられる。<Example 8 of rejection processing determination function> In this example, the function γ
The definition of M p (X, Λ) changed as in the following Expression 54 is used.
【0126】[0126]
【数54】 M γM p(X,Λ)=(1/M) Σ wmexp(hk(p,m))δk(p,m)(X,ΛC) m=1M γ M p (X, Λ) = (1 / M) Σ w m exp (h k (p, m) ) δ k (p, m) (X, Λ C ) m = 1
【0127】ここで、重み係数w1,w2,…,wMはそ
れぞれ正の定数である。このとき、リジェクト処理パラ
メータΛRは次の数55で表される。Here, the weighting factors w 1 , w 2 ,..., W M are positive constants. In this case, the reject processing parameter lambda R is expressed by the following equation 55.
【0128】[0128]
【数55】ΛR={h1,h2,…,hK}数R = {h 1 , h 2 , ..., h K }
【0129】<<認識結果の決定>>認識結果決定部4
3は、類{C0,C1,…,CK}のうち、対応する判別
関数の値が最小値を取る類を認識結果と決定して認識結
果データとして出力して認識結果データメモリ23に格
納する。言い換えれば、類{C1,C2,…,CK}の中
で判別関数が最小となる類(いま、仮にCjとする。)
の判別関数gj(X,Λ)が判別関数g0(X,Λ)より
も小さければ類Cjを認識結果と決定して認識結果デー
タとして出力するが、判別関数g0(X,Λ)よりも小
さくなければ、そのCjへの分類を決定せず、認識不能
と判断して認識不能という認識結果を出力する。判別関
数g0(X,Λ)は類{C1,C2,…,CK}への分類の
信頼性が低いほど小さな値を取るように定義されるの
で、結果的に、信頼性の低い認識判断の回避又は留保を
実現する。<< Determination of Recognition Result >> Recognition Result Determination Unit 4
3 determines a class in which the value of the corresponding discriminant function takes the minimum value among the classes {C 0 , C 1 ,..., C K } as a recognition result and outputs it as recognition result data, and outputs the recognition result data memory 23. To be stored. In other words, class {C 1, C 2, ... , C K} s of the discriminant function is minimized in the (now assumed as C j.)
Of discriminant function g j (X, Λ) is outputted as a discriminant function g 0 (X, Λ) is smaller than the recognition by the recognition result and determine the class C j result data, the discriminant function g 0 (X, lambda If it is not smaller than), the classification to C j is not determined, and it is determined that recognition is not possible, and a recognition result indicating that recognition is not possible is output. The discriminant function g 0 (X, Λ) is defined so as to take a smaller value as the reliability of the classification into the class {C 1 , C 2 ,..., CK } becomes lower. Avoidance or reservation of low recognition judgment is realized.
【0130】<<認識パラメータの学習>>以上のよう
に説明した方法により、信号を認識対象類に分類あるい
は認識不能の報告を行うような信号認識を行うことがで
きる。ただし、未知の信号に対して信号認識装置が出力
する認識結果の正答率は、分類処理パラメータ及びリジ
ェクト処理パラメータからなる認識パラメータの内容に
よって左右されるので、高い正答率を得るためには認識
パラメータを最適化する学習を実施すべきである。しか
しながら、従来は、分類処理パラメータの学習において
は類C0とその他の類との分類が考慮されず、リジェク
ト処理パラメータの学習においては類{C1,C2,…,
Ck}間の分類が考慮されなかった。このため、分類処
理パラメータ及びリジェクト処理パラメータの両者を用
いて信号を類{C0,C1,…,CK}に分類する信号認
識装置を総合的に最適化することはできず、結果として
高い正答率を得ることができなかった。これに対して、
本発明の実施例の認識パラメータ更新部3は、認識不能
を報告することに相当する類を含むすべての類{C0,
C1,…,CK}を考慮して分類処理パラメータとリジ
ェクト処理パラメータの両者を同時に最適化することが
でき、従来例に比較して高い正答率を得ることができ
る。<< Learning of Recognition Parameter >> According to the method described above, signal recognition can be performed such that a signal is classified into a recognition target or a report of non-recognition is made. However, since the correct answer rate of the recognition result output by the signal recognition apparatus for an unknown signal depends on the content of the recognition parameter including the classification processing parameter and the rejection processing parameter, the recognition parameter is required to obtain a high correct answer rate. Should be implemented to optimize. However, conventionally, the classification of the class C 0 and the other classes has not been considered in the learning of the classification processing parameters, and the classes {C 1 , C 2 ,.
The classification between C k } was not considered. For this reason, it is impossible to comprehensively optimize a signal recognition device that classifies signals into classes {C 0 , C 1 ,..., CK } using both the classification processing parameter and the rejection processing parameter. Could not get a high correct answer rate. On the contrary,
The recognition parameter updating unit 3 according to the embodiment of the present invention performs all types {C 0 ,
It is possible to simultaneously optimize both the classification processing parameter and the rejection processing parameter in consideration of C 1 ,..., C K }, and obtain a higher correct answer rate than the conventional example.
【0131】本実施例において認識パラメータΛ={Λ
C,ΛR}を学習する方法について以下に述べる。図1に
おいてこの実施例が学習モードにあるとき、すなわちモ
ードスイッチ31及び32が連動して接点T側に切り換
えられたときに、入力パターンXとそれに対応する正解
認識結果データが正解認識結果データメモリ22から読
み出されて認識パラメータ更新部3に入力される。以
下、正解認識結果データの示す正解認識結果の類をCj
とする。すなわち、Cj∈{C0,C1,…,CK}であ
る。認識パラメータ更新部3は入力パターンXと、認識
パラメータΛと、正解認識結果Cjを用いて認識パラメ
ータΛの更新量ΔΛを計算し、次の数56によって認識
パラメータΛを更新する。In this embodiment, the recognition parameter Λ = {Λ
The method of learning C , { R } is described below. In FIG. 1, when the embodiment is in the learning mode, that is, when the mode switches 31 and 32 are switched to the contact T side in conjunction with each other, the input pattern X and the corresponding correct recognition result data are stored in the correct recognition result data memory. 22 and input to the recognition parameter updating unit 3. Hereinafter, the class of the correct recognition result indicated by the correct recognition result data is C j
And That is, C j {C 0 , C 1 ,..., C K }. The recognition parameter updating unit 3 calculates the update amount ΔΛ of the recognition parameter Λ using the input pattern X, the recognition parameter Λ, and the correct recognition result C j, and updates the recognition parameter に よ っ て by the following equation 56.
【0132】[0132]
【数56】Λ←Λ+ΔΛ[Equation 56] Λ ← Λ + ΔΛ
【0133】学習モードにおいて、入力パターンXが与
えられるたびに認識パラメータ更新部3で上記の数56
による認識パラメータΛの更新が実行されることによ
り、分類処理パラメータΛCとリジェクト処理パラメー
タΛRの両者が同時に学習され、結果として本実施例の
信号認識装置の正答率を向上させることができる。In the learning mode, every time an input pattern X is given, the recognition parameter updating unit 3
By updating the recognition parameters lambda by is performed, both the classification process parameter lambda C and reject process parameter lambda R is learned simultaneously, it is possible to improve the correct rate of the signal recognition device of the present embodiment as a result.
【0134】<<認識パラメータの更新量の計算>>認
識パラメータの更新量ΔΛの計算の方法について以下に
述べる。まず、誤分類測度d(X,Λ)が次の数57に
よって定義される。<< Calculation of Recognition Parameter Update Amount >> A method of calculating the recognition parameter update amount ΔΛ will be described below. First, the misclassification measure d (X, Λ) is defined by the following equation 57.
【0135】[0135]
【数57】 [Equation 57]
【0136】ここで、μは正の定数である。定数μの絶
対値が十分大きいとき、誤分類測度d(X,Λ)は、定
数μの絶対値を無限大に近付けたときの誤分類測度d
(X,Λ)の極限を次の数58のごとく近似する。Here, μ is a positive constant. When the absolute value of the constant μ is sufficiently large, the misclassification measure d (X, Λ) is the misclassification measure d when the absolute value of the constant μ approaches infinity.
The limit of (X, Λ) is approximated as in the following Expression 58.
【0137】[0137]
【数58】 [Equation 58]
【0138】ここで、類{C0,C1,…,CK}の中で
判別関数が最小となる類、すなわち認識結果の類をCi
とすると、数58の右辺は、i=jのとき、すなわち認
識結果が正しいとき負の値をとり、i≠jのとき、すな
わち認識結果が誤っているとき正の値をとることにな
る。次に、損失関数l(X,Λ)が次の数59で定義さ
れる。Here, of the classes {C 0 , C 1 ,..., C K }, the class whose discriminant function is the minimum, that is, the class of the recognition result is C i
Then, the right side of Expression 58 takes a negative value when i = j, that is, when the recognition result is correct, and takes a positive value when i ≠ j, that is, when the recognition result is incorrect. Next, the loss function l (X, Λ) is defined by the following equation 59.
【0139】[0139]
【数59】l(X,Λ)=σ(d(X,Λ))L (X, 59) = σ (d (X, Λ))
【0140】ここで、スカラ関数σ(x)は、次の数6
0で定義されるステップ関数b(x)を近似する連続か
つ1次微分可能な関数である。Here, the scalar function σ (x) is given by
It is a continuous and first-order differentiable function approximating the step function b (x) defined by 0.
【0141】[0141]
【数60】 b(x)=0,x<0のとき =1,x≧0のときWhen b (x) = 0, x <0 = 1, When x ≧ 0
【0142】以下、関数σ(x)を近似ステップ関数と
呼ぶことにする。以下に、本実施例において用いること
ができる種々の近似ステップ関数の例をあげる。Hereinafter, the function σ (x) will be referred to as an approximate step function. Hereinafter, examples of various approximate step functions that can be used in the present embodiment will be described.
【0143】<近似ステップ関数の例1>近似ステップ
関数の例1は図3に示すように図示され、次の数61で
表される。<Example 1 of Approximate Step Function> An example 1 of the approximate step function is shown in FIG.
【0144】[0144]
【数61】σ(x)=1/{1+exp(−αx)}61 (x) = 1 / {1 + exp (−αx)}
【0145】ここで、αは正の定数であり、その絶対値
が大きいほどスカラ関数σ(x)はステップ関数b
(x)に近づく。Here, α is a positive constant, and the scalar function σ (x) becomes larger as the absolute value becomes larger.
(X) is approached.
【0146】<近似ステップ関数の例2>近似ステップ
関数の例2は、図4に示すように図示され、次の数62
で表される。<Example 2 of Approximate Step Function> An example 2 of the approximate step function is shown in FIG.
It is represented by
【0147】[0147]
【数62】 σ(x) =0,x<0のとき =αx,0≦x<(1/α)のとき =1,(1/α)≦xのときWhen σ (x) = 0, x <0 = αx, when 0 ≦ x <(1 / α) = 1, when (1 / α) ≦ x
【0148】ここで、αは正の定数であり、その絶対値
が大きいほどスカラ関数σ(x)はステップ関数b
(x)に近づく。Here, α is a positive constant, and the scalar function σ (x) becomes larger as the absolute value becomes larger.
(X) is approached.
【0149】以上を総合すると、損失関数l(X,Λ)
は、入力パターンXの認識結果Ciが正しいとき0であ
り、誤りであるとき1となる2値関数を近似する、連続
かつ1次微分可能な関数である。従って、入力パターン
Xの母集団における損失関数l(X,Λ)の期待値E
[l(X,Λ)]は、信号認識装置による信号認識処理
の誤認識率を近似しており、これを最小化するように認
識パラメータΛを学習させると、分類処理とリジェクト
処理の両者からなる信号認識処理の認識性能を向上する
ことができる。損失関数l(X,Λ)の期待値を最小化
するように認識パラメータ集合Λを学習させるための方
法は数多く存在する。特に、ここで述べた例では、損失
関数l(X,Λ)が認識パラメータ集合Λについて1次
微分可能であるので、処理量が比較的少ない勾配探索法
の一種である一般化確率的降下法を用いることができ
る。一般化確率的降下法に基づいて認識パラメータ集合
Λを学習させるには、次の数63に従って計算したΔΛ
を用いて認識パラメータ集合Λを更新していけばよい。Summing up the above, the loss function l (X, Λ)
Is 0 when the recognition result C i of the input pattern X is correct, to approximate the binary function that is 1 when an error is continuous and primary differentiable function. Therefore, the expected value E of the loss function l (X, Λ) in the population of the input pattern X
[L (X, Λ)] approximates the erroneous recognition rate of the signal recognition process by the signal recognition device. When the recognition parameter Λ is learned so as to minimize this, both the classification process and the reject process are performed. Thus, the recognition performance of the signal recognition processing can be improved. There are many methods for learning the recognition parameter set Λ so as to minimize the expected value of the loss function l (X, Λ). In particular, in the example described here, since the loss function l (X, Λ) can be first-order differentiable with respect to the recognition parameter set Λ, the generalized stochastic descent method, which is a kind of gradient search method with a relatively small processing amount, is used. Can be used. To train the recognition parameter set Λ based on the generalized stochastic descent method, ΔΛ calculated according to the following equation 63 is used.
May be used to update the recognition parameter set Λ.
【0150】[0150]
【数63】ΔΛ=−εtU∇Λl(X,Λ)Δ63 = −ε t U∇Λl (X, ∇Λ)
【0151】ここで、εtはt回目の更新における更新
量を制御する学習係数(t=1,2,…,∞)であり、
Uは任意の正定値行列であり、∇ΛはΛに関する勾配演
算子であり、認識パラメータΛのベクトル表現が次の数
64で表されるとき、数65のごとく表される。なお、
数63、数64及び数65において、∇ΛにおけるΛ及
びλ│Λ│における│Λ│は本来下付きであるが、表示
不可能のためこのように表示する。Here, ε t is a learning coefficient (t = 1, 2,..., 制 御) for controlling the update amount in the t-th update.
U is an arbitrary positive definite matrix, ∇Λ is a gradient operator with respect to Λ, and when the vector expression of the recognition parameter Λ is expressed by the following equation 64, it is expressed by equation 65. In addition,
In Equations 63, 64 and 65, ∇Λ in ∇Λ and │Λ│ in λ│Λ│ are originally subscripts, but are displayed as such because they cannot be displayed.
【0152】[0152]
【数64】Λ=[λ1 λ2 … λ│Λ│]T 64 = [λ 1 λ 2 ... Λ│Λ│] T
【0153】[0153]
【数65】 ∇Λ=[∂/(∂λ1) ∂/(∂λ2) … ∂/(∂(λ│Λ│))]T 65 = [∂ / (∂λ 1 ) ∂ / (∂λ 2 ) ∂ / (∂ (λ│Λ│))] T
【0154】ただし、λn(n=1,2,…,│Λ│)
はそれぞれ認識パラメータΛに含まれる個々のスカラパ
ラメータであり、|Λ|はその総数である。学習係数ε
tが次の数66の収束条件を満足するとき、Λは期待値
E[l(X,Λ)]が局所的に最小値をとる状態に確率
1で収束することが一般化確率的降下法において証明さ
れている。Where λ n (n = 1, 2,..., | Λ |)
Are individual scalar parameters included in the recognition parameter Λ, and | Λ | is the total number thereof. Learning coefficient ε
When t satisfies the following convergence condition of Equation 66, Λ converges to a state where the expected value E [l (X, Λ)] locally takes the minimum value with a probability of 1. The generalized stochastic descent method Proven in
【0155】[0155]
【数66】 [Equation 66]
【0156】従って、数63に基づいて認識パラメータ
Λを更新することは、結果として誤認識率を近似的かつ
局所的に最小化することになる。このとき、分類処理パ
ラメータ及びリジェクト処理パラメータは、信号を認識
対象類に分類又は認識不能の報告を行う信号認識課題に
おける認識誤りの最小化という単一の学習基準によって
同時に最適化されるので、それぞれを別々に学習する場
合よりも信号認識処理の性能を向上することができる。Therefore, updating the recognition parameter Λ based on Equation 63 results in an approximate and local minimization of the erroneous recognition rate. At this time, the classification processing parameter and the rejection processing parameter are simultaneously optimized by a single learning criterion of minimizing a recognition error in a signal recognition task of classifying a signal as a recognition target or reporting a non-recognition. Can be improved more than in the case of learning separately.
【0157】以下に、学習係数εtの例を示す。 <学習係数の例1>正の定数ε0を用いたときの学習係
数εtの例1は次の数67で表される。[0157] The following are examples of learning coefficient ε t. <Example 1 of Learning Coefficient> Example 1 of the learning coefficient ε t when a positive constant ε 0 is used is expressed by the following equation 67.
【0158】[0158]
【数67】εt=ε0/tΕ t = ε 0 / t
【0159】ここで、この学習係数εtは数66を満足
する。Here, the learning coefficient ε t satisfies Expression 66.
【0160】<学習係数の例2>正の定数ε0及びrを
用いたときの学習係数εtの例2は次の数68で表され
る。<Example 2 of Learning Coefficient> An example 2 of the learning coefficient ε t when the positive constants ε 0 and r are used is expressed by the following equation 68.
【0161】[0161]
【数68】 εt=ε0(1−rt),t<(1/r)のとき =0,t≧1/rのとき68 t = ε 0 (1-rt), when t <(1 / r) = 0, when t ≧ 1 / r
【0162】この学習係数εtは数66を満たさない
が、1に比較して十分に小さいrを用いれば、学習の効
果は学習係数の例1と同様に期待できる。Although the learning coefficient ε t does not satisfy Equation 66, the effect of learning can be expected in the same manner as in the first example of the learning coefficient if r is sufficiently smaller than 1.
【0163】以下に、正定値行列Uの例を示す。 <正定値行列の例1>正定値行列Uとして次の数69で
表される単位行列を用いる。The following is an example of the positive definite matrix U. <Example 1 of positive definite matrix> As the positive definite matrix U, a unit matrix represented by the following equation 69 is used.
【0164】[0164]
【数69】U=diag(1,1,…,1)[Mathematical formula-see original document] U = diag (1, 1,..., 1)
【0165】ただし、diag(・)はカッコ内の成分
を対角成分とする対角行列を表わす。Note that diag (•) represents a diagonal matrix having the components in parentheses as diagonal components.
【0166】<正定値行列の例2>正定値行列Uとして
対角成分がすべて正である次の数70で表された対角行
列を用いる。なお、数70及び数71において、u│Λ
│における│Λ│は本来下付きであるが、表示不可能で
あるためこのように表示する。<Example 2 of Positive Definite Matrix> As the positive definite matrix U, a diagonal matrix represented by the following equation 70 in which all diagonal components are positive is used. In Equations 70 and 71, u│Λ
Although | Λ | in | is originally a subscript, it is displayed like this because it cannot be displayed.
【0167】[0167]
【数70】U=diag(u1,u2,…,u│Λ│),
∀nun>0のときU = diag (u 1 , u 2 ,..., U│… │),
と き When n u n > 0
【0168】<正定値行列の例3>正定値行列Uとして
対角成分がすべて非負である次の数71で表された対角
行列を用いる。<Example 3 of Positive Definite Matrix> As the positive definite matrix U, a diagonal matrix represented by the following equation 71 in which all diagonal components are nonnegative is used.
【0169】[0169]
【数71】U=diag(u1,u2,…,u│Λ│),
∀nun≧0のときU = diag (u 1 , u 2 ,..., U│ 2│),
∀ When n u n ≧ 0
【0170】対角成分の一部は0であってもよい。この
とき、行列Uは正定値ではないが、un=0とすること
は認識パラメータλnが固定し更新しないことを意味し
ているにすぎない。重要でないパラメータに対応する行
列Uの対角成分を0と設定した場合、結果として学習に
関与するパラメータの個数を減少させ、学習に要する学
習データと更新回数の節約に貢献する。Some of the diagonal components may be zero. At this time, the matrix U is not a positive definite value, but setting u n = 0 only means that the recognition parameter λ n is fixed and is not updated. When the diagonal components of the matrix U corresponding to the unimportant parameters are set to 0, the number of parameters involved in learning is reduced as a result, which contributes to the reduction of learning data required for learning and the number of updates.
【0171】<<実施例の変形例1>>判別関数g
k(X,Λ)(k=0,1,…,K)の定義における
ξ、η又はζの値、あるいは誤分類測度d(X,Λ)の
定義におけるパラメータμの値を無限大に設定してもよ
い。この場合、認識パラメータ更新量ΔΛの計算を簡単
化できる。この場合は誤認識率の局所的最小値への収束
は厳密には保証されないが、各々の定数の絶対値が大き
い場合の近似と見なすことができ、実際的には重大な問
題とはならない。<< Modification 1 of Embodiment >> Discriminant Function g
The value of ξ, η, or ξ in the definition of k (X, Λ) (k = 0, 1,..., K) or the value of the parameter μ in the definition of the misclassification measure d (X, Λ) is set to infinity. May be. In this case, the calculation of the recognition parameter update amount ΔΛ can be simplified. In this case, convergence of the misrecognition rate to the local minimum is not strictly guaranteed, but it can be regarded as an approximation when the absolute value of each constant is large, and does not actually pose a serious problem.
【0172】<<実施例の変形例2>>既知の入力信号
が与えられるたびに認識パラメータΛを更新するのでは
なく、複数の既知の入力信号に対する更新量を加算した
ものによって認識パラメータΛを更新してもよい。例え
ば、Sを任意の正の定数とすると、既知の入力信号がS
個与えられる毎に次の数72で表される更新量ΔΛを用
いて認識パラメータΛを更新してもよい。<< Modification 2 of Embodiment >> Instead of updating the recognition parameter Λ every time a known input signal is supplied, the recognition parameter に よ っ て is calculated by adding the update amounts of a plurality of known input signals. May be updated. For example, if S is any positive constant, then the known input signal is S
The recognition parameter Λ may be updated using the update amount ΔΛ expressed by the following equation 72 each time the recognition parameter Λ is given.
【0173】[0173]
【数72】 [Equation 72]
【0174】ここで、Xsはs個だけ前に入力された既
知の入力パターンを表す。Here, X s represents a known input pattern input s times earlier.
【0175】以上の実施例において、特徴抽出部1と、
認識処理部2と、認識パラメータ更新部3とは例えばデ
ィジタル計算機によって構成される。In the above embodiment, the feature extracting unit 1
The recognition processing unit 2 and the recognition parameter updating unit 3 are configured by, for example, a digital computer.
【0176】以上説明したように、学習モードにおい
て、入力パターンXが与えられるたびに認識パラメータ
更新部3で上記の数56による認識パラメータΛの更新
が実行されることにより、分類処理パラメータΛCとリ
ジェクト処理パラメータΛRの両者が同時に学習されて
更新され、結果として本実施例の信号認識装置の正答率
を向上させることができ、従来例に比較して高い正答率
を得ることができる。[0176] As described above, in the learning mode, by updating the recognition parameters lambda by the number 56 is performed by the recognition parameter updating unit 3 each time the input pattern X is given, the classification process parameter lambda C both reject process parameter lambda R is updated by learning simultaneously, it is possible to improve the correct rate of the signal recognition device of the present embodiment as a result, it is possible to obtain a high percentage of correct as compared with the conventional example.
【0177】[0177]
【発明の効果】以上詳述したように本発明に係る請求項
1記載の信号認識方法によれば、入力された信号を予め
用意された類に分類するための分類処理パラメータと、
認識不能を判断するためのリジェクト処理パラメータと
を記憶装置に記憶するステップと、上記記憶された分類
処理パラメータとリジェクト処理パラメータとを用い
て、入力された信号を予め用意された複数の類のいずれ
かに分類し、又は認識不能と判断して認識結果を出力す
るステップと、入力された信号とその信号の正解認識結
果とに基づいて、分類の誤りとリジェクトの誤りの両者
を近似する単一の損失関数の勾配を用いて、所定の勾配
探索法により上記損失関数が最小化するように、上記記
憶された分類処理パラメータと上記リジェクト処理パラ
メータの両者を学習して更新するステップとを含む。従
って、分類処理パラメータとリジェクト処理パラメータ
の両者が同時に学習されて更新され、結果として本発明
の信号認識方法の正答率を向上させることができ、従来
例に比較して高い正答率を得ることができる。As described above in detail, according to the signal recognition method of the first aspect of the present invention, a classification processing parameter for classifying an input signal into a class prepared in advance,
Storing a rejection processing parameter for determining unrecognition in a storage device, and using the stored classification processing parameter and rejection processing parameter to convert an input signal into any of a plurality of types prepared in advance. Classifying or recognizing an unrecognizable signal and outputting a recognition result; and a single unit that approximates both a classification error and a reject error based on the input signal and the correct recognition result of the signal. Learning and updating both the stored classification processing parameter and the rejection processing parameter such that the loss function is minimized by a predetermined gradient search method using the gradient of the loss function. Therefore, both the classification processing parameter and the rejection processing parameter are simultaneously learned and updated, and as a result, the correct answer rate of the signal recognition method of the present invention can be improved, and a higher correct answer rate can be obtained as compared with the conventional example. it can.
【0178】また、本発明に係る請求項2記載の信号認
識装置によれば、入力された信号を予め用意された類に
分類するための分類処理パラメータと、認識不能を判断
するためのリジェクト処理パラメータとを記憶する記憶
手段と、上記分類処理パラメータと上記リジェクト処理
パラメータとを用いて、入力された信号を予め用意され
た複数の類のいずれかに分類し、又は認識不能と判断し
て認識結果を出力する認識手段と、入力された信号とそ
の信号の正解認識結果とに基づいて、分類の誤りとリジ
ェクトの誤りの両者を近似する単一の損失関数の勾配を
用いて、所定の勾配探索法により上記損失関数が最小化
するように、上記記憶された分類処理パラメータと上記
リジェクト処理パラメータの両者を学習して更新する更
新手段とを備える。従って、分類処理パラメータとリジ
ェクト処理パラメータの両者が同時に学習されて更新さ
れ、結果として本発明の信号認識装置の正答率を向上さ
せることができ、従来例に比較して高い正答率を得るこ
とができる。According to the signal recognition device of the second aspect of the present invention, a classification processing parameter for classifying an input signal into a class prepared in advance, and a rejection processing for judging that recognition is impossible. The input signal is classified into one of a plurality of classes prepared in advance using the storage means for storing the parameters and the classification processing parameter and the rejection processing parameter, or is determined to be unrecognizable and recognized. Based on a recognition unit that outputs a result and a single loss function gradient that approximates both a classification error and a rejection error based on an input signal and a correct recognition result of the signal, a predetermined gradient is used. Updating means for learning and updating both the stored classification processing parameters and the rejection processing parameters so that the loss function is minimized by a search method. Therefore, both the classification processing parameter and the rejection processing parameter are learned and updated simultaneously, and as a result, the correct answer rate of the signal recognition device of the present invention can be improved, and a higher correct answer rate can be obtained as compared with the conventional example. it can.
【0179】さらに、本発明に係る請求項3記載の信号
認識装置の学習方法によれば、入力された信号を予め用
意された類に分類するための分類処理パラメータと、認
識不能を判断するためのリジェクト処理パラメータとを
用いて、入力された信号を予め用意された複数の類のい
ずれかに分類し、又は認識不能と判断して認識結果を出
力する信号認識装置の学習方法であって、入力された信
号を予め用意された類に分類するための分類処理パラメ
ータと、認識不能を判断するためのリジェクト処理パラ
メータとを記憶装置に記憶するステップと、入力された
信号とその信号の正解認識結果とに基づいて、分類の誤
りとリジェクトの誤りの両者を近似する単一の損失関数
の勾配を用いて、所定の勾配探索法により上記損失関数
が最小化するように、上記記憶された分類処理パラメー
タと上記リジェクト処理パラメータの両者を学習して更
新するステップとを含む。従って、分類処理パラメータ
とリジェクト処理パラメータの両者が同時に学習されて
更新され、結果として本発明の信号認識装置の正答率を
向上させることができ、従来例に比較して高い正答率を
得ることができる。Further, according to the learning method of the signal recognition device of the third aspect of the present invention, a classification processing parameter for classifying an input signal into a class prepared in advance, and a determination of whether or not recognition is impossible. Using a rejection processing parameter of, the input signal is classified into any of a plurality of prepared classes, or a learning method of a signal recognition device that outputs a recognition result by determining that recognition is not possible, Storing, in a storage device, a classification processing parameter for classifying an input signal into a class prepared in advance, and a rejection processing parameter for judging unrecognition; and correct recognition of the input signal and the signal. Based on the result, using a single gradient of the loss function that approximates both the classification error and the reject error, the loss function is minimized by a predetermined gradient search method. , And updating to learn both the classification process parameters the storage and the reject process parameters. Therefore, both the classification processing parameter and the rejection processing parameter are learned and updated simultaneously, and as a result, the correct answer rate of the signal recognition device of the present invention can be improved, and a higher correct answer rate can be obtained as compared with the conventional example. it can.
【0180】またさらに、本発明に係る請求項4記載の
信号認識装置の学習装置によれば、入力された信号を予
め用意された類に分類するための分類処理パラメータ
と、認識不能を判断するためのリジェクト処理パラメー
タとを用いて、入力された信号を予め用意された複数の
類のいずれかに分類し、又は認識不能と判断して認識結
果を出力する信号認識装置の学習装置であって、入力さ
れた信号とその信号の正解認識結果とに基づいて、分類
の誤りとリジェクトの誤りの両者を近似する単一の損失
関数の勾配を用いて、所定の勾配探索法により上記損失
関数が最小化するように、上記分類処理パラメータと上
記リジェクト処理パラメータの両者を学習して更新する
更新手段を備える。従って、分類処理パラメータとリジ
ェクト処理パラメータの両者が同時に学習されて更新さ
れ、結果として本発明の信号認識装置の正答率を向上さ
せることができ、従来例に比較して高い正答率を得るこ
とができる。Further, according to the learning apparatus of the signal recognition apparatus of the fourth aspect of the present invention, a classification processing parameter for classifying an input signal into a class prepared in advance and a recognition failure are determined. And a rejection processing parameter for classifying the input signal into one of a plurality of classes prepared in advance, or determining that the signal is unrecognizable and outputting a recognition result. Based on the input signal and the correct recognition result of the signal, using a single loss function gradient that approximates both a classification error and a reject error, the loss function is determined by a predetermined gradient search method. Update means is provided for learning and updating both the classification processing parameters and the reject processing parameters so as to minimize them. Therefore, both the classification processing parameter and the rejection processing parameter are simultaneously learned and updated, and as a result, the correct answer rate of the signal recognition device of the present invention can be improved, and a higher correct answer rate can be obtained as compared with the conventional example. it can.
【図1】 本発明に係る一実施例である信号認識装置の
ブロック図である。FIG. 1 is a block diagram of a signal recognition device according to an embodiment of the present invention.
【図2】 図1の認識処理部2のブロック図である。FIG. 2 is a block diagram of a recognition processing unit 2 of FIG.
【図3】 図1の信号認識装置において用いる近似ステ
ップ関数の例1を示すグラフである。FIG. 3 is a graph showing an example 1 of an approximate step function used in the signal recognition device of FIG. 1;
【図4】 図1の信号認識装置において用いる近似ステ
ップ関数の例2を示すグラフである。FIG. 4 is a graph showing an example 2 of an approximate step function used in the signal recognition device of FIG. 1;
【図5】 従来例の信号認識装置のブロック図である。FIG. 5 is a block diagram of a conventional signal recognition device.
1…特徴抽出部、 2…認識処理部、 3…認識パラメータ更新部、 21…入力信号データメモリ、 22…正解認識結果データメモリ、 23…認識結果データメモリ、 31,32…モードスイッチ、 41…分類処理判別関数計算部、 42…リジェクト処理判別関数計算部、 43…認識結果決定部、 50…認識パラメータ記憶部、 51…分類処理パラメータ記憶部、 52…リジェクト処理パラメータ記憶部。 DESCRIPTION OF SYMBOLS 1 ... Feature extraction part, 2 ... Recognition processing part, 3 ... Recognition parameter update part, 21 ... Input signal data memory, 22 ... Correct answer recognition result data memory, 23 ... Recognition result data memory, 31, 32 ... Mode switch, 41 ... Classification processing discrimination function calculation unit, 42: Rejection processing discrimination function calculation unit, 43: recognition result determination unit, 50: recognition parameter storage unit, 51: classification processing parameter storage unit, 52: rejection processing parameter storage unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 片桐 滋 京都府相楽郡精華町大字乾谷小字三平谷 5番地 株式会社エイ・ティ・アール音 声翻訳通信研究所内 (56)参考文献 特開 平4−155398(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 G06K 9/68 G10L 3/00 521 G10L 3/00 561 JICSTファイル(JOIS)────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Shigeru Katagiri Kyoto, Soraku-gun, Seika-cho, 5th, Inaniya, 5th, Sanraya, ATR, Inc. Within ATIR Voice Translation and Communication Research Laboratories (56) References JP-A-4- 155398 (JP, A) (58) Fields investigated (Int. Cl. 6 , DB name) G06T 7/00 G06K 9/68 G10L 3/00 521 G10L 3/00 561 JICST file (JOIS)
Claims (4)
類するための分類処理パラメータと、認識不能を判断す
るためのリジェクト処理パラメータとを記憶装置に記憶
するステップと、 上記記憶された分類処理パラメータとリジェクト処理パ
ラメータとを用いて、入力された信号を予め用意された
複数の類のいずれかに分類し、又は認識不能と判断して
認識結果を出力するステップと、 入力された信号とその信号の正解認識結果とに基づい
て、分類の誤りとリジェクトの誤りの両者を近似する単
一の損失関数の勾配を用いて、所定の勾配探索法により
上記損失関数が最小化するように、上記記憶された分類
処理パラメータと上記リジェクト処理パラメータの両者
を学習して更新するステップとを含むことを特徴とする
信号認識方法。Storing a classification processing parameter for classifying an input signal into a class prepared in advance and a rejection processing parameter for determining recognizability in a storage device; Using the processing parameters and the rejection processing parameters, classifying the input signal into any of a plurality of classes prepared in advance, or determining that recognition is not possible and outputting a recognition result; and Based on the correct recognition result of the signal, using a single loss function gradient that approximates both the classification error and the reject error, so that the loss function is minimized by a predetermined gradient search method, Learning and updating both the stored classification processing parameters and the reject processing parameters.
類するための分類処理パラメータと、認識不能を判断す
るためのリジェクト処理パラメータとを記憶する記憶手
段と、 上記分類処理パラメータと上記リジェクト処理パラメー
タとを用いて、入力された信号を予め用意された複数の
類のいずれかに分類し、又は認識不能と判断して認識結
果を出力する認識手段と、 入力された信号とその信号の正解認識結果とに基づい
て、分類の誤りとリジェクトの誤りの両者を近似する単
一の損失関数の勾配を用いて、所定の勾配探索法により
上記損失関数が最小化するように、上記記憶された分類
処理パラメータと上記リジェクト処理パラメータの両者
を学習して更新する更新手段とを備えたことを特徴とす
る信号認識装置。2. A storage means for storing a classification processing parameter for classifying an input signal into a class prepared in advance, and a reject processing parameter for judging an unrecognizable signal, the classification processing parameter and the rejection Using the processing parameters, the input signal is classified into one of a plurality of classes prepared in advance, or a recognition unit that outputs a recognition result when it is determined that the input signal cannot be recognized, and a recognition unit that outputs the input signal and the signal. Based on the result of the correct answer recognition, using the gradient of a single loss function that approximates both the classification error and the rejection error, the stored loss function is minimized by a predetermined gradient search method so as to minimize the loss function. An updating means for learning and updating both the classified processing parameters and the reject processing parameters.
類するための分類処理パラメータと、認識不能を判断す
るためのリジェクト処理パラメータとを用いて、入力さ
れた信号を予め用意された複数の類のいずれかに分類
し、又は認識不能と判断して認識結果を出力する信号認
識装置の学習方法であって、 入力された信号を予め用意された類に分類するための分
類処理パラメータと、認識不能を判断するためのリジェ
クト処理パラメータとを記憶装置に記憶するステップ
と、 入力された信号とその信号の正解認識結果とに基づい
て、分類の誤りとリジェクトの誤りの両者を近似する単
一の損失関数の勾配を用いて、所定の勾配探索法により
上記損失関数が最小化するように、上記記憶された分類
処理パラメータと上記リジェクト処理パラメータの両者
を学習して更新するステップとを含むことを特徴とする
信号認識装置の学習方法。3. A method according to claim 1, wherein the input signal is classified into a plurality of types by using a classification processing parameter for classifying the input signal into a class prepared in advance and a rejection processing parameter for determining recognizability. A classification processing parameter for classifying an input signal into a class prepared in advance, and a classification method for classifying an input signal into a class prepared in advance. Storing a rejection processing parameter for determining unrecognition in a storage device; and simply approximating both a classification error and a rejection error based on an input signal and a correct recognition result of the signal. Using the gradient of one loss function, the stored classification processing parameter and the reject processing parameter are set so that the loss function is minimized by a predetermined gradient search method. Learning method of signal recognition apparatus characterized by comprising the step of updating to learn them.
類するための分類処理パラメータと、認識不能を判断す
るためのリジェクト処理パラメータとを用いて、入力さ
れた信号を予め用意された複数の類のいずれかに分類
し、又は認識不能と判断して認識結果を出力する信号認
識装置の学習装置であって、 入力された信号とその信号の正解認識結果とに基づい
て、分類の誤りとリジェクトの誤りの両者を近似する単
一の損失関数の勾配を用いて、所定の勾配探索法により
上記損失関数が最小化するように、上記分類処理パラメ
ータと上記リジェクト処理パラメータの両者を学習して
更新する更新手段を備えたことを特徴とする信号認識装
置の学習装置。4. Using a classification processing parameter for classifying an input signal into a class prepared in advance and a rejection processing parameter for determining recognizability, a plurality of input signals are prepared in advance. A learning device for a signal recognition device that classifies into any of the classes or outputs a recognition result when it is determined that recognition is not possible, based on an input signal and a correct recognition result of the signal, a classification error is generated. Using the gradient of a single loss function that approximates both the rejection error and the rejection error, learn both the classification processing parameter and the rejection processing parameter so that the loss function is minimized by a predetermined gradient search method. A learning device for a signal recognition device, comprising: an updating unit that updates the data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7062513A JP2993862B2 (en) | 1995-03-22 | 1995-03-22 | Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7062513A JP2993862B2 (en) | 1995-03-22 | 1995-03-22 | Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08263660A JPH08263660A (en) | 1996-10-11 |
JP2993862B2 true JP2993862B2 (en) | 1999-12-27 |
Family
ID=13202342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7062513A Expired - Lifetime JP2993862B2 (en) | 1995-03-22 | 1995-03-22 | Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2993862B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240086A (en) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and system for evaluating reliability of speech recognition, program for evaluating reliability of speech recognition and recording medium with the program recorded thereon |
JP4987282B2 (en) | 2005-10-25 | 2012-07-25 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP5828552B2 (en) * | 2011-12-22 | 2015-12-09 | 本田技研工業株式会社 | Object classification device, object classification method, object recognition device, and object recognition method |
JP2018112839A (en) * | 2017-01-10 | 2018-07-19 | 富士通株式会社 | Image processing program, image recognition program, image processing device, image recognition device, image recognition method, and image processing method |
JP7400035B1 (en) * | 2022-07-27 | 2023-12-18 | 日本農薬株式会社 | Programs and pest inspection equipment for pest inspection |
-
1995
- 1995-03-22 JP JP7062513A patent/JP2993862B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH08263660A (en) | 1996-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
Ma et al. | Facial expression recognition using constructive feedforward neural networks | |
JP3088171B2 (en) | Self-organizing pattern classification system and classification method | |
US6058205A (en) | System and method for partitioning the feature space of a classifier in a pattern classification system | |
EP0591921A2 (en) | Learning and recognition machine | |
JP5214760B2 (en) | Learning apparatus, method and program | |
WO2020095321A2 (en) | Dynamic structure neural machine for solving prediction problems with uses in machine learning | |
US11410327B2 (en) | Location determination apparatus, location determination method and computer program | |
US20020039446A1 (en) | Pattern recognition based on piecewise linear probability density function | |
KR20220098991A (en) | Method and apparatus for recognizing emtions based on speech signal | |
CN111557010A (en) | Learning device and method, and program | |
JP4039708B2 (en) | Pattern recognition method and pattern recognition apparatus | |
US7181062B2 (en) | Modular classification architecture for a pattern recognition application | |
JP2993862B2 (en) | Signal recognition method, signal recognition device, learning method for signal recognition device, and learning device for signal recognition device | |
JPH04213750A (en) | Classifying method in layered neural network | |
JP6943295B2 (en) | Learning devices, learning methods, and learning programs | |
JPWO2019116497A1 (en) | Identification device, identification method, and identification program | |
JPH0535710A (en) | Learning method/device for neural network | |
JP7184801B2 (en) | LEARNING APPARATUS, LEARNING METHOD, AND LEARNING PROGRAM | |
JP2019128623A (en) | Pattern recognition device, method and program | |
Watts et al. | Evolutionary optimisation of evolving connectionist systems | |
JPH08297495A (en) | Method and device for learning signal pattern recognization device | |
JPH04288663A (en) | Composite self-organizing pattern classifying system | |
JP2701311B2 (en) | Character recognition device with recognition dictionary creation function | |
JP2009105725A (en) | Filter operating method and device, pattern identifying method, and program |