JPH0589076A - Additional learning method of neural network - Google Patents
Additional learning method of neural networkInfo
- Publication number
- JPH0589076A JPH0589076A JP25193291A JP25193291A JPH0589076A JP H0589076 A JPH0589076 A JP H0589076A JP 25193291 A JP25193291 A JP 25193291A JP 25193291 A JP25193291 A JP 25193291A JP H0589076 A JPH0589076 A JP H0589076A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- input
- learning
- additional
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、教師有りのニューラ
ルネットワークの追加学習方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an additional learning method for a supervised neural network.
【０００２】[0002]
【従来の技術】図６は、この発明が適用され得るコホー
ネン型ニューラルネットワークの概略図である。このコ
ホーネン型ニューラルネットワークの構造は、すべての
出力ノード１，１，…が入力ノード２に対して結合され
た構造となっている。各出力ノード１は、それが属する
カテゴリの番号ｊとそのカテゴリ内に含まれる複数の出
力ノードの番号ｋとで表わすことにする。たとえば、出
力ノード１ｊｋは、ｊ番目のカテゴリに属するｋ番目の
出力ノードを表わす。入力ノード２には、Ｎ次元の入力
ベクトルＩが入力される。入力ノード２に入力される入
力ベクトルＩと各出力ノード１の出力値との間は、ウェ
イトベクトルＷによって関数的に関連づけられている。
すなわち、入力ノード２にある入力ベクトルＩが入力さ
れたとき、この入力ベクトルＩとウェイトベクトルＷと
に基づいて、後述するようなアルゴリズムに従って出力
値Ｏが各結合毎に演算され、この演算された出力値Ｏが
各出力ノード１から出力される。そして、最大値を出力
している出力ノード１が属するカテゴリを、入力ベクト
ルＩに対応するカテゴリであると識別するのである。こ
こで、上記ウェイトベクトルＷは出力ノード１に対応づ
けられており、あるウェイトベクトルＷは、対応する出
力ノード（たとえば、出力ノード１ｊｋ）と同じ添字で
表わす（たとえば、Ｗｊｋ）ことにする。2. Description of the Related Art FIG. 6 is a schematic diagram of a Kohonen type neural network to which the present invention can be applied. The structure of this Kohonen type neural network is a structure in which all output nodes 1, 1, ... Are connected to an input node 2. Each output node 1 is represented by the number j of the category to which it belongs and the number k of a plurality of output nodes included in that category. For example, the output node 1jk represents the kth output node belonging to the jth category. The N-dimensional input vector I is input to the input node 2. The input vector I input to the input node 2 and the output value of each output node 1 are functionally related by a weight vector W.
That is, when the input vector I at the input node 2 is input, the output value O is calculated for each connection based on the input vector I and the weight vector W according to an algorithm described later, and this calculation is performed. The output value O is output from each output node 1. Then, the category to which the output node 1 outputting the maximum value belongs is identified as the category corresponding to the input vector I. Here, the weight vector W is associated with the output node 1, and a certain weight vector W is represented by the same subscript (eg, Wjk) as the corresponding output node (eg, output node 1jk).
【０００３】コホーネン型ニューラルネットワークの出
力値演算アルゴリズムを、以下に説明する。The output value calculation algorithm of the Kohonen type neural network will be described below.
【０００４】ウェイトベクトルＷの初期値の設定方法は
種々あるが、ここでは入力ベクトルＩの値をそのままウ
ェイトベクトルＷの初期値とする。この場合、入力ノー
ド２にｔ番目の入力ベクトルＩ（ｔ）が入力されると、
ｕ回目の学習における出力ノード１ｊｋからの出力値Ｏ
ｊｋ（ｔ，ｕ）は次式（１）によって求められる。There are various methods for setting the initial value of the weight vector W, but here, the value of the input vector I is directly used as the initial value of the weight vector W. In this case, when the t-th input vector I (t) is input to the input node 2,
Output value O from output node 1jk in the u-th learning
jk (t, u) is calculated by the following equation (1).
【０００５】[0005]
【数１】 上式（１）において、ｎ，ｔ，ｕ，ｊ，ｋは、以下の意
味を表わす。[Equation 1] In the above formula (1), n, t, u, j, and k have the following meanings.
【０００６】ｎ：入力ベクトルＩの次数（１≦ｎ≦Ｎ） ｔ：入力ベクトルＩの番号 ｕ：学習回数 ｊ：カテゴリの番号 ｋ：ｊ番目のカテゴリ内における番号 ニューラルネットワークの学習は、入力ノード２に入力
された入力ベクトルＩに対応するカテゴリに属する出力
ノードが最大出力値を出力するように、ウェイトベクト
ルＷを更新することにより行なわれる。N: order of input vector I (1≤n≤N) t: number of input vector I u: number of learnings j: category number k: number in jth category Neural network learning is performed by input nodes. The weight vector W is updated so that the output node belonging to the category corresponding to the input vector I input to 2 outputs the maximum output value.
【０００７】ニューラルネットワークの学習方法の一例
として、従来からコホーネン型ニューラルネットワーク
の学習方法として知られている学習ベクトル量子化２
（ＬＶＱ２）について以下に説明する。この学習方法
は、学習ベクトルとしての入力ベクトルＩを入力したと
きの出力値Ｏと、その出力値Ｏに基づく識別カテゴリに
従って、次式（２）によってウェイトベクトルＷの値を
更新する方法である。As an example of the learning method of the neural network, the learning vector quantization 2 which is conventionally known as the learning method of the Kohonen type neural network.
(LVQ2) will be described below. This learning method is a method of updating the value of the weight vector W by the following equation (2) according to the output value O when the input vector I as the learning vector is input and the identification category based on the output value O.
【０００８】入力ベクトルＩ（ｔ）を入力した際の出力
ノードからの出力値のうち、最大出力値をＯｊ1 ｋ
1 （ｔ，ｕ）とし、２番目に大きな出力値をＯｊ2 ｋ2
（ｔ，ｕ）としたときに、ｊ1 ≠入力ベクトルＩが属す
るカテゴリの番号 かつ、ｊ2 ＝入力ベクトルＩが属するカテゴリの番号 ならば、ウェイトベクトルＷｊ1 ｋ1 （ｕ），Ｗｊ2ｋ
2 （ｕ）の値を、それぞれ、Of the output values from the output node when the input vector I (t) is input, the maximum output value is Oj 1 k
1 (t, u), the second largest output value is Oj 2 k 2
If (t, u), and j 1 ≠ the number of the category to which the input vector I belongs and j 2 = the number of the category to which the input vector I belongs, then the weight vectors Wj 1 k 1 (u), Wj 2 k
The value of 2 (u) is
【０００９】[0009]
【数２】 に更新する。[Equation 2] To update.
【００１０】上式（２）において、ｊ1 ，ｋ1 ，ｊ2，
ｋ2 ，Ｋ1 は、それぞれ以下の意味を表わしている。In the above equation (2), j 1 , k 1 , j 2 ,
k 2 and K 1 have the following meanings.
【００１１】ｊ1 ：最大出力値を出力している出力ノー
ドの属するカテゴリ番号 ｋ1 ：最大出力値を出力している出力ノードのｊ1 番目
のカテゴリにおける番号 ｊ2 ：２番目に大きな出力値を出力している出力ノード
が属するカテゴリ番号 ｋ2 ：２番目に大きな出力値を出力している出力ノード
のｊ2 番目のカテゴリにおける番号 Ｋ1 ：定数あるいは学習回数と共に減少する関数 すなわち、ＬＶＱ２は、最大出力値を出力している出力
ノードに基づく識別結果が誤りであり、かつ、２番目に
大きな値を出力している出力ノードに基づく識別結果が
正しい場合に、上記最大出力値を出力している出力ノー
ドに対応するウェイトベクトルＷの値を小さくし、上記
２番目に大きな値を出力している出力ノードに対応する
ウェイトベクトルＷの値を大きくするのである。J 1 : the category number of the output node that outputs the maximum output value k 1 : the number in the j 1st category of the output node that outputs the maximum output value j 2 : the second largest output value The category number to which the output node that is outputting k 2 is : the number in the j 2nd category of the output node that is outputting the second largest output value K 1 : is a constant or a function that decreases with the number of learning, that is, LVQ2 is , If the identification result based on the output node that outputs the maximum output value is incorrect and the identification result based on the output node that outputs the second largest value is correct, the above maximum output value is output. The value of the weight vector W corresponding to the output node that is output is reduced, and the value of the weight vector W corresponding to the output node that outputs the second largest value is set to It is Kikusuru of.
【００１２】こうすることによって、再度同じ入力ベク
トルが入力された場合（たとえば、Ｉ（ｔ＋１）＝Ｉ
（ｔ））、２番目に大きな値を出力する出力ノードから
の出力値が大きくなり（すなわち、Ｏｊ2 ｋ2 （ｔ，ｕ
＋１）＞Ｏｊ2 ｋ2 （ｔ，ｕ））、最大出力値を出力す
る出力ノードからの出力値が小さくなる（すなわち、Ｏ
Ｊ1 ｋ1 （ｔ，ｕ＋１）＜Ｏｊ1 ｋ1 （ｔ，ｕ））。そ
して、やがて入力ベクトルＩに対応するカテゴリに属す
る２番目に大きな値を出力する出力ノードの出力値が、
入力ベクトルＩに対応するカテゴリに属さない最大出力
値を出力する出力ノードの出力値よりも大きくなる。す
なわち、入力ベクトルＩに対応するカテゴリに属する出
力ノードが最大出力値を出力するようになる。換言すれ
ば、最大出力値に基づいて、入力ベクトルＩに対応する
カテゴリを正しく識別できるようになる。By doing so, when the same input vector is input again (for example, I (t + 1) = I
(T)) The output value from the output node that outputs the second largest value becomes large (that is, Oj 2 k 2 (t, u
+1)> Oj 2 k 2 (t, u)), and the output value from the output node that outputs the maximum output value becomes small (that is, O
J 1 k 1 (t, u + 1) <Oj 1 k 1 (t, u)). Then, the output value of the output node that outputs the second largest value belonging to the category corresponding to the input vector I eventually becomes
It is larger than the output value of the output node that outputs the maximum output value that does not belong to the category corresponding to the input vector I. That is, the output node belonging to the category corresponding to the input vector I outputs the maximum output value. In other words, the category corresponding to the input vector I can be correctly identified based on the maximum output value.
【００１３】[0013]
【発明が解決しようとする課題】ニューラルネットワー
クの従来の学習方法は以上のようにして行なわれていた
ため、予め複数の学習データについて学習が終了した後
に、新たな学習データを追加学習させることが困難であ
った。その理由を以下に具体的に説明する。Since the conventional learning method of the neural network is performed as described above, it is difficult to additionally learn new learning data after the learning of a plurality of learning data is completed in advance. Met. The reason will be specifically described below.
【００１４】たとえば、１００種類の学習データＤ１〜
Ｄ１００について、ニューラルネットワークの学習が終
了している場合を想定する。このようなニューラルネッ
トワークに対して、新たな学習データＤ１０１を入力し
て、追加学習を行なう場合について考えてみる。この場
合、入力された新たな学習データＤ１０１に対して正し
い認識を行なうようにニューラルネットワークのウェイ
トベクトルを変更すると、既に学習の終了している学習
データＤ１〜Ｄ１００について誤認識が生じる恐れがあ
る。そのため、従来の学習方法では、学習データＤ１〜
Ｄ１０１のすべてについてニューラルネットワークの再
学習を行なう必要があった。このような再学習を行なう
ためには、学習に用いたすべてのデータＤ１〜Ｄ１００
を保持しておく必要がある。学習データのすべてを保持
しておくことは、多くの記憶容量を必要とするため、装
置の価格が高くなる。また、追加学習のために長時間を
必要とする。For example, 100 types of learning data D1
Assume that the learning of the neural network has been completed for D100. Consider a case where new learning data D101 is input to such a neural network to perform additional learning. In this case, if the weight vector of the neural network is changed so as to correctly recognize the input new learning data D101, the learning data D1 to D100 that have already been learned may be erroneously recognized. Therefore, in the conventional learning method, the learning data D1 to
It was necessary to re-learn the neural network for all of D101. In order to perform such relearning, all the data D1 to D100 used for learning
Must be kept. Retaining all of the learning data requires a lot of storage capacity, which increases the cost of the device. Also, it takes a long time for additional learning.
【００１５】上記のごとく、従来のニューラルネットワ
ークの学習方法では、予め学習の終了しているニューラ
ルネットワークに対して追加学習を行なうことが困難で
あるという問題点があった。As described above, the conventional neural network learning method has a problem that it is difficult to perform additional learning on a neural network for which learning has been completed in advance.
【００１６】それゆえに、この発明の目的は、容易かつ
迅速に追加学習が行なえるようなニューラルネットワー
クの追加学習方法を提供することである。Therefore, an object of the present invention is to provide a method of additional learning of a neural network which enables easy and quick additional learning.
【００１７】[0017]
【課題を解決するための手段】請求項１に記載のニュー
ラルネットワークの追加学習方法は、入力ノードに与え
られる入力ベクトルと出力ノードの出力値との間が、そ
の内部に保持したウェイトベクトルによって関数的に関
連づけられており、ある入力ベクトルが与えられたとき
に最大値を出力する出力ノードの属するカテゴリを入力
ベクトルに対応するカテゴリとして識別するニューラル
ネットワークにおいて、予め複数の学習データを入力ノ
ードに入力し、各学習データに対応するカテゴリに属す
る出力ノードの出力値が最大になるようにウェイトベク
トルを変更して学習を行なった後、新たな学習データを
入力ノードに入力して追加学習を行なう方法であって、
新たに入力される学習データのうち、誤識別の生じた学
習データと、その学習データが対応するカテゴリに属す
る出力ノードの中で最大値を出力する出力ノードのウェ
イトベクトルとの差を演算して付加ベクトルとして保持
しておき、予め学習によって作成されて保持されている
ウェイトベクトルと付加ベクトルとに基づいて、新たに
入力される入力ベクトルの識別を行なうようにしたもの
である。A neural network additional learning method according to claim 1, wherein a weight vector held between the input vector given to the input node and the output value of the output node functions. Which are related to each other and identify the category of the output node that outputs the maximum value when a certain input vector is given as the category corresponding to the input vector, input multiple learning data to the input node in advance. Then, the weight vector is changed so that the output value of the output node belonging to the category corresponding to each learning data becomes maximum, and then the learning is performed. Then, new learning data is input to the input node to perform additional learning. And
Among the newly input learning data, the difference between the learning data in which misidentification has occurred and the weight vector of the output node that outputs the maximum value among the output nodes belonging to the category to which the learning data corresponds is calculated. The input vector is held as an additional vector, and the newly input input vector is identified based on the weight vector and the additional vector created and held by learning in advance.
【００１８】請求項２に記載のニューラルネットワーク
の追加学習方法は、誤識別の生じた新たな学習データが
複数存在する場合、これら学習データのそれぞれについ
て上述したような態様で付加ベクトルを演算し、演算さ
れた複数の付加ベクトルに基づいて総合付加ベクトルを
求め、予め学習によって作成されて保持されているウェ
イトベクトルと総合付加ベクトルとに基づいて、新たに
入力される入力ベクトルの識別を行なうようにしたもの
である。In the additional learning method of the neural network according to the second aspect, when there are a plurality of new learning data in which misidentification has occurred, the additional vector is calculated for each of these learning data in the manner as described above, A total addition vector is obtained based on the calculated plurality of addition vectors, and a newly input input vector is identified based on the weight vector and the total addition vector created and held by learning in advance. It was done.
【００１９】[0019]
【作用】請求項１に記載の発明では、予め学習によって
作成された元のウェイトベクトルとは独立に付加ベクト
ルを作成し、その元のウェイトベクトルと付加ベクトル
とに基づいて、新たに入力される入力ベクトルの識別を
行なうようにしているので、元のウェイトベクトルを破
壊することなく容易に追加学習が可能となる。According to the invention described in claim 1, an additional vector is created independently of the original weight vector created by learning in advance, and a new input is made based on the original weight vector and the additional vector. Since the input vector is identified, additional learning can be easily performed without destroying the original weight vector.
【００２０】請求項２に記載の発明では、誤識別の生じ
た新たな学習データが多数存在する場合、各学習データ
について付加ベクトルを演算し保持しておくと、大量の
メモリを必要とするので、演算された複数の付加ベクト
ルに基づいて総合付加ベクトルを求め、この総合付加ベ
クトルを入力ベクトルの識別のために用いるようにして
いる。According to the second aspect of the present invention, when a large number of new learning data in which erroneous identification has occurred exist, a large amount of memory is required if the additional vector is calculated and held for each learning data. A total addition vector is obtained based on the calculated plurality of addition vectors, and this total addition vector is used to identify the input vector.
【００２１】[0021]
【実施例】図１は、この発明に係るニューラルネットワ
ークの学習システムのブロック図である。学習ベクトル
としての入力ベクトルＩおよびその入力ベクトルＩに対
応するカテゴリが入力呈示部５に入力される。応じて、
出力演算部６によって、入力ベクトルＩとウェイトベク
トルメモリ７に記憶されているウェイトベクトルＷとの
積和（すなわち、ニューラルネットワークの出力ノード
からの出力値Ｏ）が演算される。出力演算部６によって
演算された結果は、出力ソート部８によって降順に並び
変えられて格納される。ＣＰＵ（中央処理装置）９は、
入力呈示部５，出力演算部６，ウェイトベクトルメモリ
７および出力ソート部８を制御して次に述べるような学
習動作を実行する。ここで、上記出力演算部６およびウ
ェイトベクトルメモリ７は、この発明によって学習され
るニューラルネットワーク１０の一部を形成している。1 is a block diagram of a learning system for a neural network according to the present invention. The input vector I as a learning vector and the category corresponding to the input vector I are input to the input presenting unit 5. Depending on,
The output calculation unit 6 calculates the sum of products of the input vector I and the weight vector W stored in the weight vector memory 7 (that is, the output value O from the output node of the neural network). The results calculated by the output calculator 6 are sorted by the output sorter 8 in descending order and stored. The CPU (central processing unit) 9
The input presenting unit 5, the output computing unit 6, the weight vector memory 7, and the output sorting unit 8 are controlled to execute the learning operation as described below. Here, the output calculation unit 6 and the weight vector memory 7 form a part of the neural network 10 learned by the present invention.
【００２２】ＣＰＵ９は、学習開始時において、入力呈
示部５に入力された入力ベクトルＩをウェイトベクトル
Ｗの初期値としてウェイトベクトルメモリ７に格納す
る。また、ＣＰＵ９は、学習時においては、出力ソート
部８に降順に並べ変えられて格納されている演算結果に
基づき、ウェイトベクトルメモリ７に格納されたウェイ
トベクトルＷの値を更新する。At the start of learning, the CPU 9 stores the input vector I input to the input presenting section 5 in the weight vector memory 7 as the initial value of the weight vector W. Further, during learning, the CPU 9 updates the value of the weight vector W stored in the weight vector memory 7 based on the calculation result sorted and stored in the output sort unit 8 in descending order.
【００２３】図２は、上記ＣＰＵ９によって実行される
追加学習動作のフローチャートである。以下、図２に従
って追加学習動作手順について説明する。FIG. 2 is a flowchart of the additional learning operation executed by the CPU 9. The additional learning operation procedure will be described below with reference to FIG.
【００２４】ニューラルネットワークとしては、たとえ
ば図３で示されるような２層のニューラルネットワーク
を用いる。このニューラルネットワークは、予め既知の
学習則、たとえばＬＶＱ２学習則を用いて学習が行なわ
れている。図３のニューラルネットワークは、１カテゴ
リに２つの出力ノードを持つものとし、最大出力値を出
力する出力ノードが、識別結果のカテゴリを示してい
る。学習終了後のベクトル空間を、近似的に２次元空間
で表現すると図３のようになる。As the neural network, for example, a two-layer neural network as shown in FIG. 3 is used. This neural network is learned in advance using a known learning rule, for example, the LVQ2 learning rule. The neural network in FIG. 3 has two output nodes in one category, and the output node that outputs the maximum output value indicates the category of the identification result. The vector space after learning is approximately expressed in a two-dimensional space as shown in FIG.
【００２５】予め複数の学習データについて学習の終了
したニューラルネットワークに対し、図２に示すフロー
チャートに従って追加学習が実行される。まず、ステッ
プＳ１において、追加学習のための新たな学習データが
入力ノード２に入力され、識別動作が実行される。続い
て、ステップＳ２に進み、入力された新たな学習データ
に対する識別動作が成功したか否かが判断される。この
とき、入力された新たな学習データに対して誤識別が生
じた場合、その学習データがステップＳ３において保存
される。たとえば、実データを使用して識別処理を行な
うとき、ある入力文字（たとえば“２”）を誤った文字
（たとえば“３”）に間違えて識別してしまったとす
る。このときの入力ベクトル（新たな学習データ）を誤
識別のデータとして、ステップＳ３で一旦保存してお
く。Additional learning is performed on the neural network for which learning has been completed for a plurality of learning data in accordance with the flowchart shown in FIG. First, in step S1, new learning data for additional learning is input to the input node 2 and the identification operation is executed. Succeedingly, in a step S2, it is determined whether or not the identification operation for the input new learning data is successful. At this time, if erroneous identification occurs in the input new learning data, the learning data is saved in step S3. For example, it is assumed that a certain input character (for example, "2") is mistakenly identified as an erroneous character (for example, "3") when performing identification processing using real data. The input vector (new learning data) at this time is once stored as misidentification data in step S3.
【００２６】ステップＳ１〜Ｓ３の動作は、新たに入力
される学習データのすべてについての識別動作が終了す
るまで繰返し実行される。ステップＳ４ですべての学習
データについての識別終了が判断されると、ステップＳ
５に進む。ステップＳ５では、新たに入力された学習デ
ータのいずれかについて誤識別が生じたか否かが判断さ
れる。新たに入力されたすべての学習データについて正
しい識別が行なわれた場合は、そのまま動作を終了す
る。一方、新たに入力された学習データの中に１つでも
誤識別が生じていた場合は、ステップＳ６に進む。ステ
ップＳ６では、誤識別の生じた学習データに対応するカ
テゴリの中で、最も大きな値を出力している出力ノード
のウェイトベクトルが検出される。続いて、ステップＳ
７に進み、付加ベクトルの作成が行なわれる。この付加
ベクトルは、ステップＳ６で検出されたウェイトベクト
ルと、誤識別の生じた学習データの入力ベクトルとの差
を演算することによって求められる。作成された付加ベ
クトルは、ウェイトベクトルメモリ７に格納される。The operations of steps S1 to S3 are repeatedly executed until the identification operation for all newly input learning data is completed. If it is determined in step S4 that all learning data have been identified, step S4
Go to 5. In step S5, it is determined whether or not erroneous identification has occurred for any of the newly input learning data. If all newly input learning data have been correctly identified, the operation is ended. On the other hand, if even one of the newly input learning data is erroneously identified, the process proceeds to step S6. In step S6, the weight vector of the output node that outputs the largest value in the category corresponding to the learning data in which misidentification has occurred is detected. Then, step S
Proceeding to 7, the additional vector is created. This additional vector is obtained by calculating the difference between the weight vector detected in step S6 and the input vector of the learning data in which misidentification has occurred. The created additional vector is stored in the weight vector memory 7.
【００２７】ステップＳ５〜Ｓ７の動作は、誤識別の生
じた各学習データについて実行され、各学習データに対
する付加ベクトルが演算され記憶される。誤識別の生じ
た学習データのすべてについて付加ベクトルの作成が終
了すると、追加学習動作が終了する。The operations of steps S5 to S7 are executed for each learning data in which misidentification has occurred, and the additional vector for each learning data is calculated and stored. When the creation of the additional vector is completed for all the learning data in which misidentification has occurred, the additional learning operation ends.
【００２８】次に、図２に示す追加学習動作によって得
られた付加ベクトルに基づいて新たな入力ベクトルの識
別を行なう場合の動作を説明する。入力ノード２に入力
された入力ベクトルＩの識別実行は、ウェイトベクトル
メモリ７に記憶されている元のウェイトベクトルと、前
述のステップＳ７で作成された付加ベクトルとの双方を
用いて行なわれる。すなわち、まず入力ベクトルＩと各
出力ノードの元のウェイトベクトルとの積和（第１の積
和）を演算する。次に、入力ベクトルＩと付加ベクトル
との積和と、上記第１の積和との和（第２の積和）を演
算する。そして、第１および第２の積和の演算結果の双
方を、各出力ノードに出力する。すなわち、第１および
第２の積和を、双方ともそのカテゴリを示すノードの出
力として扱う。つまり、従来のウェイトベクトルに付加
ベクトルを付け加えることで、図４に示すように、仮想
的に出力ノードを増やしていることになる。このように
して求めた各出力ノードの出力値のうち、最大値を示す
出力ノードの属するカテゴリを入力ベクトルＩに対応す
るカテゴリとして識別し、その識別結果を出力する。Next, the operation for identifying a new input vector based on the additional vector obtained by the additional learning operation shown in FIG. 2 will be described. Identification and execution of the input vector I input to the input node 2 is performed using both the original weight vector stored in the weight vector memory 7 and the additional vector created in step S7. That is, first, the sum of products (first sum of products) of the input vector I and the original weight vector of each output node is calculated. Next, the sum (second sum of products) of the sum of products of the input vector I and the additional vector and the first sum of products is calculated. Then, both the operation results of the first and second product sums are output to each output node. That is, both the first and second sums of products are treated as the output of the node indicating the category. That is, by adding the additional vector to the conventional weight vector, the output nodes are virtually increased as shown in FIG. Among the output values of the output nodes thus obtained, the category to which the output node having the maximum value belongs is identified as the category corresponding to the input vector I, and the identification result is output.
【００２９】なお、付加ベクトル＋元のウェイトベクト
ルが、元のウェイトベクトルと同じ重みを持っている
と、付加ベクトルを生成したことにより、元々正確に識
別できていた入力パターンが、正しく識別されなくなる
ことがある。これを防ぐために、付加ベクトル＋元のウ
ェイトベクトルの値に何らかの重み付を行ない、元のウ
ェイトベクトルを重視するようにすることが望ましい。If the additional vector + the original weight vector has the same weight as the original weight vector, the input pattern that was originally correctly identified by the additional vector is not correctly identified. Sometimes. In order to prevent this, it is desirable to give some weight to the value of the addition vector + original weight vector, and attach importance to the original weight vector.
【００３０】ところで、追加学習のために新たに入力さ
れる学習データのうち、誤識別の生じる学習データが多
数存在する場合は、各学習データについて付加ベクトル
を演算し記憶することは、大きなメモリ容量を必要と
し、望ましくない。そこで、このような場合に好適する
実施例の追加学習方法を、図５に示す。以下には、図５
に示すフローチャートに従って、この発明の他の実施例
に係る追加学習方法の処理手順を説明する。By the way, in the case where a large number of learning data that are erroneously identified exist among the learning data newly input for additional learning, it is a large memory capacity to calculate and store the additional vector for each learning data. Requires and is not desirable. Therefore, FIG. 5 shows an additional learning method of an embodiment suitable for such a case. Below is FIG.
The processing procedure of the additional learning method according to another embodiment of the present invention will be described with reference to the flowchart shown in FIG.
【００３１】図５において、ステップＳ１からステップ
Ｓ５までの動作は、図２に示すステップＳ１からステッ
プＳ５までの動作と同様である。ステップＳ５において
誤認識の生じた学習データの存在が判断されると、ステ
ップＳ１１に進む。ステップＳ１１では、誤認識の生じ
た学習データのそれぞれについて、対応するカテゴリに
属する出力ノードの中で最も出力値の大きな出力ノード
に対するウェイトベクトルを検出する。次に、ステップ
Ｓ１２に進み、出力ノードの個数をカウントするカウン
タ（ＣＰＵ９によって形成されるソフトカウンタ）の計
数値ｎが０に設定される。続いて、ステップＳ１３に進
み、ｎ番目（最初は０番目）の出力ノードが、ステップ
Ｓ１１で或る誤認識学習データに対する最も正解に近い
出力ノードとして検出されたか否かが判断される。この
とき、ｎ番目の出力ノードが、或る誤認識学習データに
対して最も正解に近い出力ノードとして検出されていた
場合は、ステップＳ１４に進み、そのｎ番目の出力ノー
ドに対する付加ベクトルが演算される。前述したよう
に、付加ベクトルは、ｎ番目の出力ノードに対するウェ
イトベクトルと誤認識学習ベクトルとの差のベクトルと
して演算される。In FIG. 5, the operation from step S1 to step S5 is the same as the operation from step S1 to step S5 shown in FIG. If it is determined in step S5 that there is learning data for which erroneous recognition has occurred, the process proceeds to step S11. In step S11, the weight vector for the output node having the largest output value among the output nodes belonging to the corresponding category is detected for each of the learning data in which the misrecognition has occurred. Next, in step S12, the count value n of the counter (soft counter formed by the CPU 9) that counts the number of output nodes is set to zero. Succeedingly, in a step S13, it is determined whether or not the n-th (first-time 0-th) output node is detected as an output node closest to the correct answer for a certain misrecognition learning data in the step S11. At this time, if the n-th output node is detected as the output node closest to the correct answer with respect to the certain misrecognition learning data, the process proceeds to step S14, and the additional vector for the n-th output node is calculated. It As described above, the additional vector is calculated as the vector of the difference between the weight vector for the nth output node and the misrecognition learning vector.
【００３２】ステップＳ１３において「ＮＯ」が判断さ
れた場合、またはステップＳ１４の動作が終了した場合
は、ステップＳ１５に進み、前述のカウンタの計数値ｎ
が１だけ加算される。その後、ステップＳ１６に進み、
カウンタの計数値ｎが出力ノードの個数よりも小さいか
否かが判断される。カウンタの計数値ｎが出力ノードの
個数よりも小さい場合は、再びステップＳ１３の動作に
戻る。したがって、各出力ノードについてステップＳ１
３〜Ｓ１５の動作が繰返し実行される。このとき、ステ
ップＳ１４で作成される付加ベクトルが２以上になる
と、ステップＳ１４では、各付加ベクトルの成分分析を
行ない、分布傾向を計算する。そして、この分布傾向に
基づいた総合付加ベクトルを作成し、ウェイトベクトル
メモリ７に格納する。分布傾向は、数学的手法で求めた
もの（たとえば固有ベクトル）であっても、ニューラル
ネットワークによるもの（たとえばコホーネンの自己組
織化アルゴリズム）で求めたものであっても構わない。
総合ベクトルを固有ベクトルとして計算する場合、たと
えば各付加ベクトルの平均ベクトルとして計算されても
よい。すべての出力ノードについてステップＳ１３〜Ｓ
１６の動作が終了すると、ウェイトベクトルメモリ７に
は１つの総合ベクトルが登録されることになる。したが
って、ウェイトベクトルメモリ７の記憶容量を少なくす
ることができる。If "NO" is determined in step S13 or the operation of step S14 is completed, the process proceeds to step S15, and the count value n of the above-mentioned counter is increased.
Is incremented by 1. After that, it advances to step S16,
It is determined whether the count value n of the counter is smaller than the number of output nodes. When the count value n of the counter is smaller than the number of output nodes, the operation returns to step S13. Therefore, for each output node, step S1
The operations of 3 to S15 are repeatedly executed. At this time, when the number of additional vectors created in step S14 becomes 2 or more, the component tendency of each additional vector is analyzed in step S14 to calculate the distribution tendency. Then, a total addition vector based on this distribution tendency is created and stored in the weight vector memory 7. The distribution tendency may be obtained by a mathematical method (for example, eigenvector) or by a neural network (for example, Kohonen's self-organizing algorithm).
When the total vector is calculated as an eigenvector, it may be calculated as an average vector of each additional vector, for example. Steps S13 to S for all output nodes
When the operation of 16 is completed, one total vector is registered in the weight vector memory 7. Therefore, the storage capacity of the weight vector memory 7 can be reduced.
【００３３】次に、図５に示す追加学習方法によって得
られた総合付加ベクトルを用いて新たな入力ベクトルＩ
の識別を実行する場合の動作を説明する。この場合、入
力ベクトルＩと各出力ノードの元々のウェイトベクトル
との積和（第１の積和）をまず演算する。次に、入力ベ
クトルＩと総合付加ベクトルとの積和と上記第１の積和
との和（第２の積和）を演算する。次に、第１および第
２の積和を共に２乗し、その演算結果を各出力ノードに
出力する。つまり、第１の積和の２乗と第２の積和の２
乗との両方を、入力ベクトルＩを示すノードの出力とし
て扱う。このようにして求められた各出力ノードの出力
値のうち、最も大きい値を示す出力ノードの属するカテ
ゴリが、入力ベクトルに対応するカテゴリの識別結果と
して出力する。なお、第１および第２の積和を、共に２
乗するのは、固有ベクトルの向きを考慮しないためであ
る。すなわち、総合ベクトルとして固有ベクトルを用い
る場合、総合ベクトルが負の値をとる場合もあるので、
そのような極性を考慮しないために第１および第２の積
和が共に２乗される。Next, a new input vector I is generated by using the total addition vector obtained by the additional learning method shown in FIG.
The operation in the case of executing the identification will be described. In this case, the sum of products (first sum of products) of the input vector I and the original weight vector of each output node is first calculated. Next, the sum (second sum of products) of the sum of products of the input vector I and the total addition vector and the first sum of products is calculated. Next, the first and second product sums are both squared, and the calculation result is output to each output node. That is, the first product sum squared and the second product sum 2
Both the power and are treated as the output of the node representing the input vector I. Among the output values of the output nodes thus obtained, the category to which the output node having the largest value belongs is output as the identification result of the category corresponding to the input vector. The first and second sums of products are both 2
The reason for multiplying is to not consider the direction of the eigenvector. That is, when an eigenvector is used as the total vector, the total vector may take a negative value.
The first and second sums of products are both squared so as to not consider such polarities.
【００３４】[0034]
【発明の効果】以上のように、この発明によれば、予め
学習によって得られた元のウェイトベクトルを破壊する
ことなく容易にニューラルネットワークの追加学習を行
なうことができる。As described above, according to the present invention, it is possible to easily perform additional learning of the neural network without destroying the original weight vector obtained by learning in advance.
【図１】この発明に係るニューラルネットワークの学習
システムのブロック図である。FIG. 1 is a block diagram of a learning system of a neural network according to the present invention.
【図２】図１に示すニューラルネットワークの学習シス
テムにおいて実行されるこの発明の一実施例の追加学習
方法を示すフローチャートである。FIG. 2 is a flowchart showing an additional learning method of one embodiment of the present invention, which is executed in the learning system of the neural network shown in FIG.
【図３】ニューラルネットワークの構造の一例を示す模
式図である。FIG. 3 is a schematic diagram showing an example of the structure of a neural network.
【図４】この発明の追加学習方法によって作成される付
加ベクトルを説明するためのベクトル図である。FIG. 4 is a vector diagram for explaining an additional vector created by the additional learning method of the present invention.
【図５】この発明の他の実施例の追加学習方法を示すフ
ローチャートである。FIG. 5 is a flowchart showing an additional learning method according to another embodiment of the present invention.
【図６】従来のコホーネン型ニューラルネットワークの
概略構成を示す模式図である。FIG. 6 is a schematic diagram showing a schematic configuration of a conventional Kohonen type neural network.
１…出力ノード ２…入力ノード ５…入力呈示部 ６…出力演算部 ７…ウェイトベクトルメモリ ８…出力ソート部 ９…ＣＰＵ １０…ニューラルネットワーク DESCRIPTION OF SYMBOLS 1 ... Output node 2 ... Input node 5 ... Input presentation part 6 ... Output calculation part 7 ... Weight vector memory 8 ... Output sort part 9 ... CPU 10 ... Neural network
Claims (2)
出力ノードの出力値との間が、その内部に保持したウェ
イトベクトルによって関数的に関連付けられており、あ
る入力ベクトルが与えられたときに最大値を出力する出
力ノードの属するカテゴリを入力ベクトルに対応するカ
テゴリとして識別するニューラルネットワークにおい
て、予め複数の学習データを前記入力ノードに入力し、
各学習データに対応するカテゴリに属する出力ノードの
出力値が最大になるように前記ウェイトベクトルを変更
して学習を行なった後、新たな学習データを前記入力ノ
ードに入力して追加学習を行なう方法であって、 前記新たに入力される学習データのうち、誤識別の生じ
た学習データと、その学習データが対応するカテゴリに
属する出力ノードの中で最大値を出力する出力ノードの
ウェイトベクトルとの差を演算して付加ベクトルとして
保持しておき、 新たに入力される入力ベクトルの識別を、予め学習によ
って作成されて保持されているウェイトベクトルと前記
付加ベクトルとに基づいて行なう、ニューラルネットワ
ークの追加学習方法。1. An input vector given to an input node and an output value of an output node are functionally related by a weight vector held therein, and a maximum value is given when a given input vector is given. In the neural network that identifies the category to which the output node that outputs is as the category corresponding to the input vector, input a plurality of learning data in advance to the input node,
A method of performing additional learning by changing the weight vector so that the output value of the output node belonging to the category corresponding to each learning data is maximum and performing learning, and then inputting new learning data to the input node. Of the newly input learning data, the learning data in which misidentification has occurred and the weight vector of the output node that outputs the maximum value among the output nodes belonging to the category to which the learning data corresponds Addition of a neural network in which a difference is calculated and held as an additional vector, and a newly input input vector is identified based on the weight vector previously created by learning and held and the additional vector. Learning method.
複数存在する場合、これら学習データのそれぞれについ
て前記付加ベクトルを演算し、演算された複数の付加ベ
クトルに基づいて総合付加ベクトルを求め、 新たに入力される入力ベクトルの識別を、予め学習によ
って作成されて保持されているウェイトベクトルと前記
総合付加ベクトルとに基づいて行なう、請求項１に記載
のニューラルネットワークの追加学習方法。2. When there are a plurality of new learning data in which the misidentification has occurred, the additional vector is calculated for each of these learning data, and a total additional vector is obtained based on the plurality of calculated additional vectors, The neural network additional learning method according to claim 1, wherein the newly input input vector is identified based on the weight vector previously created and held by learning and the total addition vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25193291A JPH0589076A (en) | 1991-09-30 | 1991-09-30 | Additional learning method of neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25193291A JPH0589076A (en) | 1991-09-30 | 1991-09-30 | Additional learning method of neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0589076A true JPH0589076A (en) | 1993-04-09 |
Family
ID=17230119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25193291A Withdrawn JPH0589076A (en) | 1991-09-30 | 1991-09-30 | Additional learning method of neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0589076A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7881524B2 (en) | 2005-04-08 | 2011-02-01 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| JP2016143094A (en) * | 2015-01-29 | 2016-08-08 | パナソニックＩｐマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
-
1991
- 1991-09-30 JP JP25193291A patent/JPH0589076A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7881524B2 (en) | 2005-04-08 | 2011-02-01 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| JP2016143094A (en) * | 2015-01-29 | 2016-08-08 | パナソニックＩｐマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3088171B2 (en) | Self-organizing pattern classification system and classification method | |
| EP3540652B1 (en) | Method, device, chip and system for training neural network model | |
| US11657267B2 (en) | Neural network apparatus, vehicle control system, decomposition device, and program | |
| JP3088766B2 (en) | Classification method and network used for hierarchical neural network | |
| Yuan et al. | Iterative cross learning on noisy labels | |
| Paris et al. | Applying boosting techniques to genetic programming | |
| WO2020086176A1 (en) | Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis | |
| JP2000512046A (en) | Method and apparatus for statistically based pattern identification | |
| CN113377964B (en) | Knowledge graph link prediction method, device, equipment and storage medium | |
| CN111626291A (en) | Image visual relationship detection method, system and terminal | |
| WO2019155523A1 (en) | Classifier forming device, classifier forming method, and non-transitory computer-readable medium for storing program | |
| CN107979606B (en) | Self-adaptive distributed intelligent decision-making method | |
| US8700541B2 (en) | Modeling method of neuro-fuzzy system | |
| JPH0589076A (en) | Additional learning method of neural network | |
| US5259039A (en) | Method of separating specific patterns from pattern space and apparatus therefor | |
| CN111798001A (en) | Data processing system based on learning and model updating method | |
| CN116975742A (en) | Partial discharge pattern recognition method, apparatus, device, and storage medium | |
| JP7468088B2 (en) | Image processing system and image processing program | |
| CN109308565B (en) | Crowd performance grade identification method and device, storage medium and computer equipment | |
| JPH0535710A (en) | Learning method/device for neural network | |
| Kosmatopoulos et al. | The Boltzmann g-RHONN: a learning machine for estimating unknown probability distributions | |
| US20200387792A1 (en) | Learning device and learning method | |
| Baten et al. | Biological sequence data preprocessing for classification: A case study in splice site identification | |
| JP2680419B2 (en) | Character recognition device | |
| JP3318958B2 (en) | Learning type waveform recognition processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981203 |