JPH09138786A - Learning device for neural network - Google Patents
Learning device for neural networkInfo
- Publication number
- JPH09138786A JPH09138786A JP7295642A JP29564295A JPH09138786A JP H09138786 A JPH09138786 A JP H09138786A JP 7295642 A JP7295642 A JP 7295642A JP 29564295 A JP29564295 A JP 29564295A JP H09138786 A JPH09138786 A JP H09138786A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- category
- neural network
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ニューラルネット
ワーク(以下簡単にＮ．Ｎと記す)の学習装置に係り、特
に非線形でパラメータが未知な対象の特性をその対象の
入出力データからＮ．Ｎに学習させる装置に関するもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a learning device for a neural network (hereinafter simply referred to as "NN"), and in particular, a characteristic of a nonlinear object whose parameters are unknown is calculated from the input / output data of the object. The present invention relates to a device for making N learn.
【０００２】[0002]
【従来の技術】以下、図面を参照しながら従来のＮ．Ｎ
学習装置について説明する。図６は従来のＮ．Ｎの学習
装置の概略を示したものであり、１はＮ．Ｎ演算手段、
２は結合係数更新手段である。2. Description of the Related Art A conventional N.P. N
The learning device will be described. FIG. 6 shows a conventional N.M. 1 shows an outline of a learning device of N. N calculation means,
Reference numeral 2 is a coupling coefficient updating means.
【０００３】図７はＮ．Ｎ演算手段１の内容を説明する
図である。この例は、ｍ入力ｓ出力の３層Ｎ．Ｎであ
り、中間層素子数ｎで、中間層の出力関数はシグモイド
型関数、入出力層の出力関数は線形関数である。以下、
３層Ｎ．Ｎを例として説明する。FIG. It is a figure explaining the content of the N calculation means 1. This example is a three-layer N.M. N, the number of elements in the intermediate layer is n, the output function of the intermediate layer is a sigmoid function, and the output function of the input / output layer is a linear function. Less than,
3-layer N.V. N will be described as an example.
【０００４】図６において、Ｎ．Ｎ演算手段１には正規
化された学習データが入力され、Ｎ．Ｎ出力が算出され
る。まず、Ｎ．Ｎへの入力であるｐ番目の学習データＸ
(p)をＸ1(p)、Ｘ2(p)、……、Ｘm(p)とすると、中間層
のｊ番目の素子への入力Ｕj(p)は、閾値をθwj、ｉ番目
の入力層素子からｊ番目の中間層素子への結合係数Ｗij
としてReferring to FIG. Normalized learning data is input to the N calculation means 1, and N. N output is calculated. First, N. P-th learning data X which is an input to N
When (p) is X1 (p), X2 (p), ..., Xm (p), the input Uj (p) to the j-th element of the intermediate layer has a threshold value of θwj and an i-th input layer element. Coupling coefficient Wij from the element to the jth intermediate layer element
As
【０００５】[0005]
【数１】 (Equation 1)
【０００６】と算出される。ここで、Ｗ0j＝θwj、Ｘ0
(p)＝１としている。中間層のｊ番目の素子の出力Ｈj
(p)は、中間層の出力関数をfとするとIs calculated as Where W0j = θwj, X0
(p) = 1. Output Hj of the j-th element in the intermediate layer
(p) is the output function of the hidden layer is f
【０００７】[0007]
【数２】Ｈj(p)＝ｆ（Ｕj(p)）となる。## EQU2 ## Hj (p) = f (Uj (p)).
【０００８】次にｒ番目の出力層への入力Ｏrは、閾値
をθvr、ｊ番目の中間層素子からｒ番目の出力層素子へ
の結合係数Ｖjrすると、Next, the input Or to the r-th output layer is a threshold value θvr, and the coupling coefficient Vjr from the j-th intermediate layer element to the r-th output layer element is
【０００９】[0009]
【数３】 (Equation 3)
【００１０】と算出される。ここで、Ｖ0r＝θvr、Ｈ0
(p)＝１としている。ｒ番目の出力層素子の出力Ｙr(p)
は、Is calculated as Here, V0r = θvr, H0
(p) = 1. Output of r-th output layer element Yr (p)
Is
【００１１】[0011]
【数４】Ｙr(p)＝Ｏr(p) と算出される。## EQU4 ## Yr (p) = Or (p) is calculated.
【００１２】次に結合係数更新手段２では、Ｎ．Ｎ演算
手段１の出力と教師信号との２乗誤差の和ＥNext, in the coupling coefficient updating means 2, N. N sum of squared errors between the output of the computing means 1 and the teacher signal E
【００１３】[0013]
【数５】 (Equation 5)
【００１４】を誤差関数として、バックプロパゲーショ
ン法によりＮ．Ｎの結合係数を算出する。ここで、dr
(p)は、ｒ番目の出力層素子の出力Ｙr(p)に対する教師
信号である。Is an error function, and N.V. is calculated by the backpropagation method. Calculate the coupling coefficient for N. Where dr
(p) is a teacher signal for the output Yr (p) of the r-th output layer element.
【００１５】ｉ番目の入力層素子からｊ番目の中間層素
子への結合係数Ｗijは、(数６)のようにThe coupling coefficient Wij from the i-th input layer element to the j-th intermediate layer element is given by (Equation 6).
【００１６】[0016]
【数６】 (Equation 6)
【００１７】と更新され、ｊ番目の中間層素子からｒ番
目の出力層素子への結合係数Ｖjrは、(数７)のようにThe coupling coefficient Vjr from the j-th intermediate layer element to the r-th output layer element is updated as shown in (Equation 7).
【００１８】[0018]
【数７】 (Equation 7)
【００１９】と更新される。上記(数６)，(数７)のｎは
学習回数、ｐは学習データ総数であり、μは学習係数
(０＜μ)、λはモーメント係数(０＜λ＜１)であり、通
常、学習開始時に設定しておく。And is updated. In the above (Equation 6) and (Equation 7), n is the number of learnings, p is the total number of learning data, and μ is a learning coefficient.
(0 <μ) and λ are moment coefficients (0 <λ <1), which are usually set at the start of learning.
【００２０】パターン認識等では、上記学習係数を各学
習データに対する学習度に応じて変更するＮ．Ｎの学習
方法が、特開平３−18967号公報に開示されている。上
記学習度とは、学習データごとの認識結果とその学習デ
ータに対する出力で最も発火した素子の値を掛け合わせ
た値である。In pattern recognition and the like, the learning coefficient is changed according to the learning degree for each learning data. A learning method of N is disclosed in Japanese Patent Laid-Open No. 3-18967. The learning degree is a value obtained by multiplying the recognition result for each learning data by the value of the element that is most fired in the output for the learning data.
【００２１】学習データＸ(p)に対して、学習係数μ′
(p)を(数８)のようにFor the learning data X (p), the learning coefficient μ ′
(p) as in (Equation 8)
【００２２】[0022]
【数８】μ′(p)＝｛０，１，Ｃ，２・Ｃ，４・Ｃ，６・
Ｃ｝ Ｃは正の定数であり、Ｘ(p)が正しく認識され、かつ Ｘ(p)の学習度が高いの場合、学習係数 μ′(p)＝０ 中位の場合、学習係数 μ′(p)＝１ 低いの場合、学習係数 μ′(p)＝Ｃ Ｘ(p)が誤認識され、かつ Ｘ(p)の学習度が低いの場合、学習係数 μ′(p)＝２・Ｃ 中位の場合、学習係数 μ′(p)＝４・Ｃ 高いの場合、学習係数 μ′(p)＝６・Ｃ と変更し、結合係数を前記(数６)，(数７)に対して8 ′ μ ′ (p) = {0, 1, C, 2 · C, 4 · C, 6 ·
C} C is a positive constant, and if X (p) is correctly recognized and the learning degree of X (p) is high, the learning coefficient μ ′ (p) = 0. When (p) = 1 is low, the learning coefficient μ ′ (p) = C X (p) is erroneously recognized, and when the learning degree of X (p) is low, the learning coefficient μ ′ (p) = 2. In the case of medium C, the learning coefficient μ ′ (p) = 4 · C. When the learning coefficient is high, the learning coefficient μ ′ (p) = 6 · C is changed, and the coupling coefficient is changed to (Equation 6) or (Equation 7) for
【００２３】[0023]
【数９】 (Equation 9)
【００２４】[0024]
【数１０】 (Equation 10)
【００２５】と更新することにより、学習しにくいデー
タの学習係数の重みを大きくして、そのデータを疑似的
により多く学習させ、各学習データを均一に学習できる
ようにしている。By updating to, the weighting of the learning coefficient of the data that is difficult to learn is increased, and more of the data is learned in a pseudo manner so that each learning data can be learned uniformly.
【００２６】[0026]
【発明が解決しようとする課題】しかしながら、上記従
来の装置で、学習係数に重み付けして学習を行うと、教
師信号の大きさが連続的に変動する対象の動特性を学習
させるときには、同じ学習誤差でも教師信号の大きさに
よって重みが変わってしまうという問題を有していた。However, in the above-mentioned conventional apparatus, when the learning coefficient is weighted and the learning is performed, the same learning is performed when learning the dynamic characteristic of the object in which the magnitude of the teacher signal continuously changes. There is a problem that the weight changes depending on the size of the teacher signal even with an error.
【００２７】また、従来のような重み付けをしないと、
学習させるデータパターン等の分類や、そのデータ数に
よって学習のしやすさが異なるため、各データを均一に
学習させるためには、全学習データにおける各パターン
ごとのデータ数の比率、および学習のしやすさを考慮し
てデータを作成しなければならないといった問題を有し
ていた。If the conventional weighting is not performed,
Since the easiness of learning depends on the classification of the data patterns to be learned and the number of the data, in order to uniformly learn each data, the ratio of the number of data for each pattern in all learning data and the learning There was a problem that data had to be created in consideration of ease.
【００２８】本発明は、上記従来技術の問題点を解決す
るものであり、各データを均一に、かつ高速に学習させ
ることができるニューラルネットワークの学習装置を提
供することを目的とする。The present invention solves the above-mentioned problems of the prior art, and an object of the present invention is to provide a learning device of a neural network capable of uniformly learning each data at high speed.
【００２９】[0029]
【課題を解決するための手段】上記目的を達成するため
に、本発明のニューラルネットワークの学習装置は、 (1) 入力として与えられる学習対象である学習データを
複数のカテゴリーごとに記憶するカテゴリー記憶手段
と、複数のカテゴリーに分割された学習データに対して
ニューラルネットワークの演算を行うニューラルネット
ワーク演算手段と、ニューラルネットワーク演算手段の
出力と教師信号との２乗誤差および各カテゴリーのデー
タ数に応じて各カテゴリーごとに重み付け係数を変更し
て記憶する重み付け係数更新手段と、重み付け係数に応
じて２乗誤差に重み付けを行う重み付け手段と、重み付
けされた２乗誤差からバックプロパゲーション法により
ニューラルネットワークの結合係数を求める結合係数更
新手段とを備えた構成とする。In order to achieve the above object, a learning device for a neural network according to the present invention comprises (1) a category memory for storing learning data, which is a learning target given as an input, for each of a plurality of categories. Means, a neural network operation means for performing an operation of a neural network on learning data divided into a plurality of categories, a square error between the output of the neural network operation means and the teacher signal, and the number of data in each category. Weighting coefficient updating means for changing and storing the weighting coefficient for each category, weighting means for weighting the squared error according to the weighting coefficient, and connection of the neural network from the weighted squared error by the back propagation method. A configuration including a coupling coefficient updating unit that obtains a coefficient To.
【００３０】(2) また、上記構成にさらに、入力として
与えられる学習対象である学習データを学習度合いに応
じて複数のカテゴリーに分割するカテゴリー分割手段を
有する構成とするものである。(2) Further, in addition to the above-mentioned configuration, there is provided a configuration having category dividing means for dividing the learning data, which is a learning target given as an input, into a plurality of categories according to the degree of learning.
【００３１】上記(1)，(2)の構成によれば、パターン認
識や非線形でパラメータが未知な対象の動特性学習等に
おいて、各学習データのデータパターン等の分類や分類
ごとデータ数による学習のしやすさによらず、各データ
を均一、かつ高速に学習させることができる。また、学
習データの作成に際し、各データの学習のしやすさや、
各分類ごとのデータ数の割合を考慮して学習データを作
成する手間を省くことができる。According to the above configurations (1) and (2), in pattern recognition, dynamic characteristic learning of a target whose parameters are unknown due to nonlinearity, etc., the learning is performed by classification of the data pattern of each learning data or the number of data for each classification. Regardless of how easy it is, each data can be learned uniformly and at high speed. Also, when creating learning data, the ease of learning each data,
It is possible to save the trouble of creating learning data in consideration of the ratio of the number of data for each classification.
【００３２】[0032]
【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。 (実施の形態１)図１は本発明の実施の形態１における
Ｎ．Ｎ学習装置の概略を示した図であり、図６と同一機
能部分には同一符号を付してある。即ち、１はＮ．Ｎ演
算手段、２は結合係数更新手段である。また、３はカテ
ゴリー記憶手段、４は重み付け係数更新手段、５は重み
付け手段である。なお、ここでは、従来例と同様に図７
に示すｍ入力ｓ出力の３層Ｎ．Ｎを用いて説明する。図
７に示すＮ．Ｎは、ｍ入力ｓ出力の３層Ｎ．Ｎであり、
中間層素子数ｎで、中間層の出力関数はシグモイド型関
数、入出力層の出力関数は線形関数である。Embodiments of the present invention will be described below in detail. (Embodiment 1) FIG. It is the figure which showed the outline of the N learning device, The same code | symbol is attached | subjected to the same function part as FIG. That is, 1 is N. N calculation means, 2 is a coupling coefficient updating means. Further, 3 is a category storage unit, 4 is a weighting coefficient updating unit, and 5 is a weighting unit. In addition, here, as in the case of the conventional example, FIG.
The three-layer N.M. A description will be given using N. As shown in FIG. N is a three-layer N.N. with m inputs and s outputs. N,
The number of elements in the intermediate layer is n, the output function of the intermediate layer is a sigmoid function, and the output function of the input / output layer is a linear function.
【００３３】図１において、カテゴリー記憶手段３には
予めデータパターンや各Ｎ．Ｎ入力の大きさ等による分
類ごとに複数のカテゴリーに分割され、正規化された学
習データ群を各カテゴリーごとに記憶する。カテゴリー
記憶手段３に記憶された学習データはＮ．Ｎ演算手段１
に入力され、従来例と同様にカテゴリーごとにＮ．Ｎ出
力が算出される。重み付け係数更新手段４では、カテゴ
リーごとのＮ．Ｎ出力と教師信号との２乗誤差と各カテ
ゴリーのデータ数に応じて、各カテゴリーごとに重み付
け係数を更新する。In FIG. 1, the category storage means 3 stores data patterns and N. A normalized learning data group, which is divided into a plurality of categories for each classification according to the size of N inputs, is stored for each category. The learning data stored in the category storage means 3 is N. N calculation means 1
Is input to the N.P. for each category as in the conventional example. N output is calculated. In the weighting coefficient updating means 4, the N.V. The weighting coefficient is updated for each category according to the squared error between the N output and the teacher signal and the number of data in each category.
【００３４】まず、あるカテゴリーｋのpk番目のデータ
に対するＮ．Ｎ出力と教師信号の２乗誤差の和Ｅk(pk)
が(数11)のように算出され、First, the N.V. Sum of squared error between N output and teacher signal Ek (pk)
Is calculated as (Equation 11),
【００３５】[0035]
【数１１】 [Equation 11]
【００３６】カテゴリーｋのデータ数をＮkとすると各
カテゴリーごとの重み係数αkは(数12)のように算出さ
れる。When the number of data items of category k is Nk, the weighting coefficient αk for each category is calculated as shown in (Equation 12).
【００３７】[0037]
【数１２】 (Equation 12)
【００３８】ここで、Ｙrk(pk)はカテゴリーｋのpk番目
のデータに対する出力層のｒ番目の素子の出力、ｄrk(p
k)はＹrk(pk)に対する教師信号である。Here, Yrk (pk) is the output of the r-th element of the output layer for the pk-th data of category k, drk (p
k) is a teacher signal for Yrk (pk).
【００３９】また、Ｅavkは各カテゴリーの２乗誤差和
Ｅkの平均、Ｅavは全学習データの２乗誤差和Ｅの平
均、Ｎは全学習データ数、Ｅk(pk)はＥkのｐｋ番目の要
素、Ｅ(p)はＥのｐ番目の要素、Ｋはカテゴリー数を表
す。なお、重み付け係数αkは(数13)のように変更して
もよい。Eavk is the average of the squared error sum Ek of each category, Eav is the average of the squared error sum E of all learning data, N is the total number of learning data, and Ek (pk) is the pk-th element of Ek. , E (p) represents the p-th element of E, and K represents the number of categories. The weighting coefficient αk may be changed as in (Equation 13).
【００４０】[0040]
【数１３】αk＝Ｎ／Ｎk 次に重み付け手段５では、重み付け係数αkにより、各
カテゴリーの２乗誤差の和Ｅkに(数14)のように重み付
けし、Αk = N / Nk Next, in the weighting means 5, the weighting coefficient αk is used to weight the sum Ek of the squared errors of each category as shown in (Equation 14).
【００４１】[0041]
【数１４】Ｅk＝αk・Ｅｋ 結合係数更新手段２で、（数14)で算出された各カテゴ
リーの２乗誤差和Ｅkを誤差関数としてバックプロパゲ
ーション法により、結合係数を更新する。[Equation 14] Ek = αk · Ek The coupling coefficient updating means 2 updates the coupling coefficient by the back propagation method using the squared error sum Ek of each category calculated in (Equation 14) as an error function.
【００４２】ｉ番目の入力層素子からｊ番目の中間層素
子への結合係数Ｗijは、(数15)のようにThe coupling coefficient Wij from the i-th input layer element to the j-th intermediate layer element is given by (Equation 15).
【００４３】[0043]
【数１５】 (Equation 15)
【００４４】と更新され、ｊ番目の中間層素子から、ｒ
番目の出力層素子への結合係数Ｖjrは、(数16)のようにIs updated, and from the j-th intermediate layer element, r
The coupling coefficient Vjr to the th output layer element is as shown in (Equation 16).
【００４５】[0045]
【数１６】 (Equation 16)
【００４６】と更新される。上記(数15)，(数16)のμは
学習係数、λはモーメント係数(０＜λ＜１)であり、通
常、学習開始時に設定しておく。Is updated. In the above (Equation 15) and (Equation 16), μ is a learning coefficient and λ is a moment coefficient (0 <λ <1), which is usually set at the start of learning.
【００４７】以上のように、各カテゴリーのデータ数
と、各カテゴリーのＮ．Ｎ出力と教師信号との２乗誤差
の大きさに応じて、データ数の少ないカテゴリーや誤差
平均の大きなカテゴリーの２乗誤差和に重み付けをする
ことにより、各学習データの学習しやすさや、データパ
ターン等の分類ごとのデータ数によらず、各データを均
一、かつ高速に学習させることができる。As described above, the number of data in each category and the N.V. Depending on the magnitude of the squared error between the N output and the teacher signal, weighting the sum of squared errors of the category with a small number of data or the category with a large error mean, It is possible to uniformly and rapidly learn each data regardless of the number of data for each classification such as patterns.
【００４８】図２に、学習処理のフローを示す。この処
理は、全学習データの２乗誤差の総和Ｅsumが予め定め
た規定値より小さくなるまで繰り返される。FIG. 2 shows the flow of the learning process. This process is repeated until the sum Esum of the squared errors of all the learning data becomes smaller than the predetermined value.
【００４９】まず、STEP21で予めデータパターン等の分
類ごとに複数のカテゴリーに分割され、正規化された学
習データ群を各カテゴリーごとに記憶する。First, in STEP 21, a learning data group which is divided into a plurality of categories for each classification such as a data pattern in advance and is normalized is stored for each category.
【００５０】次にSTEP22で従来例で示したＮ．Ｎの演算
を各カテゴリーごとに行い、Ｎ．Ｎ出力を算出する。Next, in STEP 22, the N.V. N is calculated for each category, and N. Calculate N output.
【００５１】STEP23では、各カテゴリーごとにＮ．Ｎ出
力と教師信号との２乗誤差Ｅkと、各カテゴリーごとの
２乗誤差Ｅkの総和である全学習データに対するＮ．Ｎ
出力と教師信号との２乗誤差の総和Ｅsumを(数17)のよ
うに算出する。In STEP 23, N. The N.D. for all learning data, which is the sum of the squared error Ek between the N output and the teacher signal and the squared error Ek for each category. N
The sum Esum of the squared errors between the output and the teacher signal is calculated as in (Equation 17).
【００５２】[0052]
【数１７】 [Equation 17]
【００５３】ここで、Ｅk(pk)はベクトルＥkのpk番目の
要素を表す。Here, Ek (pk) represents the pk-th element of the vector Ek.
【００５４】STEP24では、２乗誤差の総和Ｅsumと学習
開始時に設定した学習終了誤差εを比較して、２乗誤差
の総和Ｅsumが学習終了誤差ε以下であれば、学習を終
了する。STEP24で学習終了条件に達していなければ、ST
EP25に進み、各カテゴリーごとの２乗誤差和Ｅkと各カ
テゴリーのデータ数Ｎkに応じて、各カテゴリーごとに
重み付け係数を更新する。At STEP 24, the sum of squared errors Esum is compared with the learning end error ε set at the start of learning. If the sum of squared errors Esum is less than or equal to the learning end error ε, the learning is ended. If the learning end condition is not reached in STEP24, ST
Proceeding to EP25, the weighting coefficient is updated for each category according to the sum of squared errors Ek for each category and the number of data Nk for each category.
【００５５】あるカテゴリーｋのデータに対する重み係
数αkは(数12)のように算出される。なお、重み付け係
数αkは(数12)のように変更してもよい。The weighting coefficient αk for data of a certain category k is calculated as in (Equation 12). The weighting coefficient αk may be changed as in (Equation 12).
【００５６】STEP26では、各カテゴリーごとの重み付け
係数αkにより、各カテゴリーの２乗誤差Ｅkに(数14)の
ように重み付けを行う。At STEP 26, the squared error Ek of each category is weighted by the weighting coefficient αk for each category as shown in (Equation 14).
【００５７】STEP27では、バックプロパゲーション法に
より、ｉ番目の入力層素子からｊ番目の中間層素子への
結合係数Ｗijは、(数15)のように更新し、ｊ番目の中間
層素子からｒ番目の出力層素子への結合係数Ｖjrは、
(数16)のように更新される。STEP27を終了後、STEP22に
戻る。In STEP 27, the coupling coefficient Wij from the i-th input layer element to the j-th intermediate layer element is updated by the back propagation method as shown in (Equation 15), and the j-th intermediate layer element r The coupling coefficient Vjr to the th output layer element is
It is updated like (Equation 16). After finishing STEP27, return to STEP22.
【００５８】なお、本発明は、多入力多出力、または多
入力１出力の３層以上の階層型Ｎ．Ｎの学習にも同様に
用いることが可能であり、また、中間層出力関数がシグ
モイド型以外の非線形連続関数の場合にも、出力層の出
力関数が非線形関数の場合にも用いられることが可能で
ある。In the present invention, the multi-input multi-output or multi-input one-output hierarchical N.M. It can be similarly used for learning N, and can be used when the intermediate layer output function is a nonlinear continuous function other than the sigmoid type and when the output layer output function is a nonlinear function. Is.
【００５９】以上のような処理を行うことにより、従来
よりも各学習データの学習のしやすさ等によらず、各デ
ータを均一、かつ高速にＮ．Ｎを学習させることができ
る。By performing the above-mentioned processing, each data can be processed uniformly and at a high speed regardless of the ease of learning of each learning data. N can be learned.
【００６０】(実施の形態２)図３は本発明の実施の形態
２におけるＮ．Ｎ学習装置の概略を示した図であり、図
１と同一機能部分には同一符号を付してある。また６は
カテゴリ分割手段である。(Embodiment 2) FIG. It is the figure which showed the outline of the N learning apparatus, The same code | symbol is attached | subjected to the same function part as FIG. 6 is a category dividing means.
【００６１】図３において、カテゴリー記憶手段３には
データパターンやＮ．Ｎ入力の大きさ等による分類ごと
に複数のカテゴリーに分割され、正規化された学習デー
タ群を各カテゴリーごとに記憶する。カテゴリー記憶手
段３に記憶された学習データはＮ．Ｎ演算手段１に入力
され、カテゴリーごとにＮ．Ｎ出力が算出される。重み
付け係数更新手段４では、前記実施の形態１と同様にし
て、(数12)または(数13)により、カテゴリーごとのＮ．
Ｎ出力と教師信号との２乗誤差の和Ｅkと各カテゴリー
のデータ数Ｎkに応じて、各カテゴリーごとに重み付け
係数を更新する。重み付け手段５では、前記実施の形態
１と同様にして、(数14)により、重み付け係数を用いて
各カテゴリーの２乗誤差に重み付けし、結合係数更新手
段２で、前記重み付け手段で重み付けされた各カテゴリ
ーの２乗誤差を誤差関数として、バックプロパゲーショ
ン法により、(数15)，(数16)で結合係数を更新する。In FIG. 3, the category storage means 3 stores data patterns and N. A normalized learning data group, which is divided into a plurality of categories for each classification according to the size of N inputs, is stored for each category. The learning data stored in the category storage means 3 is N. The N.N. N output is calculated. In the weighting coefficient updating means 4, as in the first embodiment, the N.V. for each category is calculated by (Equation 12) or (Equation 13).
The weighting coefficient is updated for each category according to the sum Ek of the squared errors between the N output and the teacher signal and the number of data Nk in each category. The weighting means 5 weights the squared error of each category using the weighting coefficient according to (Equation 14) in the same manner as in the first embodiment, and the coupling coefficient updating means 2 weights the squared error by the weighting means. By using the square error of each category as an error function, the coupling coefficient is updated by (Equation 15) and (Equation 16) by the backpropagation method.
【００６２】カテゴリー分割手段６では、予め分割する
カテゴリーの種類、分割方法、階層順等を図４に示した
ように設定しておく。なお、カテゴリーの分割方法とし
ては、学習データのデータパターンや種類による分割、
各入力層素子に入力される学習データの大きさによる分
割、またはＮ．Ｎ出力と教師信号の２乗誤差の大きさに
よる分割等がある。In the category dividing means 6, the types of categories to be divided, the division method, the hierarchical order, etc. are set in advance as shown in FIG. In addition, as a method of dividing the categories, the data pattern of the learning data and the type of division,
Division according to the size of the learning data input to each input layer element, or N.I. There are divisions according to the magnitude of the square error between the N output and the teacher signal.
【００６３】各カテゴリーごとに、２乗誤差の和Ｅkの
平均と予め各カテゴリーごとに設定した基準値βkと比
較し、Ｅkが基準値βk以下であれば、そのカテゴリーの
データを図４の階層にしたがって分割し、カテゴリー記
憶手段３に再記憶させる。For each category, the average of the sum Ek of the squared errors is compared with the reference value βk set in advance for each category. If Ek is less than or equal to the reference value βk, the data of that category is stored in the hierarchy of FIG. It is divided according to the above, and is stored again in the category storage means 3.
【００６４】以上のように、各カテゴリーを学習誤差で
あるＮ．Ｎ出力と教師信号の２乗誤差和の平均の大きさ
に応じて分割し、また各カテゴリーのデータ数と各カテ
ゴリーの２乗誤差の大きさに応じて、各カテゴリーの２
乗誤差に重み付けをすることにより、各学習データの学
習しやすさや、データパターン等の分類ごとのデータ数
によらず、各データを均一、かつ高速に学習させること
ができる。As described above, each category is set to N. It is divided according to the average size of the sum of the squared errors of the N output and the teacher signal, and according to the number of data of each category and the size of the squared error of each category, 2 of each category is divided.
By weighting the multiplication error, each data can be learned uniformly and at high speed regardless of the ease of learning of each learning data and the number of data for each classification such as a data pattern.
【００６５】図５に、学習処理のフローを示す。この処
理は、全学習データの２乗誤差の総和Ｅsumが予め定め
た規定値より小さくなるまで繰り返される。FIG. 5 shows a flow of learning processing. This process is repeated until the sum Esum of the squared errors of all the learning data becomes smaller than the predetermined value.
【００６６】STEP51からSTEP54までは、図２の学習処理
フローのSTEP21からSTEP24と同じであるので、説明を省
略する。STEP55では、各カテゴリーごとに２乗誤差の和
Ｅkの平均と予めカテゴリーごとに設定した基準値βkを
比較する。Ｅkが基準値βk以下であれば、STEP56でその
カテゴリーのデータを図４の階層、分割方法にしたがっ
て分割し、STEP51に戻り、カテゴリーの再記憶を行う。
また、各カテゴリーのＥkが基準値以上であれば、STEP5
7に進む。Since STEP 51 to STEP 54 are the same as STEP 21 to STEP 24 in the learning processing flow of FIG. 2, description thereof will be omitted. In STEP55, the average of the sum Ek of the squared errors for each category is compared with the reference value βk preset for each category. If Ek is equal to or smaller than the reference value βk, the data of the category is divided in STEP56 according to the hierarchy and division method of FIG. 4, and the procedure is returned to STEP51 to re-store the category.
If Ek of each category is more than the standard value, STEP5
Go to 7.
【００６７】STEP57からSTEP59までは、図２の学習処理
フローのSTEP25からSTEP27と同じである。STEP57では、
各カテゴリーごとの２乗誤差の和Ｅkと各カテゴリーの
データ数Ｎkに応じて、各カテゴリーごとに重み付け係
数αkを(数12)または(数13)により更新する。STEP58で
は、各カテゴリーごとの重み付け係数αkにより、各カ
テゴリーの２乗誤差和Ｅkに(数14)のように重み付けを
行い、STEP59では、バックプロパゲーション法により、
(数15)，(数16)で結合係数を更新する。STEP59終了後、
STEP52に戻る。Steps 57 to 59 are the same as steps 25 to 27 in the learning processing flow of FIG. In STEP57,
The weighting coefficient αk is updated by (Equation 12) or (Equation 13) for each category according to the sum Ek of squared errors for each category and the number of data Nk in each category. In STEP58, the squared error sum Ek of each category is weighted as in (Equation 14) by the weighting coefficient αk for each category, and in STEP59, by the backpropagation method,
The coupling coefficient is updated by (Equation 15) and (Equation 16). After STEP59 ends,
Return to STEP52.
【００６８】以上のような処理を行うことにより、各学
習データの学習しやすさやデータパターン等の分類ごと
のデータ数によらず、各データを均一に、かつ高速に学
習を進めることができる。By performing the above-described processing, each data can be uniformly and rapidly learned regardless of the easiness of learning of each learning data and the number of data for each classification such as a data pattern.
【００６９】[0069]
【発明の効果】以上説明したように、請求項１の発明に
よれば、パターン認識や非線形でパラメータが未知な対
象の学習において、学習データを予めデータパターンや
Ｎ．Ｎ入力の大きさ等による分類によって複数のカテゴ
リーに分割し、各カテゴリーのデータ数と、各カテゴリ
ーのＮ．Ｎ出力と教師信号の２乗誤差の大きさに応じて
データ数の少ないカテゴリーや誤差平均の大きなカテゴ
リーの２乗誤差に重み付けをすることにより、各学習デ
ータの学習しやすさやデータパターン等の分類ごとのデ
ータ数によらず、各データを均一、かつ高速に学習させ
ることができる。As described above, according to the first aspect of the present invention, in the pattern recognition or the learning of the object whose parameters are nonlinear and whose parameters are unknown, the learning data is preliminarily set to the data pattern or N. It is divided into a plurality of categories by classification according to the size of N inputs, the number of data in each category, and N. Weighting the squared error of the category with a small number of data or the category with a large error mean according to the magnitude of the squared error between the N output and the teacher signal makes it easier to learn each learning data and classifies the data pattern etc. Each data can be learned uniformly and at high speed regardless of the number of data for each.
【００７０】また、学習データの作成に際し、各データ
の学習のしやすさや、各データパターン等のデータ数の
割合を考慮して学習データを作成する手間を省くことが
できる。Further, when creating the learning data, it is possible to save the trouble of creating the learning data in consideration of the easiness of learning each data and the ratio of the number of data such as each data pattern.
【００７１】また、請求項２の発明によれば、各カテゴ
リーをその学習度合いに応じて再分割することにより、
より均一に、かつ高速に学習させることができる。According to the invention of claim 2, by subdividing each category according to the degree of learning,
The learning can be performed more uniformly and at high speed.
【図１】本発明のニューラルネットワーク学習装置の実
施の形態１における概略ブロック図である。FIG. 1 is a schematic block diagram of a neural network learning device according to a first embodiment of the present invention.
【図２】本発明の実施の形態１の学習処理フローを示す
図である。FIG. 2 is a diagram showing a learning processing flow according to the first embodiment of the present invention.
【図３】本発明のニューラルネットワーク学習装置の実
施の形態２における概略ブロック図である。FIG. 3 is a schematic block diagram in Embodiment 2 of the neural network learning device of the invention.
【図４】本発明の実施の形態２の学習データのカテゴリ
ー階層図である。FIG. 4 is a category hierarchy diagram of learning data according to the second embodiment of the present invention.
【図５】本発明の実施の形態２の学習処理フローを示す
図である。FIG. 5 is a diagram showing a learning processing flow according to the second embodiment of the present invention.
【図６】従来のニューラルネットワーク学習装置の概略
ブロック図である。FIG. 6 is a schematic block diagram of a conventional neural network learning device.
【図７】ニューラルネットワークの説明図である。FIG. 7 is an explanatory diagram of a neural network.
１…Ｎ．Ｎ演算手段、 ２…結合係数更新手段、 ３…
カテゴリー記憶手段、４…重み付け係数更新手段、 ５
…重み付け手段、 ６…カテゴリー分割手段。1 ... N. N calculation means, 2 ... Coupling coefficient updating means, 3 ...
Category storage means, 4 ... Weighting coefficient updating means, 5
... Weighting means, 6 ... Category dividing means.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 瀧川 益生 大阪府門真市大字門真1006番地松下電器産 業株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Masuo Takigawa 1006 Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd.
Claims (2)
クに学習させる学習装置であって、入力として与えられ
る学習対象である学習データを複数のカテゴリーごとに
記憶するカテゴリー記憶手段と、複数のカテゴリーに分
割された学習データに対してニューラルネットワークの
演算を行うニューラルネットワーク演算手段と、前記ニ
ューラルネットワーク演算手段の出力と教師信号との２
乗誤差および各カテゴリーのデータ数に応じて各カテゴ
リーごとに重み付け係数を変更して記憶する重み付け係
数更新手段と、前記重み付け係数に応じて前記２乗誤差
に重み付けを行う重み付け手段と、重み付けされた２乗
誤差からバックプロパゲーション法によりニューラルネ
ットワークの結合係数を求める結合係数更新手段とを備
えていることを特徴とするニューラルネットワーク学習
装置。1. A learning device for causing a neural network to learn a characteristic of a learning target, wherein the learning data, which is a learning target given as an input, is stored for each of a plurality of categories, and a category storage means is divided into a plurality of categories. A neural network computing means for computing a neural network on the learned data, and an output of the neural network computing means and a teacher signal.
Weighting coefficient updating means for changing and storing the weighting coefficient for each category according to the squared error and the number of data of each category, and weighting means for weighting the squared error according to the weighting coefficient, A neural network learning device, comprising: a coupling coefficient updating unit that obtains a coupling coefficient of a neural network from a squared error by a back propagation method.
クに学習させる学習装置であって、入力として与えられ
る学習対象である学習データを学習度合いに応じて複数
のカテゴリーに分割していくカテゴリー分割手段と、分
割されたカテゴリーごとに学習データを記憶するカテゴ
リー記憶手段と、複数のカテゴリーに分割された学習デ
ータに対してニューラルネットワークの演算を行うニュ
ーラルネットワーク演算手段と、前記ニューラルネット
ワーク演算手段の出力と教師信号との２乗誤差および各
カテゴリーのデータ数に応じて各カテゴリーごとに重み
付け係数を変更して記憶する重み付け係数更新手段と、
前記重み付け係数に応じて前記２乗誤差に重み付けを行
う重み付け手段と、重み付けされた２乗誤差からバック
プロパゲーション法によりニューラルネットワークの結
合係数を求める結合係数更新手段とを備えていることを
特徴とするニューラルネットワーク学習装置。2. A learning device for allowing a neural network to learn the characteristics of a learning target, wherein the learning data, which is a learning target given as an input, is divided into a plurality of categories according to the learning degree. Category storing means for storing learning data for each divided category, neural network calculating means for calculating a neural network for learning data divided into a plurality of categories, output of the neural network calculating means and teacher signal Weighting coefficient updating means for changing and storing the weighting coefficient for each category according to the squared error between and and the number of data in each category,
It further comprises weighting means for weighting the squared error in accordance with the weighting coefficient, and coupling coefficient updating means for obtaining a coupling coefficient of the neural network from the weighted squared error by a backpropagation method. Neural network learning device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7295642A JPH09138786A (en) | 1995-11-14 | 1995-11-14 | Learning device for neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7295642A JPH09138786A (en) | 1995-11-14 | 1995-11-14 | Learning device for neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09138786A true JPH09138786A (en) | 1997-05-27 |
Family
ID=17823299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7295642A Pending JPH09138786A (en) | 1995-11-14 | 1995-11-14 | Learning device for neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09138786A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2504006C1 (en) * | 2012-06-05 | 2014-01-10 | Александр Николаевич Цуриков | Method of training artificial neural network |
| JP2019149018A (en) * | 2018-02-27 | 2019-09-05 | 国立研究開発法人情報通信研究機構 | Neural machine translation model training method and device, and computer program therefor |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
-
1995
- 1995-11-14 JP JP7295642A patent/JPH09138786A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2504006C1 (en) * | 2012-06-05 | 2014-01-10 | Александр Николаевич Цуриков | Method of training artificial neural network |
| US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
| US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
| JP2019149018A (en) * | 2018-02-27 | 2019-09-05 | 国立研究開発法人情報通信研究機構 | Neural machine translation model training method and device, and computer program therefor |
| WO2019167603A1 (en) * | 2018-02-27 | 2019-09-06 | 国立研究開発法人情報通信研究機構 | Neural machine translation model training method and device, and computer program therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schäfer et al. | Recurrent neural networks are universal approximators | |
| Sakar et al. | Growing and pruning neural tree networks | |
| US5095443A (en) | Plural neural network system having a successive approximation learning method | |
| Corchado et al. | Unsupervised learning for financial forecasting | |
| EP0327817B1 (en) | Associative pattern conversion system and adaptation method thereof | |
| Yazdizadeh et al. | Adaptive time delay neural network structures for nonlinear system identification | |
| Stornetta et al. | A dynamical approach to temporal pattern processing | |
| JPH09138786A (en) | Learning device for neural network | |
| Komo et al. | Neural network technology for stock market index prediction | |
| Davidson et al. | Template learning in morphological neural nets | |
| Zimmermann et al. | Modeling dynamical systems by recurrent neural networks | |
| Magoulas et al. | A training method for discrete multilayer neural networks | |
| Su et al. | Neural network based fusion of global and local information in predicting time series | |
| JP2736361B2 (en) | Neural network configuration method | |
| JPH0535710A (en) | Learning method/device for neural network | |
| Armitage | Neural networks in measurement and control | |
| JPH0981535A (en) | Learning method for neural network | |
| Lawrence et al. | The gamma MLP-using multiple temporal resolutions for improved classification | |
| JPH02100757A (en) | Parallel neural network learning system | |
| Neumerkel et al. | Modelling dynamic processes with clustered time-delay neurons | |
| KR20220076271A (en) | Circuit for implementing simplified sigmoid function and neuromorphic processor including the circuit | |
| JPH0855098A (en) | Neural network classifier and neural network configuration method | |
| JPH05233860A (en) | Learning system for time sequential pattern | |
| JP3343626B2 (en) | Neural networks for fuzzy inference | |
| Graña et al. | High Order Boltzmann Machines with continuous units: Some experimental results |