JPH0476662A - Neural network device - Google Patents
Neural network deviceInfo
- Publication number
- JPH0476662A JPH0476662A JP2186499A JP18649990A JPH0476662A JP H0476662 A JPH0476662 A JP H0476662A JP 2186499 A JP2186499 A JP 2186499A JP 18649990 A JP18649990 A JP 18649990A JP H0476662 A JPH0476662 A JP H0476662A
- Authority
- JP
- Japan
- Prior art keywords
- output
- data
- learning
- function
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 52
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 230000001537 neural effect Effects 0.000 claims abstract description 31
- 230000001788 irregular Effects 0.000 claims abstract description 8
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000008878 coupling Effects 0.000 abstract 3
- 238000010168 coupling process Methods 0.000 abstract 3
- 238000005859 coupling reaction Methods 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
Description
【発明の詳細な説明】
［産業上の利用分野］
この発明は、神経細胞とその間の結合を模擬して、例え
ば、記憶、推論、パターン認識、制御、モデルの推定、
及び関数の近似などを行う神経回路網装置に関するもの
である。[Detailed Description of the Invention] [Industrial Application Field] This invention simulates neurons and the connections between them, and is used for applications such as memory, inference, pattern recognition, control, model estimation,
The present invention also relates to a neural network device that performs function approximation.
［従来の技術］
第８図は、例えば、雑誌（Ｄｖａｉｄ Ｅ、 Ｒｕｍｅ
ｌｈａｒｔ。[Prior Art] FIG. 8 shows, for example, a magazine (Dvaid E, Rume
lhart.
Ｇｅｏｆｆｒｅｙ Ｅ、 Ｈｉｎｔｏｎ ＆ Ｒｏｎａ
ｌｄ Ｊ、 Ｗｉｌｌｉａｍｓ、 ”Ｌｅａｒｎｉｎｇ
ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｂａｃｋ−
ｐｒｏｐａｇａｔｉｎｇｅｒｒｏｓ”、Ｎａｕｔｕｒｅ
、 Ｖｏｌ、 ３２３． Ｎｏ、 ９．第５３３頁〜第
５３６頁、１０月、 １９８６年）に示された従来の多
層のフィードフォワード型の神経回路網装置の構成を示
す説明図である０例えば、同図では、入力層中間層、出
力層が各１１’ｌＪずつで構成された場合であり、入力
層が３つの神経素子、中間層が４つの神経素子、出力層
が１つの神経素子の場合を示している０図において、（
Ｉ １）は神経細胞をＦＡ擬する素子（以下、神経素子
と言う）で、入力１（Ｉｌａ）中間層（Ｉｌｂ） 、出
力層（ｌ ｌｃ）で構成されている。Geoffrey E, Hinton & Rona
ld J, Williams, “Learning
representations by back-
propagatingerros”, Nature
, Vol., 323. No, 9. 533-536, October, 1986) is an explanatory diagram showing the configuration of a conventional multilayer feedforward neural network device. In Figure 0, which shows the case where the output layer is composed of 11'lJ each, the input layer has three neural elements, the intermediate layer has four neural elements, and the output layer has one neural element, (
I1) is an element (hereinafter referred to as a neural element) that simulates a neuron as an FA, and is composed of an input 1 (Ila), an intermediate layer (Ilb), and an output layer (Ilc).
（１２）は神経素子（１１）の層間を結合してシナプス
を模擬する素子（以下、結合素子と言う）で、その結合
の強さを結合重みと言う。(12) is an element (hereinafter referred to as a connecting element) that connects the layers of the neural element (11) to simulate a synapse, and the strength of the connection is referred to as a connection weight.
この様に構成されている神経回路網装置においで、神経
素子（１１）は層状に結合されており、ダイナミクスと
しては、矢印Ａに示すように、入力層（Ｉｌａ）から入
った入力信号は中間層（ｌ ｌｂ）を介して出力Ｗｊ（
ｌｌｃ）に伝搬されていく。In the neural network device configured in this way, the neural elements (11) are connected in layers, and in terms of dynamics, as shown by arrow A, the input signal input from the input layer (Ila) is The output Wj(
LLC).
定量的には次のようになる。テ、を入力層（ｌ Ｉａ）
における、第ｐ番目の学習データの第ｉ番目の値＊ ｄ
ｋ、を出力層（ｌｌｃ）における第ｐ番目の学習データ
の第に番目の値、ｔｉｈＪ、■ｈＪを第り層の５番目の
神経素子の内部状態と出力値、罵３． を第り層の第ｉ
番目の神経素子と第ｈ＋１層における第ｉ番目の神経素
子との間の結合重みとする。この実施例では５人力層（
ｌ ｌａ）ではｈ＝１．中間層（ｌｌｂ）ではｈ＝２．
出力層（ｔｉｃ）ではｈ＝３である。この時、各変数の
関係は式（１）１式（２）のように表わされる。Quantitatively, it is as follows. Te, the input layer (l Ia)
The i-th value of the p-th learning data * d
k, is the th value of the pth learning data in the output layer (llc), tihJ, hJ is the internal state and output value of the 5th neural element in the th layer, and 3. the ith layer of the
Let it be the connection weight between the th neural element and the ith neural element in the h+1th layer. In this example, the 5-person level (
l la), h=1. In the middle layer (llb), h=2.
In the output layer (tic), h=3. At this time, the relationship between each variable is expressed as equation (1) and equation (2).
ｕｈ、−ΣＷｈ−＋；ｒＶｈ−ｒｊ
” ’ ” （１）にｉ ＝ ９（ｕｒ））
・・・（２）ここで、関数ｇ ｍは微
分可能で非減少な関数であればよく、−例としては式（
３）で表わされるものとし、この関数を横軸にＵ、縦軸
にｇ ｆｕ）として第９図に示す。uh, -ΣWh-+; rVh-rj
`` ''' (1) i = 9(ur))
...(2) Here, the function g m only needs to be a differentiable and non-decreasing function, for example, the equation (
3), and this function is shown in FIG. 9 with U on the horizontal axis and gfu) on the vertical axis.
１ ・・・（３）ｇ（”） ”
１ ＋ ｅ−’
さらに、結合重みＷは、式（４）に示す学習則で逐次的
に決定される。即ち、出力層における学習データｄ、、
（希望信号）と、神経回路網によって実際に得られた値
で定義される２乗誤差に関する最急降下法で逐次的に決
定される。神経回路網の層の数をＨ（＝３）とすると、
２乗誤差は式（４）％式％
また、結合重みＷの逐次変更はａ、βを適当なパラメー
タとし、モーメント法を使用した場合には式（５）で実
行できる。1...(3)g('')''
1 + e-' Furthermore, the connection weight W is sequentially determined by the learning rule shown in Equation (4). That is, the learning data d in the output layer,
(desired signal) and the squared error defined by the value actually obtained by the neural network using the steepest descent method. Letting the number of layers of the neural network be H (=3),
The squared error is expressed by formula (4)% Formula % Further, the sequential change of the connection weight W can be performed by formula (5) when a and β are appropriate parameters and the method of moments is used.
実際の使用に際して、式（５）を差分化し右辺をさらに
詳細に記述すると、出力誤差が出力側から入力側に矢印
Ｂに示すように伝搬されつつ、結合重みＷを調整して学
習が行なわれるので、逆伝搬法、あるいは、バックプロ
パゲーションと呼ばれる。In actual use, when formula (5) is differentiated and the right-hand side is described in more detail, learning is performed by adjusting the connection weight W while the output error is propagated from the output side to the input side as shown by arrow B. Therefore, it is called backpropagation method or backpropagation.
［発明が解決しようとする課題］
従来の神経回路網装置は以上のように構成されているの
で、学習アルゴリズムにおける繰り返し演算の収束に多
大な時間が必要であるという問題点があった。また、中
間層の層の数と各層における神経素子の数が予めどの程
度必要であるかが不明であった。[Problems to be Solved by the Invention] Since the conventional neural network device is configured as described above, there is a problem in that a large amount of time is required for the repeated operations in the learning algorithm to converge. Furthermore, it was unclear in advance how many layers the intermediate layer and the number of neural elements in each layer would require.
この発明は上記のような問題点を解消するためになされ
たもので、学習のための繰り返し演算の収束を速くして
高速に学習でき、さらに中間層の神経素子の数を予め決
定することができる神経回路網装置を得ることを目的と
する。This invention was made in order to solve the above-mentioned problems, and it is possible to speed up the convergence of repeated calculations for learning, thereby enabling high-speed learning, and furthermore, it is possible to predetermine the number of neural elements in the intermediate layer. The purpose is to obtain a neural network device that can
［課題を解決するための手段］
この発明に係る神経回路網装置は、不定間隔の入力値と
これに対する出力値の対で構成される学習データに対し
、一定間隔の入力値とこれに対する出力値の対で構成さ
れるサンプリングデータを仮定し、サンプリングデータ
の人力値だけ平行移動した標本化関数を中間層の神経素
子に記憶し、サンプリングデータの出力値を中間層と出
力層間を結合する結合重みとして設定し、学習データの
人力値を与えた時に得られる出力と学習データの出力値
との誤差が局所最小になるように、サンプリングデータ
の出力値を学習方程式により調整したことを特徴とする
ものである。[Means for Solving the Problems] A neural network device according to the present invention provides training data consisting of pairs of input values at irregular intervals and output values corresponding to the input values at regular intervals and output values corresponding thereto. Assuming sampling data consisting of a pair of The output value of the sampling data is adjusted by a learning equation so that the error between the output obtained when the human input value of the learning data is given and the output value of the learning data is locally minimized. It is.
〔作用］
この発明における神経回路網装置においては、不定間隔
に得られた入力値と出力値のベアで構成される学習デー
タに対し、一定間隔でサンプリングされたサンプリング
データを仮定する。このサンプリングデータの入力値だ
け平行移動した標本化関数を中間層の神経素子に記憶し
、サンプリングデータの出力値を入力層と出力層の間の
結合重みに設定する。そして学習データの入力値を神経
回路網装置に与えた時に、神経回路網装置の出力が所望
の出力値となるようにサンプリングデータの出力値であ
る結合重みを調整することによって学習するようにして
いる。従って、学習における繰り返し演算の収束が速い
ので高速な学習が可能となる。また、標本化定理におけ
るように、学習データを生成した情報源の複雑度、即ち
最高周波数がわかれば必要とする中間層の神経素子の数
を決めることができる。[Operation] In the neural network device according to the present invention, sampling data sampled at regular intervals is assumed for learning data composed of bare input values and output values obtained at irregular intervals. A sampling function translated by the input value of this sampling data is stored in the neural element of the intermediate layer, and the output value of the sampling data is set as the connection weight between the input layer and the output layer. Then, when the input value of the learning data is given to the neural network device, learning is performed by adjusting the connection weights, which are the output values of the sampling data, so that the output of the neural network device becomes the desired output value. There is. Therefore, since the iterative calculations in learning converge quickly, high-speed learning is possible. Furthermore, as in the sampling theorem, if the complexity of the information source that generated the learning data, that is, the highest frequency, is known, the number of neural elements required in the intermediate layer can be determined.
［実施例コ
第１図は、この発明の一実施例による神経回路網装置の
構成を示す説明図である。図において、（１１）は神経
素子であり５人力層（Ｉｌａｌ 、中間層（ｌｌｂ）、
出力層（Ｉ ｌｃ）で構成されている。 （＋２１は神
経素子（１１）間の結合重みである。第２図は神経素子
（１１）の入出力特性の一例を示すものであり、横軸に
入力値、縦軸に出力値をとって、その関係を示しており
、ｌｉ元で、サンプル数ＣＭ）が２１の場合を示してい
る。[Embodiment] FIG. 1 is an explanatory diagram showing the configuration of a neural network device according to an embodiment of the present invention. In the figure, (11) is a neural element with five human power layers (Ilal, middle layer (llb),
It consists of an output layer (Ilc). (+21 is the connection weight between the neural elements (11). Figure 2 shows an example of the input/output characteristics of the neural elements (11), with the input value on the horizontal axis and the output value on the vertical axis. , shows the relationship, and shows the case where the number of samples (CM) is 21 in li elements.
従来の多層のフィードフォワード型の神経回路網装置の
機能を第３図に基いて説明する。図において、（３１）
は学習データを生成した元の関数で放物線、５つの黒丸
（３２）は学習データ、（３３）は３層の従来の神経回
路網によって再生した補間された曲線である。図におい
て、横軸が入力、縦軸が出。The functions of a conventional multilayer feedforward type neural network device will be explained with reference to FIG. In the figure, (31)
is the original function that generated the learning data and is a parabola, the five black circles (32) are the learning data, and (33) is the interpolated curve reproduced by the three-layer conventional neural network. In the figure, the horizontal axis is input and the vertical axis is output.
力となっている。再生した曲線（３３）と元の曲Ｉ！（
３■）を比へると、学習データ（３２）では元の曲線（
３１）の出力値に近い値が生成され、その他の部分では
補間が行われ、曲線が再生されている。このように５従
来装置では、本質的には入力と出力とを与えた時にその
間を補間するという機能である。It has become a strength. Regenerated curve (33) and original song I! (
3■), the learning data (32) shows that the original curve (
A value close to the output value of 31) is generated, and interpolation is performed in other parts to reproduce the curve. In this manner, the function of the conventional device No. 5 is essentially to interpolate between input and output when they are given.
従来の神経回路網装置の機能は上記のようになっている
ので、神経素子（Ｉｔ）として第９図に示されているい
わゆるシグモイド関数の代わりに、第２図に示すような
関数を使うことにより、同様な機能が実現できる。Since the function of the conventional neural network device is as described above, a function as shown in Fig. 2 should be used instead of the so-called sigmoid function shown in Fig. 9 as the neural element (It). Similar functionality can be achieved by
このため、まず、フーリエ展開について説明する０周期
性のある関数はフーリエ展開が可能である。関数ｙ＝ｆ
（ｘ）の定義域が、−辺の長さが１の超立方体とすれ
ば、その他の空間では定義域が周期ｌで繰り返されてい
ると見なしてよいので、全体としては周期性を持つこと
になる。２次元の場合の定義域を第４図に示す、従って
、関数ｙ・［（Ｘ）は次のようにフーリエ展開される。Therefore, first, a function with zero periodicity, which will be explained regarding Fourier expansion, can be subjected to Fourier expansion. function y=f
If the domain of (x) is a hypercube with -side length 1, then in other spaces it can be assumed that the domain is repeated with a period l, so the domain as a whole has periodicity. become. The domain in the two-dimensional case is shown in FIG. 4. Therefore, the function y·[(X) is Fourier expanded as follows.
！／ ＝ ／（Ｘ） ＝ ｌ１ｒｎ ΣＣｋｅ”バに−
Ｘ） 、 、 、 ＋ ６１に−へに＝−Ｋ
ｋのフーリエ級数の強度、Ｎは入力の次元数を表わす、
には関￥１ｆ （Ｘｌの最高周波数で、一般に未知の関
数を復元するには無限大の周波数まで考慮に入れなけれ
ばならないことを示す。! / = /(X) = l1rn ΣCke”
X) , , , + 61 to - to = - K The strength of the Fourier series of k, N represents the number of dimensions of the input,
is the highest frequency of Xl, which generally indicates that to restore an unknown function, it is necessary to take into account up to infinite frequencies.
関数ｆ （ｘｌがフーリエ展開可能であるためには、そ
の定義域が超立方体の中になければならない。In order for the function f (xl to be Fourier expandable, its domain must lie within the hypercube.
しかし、一般には、神経回路網装置で実現しようとして
いる実際の学習データＸ°は任意の実数値をとるのが普
通であり超立方体の要請に反する。However, in general, the actual learning data X° to be realized by the neural network device usually takes any real value, which is contrary to the requirements of the hypercube.
そこで、入力データに対しては、適当な正規化を行うこ
とにより、その値をＸとして超立方体内に納める。Therefore, by performing appropriate normalization on the input data, its value is stored as X within the hypercube.
また、通常、神経回路網装置の出力ｙも超立方体の中と
するのが慣習なので、実際の出力データｙ“に対しては
、逆正規化を行う、つまり、人出力の正規化を含めたシ
ステム全体としての動作は第５図のようになる。即ち、
ブロック（４１）で任意の実数値である実際の学習デー
タＸ゛を正規化して、ブロック（４２）の神経回路網装
置で関数の近似を行ない、この出力ｙをブロック（４３
）で逆正規化して実際の出力データｙ゛を得る。正規化
としでは、例えば、次のような方法が考えられる。In addition, since it is customary that the output y of the neural network device is also in the hypercube, the actual output data y is denormalized, that is, the normalization of the human output is included. The operation of the entire system is as shown in Figure 5. That is,
The actual learning data X', which is an arbitrary real value, is normalized in block (41), the neural network device in block (42) is used to approximate the function, and this output y is sent to block (43).
) to obtain the actual output data y. For example, the following methods can be considered for normalization.
■シグモイド関数を使う方法
■アフィン変換する方法
実際の変数の定義域が全実数値の場合は、次式のように
シグモイド関数を使うと超立方体内に非線形変換される
。■How to use the sigmoid function ■How to perform affine transformation If the domain of the actual variable is all real values, using the sigmoid function as shown in the following equation will result in nonlinear transformation within the hypercube.
データの定義域があらかじめ次のように分かっている場
合は、
で示される領域を式（１０）でアフィン変換し、超立方
体内に押し込めれば良い。If the domain of the data is known in advance as shown below, it is sufficient to perform affine transformation on the region shown by using equation (10) and squeeze it into the hypercube.
推定すべき関数をｆ （ｘｉとし、式（６）と式（７）
を用いて次のように変形を行なう。Let the function to be estimated be f (xi, and use equations (6) and (7)
The following transformation is performed using .
ｙ ＝ ／（ｘ） −０，
（＋＋１＝ Ｊｉｍ ΣＣｋＣ２ｗｊ（ｋＪ）Ｋ−〜
、＝−８・・・（１２）
則な学習データを取り扱うことにする。今、学習データ
が非常に都合良く超立方体を２Ｋｔ＋ｌ＝Ｍ１等分する
ように得られたとして、差分化により式（１５）の積分
を行う６まず。y = /(x) −0,
(++1= Jim ΣCkC2wj(kJ)K-~
,=-8...(12) We will deal with regular learning data. Now, assuming that the learning data is very conveniently obtained by dividing the hypercube into equal parts of 2Kt+l=M1, we will integrate Equation (15) using difference differentiation6.
】 ３．１ °−°（１７１とする。] 3.1 °-° (171).
さらに積分値はＭ６等分された代表点。Furthermore, the integral value is a representative point divided into M6 equal parts.
ここで、（＊）は最高周波数Ｋが十分大きい時、デルタ
関数に接近する。即ち、関数ｆ （ｘｌは、Ｘｏにおい
てｆ（ｘ’ｌの高さを持つデルタ関数の重ね合わせによ
って構成されていると解釈できる。Here, (*) approaches a delta function when the highest frequency K is sufficiently large. That is, the function f(xl can be interpreted as being composed of a superposition of delta functions having a height of f(x'l) at Xo.
ここで、学習データは不定間隔にしか得られないので、
定義域を埋め尽くすほどの十分大量のデータがないと式
（１５）の積分を精度よく求めることができない、そこ
で、まず簡単のため、学習データが規則的であるとして
、この結果を用いて不規で行うとする。ここで、Ｋを関
数ｆ （ｘ）の持つ最高周波数とすれば、
となる、ただし、
Ｍ＝２に＋１ ・ ・
・ （２２）さらに、式（２１）の意味を明確にする
ために次のように書き換える。Here, since the training data can only be obtained at irregular intervals,
The integral of equation (15) cannot be calculated accurately unless there is a large enough amount of data to fill the domain. Therefore, for the sake of simplicity, we assume that the training data is regular and use this result to solve the problem. It is assumed that this is done according to the regulations. Here, if K is the highest frequency that the function f (x) has, then it becomes, however, +1 to M=2 ・ ・
(22) Furthermore, to clarify the meaning of equation (21), rewrite it as follows.
ただし、
φ（Ｘ） ＝ ｒＩφ、（−ｉ）
・ ・ ・ （２６）
Φ（Ｘｌ はＭ、が大きくなるとデルタ関数に接近する
関数で、人出力が１次元でＭ・２１の場合には第２図で
示した図となる。However, φ(X) = rIφ, (-i) ・ ・ ・ ・ (26) Φ(Xl is a function that approaches a delta function as M becomes large, and when the human output is one-dimensional and M・21, the This is the diagram shown in Figure 2.
以上から、ｙｍｆ （ｘ）は、基底関数Φ（ｘ）により
展開されていることがわかる。つまり、定義域が超立方
体内に限定された標本化定理となっている。From the above, it can be seen that ymf (x) is expanded by the basis function Φ(x). In other words, it is a sampling theorem whose domain is limited to the hypercube.
従って、最高周波数Ｋが分かれば、関数の再生には必要
最低限、式（２２）で示されるＭだけ学習データが得ら
れればよく、他の学習データは不必要である。これは、
関数の複雑さ、つまり、最高周波数がわかれば学習デー
タの必要な数がわかり、その数取下だと、関数が完全に
は再現できないことを意味している０式（２７）を３層
の神経回路網状に表現したものが第１図である。この実
施例における中間層（ｌｌｂｌはＰ＝２１個で構成され
ていればよい。Therefore, if the highest frequency K is known, it is sufficient to obtain the minimum amount of learning data M shown in equation (22) for reproducing the function, and other learning data is unnecessary. this is,
If you know the complexity of the function, that is, the highest frequency, you can know the required number of training data, and if you remove that number, the function cannot be completely reproduced. Figure 1 shows a neural network representation. In this embodiment, the intermediate layer (llbl) may be composed of P=21 layers.
以上のように、学習データが超立方体を等分するように
２に＋１個規則的に得られた場合は、標本化定理と同様
に完全に関数が復元できる。しかし、ここでは、学習デ
ータは不規則にしか得られないとしているので、このよ
うな場合は、規則的なデータ（以下ではサンプリングデ
ータという）を仮定し、このデータから復元された関数
と不規則な学習データ（以下では単に学習データという
）との誤差を考え、これを局所最小にするようにサンプ
リングデータな調整する。As described above, if the learning data is obtained regularly by 1 in 2 so as to equally divide the hypercube, the function can be completely restored as in the sampling theorem. However, here we assume that the learning data can only be obtained irregularly, so in such a case, we will assume regular data (hereinafter referred to as sampling data) and combine the function restored from this data with the irregular one. Consider the error with the training data (hereinafter simply referred to as training data), and adjust the sampling data to minimize this locally.
サンプリングデータを（Ｘｒｎ＋ ｙｍ ）、学習デー
タを（ｘ。The sampling data is (Xrn+ym) and the learning data is (x.
ただし、
従って、Ｅを最小にするためには、例えば、次のように
最急降下法を用いてサンプリングデータを調整すればよ
い。However, in order to minimize E, for example, the sampling data may be adjusted using the steepest descent method as follows.
ｙｍ＝ｙ、、、＋ΔＶｍ ・・・（
３０）ただし、
−メント法を用いて、加速度の項を考慮することもでき
る。ym=y,,,+ΔVm...(
30) However, it is also possible to consider the acceleration term using the -ment method.
ただし、式（３３）は差分式ではなく微分方程式で記述
した学習方程式である。However, equation (33) is a learning equation written using a differential equation rather than a difference equation.
なお、この時、学習データを生成した関数の最高周波数
以上のサンプリングデータを仮定しないと、学習データ
を満足する関数ｆ （ｘ）は理論的に構成できない、従
って５サンプリングデータが不足している時は、仮定し
た最高周波数を上げて５サンプリングデータの数を増加
させる必要がある。Note that at this time, unless sampling data with a frequency higher than the highest frequency of the function that generated the learning data is assumed, a function f(x) that satisfies the learning data cannot be theoretically constructed. Therefore, when 5 sampling data are insufficient , it is necessary to increase the assumed maximum frequency and increase the number of 5 sampling data.
全体の動作を第６図のフローチャートに示す。The overall operation is shown in the flowchart of FIG.
ステップ（５１）で学習データの対を用意し、ステップ
（５２）で最高周波数にとサンプリングデータの初期値
を設定する０次にステップ（５３）で学習データにおけ
る誤差Ｅを最小にするようにサンプリングデータを調整
し、ステップ（５４）で調整が不十分ならば、さらに高
い最高周波数を仮定してサンプリングデータを調整する
。ステップ（５５）で誤差が十分小さいならば処理を終
了する。In step (51), a pair of learning data is prepared, and in step (52), the highest frequency and the initial value of the sampling data are set. Next, in step (53), sampling is performed to minimize the error E in the learning data. The data is adjusted, and if the adjustment is insufficient in step (54), a higher maximum frequency is assumed and the sampled data is adjusted. If the error is sufficiently small in step (55), the process ends.
また、ステップ（５２）のサンプリングデータの初期値
の設定法は、例えば近辺のｙ、から線形補間により推定
するようにしてもよい、また、ステップ（５４）の最高
周波数増加時のサンプリングデータの増加方法について
は、例えば、新しいサンプリングデータな古いサンプリ
ングデータから線形補間により推定するような方法があ
る。In addition, the initial value of the sampling data in step (52) may be estimated by linear interpolation from the nearby y, for example. As for the method, for example, there is a method of estimating new sampling data by linear interpolation from old sampling data.
シミュレーションによる収束結果を第７図に示す、学習
データを発生する元になる関数（以下、元関数という）
は式（３４）で表わされ、第７図（ｃ）の線（６１）で
示されるような山型である。The convergence results from the simulation are shown in Figure 7, which is the function that generates the learning data (hereinafter referred to as the original function).
is expressed by equation (34) and has a mountain shape as shown by line (61) in FIG. 7(c).
第７図（ａ）は横軸に繰り返し回数、縦軸に誤差Ｅの平
方根を示し、第７図（ｂ）は横軸に繰り返し回数、縦軸
に絶対値誤差の最大値を示し、第７図ｆｃｌ は横軸に
入力、縦軸に出力を示すグラフである。第７図（ａ）
、 （ｂ）によれば最高周波数が切り替わったところ
で、誤差が増加しているが、これは、新しいサンプリン
グデータの補間による推定が十分でないためである。第
７図（ｃｌにおいて、黒丸（６２）が学習データ、減衰
している三角関数（６３）が標本化関数、学習データを
結ぶ直線的な線（６１）が元関数、曲がりくねった線（
６４）が再生された関数である。線（６１）と線（６４
）を比較すれば、いずれも、かなり精度良く再生されて
いることがわかる。7(a) shows the number of repetitions on the horizontal axis and the square root of the error E on the vertical axis, and FIG. 7(b) shows the number of repetitions on the horizontal axis and the maximum value of the absolute value error on the vertical axis. Figure fcl is a graph in which the horizontal axis represents input and the vertical axis represents output. Figure 7(a)
, (b), the error increases when the highest frequency is switched, but this is because the estimation by interpolation of new sampling data is insufficient. In Figure 7 (cl), the black circle (62) is the training data, the attenuated trigonometric function (63) is the sampling function, the straight line (61) connecting the training data is the original function, and the curved line (
64) is the reproduced function. Line (61) and line (64
), it can be seen that both are reproduced with fairly high accuracy.
なお、従来の方法であるバックプロパゲーション（ＢＰ
）との速度比較の結果（第１表ンを示しておく０条件は
次のとおりである。Note that the conventional method of back propagation (BP
) and the speed comparison results (see Table 1) are as follows.
■ 元関数は第７図に示す山型の関数とする。■ The element function is the mountain-shaped function shown in Figure 7.
■ 便用計算機は汎用のワークステーション■ ＢＰの
中間層はｉｏｏ個
■ 不規則な学習データは元関数からランダムに得る。■ The convenience calculator is a general-purpose workstation.■ There are ioo pieces of BP intermediate layer.■ Irregular learning data is obtained randomly from the original function.
■ 最高周波数の初期値はｌとして、１．３゜５．７等
と増加させながら繰り返し演算を行う。(2) The initial value of the highest frequency is l, and the calculation is repeated while increasing it to 1.3°, 5.7, etc.
従来例と実施例との計算時間の比較結果を第１表に示す
６表中で一一−はシミュレーションをしていないことを
示す。Table 1 shows the comparison results of calculation time between the conventional example and the embodiment. In the six tables, 11- indicates that no simulation was performed.
第１表
第１表かられかるように、繰り返し演算を行うので５学
習データが増して元関数を精密に再生する必要が生じる
と学習時間がかかるようになる。Table 1 As can be seen from Table 1, since repeated calculations are performed, if the amount of learning data increases and it becomes necessary to precisely reproduce the original function, the learning time will increase.
ここでは、シミュレーションを１回しか行っていないの
で、かなり、乱数の初期値の影響をうけており、この影
響をみることができる。従来のバックプロパゲーション
ではパラメータの設定値にも依存するが、非常に学習時
間が長く、データ数が１０で収束しなくなる。いずれに
しても、従来装置のパックプロパゲーションによるもの
と比較して、この実施例による神経回路網装置は非常に
高速であることがわかる。Here, since the simulation was performed only once, it is considerably influenced by the initial value of the random number, and this influence can be seen. In conventional backpropagation, the learning time is extremely long, although it depends on the parameter settings, and convergence stops when the number of data points is 10. In any case, it can be seen that the neural network device according to this embodiment is much faster than the conventional device using pack propagation.
このように、上記実施例では学習のための繰り返し演算
の収束が速いので高速な学習が可能となり、さらに、学
習データを生成した情報源の複雑度、即ち最高周波数が
わかれば必要とする中間層の神経素子の数を決定するこ
とが出来るやなお、神経回路網を構成する神経素子の層
の数や個数は、上記実施例に限るものではなく、応用分
野に応じて変更すればよい。In this way, in the above embodiment, the iterative calculation for learning converges quickly, so high-speed learning is possible.Furthermore, if the complexity of the information source that generated the learning data, that is, the highest frequency, is known, the required intermediate layer However, the number of layers and the number of neural elements constituting the neural network are not limited to the above embodiments, and may be changed depending on the field of application.
［発明の効果］
以上のように、この発明によれば、入力層、中間層、及
び出力層で構成され、生体の神経細胞を模擬した複数の
神経素子、並びに神経素子の層間な結合する結合重みを
備える神経回路網装置において、不定間隔の入力値とこ
れに対する出力値の対で構成される学習データに対し、
一定間隔の入力１直とこれに対する出力値の対で構成さ
れるサンプリングデータを仮定し、サンプリングデータ
の人力１市だけ平行移動した標本化関数を中間層の神経
素子に記憶し、サンプリングデータの出力（＋Ｈな中間
層と出力層間を結合する結合重みとして設定し、学習デ
ータの入力値を与えた時に得られる出力と学習データの
出力値との誤差が局所最小になるように、サンプリング
データの出力値を学習方程式により調整したことので、
学習のための繰り返し演算の収束が速いので高速に学習
でき、さらに、学習データを生成した情報源の複雑度、
即ち最高周波数がわかれば必要とする中間層の神経素子
の数を決定することができる神経回路網装置の構築が可
能となった。[Effects of the Invention] As described above, according to the present invention, a plurality of neural elements that are composed of an input layer, an intermediate layer, and an output layer and that simulate biological nerve cells, and connections that connect the neural elements between layers. In a neural network device equipped with weights, for learning data consisting of pairs of input values and corresponding output values at irregular intervals,
Assuming sampling data consisting of a pair of one input and its corresponding output value at regular intervals, a sampling function that is translated by one manual input of the sampling data is stored in the neural element of the intermediate layer, and the sampling data is output. (Set as a connection weight that connects +H between the intermediate layer and the output layer, and output the sampling data so that the error between the output obtained when the input value of the learning data is given and the output value of the learning data is locally minimized.) Since the value was adjusted by the learning equation,
The convergence of repeated calculations for learning is fast, allowing for high-speed learning.Furthermore, the complexity of the information source that generated the learning data,
In other words, it has become possible to construct a neural network device that can determine the number of neural elements required in the intermediate layer if the highest frequency is known.
第１図はこの発明による神経回路網装置の一実施例の構
成を示す説明図、第２図はこの実施例に係る神経素子の
入出力特性を示す特性図、第３図は従来の多層のフィー
ドフォワード型の神経回路網装置の動作における関数の
グラフ、第４図はこの発明の一実施例により近似される
関数の定義域を示す説明図、第５図は入力変数の正規化
と出力変数の逆正規化を含めたシステム全体の動作図、
第６図は一実施例にかかる全体の動作を示すフローチャ
ート、第７図（ａ）は学習の収束における誤差の低減を
示すグラフ、第７図（ｂ）は学習データ点における誤差
の絶対値の最大値を示すグラフ、第７図（ｃｌ は元関
数と一実施例による装置で再生された関数を示すグラフ
、第８図は従来の３層のフィードフォワード型の神経回
路網装置の構成を示す説明図、第９図は従来装置に係る
神経素子の入出力特性を示す特性図である。
（Ｉｌｌ、 （Ｉｌａｌ 、 （ｆｉｂ） 、 （Ｉ
ｌｃ） ・・神経素子、（１２）・・・結合重み。FIG. 1 is an explanatory diagram showing the configuration of one embodiment of the neural network device according to the present invention, FIG. 2 is a characteristic diagram showing the input/output characteristics of the neural element according to this embodiment, and FIG. A graph of a function in the operation of a feedforward type neural network device, FIG. 4 is an explanatory diagram showing the domain of a function approximated by an embodiment of the present invention, and FIG. 5 is a graph of normalization of input variables and output variables. Operation diagram of the entire system including denormalization of
FIG. 6 is a flowchart showing the overall operation according to one embodiment, FIG. 7(a) is a graph showing the reduction of error in convergence of learning, and FIG. 7(b) is a graph showing the absolute value of error at learning data points. A graph showing the maximum value, FIG. 7 (cl is a graph showing the original function and the function reproduced by the device according to one embodiment, and FIG. 8 shows the configuration of a conventional three-layer feedforward type neural network device. The explanatory diagram, FIG. 9, is a characteristic diagram showing the input/output characteristics of the neural element related to the conventional device. (Ill, (Ilal, (fib), (I
lc) ... Neural element, (12) ... Connection weight.
Claims (1)
胞を模擬した複数の神経素子、並びに上記神経素子の層
間を結合する結合重みを備える神経回路網装置において
、不定間隔の入力値とこれに対する出力値の対で構成さ
れる学習データに対し、一定間隔の入力値とこれに対す
る出力値の対で構成されるサンプリングデータを仮定し
、上記サンプリングデータの入力値だけ平行移動した標
本化関数を上記中間層の神経素子に記憶し、上記サンプ
リングデータの出力値を上記中間層と出力層間を結合す
る結合重みとして設定し、上記学習データの入力値を与
えた時に得られる出力と上記学習データの出力値との誤
差が局所最小になるように、上記サンプリングデータの
出力値を学習方程式により調整したことを特徴とする神
経回路網装置。In a neural network device that is composed of an input layer, a middle layer, and an output layer, and includes a plurality of neural elements that simulate biological neurons, and connection weights that connect the layers of the neural elements, input values at irregular intervals and For learning data consisting of a pair of output values for this, assuming sampling data consisting of a pair of input values at a constant interval and a pair of output values for this, a sampling function that is translated in parallel by the input value of the sampling data. is stored in the neural element of the intermediate layer, and the output value of the sampling data is set as a connection weight for connecting the intermediate layer and the output layer, and the output obtained when the input value of the learning data is given and the learning data are A neural network device characterized in that the output value of the sampling data is adjusted by a learning equation so that the error with the output value of the sampling data is locally minimized.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2186499A JP2798793B2 (en) | 1990-07-12 | 1990-07-12 | Neural network device |
| GB9115085A GB2246895B (en) | 1990-07-12 | 1991-07-10 | Neural network system |
| KR1019910011860A KR950002423B1 (en) | 1990-07-12 | 1991-07-12 | Apparatus for neural network |
| US08/317,215 US5590243A (en) | 1990-07-12 | 1994-10-03 | Neural network system with sampling data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2186499A JP2798793B2 (en) | 1990-07-12 | 1990-07-12 | Neural network device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0476662A true JPH0476662A (en) | 1992-03-11 |
| JP2798793B2 JP2798793B2 (en) | 1998-09-17 |
Family
ID=16189562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2186499A Expired - Fee Related JP2798793B2 (en) | 1990-07-12 | 1990-07-12 | Neural network device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2798793B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092615A (en) * | 2016-12-01 | 2018-06-14 | 富士通株式会社 | Determination device and determination method for convolutional neural network model |
-
1990
- 1990-07-12 JP JP2186499A patent/JP2798793B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092615A (en) * | 2016-12-01 | 2018-06-14 | 富士通株式会社 | Determination device and determination method for convolutional neural network model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2798793B2 (en) | 1998-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Irwin et al. | Neural network applications in control | |
| US4979126A (en) | Neural network with non-linear transformations | |
| Back et al. | FIR and IIR synapses, a new neural network architecture for time series modeling | |
| US5519647A (en) | Apparatus for and method of generating an approximation function | |
| Ilin et al. | Beyond feedforward models trained by backpropagation: A practical training tool for a more efficient universal approximator | |
| WO2013119867A1 (en) | Methods and apparatus for spiking neural computation | |
| WO2019160138A1 (en) | Causality estimation device, causality estimation method, and program | |
| US5299285A (en) | Neural network with dynamically adaptable neurons | |
| Jung et al. | Pattern classification of back-propagation algorithm using exclusive connecting network | |
| JPH05127706A (en) | Neural network type simulator | |
| Solazzi et al. | Regularising neural networks using flexible multivariate activation function | |
| Potthast et al. | Inverse problems in neural field theory | |
| Geva et al. | Local cluster neural net: Architecture, training and applications | |
| JPH0476662A (en) | Neural network device | |
| Solazzi et al. | Artificial neural networks with adaptive multidimensional spline activation functions | |
| KR950002423B1 (en) | Apparatus for neural network | |
| Mourrain et al. | Determining the number of real roots of polynomials through neural networks | |
| JPH0476661A (en) | Neural network device | |
| JPH05128285A (en) | Neuro-processor | |
| Goryn et al. | Conjugate gradient learning algorithms for multilayer perceptrons | |
| Siegelmann et al. | Some recent results on computing with'neural nets' | |
| Hu et al. | Fractional High Frequency Cosine and Sine Higher Order Neural Network for Economics | |
| JPH06301663A (en) | Learning system for serial connection type recurrent neural network | |
| Cadini et al. | Validation of Infinite Impulse Response Multilayer Perceptron for Modelling Nuclear Dynamics | |
| JPH0476684A (en) | Neural circuit network device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |