JPH0451384A - Neural network and its construction method - Google Patents
Neural network and its construction methodInfo
- Publication number
- JPH0451384A JPH0451384A JP2161904A JP16190490A JPH0451384A JP H0451384 A JPH0451384 A JP H0451384A JP 2161904 A JP2161904 A JP 2161904A JP 16190490 A JP16190490 A JP 16190490A JP H0451384 A JPH0451384 A JP H0451384A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- weighting coefficient
- layer
- sum
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000010276 construction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 21
- 238000007792 addition Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 abstract description 10
- 239000000872 buffer Substances 0.000 abstract description 5
- 210000002569 neuron Anatomy 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】
本発明は、各種処理に好適なニューラルネットワーク及
びその構築方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION The present invention relates to a neural network suitable for various types of processing and a method for constructing the same.
［従来の技術］
近年、ニューラルネットワークによって各種処理を行な
うことが研究されている。[Prior Art] In recent years, research has been conducted into performing various types of processing using neural networks.
ニューラルネットワークを用いる処理では、処理精度を
向上させるために、各素子にニーロン）は多数の入力に
対して演算処理を施して出力を行なう。In processing using a neural network, in order to improve processing accuracy, each element performs arithmetic processing on a large number of inputs and outputs.
Ｅ発明が解決しようとする課題］
しかしながら、ニューラルネットワークを単純にハード
化すると、その回路規模は非常に大きいものとなってし
まうという問題があった。Problems to be Solved by Invention E] However, if the neural network were simply made into hardware, there was a problem in that the circuit scale would become extremely large.
［課題を解決するだめの手段及び作用コ上記課題を解決
するために、本発明のニューラルネットワークは、一部
の層における重み係数の乗算を、シフト演算により行な
う。[Means and effects for solving the problem] In order to solve the above problem, the neural network of the present invention performs multiplication of weighting coefficients in some layers by a shift operation.
また、本発明ニューラルネットワークの他の形態は、一
部の層における重み係数の乗算を、シフト演算及び加算
により行なう。Further, in another embodiment of the neural network of the present invention, weighting coefficients in some layers are multiplied by shift operations and additions.
また、本発明のニューラルネットワークの構築方法は、
入力層、１つ以上の中間層及び出力層を有し、学習によ
り決定されたニューラルネットワークにおいて、ある層
の重み係数に対して、もっとも近い２のべき乗を求め、
当該重み係数の乗算部を、求められた２のべき乗を乗算
するシフト演算部に置き換えたことを特徴とする。Furthermore, the method for constructing a neural network of the present invention includes:
In a neural network that has an input layer, one or more hidden layers, and an output layer and is determined by learning, find the nearest power of 2 for the weighting coefficient of a certain layer,
The present invention is characterized in that the weighting coefficient multiplication unit is replaced with a shift calculation unit that multiplies the obtained power of 2.
また、本発明のニューラルネットワークの構築方法の他
の形態は、入力層、１つ以上の中間層及び出力層を有し
、学習により決定されたニューラルネットワークにおい
て、ある層の重み係数に対して、所定数以下の２のべき
乗和でもっとも近い値を求め、当該重み係数の乗算部を
、求められた２のべき乗和の２のべき乗の各々を乗算す
るシフト演算部とその結果を加算する加算部に置き換え
たことを特徴とする。Further, in another embodiment of the neural network construction method of the present invention, in a neural network that has an input layer, one or more intermediate layers, and an output layer, and is determined by learning, for a weight coefficient of a certain layer, A shift calculation unit that calculates the closest value among the sums of powers of 2 that are less than or equal to a predetermined number, and multiplies the weighting coefficient multiplication unit by each power of 2 of the calculated sum of powers of 2, and an addition unit that adds the results. It is characterized by being replaced by .
更に、他のニューラルネットワークの構築方法は、入力
層、１つ以上の中間層及び出力層を有し、学習により決
定されたニューラルネットワークにおいて、ある層の重
み係数に対して、所定誤差以下となる２のべき乗和によ
る近似値を、和の項数を漸次増やしながら求め、当該重
み係数の乗算部を、求められた２のべき乗和の２のべき
乗の各々を乗算するシフト演算部とその結果を加算する
加算部に置き換えたことを特徴とする。Furthermore, another method for constructing a neural network has an input layer, one or more hidden layers, and an output layer, and in a neural network determined by learning, the weight coefficient of a certain layer has a predetermined error or less. An approximate value based on a sum of powers of 2 is obtained by gradually increasing the number of terms in the sum, and a multiplication section for the weighting coefficient is used as a shift operation section that multiplies each power of 2 of the sum of powers of 2 obtained. It is characterized by replacing it with an adding section that adds.
［実施例］
先ず、パックプロパゲーション型ニニーラルネッ）・ワ
ークにおける学習の手順を第３図を例として説明する。[Example] First, the learning procedure in a pack propagation type network will be explained using FIG. 3 as an example.
第３図に示されたニューラルネットワークは、入力層ｊ
、１＠よりなる中間層ｊ、出力層ｋによって構成されて
いる。The neural network shown in Figure 3 has an input layer j
, 1@, and an output layer k.
学習のためには、入力データと、それに対する理想出力
とを用意し、中間層における結合強度ＷＪ３、出力層に
おける結合強度Ｗよ４の初期値を適当に決定し、この初
期値に基づいて結合されたネットワークに、用意した入
力データを与え、中間層、出力層の順で処理されて出力
データを得る。ここまでが、第３図における■および■
の流れである。次に、得られた出力層よりの出力と、用
意した理想出力とを比較し、この比較により教師信号を
生成し、この教師信号によって、出力層における結合強
度ＷｋＪを補正し、更に中間層における結合強度ＷＪＩ
を補正する。これが■および■の流れである。For learning, prepare the input data and the ideal output for it, appropriately determine the initial values of the connection strength WJ3 in the intermediate layer and the connection strength WY4 in the output layer, and perform the connection based on these initial values. The prepared input data is given to the network, which is processed in the intermediate layer and then the output layer to obtain output data. Up to this point, ■ and ■ in Figure 3
This is the flow. Next, the obtained output from the output layer is compared with the prepared ideal output, a teacher signal is generated by this comparison, the coupling strength WkJ in the output layer is corrected by this teacher signal, and the coupling strength WkJ in the intermediate layer is further corrected. Bond strength WJI
Correct. This is the flow of ■ and ■.
以上が学習の１工程であり、この学習を繰り返すことに
より、結合強度Ｗ 、１．Ｗ ｙ＝＝が適切な値へと修
正されていく。学習の結果、更新された結合強度がネッ
トワーク内に保持される。The above is one step of learning, and by repeating this learning, the connection strength W, 1. W y== is corrected to an appropriate value. As a result of learning, updated connection strengths are maintained within the network.
上述の学習手順を、第４図のフローヂャートを用いて更
に詳細に説明する。The above learning procedure will be explained in more detail using the flowchart of FIG.
先ず、ステップ５４０１で、重み係数（結合強度） Ｗ
Ｊ、、Ｗ ｋ、＋の初期値を与える。ここでは、学習過
程での収束を考慮して、−〇、５〜＋０５の範囲の値を
選択する。First, in step 5401, the weighting coefficient (coupling strength) W
Give the initial value of J,,W k,+. Here, in consideration of convergence during the learning process, values in the range of -0, 5 to +05 are selected.
次に、ステップ５４０２で学習用の入力データｊｏｕｔ
（ｉ）を選択し、ステップ５４０３でこのブタｊｏｕｔ
（ｉ）を入力層にセットする。また、ステップ５４０４
で、入力データ１ｏｕｔ（ｉ）に対する理想出力（ｉ
ｄｅａｌ ｏｕｔ）を用意する。Next, in step 5402, the learning input data jout
(i), and in step 5403 this pig jout
(i) is set in the input layer. Also, step 5404
Then, the ideal output (i
deal out).
そこで、ステップ５４０５で、中間層の出力ｊｏｕｔ（
ｊ）を求める。Therefore, in step 5405, the output jout(
Find j).
先ず、入力層よりのデータ１ｏｕｔ（ｉ）に中間層の重
み係数ＷＪ、を掛け、その総和Ｓｕｍ、Ｊを、Ｓｕｍｐ
Ｊ＝ΣＷ Ｊ ｌ （ｊ、 ｉｌ＊１ｏｕｔ（ｉ）によ
り計算し、次に、このＳｕｍＦｊにｓｉｇｍｏｉｄ関数
を作用させて、ｊ番目の中間層の出力ｊｏｕｔ（ｊ）を
、
によって計算する。First, data 1out(i) from the input layer is multiplied by the weighting coefficient WJ of the intermediate layer, and the sum Sum, J is expressed as Sump
J=ΣW J l (j, il*1out(i), and then a sigmoid function is applied to this SumFj to calculate the output jout(j) of the j-th intermediate layer as follows.
次に、ステップ５４０６で、出力層の出力ｋｏｕｔ（ｋ
）を求める。この手順はステップ８４０Ｇと同様である
。Next, in step 5406, the output layer's output kout(k
). This procedure is similar to step 840G.
すなわち、中間層からの出力ｊｏｕｔ（ｊ）に出力層の
重み係数ＷｋＪを掛け、その総和Ｓｕｍｐｋを、Ｓｕｍ
Ｆｋ＝ΣＷ ｋ、＋ （ｋ、 ｊ）＊ｊｏｕｔ（ｊ）に
より計算し、次に、このＳｕｍｐｋにｓｉｇｍｏｉｄ関
数を作用させて、ｋ番目の中間層の出力ｋｏｕｔ （ｋ
ｌを、
によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第３図の例では、１個だけとしている。That is, the output jout(j) from the intermediate layer is multiplied by the weighting coefficient WkJ of the output layer, and the sum Sumpk is calculated as Sum
Calculate by Fk=ΣW k, + (k, j)*jout(j), and then apply a sigmoid function to this Sumpk to obtain the output kout (k
Calculate l by Note that this output value has been normalized. In addition, generally the number of elements in the output layer is plural;
In the example of FIG. 3, there is only one.
次に、ステップ５４０７では、以上により得られた出力
ｋｏｕｔ（ｋ）と、ステップ５４０４で用意した理想出
力１ｄｅａｌ ｏｕｔ（ｋ）とを比較し、出力層の教師
信号ｔｅａｃｈ ｋ（ｋ）として、
ｔｅａｃｈ ｋ（ｋ） ：＝ （ｉｄｅａｌ ｏｕ
ｔ（ｋ） −ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（
１−ｋｏｕｔ（ｋＨを求める。ここで、ｋｏｕｔ（ｋ）
＊（１−ｋｏｕｔ（ｋ））は、ｓｉｇｍｏｊｄ関数ｋｏ
ｕｔ（ｋ）の微分の意義を有する。Next, in step 5407, the output kout(k) obtained in the above manner is compared with the ideal output 1deal out(k) prepared in step 5404, and the teacher signal teach k(k) of the output layer is set as teach k (k) := (ideal ou
t(k) −kout(k))*kout(k)*(
Find 1-kout(kH. Here, kout(k)
*(1-kout(k)) is the sigmojd function ko
It has the meaning of differentiation of ut(k).
次に、ステップ５４０８で、出力層の重み係数の変化幅
△ｗ ｋＪ（ｋ、 ｊ）を、
△Ｗ ｋＪ（ｋｌ、＋） ＝β＊ｊｏｕｔ（ｊ）＊ｔｅ
ａｃｈ ｋ（ｋ）＋α＊△ｗ ｙｉ （ｋ、 ｊ）
により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。Next, in step 5408, the variation width △w kJ (k, j) of the weighting coefficient of the output layer is calculated as △W kJ (kl, +) = β * jout (j) * te
Calculate by ach k(k)+α*△w yi (k, j). Here, α is a stabilizing constant, and β is a constant called a learning constant, which plays the role of suppressing sudden changes.
ステップ５４０９では、この変化幅に基づいて、重み係
数Ｗｋ、＋（ｋ＋Ｊ）を、
Ｗ ｋＪ（ｋ、 ｊ） ＝ Ｗ ｋＪ（ｋ、 ｊ）＋△
ｗ ｔ、ｊ（ｋ、 ｊ）と、更新する。すなわち学習を
行なう。In step 5409, the weighting coefficient Wk,+(k+J) is determined based on this variation width as follows: W kJ(k, j) = W kJ(k, j)+△
Update w t,j(k, j). In other words, learn.
次に、ステップ５４１０で、中間層の教師信号ｔｅａｃ
ｈ ｊ（ｊｌを計算する。そのために、先ず、Ｓｕｍ！
ｌＪ＝Σｔｅａｃｈ ｋ（ｋ）＊ ＷｋＪ（ｊ、ｉ）に
基づいて、出力層から、中間層の各素子への逆方向の寄
与を計算する。次にこのＳｕｍ８Ｊから、中間層の教師
信号ｔｅａｃｈ ｊ（ｊ）を以下の式により演算する。Next, in step 5410, the intermediate layer teacher signal teac
Calculate h j (jl. To do this, first, Sum!
lJ=Σteach k(k)*Based on WkJ(j,i), calculate the inverse contribution from the output layer to each element of the intermediate layer. Next, from this Sum8J, a teacher signal teach j (j) of the intermediate layer is calculated using the following formula.
ｔｅａｃｈ ｊ（ｊ） ＝ ｊｏｕｔ（ｊ）＊（１−ｊ
ｏｕｔ（ｊ）ｌ＊ｓｕｍｇＪ次に、ステップ５４１１で
、中間層の重み係数の変化幅△Ｗ 、＋ ｌ（ｊ、 １
）を、△ＷＪ＋（ｊ、ｉ） ＝β＊１ｏｕｔ（ｉ）＊ｔ
ｅａｃｈ ｊ（ｊ）＋α＊△ＷＪｌ（ｊｌ）
により計算する。teach j(j) = jout(j)*(1-j
out(j)l*sumgJNext, in step 5411, the width of change in the weighting coefficient of the intermediate layer △W, + l(j, 1
), △WJ+(j,i) =β*1out(i)*t
Calculate by each j (j) + α*△WJl (jl).
ステップ５４１２では、この変化幅に基づいて、重み係
数Ｗ Ｊ＋ （ｊ、ｉ）を、Ｗ １１（ｊ、 Ｌ） ＝
Ｗ ＪＩＦ＋ １）＋△Ｗ Ｊ＋ （ｊ、 ｉ）と、
更新する。すなわち学習を行なう。In step 5412, based on this variation range, the weighting coefficient W J+ (j, i) is determined as W 11 (j, L) =
W JIF+ 1)+△W J+ (j, i),
Update. In other words, learn.
こうして、ステップ８４０１〜４１２により、１組の入
力データとこれに対する理想出力とから、重み係数Ｗ
４ 、とＷｏとが１回学習された。In this way, in steps 8401 to 412, from a set of input data and the ideal output for this, the weighting coefficient W
4, and Wo were learned once.
ステップ５４１３では、以上のような学習を全入力デー
タにつき行なったかを調べ、未だの場合は、ステップ８
４０１〜４１２を繰り返す。In step 5413, it is checked whether the above learning has been performed for all input data, and if not, step 8
Repeat steps 401-412.
ステップ５４１４では、所定の学習回数に達したかを調
べ、不足の場合は、ステップ３４０１〜４１３を繰り返
す。In step 5414, it is checked whether a predetermined number of learning times has been reached, and if not, steps 3401 to 413 are repeated.
以上がパックプロパゲーション法に基づいたニューラル
ネットワークの学習手順の説明である。The above is an explanation of the neural network learning procedure based on the pack propagation method.
本発明では、以上のようにして確立されたニュラルネッ
トワークの中間層において、重み係数を乗じる部分を、
次のように変形する。In the present invention, in the intermediate layer of the neural network established as described above, the part to be multiplied by the weighting coefficient is
Transform as follows.
〈方法１〉
各ＷＪ、について、２のべき乗（２°）の中で最も値が
近いものを新しくＷ、１とする。<Method 1> For each WJ, the closest value among the powers of 2 (2°) is set as a new W,1.
〈方法２〉
各Ｗ、、ｌについて、所定個以下の２のべき乗の和の全
ての組み合わせ（１個を含む）の中で最も値が近いもの
を新しくＷ、、とする。<Method 2> For each W, , l, the one with the closest value among all combinations (including one) of sums of powers of 2 below a predetermined number is set as a new W, , .
〈方法３〉 許容される最大誤差△Ｅを先ず設定する。<Method 3> First, the maximum allowable error ΔE is set.
各Ｗ１．について、２のべき乗のうぢで、ＷＪ、と最も
値が近いものとの差が△Ｅ以下であれば、それを新しく
Ｗ、、とする。Each W1. If the difference between WJ and the closest value is less than or equal to △E in the power of 2, then it is newly set as W.
△Ｅ以下でない場合は、２のべき乗２個の和の中でＷＪ
、と最も値が近いものとの差が△Ｅ以下であれば、それ
を新しくＷ、３とする。If it is not less than or equal to △E, WJ is the sum of two powers of 2.
, and the closest one is less than or equal to ΔE, then it is set as a new W,3.
これも△Ｅ以下でない場合は、更に、３個の和、４個の
和、・・・と順に増やしていき、△Ｅ以下となるものが
得られるまで続しプる。If this is also not less than ΔE, the sum of 3, 4, etc. is further increased in this order until a value that is less than or equal to ΔE is obtained.
以上の方法１〜３において、Ｗ４．が２のべき乗２″と
なる場合は、入力にＷ、１を乗じる演算は、人力をｎだ
けシフトすることにより実現される。In the above methods 1 to 3, W4. is a power of 2, 2'', the operation of multiplying the input by W, 1 is realized by shifting the human power by n.
また、方法２または３において、Ｗ、ｌが２のべき乗の
和、例えば２” ＋２″＋２’ となる場合は、入力に
ＷＪ、を乗じる演算は、入力をそれぞれｎ、ｍ、１だけ
シフトしたものの和をとることにより実現される。In addition, in method 2 or 3, if W and l are the sum of powers of 2, for example 2" + 2" + 2', the operation of multiplying the input by WJ shifts the input by n, m, and 1, respectively. It is realized by taking the sum of things.
従って、重み係数の乗算部分は、シフト演算、またはシ
フト演算と加算とにより達成される。Therefore, the multiplication part of the weighting factors is accomplished by a shift operation, or a shift operation and an addition.
しかしながら、上述の方法によれば、ＷＪ、を、学習で
得られた値に近いながらも、それとは異なる値とするた
めに、出力層で得られる値にも、若干の誤差が生じる。However, according to the above method, since WJ is set to a value that is close to but different from the value obtained by learning, some errors also occur in the values obtained in the output layer.
その誤差が、ニューラルネットワークとしての許容範囲
外であれば、新しい重み係数Ｗ１．を固定して再学習を
行なってもよい。If the error is outside the permissible range for the neural network, a new weighting coefficient W1. You may fix it and relearn.
再学習のフローヂャ−１・を第５図に示す。Flowchart 1 of relearning is shown in FIG.
第５図は、第４図における中間層の重み係数の更新に必
要なステップ８４１０〜５４１２が省略されている点で
第４図と異なり、他は同じように学習を行なう。従って
、固定された重み係数Ｗ、に基づく中間層よりの出力に
対して、出力層の重み係数ＷｋＪだけが再学習され、出
力層よりの出力の誤差が低減される。5 differs from FIG. 4 in that steps 8410 to 5412 necessary for updating the weighting coefficients of the intermediate layer in FIG. 4 are omitted, and learning is otherwise performed in the same manner. Therefore, with respect to the output from the intermediate layer based on the fixed weighting coefficient W, only the weighting coefficient WkJ of the output layer is relearned, and the error in the output from the output layer is reduced.
本発明に係るニューラルネットワークの回路構成につい
て、更に詳細に説明する。The circuit configuration of the neural network according to the present invention will be explained in more detail.
第１図は、中間層における１個のニューロンによる処理
を実現する中間部である。FIG. 1 shows an intermediate part that realizes processing by one neuron in the intermediate layer.
ＢＦはビットシフト部であり、入力信号を配線」ニシフ
トして加算器ＡＤに人力させるものであり、実際の回路
があるわけではない。また、ＡＤではシフトされた入力
を加算し、ｓｉｇｍｏｉｄ関数テブルＦＴでは、ＡＤに
よる加算結果に対してｓｉｇｍｏｉｄ関数を作用させた
結果が得られる。BF is a bit shift unit that manually shifts the input signal to the adder AD, and does not have an actual circuit. Further, in AD, shifted inputs are added, and in sigmoid function table FT, a result is obtained by applying a sigmoid function to the addition result by AD.
第２図は、ニューラルネットワークの全体構成例である
。FIG. 2 is an example of the overall configuration of a neural network.
第２図（ａ、 ）は、３Ｘ３領域の２値画像をニュラル
ネットワークの入力とする場合の入力部の例である。FIG. 2(a,) is an example of an input unit when a binary image in a 3×3 area is input to a neural network.
先ず、入力された２値データは、ラインバッファＬＢＩ
で１ライン分の遅延が行なわれ、次にラインバッファＬ
Ｂ２において、もう１ライン分の遅延が行なわれ、合計
２ライン分の遅延が行なわれる。遅延されていないデー
タ、１ライン分及び２ライン分遅延されたデータは、そ
れぞれ、ラッチＬ７３〜５にラッチされて１画素分遅延
され、その出力はラッチＬ７６〜８により、更に１画素
分の遅延を受ける。これらによる出力は、水平ライン方
向、および垂直画素方向に連続する３×３の領域の２値
データとして、２値ＰＴデタとなる。First, the input binary data is sent to the line buffer LBI.
A delay of one line is performed in the line buffer L.
At B2, one more line of delay is performed, for a total of two lines of delay. Undelayed data, data delayed by one line, and data delayed by two lines are each latched by latches L73-5 and delayed by one pixel, and their outputs are further delayed by one pixel by latches L76-8. receive. The output from these becomes binary PT data as binary data of a 3×3 area continuous in the horizontal line direction and the vertical pixel direction.
２値ＰＴデータは、中間部に人力される。中間部では、
第１図につき説明したように、ビットシフトと加算とに
より、中間層における演算を行なう。中間部の出力は、
乗算器に入力され、出力層の重み係数Ｗ ｗ １が乗じ
られ、各乗算器の出力は、加算器により全て加算される
。加算器による加算結果は、関数演算部Ｆ Ｔによるテ
ーブル変換により、対応するｓｉｇｍｏｉｄ関数値を最
終結果として得る。The binary PT data is manually entered in the intermediate section. In the middle part,
As explained with reference to FIG. 1, operations in the intermediate layer are performed by bit shifting and addition. The output of the middle part is
The signals are input to a multiplier, multiplied by a weighting coefficient W w 1 of the output layer, and the outputs of each multiplier are all added together by an adder. The result of the addition by the adder is converted into a table by the function calculation unit FT to obtain the corresponding sigmoid function value as the final result.
以上のように、本発明によれば、ニューロンにおける乗
算を、ビットシフトまたは、ビットシフトされたもの同
士の和に置き換えることが可能となる。As described above, according to the present invention, multiplication in neurons can be replaced by bit shifting or the sum of bit-shifted values.
特に、本発明を２値化された画像から、多値画像への復
元のためのニューラルネットワークにおける中間層に適
用すれば、入力は０または１に限られ、これに対するビ
ットシフトの結果の加算のためには、高々数ビツト程度
の加算器で十分に演算が可能となる。従って、ニューラ
ルネットワークのハードウェアをＬＳＩやゲートアレイ
で組むことが可能となる。In particular, if the present invention is applied to the intermediate layer in a neural network for restoring a binarized image to a multivalued image, the input is limited to 0 or 1, and the addition of the bit shift result to this input is limited to 0 or 1. For this purpose, an adder of at most several bits is sufficient to perform the calculation. Therefore, the hardware of the neural network can be assembled using LSI or gate arrays.
以上は、２値画像データの入力につき説明したが、他の
形式の人力データについても適用可能であることはいう
までもない。Although the above description has been made regarding the input of binary image data, it goes without saying that the present invention can also be applied to other types of human input data.
［発明の効果コ
以上説明した如く、本発明によれば、ニューラルネット
ワークのニューロンにおける乗算を、ビットシフトまた
は、ビットシフト
の和に置き換えることにより、回路規模を小さくするこ
とが可能となる。[Effects of the Invention] As explained above, according to the present invention, by replacing multiplication in neurons of a neural network with a bit shift or a sum of bit shifts, it is possible to reduce the circuit scale.
第１図は、実施例のニューロンの構成図、第２図は、実
施例のニューラルネットワークの全体構成図、
第３図は、ニューラルネットワークの概念図、第４図は
、ニューラルネットワークの学習手順のフローチャー１
・、
第５図は、再学習手順のフローチャ−１・である。
１、２・・・ラインバッファ
３〜８・・・ラッチ
ＢＦ・・・ピッｉ・シフト部
ＡＤ・・・加算器
ＦＴ・・・関数演算部Figure 1 is a block diagram of the neuron in the example, Figure 2 is the overall configuration of the neural network in the example, Figure 3 is a conceptual diagram of the neural network, and Figure 4 is the learning procedure of the neural network. Flowchart 1
・, FIG. 5 is a flowchart 1 of the relearning procedure. 1, 2...Line buffers 3 to 8...Latch BF...Pip i shift section AD...Adder FT...Function operation section
Claims (8)
ューラルネットワークであって、一部の層における重み
係数の乗算を、シフト演算により行なうことを特徴とす
るニューラルネットワーク。(1) A neural network having an input layer, one or more intermediate layers, and an output layer, characterized in that multiplication of weighting coefficients in some layers is performed by a shift operation.
ューラルネットワークであって、一部の層における重み
係数の乗算を、シフト演算及び加算により行なうことを
特徴とするニューラルネットワーク。(2) A neural network having an input layer, one or more intermediate layers, and an output layer, characterized in that multiplication of weighting coefficients in some layers is performed by shift operations and additions.
とする請求項第１項記載のニューラルネットワーク。(3) The neural network according to claim 1, wherein the weighting coefficient is set to a power of two.
特徴とする請求項第１項記載のニューラルネットワーク
。(4) The neural network according to claim 1, wherein the weighting coefficient is set to a sum of powers of two.
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、もっとも近い２のべき乗を
求め、当該重み係数の乗算部を、求められた２のべき乗
を乗算するシフト演算部に置き換えたことを特徴とする
ニューラルネットワークの構築方法。(5) In a neural network determined by learning and having an input layer, one or more hidden layers, and an output layer,
A method for constructing a neural network, characterized in that the nearest power of 2 is determined for a weighting coefficient of a certain layer, and a multiplication unit for the weighting coefficient is replaced with a shift operation unit that multiplies the determined power of 2. .
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、所定数以下の２のべき乗和
でもっとも近い値を求め、当該重み係数の乗算部を、求
められた２のべき乗和の２のべき乗の各々を乗算するシ
フト演算部とその結果を加算する加算部に置き換えたこ
とを特徴とするニューラルネットワークの構築方法。(6) In a neural network determined by learning and having an input layer, one or more hidden layers, and an output layer,
A shift operation that calculates the closest value of the sum of powers of 2 that is less than or equal to a predetermined number for the weighting coefficient of a certain layer, and multiplies the multiplication part of the weighting coefficient by each power of 2 of the sum of powers of 2 that has been found. A method for constructing a neural network, characterized in that the neural network is replaced with an addition section that adds a section and its result.
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、所定誤差以下となる２のべ
き乗和による近似値を、和の項数を順次増やしながら求
め、当該重み係数の乗算部を、求められた２のべき乗和
の２のべき乗の各々を乗算するシフト演算部とその結果
を加算する加算部に置き換えたことを特徴とするニュー
ラルネットワークの構築方法。(7) In a neural network determined by learning and having an input layer, one or more hidden layers, and an output layer,
For the weighting coefficient of a certain layer, an approximate value of the sum of powers of 2 that is less than or equal to a predetermined error is obtained by sequentially increasing the number of terms in the sum, and the multiplication part of the weighting coefficient is A method for constructing a neural network, characterized in that a shift calculation unit that multiplies each power of , and an addition unit that adds the results are replaced.
のべき乗和による近似値に固定して再学習を行ない、当
該重み係数以外の係数を更新することを特徴とする請求
項第５項乃至第７項記載のニューラルネットワークの構
築方法。(8) The weighting coefficient is the determined power of 2 or 2
8. The method of constructing a neural network according to claim 5, wherein the re-learning is performed by fixing the value to an approximate value based on the sum of powers of , and updating coefficients other than the weighting coefficient.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2161904A JP2862337B2 (en) | 1990-06-19 | 1990-06-19 | How to build a neural network |
| EP91305363A EP0461902B1 (en) | 1990-06-14 | 1991-06-13 | Neural network |
| DE69130656T DE69130656T2 (en) | 1990-06-14 | 1991-06-13 | Neural networks |
| US08/026,093 US5719955A (en) | 1990-06-14 | 1993-03-04 | Data processing using neural networks having conversion tables in an intermediate layer |
| US08/969,832 US6243490B1 (en) | 1990-06-14 | 1997-11-13 | Data processing using neural networks having conversion tables in an intermediate layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2161904A JP2862337B2 (en) | 1990-06-19 | 1990-06-19 | How to build a neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0451384A true JPH0451384A (en) | 1992-02-19 |
| JP2862337B2 JP2862337B2 (en) | 1999-03-03 |
Family
ID=15744231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2161904A Expired - Fee Related JP2862337B2 (en) | 1990-06-14 | 1990-06-19 | How to build a neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2862337B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008027176A (en) * | 2006-07-20 | 2008-02-07 | Kyushu Institute Of Technology | Data creation circuit and method for creating data |
| JP2008065477A (en) * | 2006-09-05 | 2008-03-21 | Kyushu Institute Of Technology | Data processing device and method |
| WO2019064774A1 (en) * | 2017-09-29 | 2019-04-04 | ソニー株式会社 | Information processing device and information processing method |
| WO2019181137A1 (en) * | 2018-03-23 | 2019-09-26 | ソニー株式会社 | Information processing device and information processing method |
| JPWO2018131059A1 (en) * | 2017-01-10 | 2019-11-07 | 株式会社日立製作所 | Neural network circuit |
| JPWO2019168088A1 (en) * | 2018-03-02 | 2021-02-12 | 日本電気株式会社 | Inference device, convolution operation execution method and program |
| WO2021039164A1 (en) * | 2019-08-26 | 2021-03-04 | ソニー株式会社 | Information processing device, information processing system, and information processing method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205519B (en) * | 2016-12-20 | 2022-01-25 | 上海寒武纪信息科技有限公司 | Matrix multiply-add operation device and method, processing device, chip and electronic device |
| CN111383156B (en) * | 2018-12-29 | 2022-08-02 | 北京市商汤科技开发有限公司 | Image processing method and device, intelligent driving system and vehicle-mounted operation platform |
| KR20210062485A (en) | 2019-11-21 | 2021-05-31 | 삼성전자주식회사 | Electronic apparatus and control method thereof |
-
1990
- 1990-06-19 JP JP2161904A patent/JP2862337B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008027176A (en) * | 2006-07-20 | 2008-02-07 | Kyushu Institute Of Technology | Data creation circuit and method for creating data |
| JP2008065477A (en) * | 2006-09-05 | 2008-03-21 | Kyushu Institute Of Technology | Data processing device and method |
| JPWO2018131059A1 (en) * | 2017-01-10 | 2019-11-07 | 株式会社日立製作所 | Neural network circuit |
| US11531896B2 (en) | 2017-01-10 | 2022-12-20 | Hitachi, Ltd. | Neural network circuit providing for operations with bit shifting and rounded values of weight information |
| JP6504331B1 (en) * | 2017-09-29 | 2019-04-24 | ソニー株式会社 | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD |
| JP2019091512A (en) * | 2017-09-29 | 2019-06-13 | ソニー株式会社 | Information processing device and information processing method |
| US11086969B2 (en) | 2017-09-29 | 2021-08-10 | Sony Corporation | Information processing device and information processing method |
| WO2019064774A1 (en) * | 2017-09-29 | 2019-04-04 | ソニー株式会社 | Information processing device and information processing method |
| JPWO2019168088A1 (en) * | 2018-03-02 | 2021-02-12 | 日本電気株式会社 | Inference device, convolution operation execution method and program |
| US11960565B2 (en) | 2018-03-02 | 2024-04-16 | Nec Corporation | Add-mulitply-add convolution computation for a convolutional neural network |
| WO2019181137A1 (en) * | 2018-03-23 | 2019-09-26 | ソニー株式会社 | Information processing device and information processing method |
| JPWO2019181137A1 (en) * | 2018-03-23 | 2021-03-25 | ソニー株式会社 | Information processing device and information processing method |
| US11768979B2 (en) | 2018-03-23 | 2023-09-26 | Sony Corporation | Information processing device and information processing method |
| WO2021039164A1 (en) * | 2019-08-26 | 2021-03-04 | ソニー株式会社 | Information processing device, information processing system, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2862337B2 (en) | 1999-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0451384A (en) | Neural network and its construction method | |
| EP0384709B1 (en) | Learning Machine | |
| Hines | A logarithmic neural network architecture for unbounded non-linear function approximation | |
| JPH07121498A (en) | Method for constructing neural network | |
| JPH04229362A (en) | Learning machine | |
| JPH0981723A (en) | Image processor | |
| JPH07141313A (en) | Neural circuit element | |
| JPH05101028A (en) | Integral decision method for plural feature quantity | |
| JPH0451386A (en) | Neural network and its construction method | |
| JP3262340B2 (en) | Information processing device | |
| JP3260538B2 (en) | Control device | |
| JPH0451383A (en) | Neural network | |
| JPH0981535A (en) | Learning method for neural network | |
| JP2859377B2 (en) | Image processing method and image processing apparatus using neural network | |
| JP3328953B2 (en) | Nonlinear synaptic neuron, device thereof and prediction method using the same | |
| JPH05204885A (en) | Device and method for accelerating learning of neural network | |
| JPH0415882A (en) | Picture quality evaluation device | |
| JPH0644207A (en) | Neural network and its constituting method | |
| JPH0620048A (en) | Image processor | |
| JPH0233655A (en) | Nerve circuit network type pattern processor | |
| JPH0367358A (en) | Learning machine | |
| JPH0430280A (en) | Learning method for neural network | |
| JP3137996B2 (en) | Neural network using membership function and its learning method | |
| JPH07319844A (en) | Device and method for learning neural network | |
| JPH0522586A (en) | Color conversion system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |