JP2862337B2 - How to build a neural network - Google Patents
How to build a neural networkInfo
- Publication number
- JP2862337B2 JP2862337B2 JP2161904A JP16190490A JP2862337B2 JP 2862337 B2 JP2862337 B2 JP 2862337B2 JP 2161904 A JP2161904 A JP 2161904A JP 16190490 A JP16190490 A JP 16190490A JP 2862337 B2 JP2862337 B2 JP 2862337B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neural network
- weight coefficient
- learning
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、各種処理に好適なニューラルネットワーク
及びその構築方法に関するものである。Description: TECHNICAL FIELD The present invention relates to a neural network suitable for various processes and a method for constructing the neural network.
［従来の技術］ 近年、ニューラルネットワークによって各種処理を行
なうことが研究されている。[Related Art] In recent years, research has been made on performing various types of processing using a neural network.
ニューラルネットワークを用いる処理では、処理精度
を向上させるために、各素子（ニューロン）は多数の入
力に対して演算処理を施して出力を行なう。In a process using a neural network, each element (neuron) performs arithmetic processing on a large number of inputs and outputs the processed data in order to improve processing accuracy.
［発明が解決しようとする課題］ しかしながら、ニューラルネットワークを単純にハー
ド化すると、その回路規模は非常に大きいものとなって
しまうという問題があった。[Problem to be Solved by the Invention] However, if the neural network is simply hardened, there is a problem that the circuit scale becomes very large.
［課題を解決するための手段］ 上記課題を解決するために、本発明のニューラルネッ
トワークの構築方法は、入力層と、１つ以上の中間層
と、出力層とを有する第１のニューラルネットワークに
おいて、各層の重み係数を学習により決定し、所定の層
における当該決定された重み係数について２のべき乗ま
たは２のべき乗和による近似値を求め、前記所定の層に
おける重み係数を求められた前記近似値に変更して固定
し、当該所定の層以外の層における重み係数を再学習に
より決定し、前記所定の層における重み係数を前記近似
値として、当該重み係数の乗算をシフト演算またはシフ
ト演算と加算とにより実行するようにし、前記所定の層
以外の層における重み係数を前記再学習により決定され
た値とした第２のニューラルネットワークを構築するこ
とを特徴とする。[Means for Solving the Problems] To solve the above problems, a method for constructing a neural network according to the present invention is directed to a first neural network having an input layer, one or more intermediate layers, and an output layer. The weighting factor of each layer is determined by learning, an approximate value of the determined weighting factor in a predetermined layer is determined by a power of 2 or a sum of powers of two, and the approximate value of the weighting factor in the predetermined layer is determined. The weight coefficient in the layer other than the predetermined layer is determined by re-learning, and the weight coefficient in the predetermined layer is set to the approximate value, and the multiplication of the weight coefficient is added to the shift operation or the shift operation. And a second neural network having weight coefficients in layers other than the predetermined layer as values determined by the re-learning. It is characterized by building.
［実施例］ 先ず、バックプロパゲーション型ニューラルネットワ
ークにおける学習の手順を第３図を例として説明する。Embodiment First, a learning procedure in the back propagation type neural network will be described with reference to FIG. 3 as an example.
第３図に示されたニューラルネットワークは、入力層
ｉ、１層よりなる中間層ｊ、出力層ｋによって構成され
ている。The neural network shown in FIG. 3 includes an input layer i, an intermediate layer j including one layer, and an output layer k.
学習のためには、入力データと、それに対する理想出
力とを用意し、中間層における結合強度Wji、出力層に
おける結合強度Wkjの初期値を適当に決定し、この初期
値に基づいて結合されたネットワークに、用意した入力
データを与え、中間層、出力層の順で処理されて出力デ
ータを得る。ここまでが、第３図におけるおよびの
流れである。次に、得られた出力層よりの出力と、用意
した理想出力とを比較し、この比較により教師信号を生
成し、この教師信号によって、出力層における結合強度
Wkjを補正し、更に中間層における結合強度Wjiを補正す
る。これがおよびの流れである。For learning, input data and an ideal output for the input data are prepared, and the initial values of the coupling strength W ji in the intermediate layer and the coupling strength W kj in the output layer are appropriately determined, and the coupling is performed based on the initial values. The prepared network is provided with the input data, and the network is processed in the order of the intermediate layer and the output layer to obtain output data. The steps up to here are the flow of and in FIG. Next, the obtained output from the output layer is compared with the prepared ideal output, and a teacher signal is generated by this comparison.
W kj is corrected, and further, the coupling strength W ji in the intermediate layer is corrected. This is the flow of and.
以上が学習の１工程であり、この学習を繰り返すこと
により、結合強度Wji、Wkjが適切な値へと修正されてい
く。学習の結果、更新された結合強度がネットワーク内
に保持される。The above is one process of learning, and by repeating this learning, the connection strengths Wji and Wkj are corrected to appropriate values. As a result of the learning, the updated connection strength is held in the network.
上述の学習手順を、第４図のフローチャートを用いて
更に詳細に説明する。The above learning procedure will be described in more detail with reference to the flowchart of FIG.
先ず、ステップS401で、重み係数（結合強度）Wji、W
kjの初期値を与える。ここでは、学習過程での収束を考
慮して、−0.5〜＋0.5の範囲の値を選択する。First, in step S401, weighting factors (coupling strengths) Wji , Wji
Give the initial value of kj . Here, a value in the range of -0.5 to +0.5 is selected in consideration of convergence in the learning process.
次に、ステップS402で学習用の入力データiout（ｉ）
を選択し、ステップS403でこのデータiout（ｉ）を入力
層にセットする。また、ステップS404で、入力データio
ut（ｉ）に対する理想出力（ideal out）を用意する。Next, in step S402, the learning input data iout (i)
Is selected, and this data iout (i) is set in the input layer in step S403. In step S404, the input data io
An ideal output (ideal out) for ut (i) is prepared.
そこで、ステップS405で、中間層の出力jout（ｊ）を
求める。Therefore, in step S405, the output jout (j) of the intermediate layer is obtained.
先ず、入力層よりのデータiout（ｉ）に中間層の重み
係数Wjiを掛け、その総和SumFjを、 により計算し、次に、このSumFjにsigmoid関数を作用さ
せて、ｊ番目の中間層の出力jout（ｊ）を、 によって計算する。First, multiplied by the weighting coefficient W ji of the intermediate layer to data iout of the input layer (i), and the sum Sum Fj, Then, by applying a sigmoid function to this Sum Fj , the output jout (j) of the j-th hidden layer is calculated as Calculate by
次に、ステップS406で、出力層の出力kout（ｋ）を求
める。この手順はステップS406と同様である。Next, in step S406, the output kout (k) of the output layer is obtained. This procedure is the same as step S406.
すなわち、中間層からの出力jout（ｊ）に出力層の重
み係数Wkjを掛け、その総和SumFkを、 により計算し、次に、このSumFkにsigmoid関数を作用さ
せて、ｋ番目の中間層の出力kout（ｋ）を、 によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第３図の例では、１個だけとしている。That is, the output jout (j) from the hidden layer is multiplied by the weight coefficient W kj of the output layer, and the sum Sum Fk is calculated as Then, by applying a sigmoid function to this Sum Fk , the output kout (k) of the k-th hidden layer is calculated as Calculate by This output value is normalized. In general, the number of elements in the output layer is plural,
In the example of FIG. 3, there is only one.
次に、ステップS407では、以上により得られた出力ko
ut（ｋ）と、ステップS404で用意した理想出力ideal ou
t（ｋ）とを比較し、出力層の教師信号teach k（ｋ）と
して、 teach k（ｋ）＝｛ideal out（ｋ）−kout（ｋ）｝ ＊kout（ｋ）＊｛１−kout（ｋ）｝ を求める。ここで、kout（ｋ）＊｛１−kout（ｋ）｝
は、sigmoid関数kout（ｋ）の微分の意義を有する。Next, in step S407, the output ko
ut (k) and the ideal output ideal ou prepared in step S404
t (k), and as a teacher signal teach k (k) of the output layer, teach k (k) = {ideal out (k) −kout (k)} * kout (k) * ｛1−kout ( k) Find｝. Here, kout (k) * {1-kout (k)}
Has the significance of the derivative of the sigmoid function kout (k).
次に、ステップS408で、出力層の重み係数の変化幅Δ
Wkj（k,j）を、 ΔWkj（k,j）＝β＊jout（ｊ）＊teach k（ｋ） ＋α＊ΔWkj（k,j） により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。Next, in step S408, the change width Δ of the weight coefficient of the output layer
W kj (k, j) is calculated by ΔW kj (k, j) = β * jout (j) * teach k (k) + α * ΔW kj (k, j). Here, α is a stabilization constant, and β is a constant called a learning constant, which plays a role in suppressing rapid changes.
ステップS409では、この変化幅に基づいて、重み係数
Wkj（k,j）を、 Wkj（k,j）＝Wkj（k,j）＋ΔWkj（k,j） と、更新する。すなわち学習を行なう。In step S409, a weighting factor is
W kj (k, j) is updated as W kj (k, j) = W kj (k, j) + ΔW kj (k, j). That is, learning is performed.
次に、ステップS410で、中間層の教師信号teach j
（ｊ）を計算する。そのために、先ず、 に基づいて、出力層から、中間層の各素子への逆方向の
寄与を計算する。次にこのSumBjから、中間層の教師信
号teach j（ｊ）を以下の式により演算する。Next, in step S410, the teacher signal teach j of the intermediate layer
Calculate (j). First of all, , The reverse contribution from the output layer to each element of the intermediate layer is calculated. Next, from this Sum Bj , a teacher signal teach j (j) of the intermediate layer is calculated by the following equation.
teach j（ｊ）＝jout（ｊ）＊｛１−jout（ｊ）｝＊SumBj 次に、ステップS411で、中間層の重み係数の変化幅Δ
Wji（j,i）を、 ΔWji（j,i）＝β＊iout（ｉ）＊teach j（ｊ） ＋α＊ΔWji（j,i） により計算する。teach j (j) = jout (j) * {1−jout (j)} * Sum Bj Next, in step S411, a change width Δ of the weight coefficient of the intermediate layer
W ji (j, i) a, ΔW ji (j, i) = β * iout (i) * teach j (j) + α * ΔW ji (j, i) is calculated by.
ステップS412では、この変化幅に基づいて、重み係数
Wji（j,i）を、 Wji（j,i）＝Wji（j,i）＋ΔWji（j,i） と、更新する。すなわち学習を行なう。In step S412, a weighting coefficient is
W ji (j, i) is updated as W ji (j, i) = W ji (j, i) + ΔW ji (j, i). That is, learning is performed.
こうして、ステップS401〜412により、１組の入力デ
ータとこれに対する理想出力とから、重み係数WjiとWkj
とが１回学習された。Thus, in step S401～412, from the ideal output for this and a set of input data, weight coefficients W ji and W kj
Was learned once.
ステップS413では、以上のような学習を全入力データ
につき行なったかを調べ、未だの場合は、ステップS401
〜412を繰り返す。In step S413, it is checked whether or not the learning as described above has been performed on all the input data.
Repeat ~ 412.
ステップS414では、所定の学習回数に達したかを調
べ、不足の場合は、ステップS401〜413を繰り返す。In step S414, it is checked whether a predetermined number of times of learning has been reached, and if insufficient, steps S401 to S413 are repeated.
以上がバックプロパゲーション法に基づいたニューラ
ルネットワークの学習手順の説明である。The above is the description of the learning procedure of the neural network based on the back propagation method.
本発明では、以上のようにして確立されたニューラル
ネットワークの中間層において、重み係数を乗じる部分
を、次のように変形する。In the present invention, the portion to be multiplied by the weight coefficient in the intermediate layer of the neural network established as described above is modified as follows.
＜方法１＞ 各Wjiについて、２のべき乗（2n）の中で最も値が近
いものを新しくWjiとする。<Method 1> For each Wji , the one with the closest value among the powers of 2 (2 n ) is newly designated as Wji .
＜方法２＞ 各Wjiについて、所定個以下の２のべき乗の和の全て
の組み合わせ（１個を含む）の中で最も値が近いものを
新しくWjiとする。<Method 2> For each Wji , a combination having the closest value among all combinations (including one) of sums of powers of 2 equal to or less than a predetermined number is newly set as Wji .
＜方法３＞ 許容される最大誤差ΔＥを先ず設定する。<Method 3> First, an allowable maximum error ΔE is set.
各Wjiについて、２のべき乗のうちで、Wjiと最も値が
近いものとの差がΔＥ以下であれば、それを新しくWji
とする。For each W ji , if the difference between W ji and the closest value among the powers of 2 is equal to or smaller than ΔE, the new W ji
And
ΔＥ以下でない場合は、２のべき乗２個の和の中でW
jiと最も値が近いものとの差がΔＥ以下であれば、それ
を新しくWjiとする。If not less than ΔE, W in the sum of two powers of two
If the difference between ji and the one having the closest value is equal to or smaller than ΔE, it is newly set as Wji .
これもΔＥ以下でない場合は、更に、３個の和、４個
の和、…と順に増やしていき、ΔＥ以下となるものが得
られるまで続ける。If this is not less than ΔE, the sum is further increased in order of three sums, four sums,..., And the process is continued until a value smaller than ΔE is obtained.
以上の方法１〜３において、Wjiが２のべき乗2nとな
る場合は、入力にWjiを乗じる演算は、入力をｎだけシ
フトすることにより実現される。In the above method 1-3, when the W ji is the power of 2 2 n, calculation of multiplying the W ji input it is realized by shifting only enter n.
また、方法２または３において、Wjiが２のべき乗の
和、例えば2n＋2m＋21となる場合は、入力にWjiを乗じ
る演算は、入力をそれぞれｎ、ｍ、１だけシフトしたも
のの和をとることにより実現される。Also, in method 2 or 3, if W ji is the sum of powers of 2, for example, 2 n +2 m +2 1 , the operation of multiplying the input by W ji is performed by shifting the input by n, m, and 1 respectively. This is achieved by taking the sum.
従って、重み係数の乗算部分は、シフト演算、または
シフト演算と加算とにより達成される。Therefore, the multiplication portion of the weight coefficient is achieved by the shift operation or the shift operation and the addition.
しかしながら、上述の方法によれば、Wjiを、学習で
得られた値に近いながらも、それとは異なる値とするた
めに、出力層で得られる値にも、若干の誤差が生じる。
その誤差が、ニューラルネットワークとしての許容範囲
外であれば、新しい重み係数Wjiを固定して再学習を行
なってもよい。However, according to the above-described method, a small error occurs in the value obtained in the output layer because Wji is set to a value different from the value obtained by learning while being close to the value obtained by learning.
If the error is outside the permissible range of the neural network, re-learning may be performed with the new weighting factor Wji fixed.
再学習のフローチャートを第５図に示す。 FIG. 5 shows a flowchart of the re-learning.
第５図は、第４図における中間層の重み係数の更新に
必要なステップS410〜S412が省略されている点で第４図
と異なり、他は同じように学習を行なう。従って、固定
された重み係数Wjiに基づく中間層よりの出力に対し
て、出力層の重み係数Wkjだけが再学習され、出力層よ
りの出力の誤差が低減される。FIG. 5 is different from FIG. 4 in that steps S410 to S412 necessary for updating the weight coefficient of the intermediate layer in FIG. 4 are omitted, and learning is performed in the same manner in the other steps. Therefore, the output of the intermediate layer based on a fixed weighting coefficients W ji, only weighting coefficient W kj of the output layer is re-learned, the error of the output of the output layer is reduced.
本発明に係るニューラルネットワークの回路構成につ
いて、更に詳細に説明する。The circuit configuration of the neural network according to the present invention will be described in more detail.
第１図は、中間層における１個のニューロンによる処
理を実現する中間部である。FIG. 1 shows an intermediate unit that realizes processing by one neuron in the intermediate layer.
BFはビットシフト部であり、入力信号を配線上シフト
して加算器ADに入力させるものであり、実際の回路があ
るわけではない。また、ADではシフトされた入力を加算
し、sigmoid関数テーブルFTでは、ADによる加算結果に
対してsigmoid関数を作用させた結果が得られる。BF is a bit shift unit that shifts an input signal on a wire and inputs the shifted signal to the adder AD, and there is no actual circuit. In the AD, the shifted input is added, and in the sigmoid function table FT, a result obtained by applying the sigmoid function to the addition result by the AD is obtained.
第２図は、ニューラルネットワークの全体構成例であ
る。FIG. 2 is an example of the entire configuration of the neural network.
第２図（ａ）は、３×３領域の２値画像をニューラル
ネットワークの入力とする場合の入力部の例である。FIG. 2A shows an example of an input unit when a binary image of a 3 × 3 area is input to a neural network.
先ず、入力された２値データは、ラインバッファLB1
で１ライン分の遅延が行なわれ、次にラインバッファLB
2において、もう１ライン分の遅延が行なわれ、合計２
ライン分の遅延が行なわれる。遅延されていないデー
タ、１ライン分及び２ライン分遅延されたデータは、そ
れぞれ、ラッチLT3〜５にラッチされて１画素分遅延さ
れ、その出力はラッチLT6〜８により、更に１画素分の
遅延を受ける。これによる出力は、水平ライン方向、お
よび垂直画素方向に連続する３×３の領域の２値データ
として、２値PTデータとなる。First, the input binary data is stored in the line buffer LB1.
Delays one line, and then the line buffer LB
In 2, a delay of another line is performed, for a total of 2 lines.
A line delay is performed. The undelayed data, the data delayed by one line and the data delayed by two lines are respectively latched by the latches LT3 to LT5 and delayed by one pixel, and the output is further delayed by one pixel by the latches LT6 to LT8. Receive. The output thereby becomes binary PT data as binary data of a 3 × 3 area continuous in the horizontal line direction and the vertical pixel direction.
２値PTデータは、中間部に入力される。中間部では、
第１図につき説明したように、ビットシフトと加算とに
より、中間層における演算を行なう。中間部の出力は、
乗算器に入力され、出力層の重み係数Wkjが乗じられ、
各乗算器の出力は、加算器により全て加算される。加算
器による加算結果は、関数演算部FTによるテーブル変換
により、対応するsigmoid関数値を最終結果として得
る。The binary PT data is input to the intermediate part. In the middle,
As described with reference to FIG. 1, the operation in the intermediate layer is performed by the bit shift and the addition. The output of the middle part is
Input to the multiplier, multiplied by the weight coefficient W kj of the output layer,
The outputs of each multiplier are all added by an adder. The addition result by the adder obtains a corresponding sigmoid function value as a final result by table conversion by the function operation unit FT.
以上のように、本発明によれば、ニューロンにおける
乗算を、ビットシフトまたは、ビットシフトされたもの
同士の和に置き換えることが可能となる。As described above, according to the present invention, it is possible to replace multiplication in a neuron with a bit shift or a sum of bit-shifted ones.
特に、本発明を２値化された画像から、多値画像への
復元のためのニューラルネットワークにおける中間層に
適用すれば、入力は０または１に限られ、これに対する
ビットシフトの結果の加算のためには、高々数ビット程
度の加算器で十分に演算が可能となる。従って、ニュー
ラルネットワークのハードウェアをLSIやゲートアレイ
で組むことが可能となる。In particular, if the present invention is applied to an intermediate layer in a neural network for restoring a binary image to a multi-valued image, the input is limited to 0 or 1, and the addition of the result of the bit shift to the input is limited to 0 or 1. For this purpose, an arithmetic operation can be performed sufficiently with an adder of at most several bits. Therefore, the hardware of the neural network can be assembled with an LSI or a gate array.
以上は、２値画像データの入力につき説明したが、他
の形式の入力データについても適用可能であることはい
うまでもない。Although the input of binary image data has been described above, it goes without saying that the present invention can be applied to input data of other formats.
［発明の効果］ 以上説明したように、本発明によれば、所定の層にお
ける重み係数を学習により決定された値の２のべき乗ま
たは２のべき乗和による近似値として、当該重み係数の
乗算をシフト演算またはシフト演算と加算とにより実行
するようにしたので、ニューラルネットワークの回路規
模を小さくすることができる。また、その所定の層にお
ける重み係数を前記近似値に変更して固定して、当該所
定の層以外の層における重み係数を再学習により決定す
るようにしたので、所定の層における重み係数を学習に
より決定された値の近似値としながら、処理精度の高い
ニューラルネットワークを構築することができるという
効果が得られる。[Effects of the Invention] As described above, according to the present invention, the weight coefficient in a predetermined layer is set to an approximate value based on a power of 2 or a sum of powers of 2 of a value determined by learning, and the multiplication of the weight coefficient is performed. Since the shift operation or the shift operation and the addition are executed, the circuit scale of the neural network can be reduced. In addition, the weighting coefficient in the predetermined layer is changed to the approximate value and fixed, and the weighting coefficient in the layer other than the predetermined layer is determined by re-learning. Thus, it is possible to construct a neural network with high processing accuracy while using an approximate value of the value determined by (1).
第１図は、実施例のニューロンの構成図、 第２図は、実施例のニューラルネットワークの全体構成
図、 第３図は、ニューラルネットワークの概念図、 第４図は、ニューラルネットワークの学習手順のフロー
チャート、 第５図は、再学習手順のフローチャートである。 １、２……ラインバッファ ３〜８……ラッチ BF……ビットシフト部 AD……加算器 FT……関数演算部FIG. 1 is a configuration diagram of a neuron of an embodiment, FIG. 2 is an overall configuration diagram of a neural network of the embodiment, FIG. 3 is a conceptual diagram of the neural network, and FIG. 4 is a learning procedure of the neural network. FIG. 5 is a flowchart of a relearning procedure. 1, 2 ... line buffer 3 to 8 ... latch BF ... bit shift unit AD ... adder FT ... function operation unit
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)Continuation of the front page (58) Field surveyed (Int.Cl. 6 , DB name) G06F 15/18 JICST file (JOIS)
Claims (4)
を有する第１のニューラルネットワークにおいて、各層
の重み係数を学習により決定し、 所定の層における当該決定された重み係数について２の
べき乗または２のべき乗和による近似値を求め、 前記所定の層における重み係数を求められた前記近似値
に変更して固定し、当該所定の層以外の層における重み
係数を再学習により決定し、 前記所定の層における重み係数を前記近似値として、当
該重み係数の乗算をシフト演算またはシフト演算と加算
とにより実行するようにし、前記所定の層以外の層にお
ける重み係数を前記再学習により決定された値とした第
２のニューラルネットワークを構築することを特徴とす
るニューラルネットワークの構築方法。In a first neural network having an input layer, one or more intermediate layers, and an output layer, weighting factors of respective layers are determined by learning, and the weighting factors of predetermined layers are determined. Calculate an approximate value by a power of 2 or a power-of-two sum, change and fix the weight coefficient in the predetermined layer to the obtained approximate value, and determine the weight coefficient in a layer other than the predetermined layer by re-learning. The weight coefficient in the predetermined layer is set as the approximate value, and the multiplication of the weight coefficient is performed by a shift operation or a shift operation and addition, and the weight coefficient in a layer other than the predetermined layer is determined by the relearning. A method for constructing a neural network, comprising constructing a second neural network having determined values.
近似値として、当該重み係数に最も近い２のべき乗を求
めることを特徴とする請求項１に記載のニューラルネッ
トワークの構築方法。2. The method according to claim 1, wherein a power of 2 closest to the weight coefficient is obtained as an approximate value of the weight coefficient in the predetermined layer.
近似値として、所定個数以下の２のべき乗和で当該重み
係数に最も近い値を求めることを特徴とする請求項１に
記載のニューラルネットワークの構築方法。3. The neural network according to claim 1, wherein a value closest to the weighting coefficient is obtained as an approximate value of the weighting coefficient in the predetermined layer by a sum of powers of two that is equal to or less than a predetermined number. How to build.
近似値として、当該重み係数との差が所定値以下となる
２のべき乗和を求めることを特徴とする請求項１に記載
のニューラルネットワークの構築方法。4. The neural network according to claim 1, wherein as an approximate value of the weight coefficient in the predetermined layer, a power-of-two sum whose difference from the weight coefficient is equal to or smaller than a predetermined value is obtained. How to build.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2161904A JP2862337B2 (en) | 1990-06-19 | 1990-06-19 | How to build a neural network |
| DE69130656T DE69130656T2 (en) | 1990-06-14 | 1991-06-13 | Neural networks |
| EP91305363A EP0461902B1 (en) | 1990-06-14 | 1991-06-13 | Neural network |
| US08/026,093 US5719955A (en) | 1990-06-14 | 1993-03-04 | Data processing using neural networks having conversion tables in an intermediate layer |
| US08/969,832 US6243490B1 (en) | 1990-06-14 | 1997-11-13 | Data processing using neural networks having conversion tables in an intermediate layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2161904A JP2862337B2 (en) | 1990-06-19 | 1990-06-19 | How to build a neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0451384A JPH0451384A (en) | 1992-02-19 |
| JP2862337B2 true JP2862337B2 (en) | 1999-03-03 |
Family
ID=15744231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2161904A Expired - Fee Related JP2862337B2 (en) | 1990-06-14 | 1990-06-19 | How to build a neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2862337B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205700A (en) * | 2016-12-20 | 2018-06-26 | 上海寒武纪信息科技有限公司 | Neural network computing device and method |
| JP2022515343A (en) * | 2018-12-29 | 2022-02-18 | ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー | Image processing methods, equipment, intelligent driving systems and in-vehicle computing platforms |
| US11436442B2 (en) | 2019-11-21 | 2022-09-06 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5034041B2 (en) * | 2006-07-20 | 2012-09-26 | 国立大学法人九州工業大学 | Data generation circuit and data generation method |
| JP5130516B2 (en) * | 2006-09-05 | 2013-01-30 | 国立大学法人九州工業大学 | Data processing apparatus and method |
| JP6734938B2 (en) * | 2017-01-10 | 2020-08-05 | 株式会社日立製作所 | Neural network circuit |
| EP3543873B1 (en) * | 2017-09-29 | 2022-04-20 | Sony Group Corporation | Information processing device and information processing method |
| WO2019168088A1 (en) | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | Inference device, convolution operation execution method, and program |
| WO2019181137A1 (en) * | 2018-03-23 | 2019-09-26 | ソニー株式会社 | Information processing device and information processing method |
| EP4024198A4 (en) * | 2019-08-26 | 2022-10-12 | Sony Group Corporation | Information processing device, information processing system, and information processing method |
-
1990
- 1990-06-19 JP JP2161904A patent/JP2862337B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 山田，柳生，益田，正木，平井，「大規模ニューラルネットワーク向けハードウェア方式」情報処理学会第３８回（平成元年度前期）全国大会講演論文集（▲ＩＩＩ▼）ｐ．１５２６−ｐ．１５２７（１９８９） |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205700A (en) * | 2016-12-20 | 2018-06-26 | 上海寒武纪信息科技有限公司 | Neural network computing device and method |
| JP2022515343A (en) * | 2018-12-29 | 2022-02-18 | ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー | Image processing methods, equipment, intelligent driving systems and in-vehicle computing platforms |
| US11436442B2 (en) | 2019-11-21 | 2022-09-06 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0451384A (en) | 1992-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2862337B2 (en) | How to build a neural network | |
| CN111243045A (en) | Image generation method based on Gaussian mixture model prior variation self-encoder | |
| EP0384709B1 (en) | Learning Machine | |
| JP3374476B2 (en) | Neural network construction method | |
| US6922712B2 (en) | Apparatus, methods, and computer program products for accurately determining the coefficients of a function | |
| JP3229624B2 (en) | Multilayer neural network and circuit design method thereof | |
| JPH04229362A (en) | Learning machine | |
| JPH076146A (en) | Parallel data processing system | |
| JP2897220B2 (en) | Signal processing device | |
| JPH0981723A (en) | Image processor | |
| JPH05128284A (en) | Neuro-processor | |
| JPH0451386A (en) | Neural network and its construction method | |
| JPH01282672A (en) | Neural network device | |
| JPH05128285A (en) | Neuro-processor | |
| JP2859377B2 (en) | Image processing method and image processing apparatus using neural network | |
| JP3328953B2 (en) | Nonlinear synaptic neuron, device thereof and prediction method using the same | |
| JP2766858B2 (en) | Neural network parallel simulation method and device used therefor | |
| JPH0644207A (en) | Neural network and its constituting method | |
| JP2798793B2 (en) | Neural network device | |
| JPH0981535A (en) | Learning method for neural network | |
| KR0119902B1 (en) | On line learning algorithm of an estimation network | |
| JP3137996B2 (en) | Neural network using membership function and its learning method | |
| JPH07210542A (en) | Neuron circuit | |
| JPH1091604A (en) | Function learning device | |
| Vai | A massively parallel reverse modeling approach for semiconductor devices and circuits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |