JPH0355658A - Semiconductor information processor - Google Patents

Semiconductor information processor

Info

Publication number
JPH0355658A
JPH0355658A JP1192035A JP19203589A JPH0355658A JP H0355658 A JPH0355658 A JP H0355658A JP 1192035 A JP1192035 A JP 1192035A JP 19203589 A JP19203589 A JP 19203589A JP H0355658 A JPH0355658 A JP H0355658A
Authority
JP
Japan
Prior art keywords
neuron
value
storage means
layer
read out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1192035A
Other languages
Japanese (ja)
Inventor
Junji Ogawa
淳二 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP1192035A priority Critical patent/JPH0355658A/en
Publication of JPH0355658A publication Critical patent/JPH0355658A/en
Pending legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)

Abstract

PURPOSE:To omit the non-coupled arithmetic operations and to increase more the processing speed of a semiconductor information processor by securing the setting flexibility for the weight value to a storage means and therefore excluding the non- coupled weight value out of a memory. CONSTITUTION:A weight value W1.1 is read out of many weight values wij which are previously written into the planes Y1 - Yl of a storage means 12 respectively under the control of a serial access control part 15 and then inputted to an arithmetic process part 14. At the same time, the information A1 paired with the value W1.1 is also read out and inputted to a decoder 13. The decoder 13 outputs the contents S1 in response to the decoding result, and one of output signals x1 - xn of a shift register 10 is shifted out according to the contents S1. Thus the part 14 calculates the first product based on the value W1.1 and the signal x1. Then the weight value W2.1 and the information A2 are successively read out, and the part 14 calculates the second product. These calculating actions are repeated. When the final product is calculated, all computing results are added together. An excited state (+ or -1) of the neuron of its own layer corresponding to the plane Y1 is decided when the above addition value is larger than the threshold value, and a suppressed state is decided vice versa. These states are stored in the plane y1. These actions are repeated here after.

Description

【発明の詳細な説明】 〔概要〕 半導体情報処理装置に関し、 記憶手段への重み値の設定に柔軟性を持たせることによ
り、非結合の重み値を記憶から除くことを可能にし、非
結合の演算を省いて処理の一層の高速化を達戒できる半
導体情報処理装置を提供することを目的とし、 前層の各ニューロンからの出力信号x1〜x7を格納す
るシフトレジスタと、前層の各ニューロンと自層の各ニ
ューロンとの間の結合の強さを表す多数の重み値W.、
を記憶する記憶手段と、前記シフトレジスタから読み出
された出力信号x1〜xnのそれぞれと重み値W.Jと
に基づいて積和演算処理および閾値演算処理を含む演算
処理を実行し、自層の各ニューロンの出力信号y1〜y
7を得る演算手段と、を備えた半導体情報処理装置にお
いて、前記記憶手段内の各々の重み値W.が、前記出力
信号x1〜x7の何れに対応する重み値であるかを表す
情報AI−A,を、該記憶手段内に記憶するとともに、
1つの重み値W i jを読み出したときに、この重み
値WLJに関係する上記情報A,の1つを読み出し、該
情報A,に基づいて前記シフトレジスタ内のx1〜x7
の1つを前記演算手段に読み出すように構威している。
[Detailed Description of the Invention] [Summary] Regarding a semiconductor information processing device, by providing flexibility in setting weight values in a storage means, it is possible to remove non-coupled weight values from memory, and to The aim is to provide a semiconductor information processing device that can achieve even faster processing by omitting calculations. A number of weight values representing the strength of the connection between W. and each neuron of the own layer. ,
storage means for storing each of the output signals x1 to xn read from the shift register and the weight value W. Arithmetic processing including product-sum calculation processing and threshold calculation processing is performed based on J, and the output signals y1 to y of each neuron in the own layer are
7, a semiconductor information processing device comprising calculation means for obtaining a weight value W.7 for each weight value W.7 in the storage means. stores in the storage means information AI-A indicating which of the output signals x1 to x7 the weight value corresponds to;
When one weight value W i j is read out, one of the above information A related to this weight value WLJ is read out, and based on the information A, x1 to x7 in the shift register are
The computer is configured to read out one of the above to the arithmetic means.

〔産業上の利用分野〕[Industrial application field]

本発明は、半導体情報処理装置に関し、特に、ニューラ
ルネント構成を採用する半導体情報処理装置に関する。
The present invention relates to a semiconductor information processing device, and more particularly to a semiconductor information processing device employing a neural component configuration.

逐次処理を行うノイマン型コンピュータは、処理ロジン
クの明確な分野の情報処理に適している反面、処理手順
を論理的に説明できないような問題、例えばパターン認
識、音声の認識・合戒、複雑な(あるいは滑らかな)運
動を行わせるための機械制御などについて、その解を得
ることを不得意としている。そこで近年、この種のあい
まいな処理手順に有効ないわゆるニューラルネット構威
の情報処理装置が注目されてきた。
Neumann-type computers, which perform sequential processing, are suitable for information processing in clear fields of processing logic, but they also handle problems that cannot be explained logically, such as pattern recognition, speech recognition and commands, and complex ( They are not good at finding solutions for machine control to achieve smooth (or smooth) motion. Therefore, in recent years, information processing apparatuses with a so-called neural network structure, which are effective for this type of ambiguous processing procedure, have attracted attention.

ニューラルネット構成の情報処理装置は、「学習した経
験」を生かして上記あいまいな問題を解決していくもの
で、その本質的な機能は生物の脳機能を模倣したもので
ある。
An information processing device with a neural network configuration utilizes "learned experience" to solve the above-mentioned ambiguous problems, and its essential function imitates the brain function of living things.

生物の脳神経回路網は多数の神経細胞(Neuron:
ニューロン)から戒る。第4図は1つのニューロンをモ
デル化したものである。個々のニューロンは他の多数の
ニューロンからの信号X、 (神経インパルスx,=±
1あるいはO〉を受け取り、Xiの合計Xが所定のしき
い{I!(例えばシグモイド関数で与えられる)を超え
,ると、自らも興奮して信号yを発し(y=1)、この
yを次のニュ−ロンに伝達していくように動作する。次
のニューロンから見た場合にこのyはX.となる。
The brain neural network of living things consists of a large number of neurons (Neurons).
(Neuron) to admonish. FIG. 4 is a model of one neuron. Each neuron receives a signal X from many other neurons, (nerve impulse x, = ±
1 or O〉, and the sum of Xi is the predetermined threshold {I! (for example, given by a sigmoid function), the neuron itself becomes excited and emits a signal y (y=1), and operates to transmit this y to the next neuron. When viewed from the next neuron, this y is X. becomes.

1つのニューロンが別のニューロンと接している部分が
「シナプス」で、第4図中ではXiを伝える信号線の矢
印先端の小丸がシナブスに相当する。スナワチ、ニュー
ロンからニューロンへト伝達される信号は必ずシナプス
を通る。シナブスには信号を通過しやすくしたりあるい
は通過しにくくしたりする特性、いわゆる重みWij(
iは前層の1つのニューロン番号、jは自層のニューロ
ン番号)が与えられており、シナプスを通過する信号は
その通過特性(W.,の大きさ)に従ってその信号レベ
ルが操作される。脳の学習機能は同じシナプスを何度も
信号が通過すると、そのシナプス特性が信号を通しやす
いようにだんだんと変化していくものと考えられている
。これは、「うまくいった」ときの信号経路中のシナブ
スに与える重みW ,を、増大側に変化させることに相
当している。
The part where one neuron contacts another neuron is a "synapse," and in Figure 4, the small circle at the tip of the arrow of the signal line that transmits Xi corresponds to the synapse. Signals transmitted from neuron to neuron always pass through synapses. Synabses have properties that make it easier or harder for signals to pass through, so-called weights Wij (
i is the number of one neuron in the previous layer, j is the number of the neuron in the own layer), and the signal level of the signal passing through the synapse is manipulated according to its passing characteristics (the magnitude of W.). The brain's learning function is thought to be such that when a signal passes through the same synapse over and over again, the synaptic characteristics gradually change to make it easier for the signal to pass through. This corresponds to increasing the weight W given to the synapses in the signal path when things go well.

ニューラルネット構威情報処理装置の主要部を構成する
ニューラルネットは上述したモデルを基本ユニットとし
、複数の基本ユニットを結合して構成するもので、例え
ば第5図に示すように複数の基本ユニントで人力層、中
間層、出力層を構威し、入力層と中間層の間および中間
層と出力層との間を結合したいわゆる階層型のニューラ
ルネットはその代表的なものである。
Neural network structureThe neural network that constitutes the main part of the information processing device uses the above-mentioned model as a basic unit, and is constructed by combining multiple basic units.For example, as shown in Fig. A typical example is a so-called hierarchical neural network, which consists of a human layer, a middle layer, and an output layer, and connects the input layer and the middle layer, and the middle layer and the output layer.

階層型のニューラルネットの学習は次のようにして行わ
れる。すなわち、入力層に入力パターンを与えたときの
出力層から取り出された出力パターンと期待されたパタ
ーン(教師パターン)との差値Eが少なくなるように各
基本ユニット間の重みを出力層から入力層へと逆向(フ
ィードバック)して変化させ、これを繰り返していって
、最終的に上記差値Eがある小さいな値(望ましくは0
)になったときを学習完了とするものである。このよう
にして学習されたニューラルネットは、実行時、与えら
れた入力パターンを超並列に処理することができ、ノイ
マン型コンピュータにない高度な情報処理を行うことが
できる。例えば、パターン認識では文字や画像あるいは
音声などの認識、機械制御ではロボットなどの滑らかな
制御、知識処理ではエキスパートシステムへの適用、信
号処理では画像圧縮および復元など、多岐に亘る用途が
期待されている。
Training of a hierarchical neural network is performed as follows. In other words, the weights between each basic unit are input from the output layer so that the difference value E between the output pattern extracted from the output layer and the expected pattern (teacher pattern) when an input pattern is given to the input layer is reduced. By changing the layer in the opposite direction (feedback) and repeating this process, the difference value E is finally set to a small value (preferably 0).
), learning is considered complete. When executed, a neural network trained in this way can process a given input pattern in massively parallel fashion, allowing it to perform advanced information processing that is not possible with a von Neumann computer. For example, it is expected to have a wide variety of applications, such as pattern recognition for character, image, and voice recognition, machine control for smooth control of robots, knowledge processing for expert systems, and signal processing for image compression and restoration. There is.

ところで、上記階層型のニューラルネットを用いて実用
化レベルの高度な情報解析を行わせるには、ニューロン
(ノードともいう)数を大にする必要があるが、ニュー
ロン数が大になると、人力層、中間層、・・・・・・各
層間の結線数が膨大になる。
By the way, in order to perform advanced information analysis at a practical level using the above-mentioned hierarchical neural network, it is necessary to increase the number of neurons (also called nodes). , intermediate layer, etc. The number of connections between each layer becomes enormous.

ニューロンそれ自体は積和回路と閾値処理回路という比
較的単純な構成であるが、それでも回路数(結線数に対
応する)が数千以上にもなると、1チップ化はきわめて
困難で、実現されているのは高々数十程度である。
The neuron itself has a relatively simple configuration consisting of a product-sum circuit and a threshold processing circuit, but when the number of circuits (corresponding to the number of connections) exceeds several thousand, it is extremely difficult to integrate it into one chip, and it has never been realized. There are only a few dozen at most.

そこで、本出願人は先に、ニューロンモデルを簡素化し
、相互結線問題の解決を図り、きわめて多数のニューロ
ンをチップ上に搭載可能にし、そして多層化も容易にし
た半導体情報処理装置〈特願平1−57494号)を提
案している.〔従来の技術〕 第6図は先願技術を説明する概念図で、ニューラルネッ
トの中間層に適用した例である。この図において、Iは
入力層の各ニューロンからの出力信号X,〜x7を格納
するシフトレジスタであり、シフトレジスタ1に格納さ
れたx1〜Xいは、一定の順序で逐次シフトアウトされ
、演算処理部2に人力される。演算処理部2は積和演算
および閾値処理を含む演算処理を行うもので、演算処理
部2には、1つのxl(i:l〜n)が入力されるごと
に、このX.に関係する自層の全ニューロンの重みWi
j(iはX,に対応、jは自層の各ニューロンに対応)
がシフトレジスタ3を介して逐次に入力され、演算処理
部2はこれらのXi 、w.Jに従って上記演算処理を
行う。重みW==は、記憶手段(例えばデュアルボート
メモリ)4に予め学習等によって記憶されたもので、全
重み値W.,は、入力層のニューロン数がn個、中間層
(ここでは自層〉のニューロン数がl個であれば、nX
j!Xm個(mは重みのビット数〉となる。
Therefore, the present applicant first simplified the neuron model, solved the interconnection problem, and developed a semiconductor information processing device that made it possible to mount an extremely large number of neurons on a chip, and also facilitated multilayering. 1-57494). [Prior Art] FIG. 6 is a conceptual diagram illustrating the technology of the prior application, and is an example of application to the middle layer of a neural network. In this figure, I is a shift register that stores the output signals X, ~x7 from each neuron in the input layer, and x1~X stored in shift register 1 is sequentially shifted out in a fixed order, and The processing section 2 is manually operated. The arithmetic processing unit 2 performs arithmetic processing including sum-of-products calculations and threshold processing, and each time one xl (i: l to n) is input to the arithmetic processing unit 2, this X. The weights Wi of all neurons in the own layer related to
j (i corresponds to X, j corresponds to each neuron in its own layer)
are sequentially inputted via the shift register 3, and the arithmetic processing unit 2 receives these Xi, w. The above calculation process is performed according to J. The weight W== is stored in advance in the storage means (for example, dual boat memory) 4 through learning or the like, and the total weight value W. , is nX if the number of neurons in the input layer is n and the number of neurons in the intermediate layer (here, the own layer) is l
j! Xm pieces (m is the number of weight bits).

このようなjllnXにおいて、シフトレジスタlから
1つのX.例えばx1がシフトアウトされ、演算処理部
2に入力されると、演算処理部2は、X,に対応する自
層の全ニューロンの重み値Wijと、x,とに従って演
算処理を実行し、その演算結果yIを出力側のシフトレ
ジスタ1’(次層の人力側のシフトレジスタlともなる
)に格納する。そして、続けて次のx2が演算処理部2
に入力されると、演算処理部2はX!とこのx2に対応
する全てのWij、とに従って演算処理を実行し、その
演算結果y2を出力側のシフトレジスタ1′に格納する
といった動作を、シフトレジスタl内に格納された全て
のXiについて繰返して行うことになる。
In such a jllnX, one X. For example, when x1 is shifted out and input to the arithmetic processing unit 2, the arithmetic processing unit 2 executes arithmetic processing according to the weight values Wij of all neurons in its own layer corresponding to X, and x, and The calculation result yI is stored in the output side shift register 1' (which also serves as the next layer manual side shift register l). Then, the next x2 is the arithmetic processing unit 2
When X! is input, the arithmetic processing unit 2 outputs and all Wij corresponding to this x2, and repeat the operation of storing the calculation result y2 in the shift register 1' on the output side for all Xi stored in the shift register l. This will be done.

したがって、演算処理を各ニューロンに対し完全並列と
せずに、直列的0(,−+)(,一・・・・・・X.,
)に実行することができ、多数のニューロンで1つの演
算処理機能を共有でき、ニューロンモデルを簡素化して
相互結線問題の解決を図り、きわめて多数のニューロン
をチンブ上に搭載可能な、そして多層化も容易なニュー
ラルネット構成の半導体情報処理装置を実現することが
できる。
Therefore, instead of performing computation processing completely in parallel for each neuron, it is possible to perform serial 0(,-+)(,1...X.,
), many neurons can share one arithmetic processing function, the neuron model can be simplified to solve the interconnection problem, a very large number of neurons can be mounted on a chip, and it can be multi-layered. It is also possible to realize a semiconductor information processing device with a neural network configuration that is easy to implement.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

ところで、上述の先願技術にあっては、シフトレジスタ
l内に格納された全てのX.に対応する重み値Wijを
、1つ残らず記憶手段4に記憶する構戒となっていたた
め、記憶手段、例えばデュアルボートメモリの有効利用
の面や非結合のニューロン間演算を省いて処理の一層の
高速化を図るといった面で改善すべき余地があった。
By the way, in the prior art mentioned above, all the X. Since the plan was to store all the weight values Wij corresponding to , in the storage means 4, it is possible to make effective use of the storage means, for example, a dual boat memory, and to omit uncoupled inter-neuron calculations to further speed up the processing. There was room for improvement in terms of speeding up the process.

すなわち、一般に、学習後のニューラルネットでは、そ
の各層のニューロン間の結合状態が+1(興!)、−1
(抑制)の他にO(非結合)を含み、その非結合の量を
一律に特定できないものの必ず生じることは明らかであ
る。先願技術はこうした非結合の重み値をも例外なく記
憶し、そして全ての重み値に対して演算処理を行うもの
であったために、上記改善すべき問題点があった。
In other words, in general, in a neural network after learning, the connection state between neurons in each layer is +1 (exciting!) and -1.
In addition to (suppression), O (non-bonding) is included, and although the amount of non-bonding cannot be uniformly specified, it is clear that it always occurs. Since the technology of the prior application stores such non-combined weight values without exception and performs arithmetic processing on all weight values, there is the problem that needs to be improved.

〔発明の目的〕[Purpose of the invention]

本発明は、このような問題点に鑑みてなされたもので、
記憶手段への重み値の設定に柔軟性を持たせることによ
り、非結合の重み値を記憶から除外することを可能にし
、非結合の演算を省いて処理の一層の高速化を達成でき
る半導体情報処理装置を提供することを目的としている
The present invention was made in view of these problems, and
Semiconductor information that makes it possible to exclude non-combined weight values from storage by providing flexibility in the setting of weight values in a storage means, thereby achieving further speed-up of processing by omitting non-combined operations. The purpose is to provide processing equipment.

〔課題を解決するための手段〕[Means to solve the problem]

第1図は本発明に係る半導体情報処理装置の原理構威図
を示し、ニューロンネットワークの中間層への適用例で
ある。この図において、半導体情報処理装置は、前層の
各ニューロンからの出力信号x1〜x,,を格納するシ
フトレジスタと、前層の各ニューロンと自層の各ニュー
ロンとの間の結合の強さを表す多数の重み値Wi=を記
憶する記憶手段と、前記シフトレジスタから読み出され
た出力信号X,〜x7のそれぞれと重み値W i jと
に基づいて積和演算処理および閾値演算処理を含む演算
処理を実行し、自層の各ニューロンの出力信号y1〜y
nを得る演算手段と、を備えた半導体情報処理装置にお
いて、前記記憶手段内の各々の重み値W i jが、前
記出力信号xl”−’x,の何れに対応する重み値であ
るかを表す情報A1〜A7を、該記憶手段内に記憶する
とともに、1つの重み値W i jを読み出したときに
、この重み値Wijに関係する上記情報Aiの1つを読
み出し、該情報A,に基づいて前記シフトレジスク内の
X.〜Xnの1つを前記演算手段に読み出すように構威
している。
FIG. 1 shows a diagram of the principle structure of a semiconductor information processing device according to the present invention, and is an example of application to an intermediate layer of a neuron network. In this figure, the semiconductor information processing device includes a shift register that stores output signals x1 to x, from each neuron in the previous layer, and the strength of the connection between each neuron in the previous layer and each neuron in its own layer. A storage means for storing a large number of weight values Wi= representing , and a product-sum calculation process and a threshold value calculation process based on each of the output signals X, ~x7 read from the shift register and the weight values Wi j The output signals y1 to y of each neuron in the own layer are
In the semiconductor information processing device, it is determined which of the output signals xl''-'x each weight value W i j in the storage means corresponds to. The representing information A1 to A7 is stored in the storage means, and when one weight value Wij is read out, one of the above information Ai related to this weight value Wij is read out, and the information A, Based on this, one of X. to Xn in the shift register is read out to the calculation means.

?作用〕 本発明に係る半導体情報処理装置では、記憶手段から1
つの重み値、例えばW.が読み出されると、このWlに
関連づけられた情報A,が読み出され、このA1をデコ
ードした結果、シフトレジスタからX,が読み出され、
このx1とW1とに基づく演算処理が演算処理手段で実
行される。
? Effect] In the semiconductor information processing device according to the present invention, one
one weight value, for example W. When is read out, the information A, associated with this Wl is read out, and as a result of decoding this A1, X, is read out from the shift register,
Arithmetic processing based on x1 and W1 is executed by the arithmetic processing means.

ここで、前層からのニューロン出力の1つ、例えばX■
が非結合であると仮定し、このx2を表すA2とW2と
のベアを記憶手段から除いた場合を考えると、記憶手段
からは、Wij,Wij,・・・・・・W7の順に重み
値が取り出され、同時にAI+A3.・・・・・・A1
が取り出され、シフトレジスタ内のx1〜x7は、これ
らのA1.A3,・・・・・・A,1 (Agが除かれ
ている)に従ってX l .X !+・・・・・・x7
の順で逐次読み出されることになる。
Here, one of the neuron outputs from the previous layer, e.g.
Assuming that A2 and W2 representing x2 are uncombined, and considering the case where A2 and W2 representing x2 are removed from the storage means, the weight values are stored in the order of Wij, Wij, ...W7. is taken out, and at the same time AI+A3.・・・・・・A1
are taken out, and x1 to x7 in the shift register are these A1. A3,...A,1 (Ag is removed) according to X l . X! +・・・・・・x7
They will be read out sequentially in this order.

したがって、非結合のニューロンを表す情報Aiとこの
Aiとペアの重み値W.とを記憶手段から除外したりし
て記憶手段を柔軟に使用することができ、非結合のニュ
ーロンに対する演算処理を省いて処理速度の一層の高速
化を図ることができる.〔実施例〕 以下、本発明を図面に基づいて説明する。
Therefore, the information Ai representing the unconnected neuron and the weight value W of the pair with this Ai. It is possible to use the storage means flexibly by excluding them from the storage means, and it is possible to further increase processing speed by omitting arithmetic processing for unconnected neurons. [Example] The present invention will be described below based on the drawings.

第2、3図は本発明に係る半導体情報処理装置の一実施
例を示す図であり、ニューラルネントの中間層に適用し
た例である。
2 and 3 are diagrams showing an embodiment of the semiconductor information processing device according to the present invention, and are examples in which the semiconductor information processing device is applied to an intermediate layer of a neural component.

まず、構或を説明する。第2図において、10は人力層
の各ニューロンからの出力信号X,〜x7を逐次取り込
んで格納する入力側のシフトレジスタで、この入力側の
シフトレジスタ10にはアドレスA,〜A7が付されて
いる。1lは自層の各ニューロンの出力信号y1〜y7
を逐次取り込んで格納する出力側の(従って次層の入力
側でもある)シフトレジスタ、l2は例えばデュアルボ
ートメモリを用いた記憶手段であり、自層のニューロン
数分のプレーンY1〜Y,を有する。記憶手段12はそ
のプレーン内部に多数の重み値Wijおよびシフトレジ
スタ10のアドレスA,〜AKを記憶する。
First, the structure will be explained. In FIG. 2, 10 is an input-side shift register that sequentially captures and stores output signals X, ~x7 from each neuron in the human layer, and addresses A, ~A7 are assigned to this input-side shift register 10. ing. 1l is the output signal y1 to y7 of each neuron in its own layer
The shift register l2 on the output side (therefore also the input side of the next layer) that sequentially captures and stores the data is a storage means using, for example, a dual boat memory, and has planes Y1 to Y for the number of neurons in the own layer. . The storage means 12 stores a large number of weight values Wij and addresses A, -AK of the shift register 10 within its plane.

ここで、アドレスの添字は1〜Kまでが与えられている
.このKはシフトレジスタ11の最大アドレスnよりも
小さい値に設定する。一般に、ニューラルネットの重み
値W a jのマトリクスは、粗(Wij”“0”すな
わち非結合)であることが多く、ニューラルネットの用
途を限定すればその学習結果から非結合となっているニ
ューロンを特定できる。
Here, the subscripts of the address are given from 1 to K. This K is set to a value smaller than the maximum address n of the shift register 11. In general, the matrix of weight values W a j of a neural network is often coarse (Wij""0", i.e., unconnected), and if the use of the neural network is limited, the learning results show that neurons that are unconnected are can be identified.

本実施例では、非結合となっている数を、n−k個と仮
定する。
In this embodiment, it is assumed that the number of non-connections is n−k.

すなわち、この場合シフトレジスタlO内に格納された
X,〜x,のうちのn−k個に該当するものが“O”で
、残りのものが+1 (興奮)あるいはーl (抑制)
である。各プレーンY1〜Y,内のそれぞれの重み値は
、Y,についてW.1〜WX1まで、Y2についてWi
j,, 〜Wv,,まで、・・・・・・Y,についてW
1.,〜W21までであり、添字x,y,zはそれぞれ
自層の1つのニューロンと前層のニューロンとの非結合
を除く結合の最大値を表している。すなわち、Y.に対
応するニューロンL1は前層のニューロンとX個の結合
を持ち、また、Y2に対応するニューロンL2は、前層
のニューロンとY個の結合を持ち、・・・・・・さらに
、Y1に対応スるニューロンL,は前層のニューロンと
Z個の結合を持つ。X, Y,  Zは学習の結果等に
よって適宜設定されるのであるが、ここでは、説明の簡
単化のために、k=X=Y=Zとする。
That is, in this case, of the X, ~x, stored in the shift register lO, those corresponding to n-k are "O", and the remaining ones are +1 (excitation) or -l (inhibition).
It is. The respective weight values in each plane Y1 to Y, are W. 1 to WX1, Wi for Y2
j,, ~Wv,, ......W for Y,
1. , to W21, and the subscripts x, y, and z each represent the maximum value of connections excluding non-connections between one neuron in the own layer and a neuron in the previous layer. That is, Y. Neuron L1 corresponding to Y2 has X connections with neurons in the previous layer, and neuron L2 corresponding to Y2 has Y connections with neurons in the previous layer. The corresponding neuron L, has Z connections with neurons in the previous layer. Although X, Y, and Z are appropriately set depending on the results of learning, etc., here, to simplify the explanation, it is assumed that k=X=Y=Z.

一方、l3は記憶千段l2からの1つのWijの読み出
しに判って読み出されるAi  (例えばプレーンY,
であればA,〜Akのひとつ)をデコードするデコーダ
で、デコーダ13は、そのデコードの結果シフトアウト
信号S1を出力し、シフトレジスタ10は、このS1に
従って格納内容(xl”−x.)の1つ(X.)をシフ
トアウトする。l4はシフトアウトされたX.と記憶手
段l2からのWiJとに従って積和演算および閾値処理
を実行する演算手段としての演算処理部で、演算動作は
、1枚のプレーンからの全てのWijを逐次人力し、シ
フトレジスタlOからのX▲を逐次入力し、これらのX
.とWfjとの演算を繰り返して1枚のブレーンについ
て1つの出力y.を得る。なお、15は記憶手段12か
らのWijおよびAiをデコーダ13や演算処理部l4
に読み出すシリアルアクセス制御部、l6は記憶手段1
2とI/017との間のデータのやりとりを制御し、外
部のホストCPU等から転送されるW i jおよびA
iを記憶手段12に書き込んだり、あるいは記憶手段l
2内のW▲jおよびA,をホス}CPU等に転送したり
するランダムアクセス制御部である。
On the other hand, l3 is Ai (for example, plane Y,
The decoder 13 outputs a shift-out signal S1 as a result of the decoding, and the shift register 10 outputs the stored content (xl''-x.) according to this S1. One (X.) is shifted out.l4 is an arithmetic processing unit as an arithmetic means that executes a product-sum operation and a threshold value process according to the shifted out X. and WiJ from the storage means l2, and the arithmetic operation is as follows. Manually input all Wij from one plane, sequentially input X▲ from shift register IO, and
.. and Wfj are repeated to obtain one output y. get. Note that 15 inputs Wij and Ai from the storage means 12 to the decoder 13 and the arithmetic processing unit l4.
Serial access control unit for reading data, l6 is storage means 1
2 and I/017, and controls the data exchange between W i j and A that are transferred from an external host CPU, etc.
i is written into the storage means 12, or the storage means l
This is a random access control unit that transfers W▲j and A in 2 to a host CPU or the like.

このような構或において、まず、記憶手段l2内の各プ
レーンY,,Y.,・・・・・・Y,に予め書き込まれ
た多数の重み値W i jは、シリアルアクセス制御部
15の制御によってそのなかの1つ(例えばW+,1)
が読み出され、演算処理部14に入力される.このとき
、W;,,とペアのA1も読み出され、デコーダ13に
入力される。デコーダl3からはA1のデコード結果に
応じた内容の81が出力され、このSlに従って、シフ
トレジスタ10のx1〜Xnの1つ(x1)がシフトア
ウトされると、演算処理部l4はこれらのWij.1お
よびx1に従って1回目の積演算(Wij,.x,)を
実行する。次いで、次順のW2,1およびこれとペアの
A!が読み出され、A2をデコードしてx2がシフトア
ウトされると、演算処理部14はW2,1とx2とに従
っ゛ζ2回目の積演算を実行する。そして、1つのプレ
ーン(例えばYl〉の全てのW 1 4およびAiにつ
いて上記動作を繰り返し、1つのプレーンの最後のWX
,,とペアのAKに基づいてシフトアウトされたxkお
よびWX,,に従って最後の積演算を実行すると、今ま
での全ての演算結果を加算し、その加算値と所定の閾値
とを比較した結果、閾値よりも大きければプレーンY1
に対応する自層のニューロンの興奮状態〈+1)を決定
し、あるいは、閾値よりも小さければ押制状態(−1)
を決定し、シフトレジスタ11のy1にその値(±1)
を格納する。
In such a structure, first, each plane Y, , Y . , . . . Y, one of them (for example, W+, 1) is selected under the control of the serial access control unit 15.
is read out and input to the arithmetic processing section 14. At this time, the pair A1 with W;, , is also read out and input to the decoder 13. The decoder l3 outputs 81 with content according to the decoding result of A1, and when one (x1) of x1 to Xn of the shift register 10 is shifted out according to this Sl, the arithmetic processing unit l4 .. 1 and x1, the first product operation (Wij,.x,) is executed. Then, the next order W2,1 and its paired A! is read out, A2 is decoded, and x2 is shifted out, and the arithmetic processing unit 14 executes the second product operation of ζ according to W2,1 and x2. Then, the above operation is repeated for all W 1 4 and Ai of one plane (for example, Yl), and the last WX of one plane is
When the final product operation is executed according to xk and WX, , which have been shifted out based on the pair AK, , , the result of adding all the operation results up to now and comparing the added value with a predetermined threshold value is obtained. , if larger than the threshold, plane Y1
Determine the excited state (+1) of the neuron in the own layer corresponding to , or if it is smaller than the threshold, determine the suppressed state (-1)
is determined, and the value (±1) is set in y1 of the shift register 11.
Store.

以上の動作を、残りの出力信号y!・・・・・・y,す
なわちプレーンY2・・・・・・Ytについても繰り返
して実行し、自層の全ニューロンの出力結果を得ること
になる。
The above operation is repeated for the remaining output signal y! . . . y, that is, plane Y2 . . . Yt, is repeatedly executed to obtain the output results of all neurons in the own layer.

このように、本実施例では、記憶手段12内を出力信号
yiごとの複数のブレーンY1〜Y,に分け、各プレー
ンY1〜Y,に、そのプレーンに対応する自層の1つの
ニューロンと前層の各ニューロンとの結合の強さを示す
重み値W i jを記憶するとともに、前層のニューロ
ンの出力信号を表す情報(本実施例ではシフトレジスタ
10のアドレス〉Aiを各Wtjとペアにして記憶し、
lつのW五jを読み出すときに、このWijとペアのA
iも読み出すようにし、Aiのデコード結果に従ってシ
フトレジスタ10内の出力信号X,の1つをシフトアウ
トするようにしている。したがって、Aiを介してW 
i jとX.とを正しく対応させることができ、例えば
、X.のいくつかが非結合状態(重みW+=が“0″)
であった場合に、この非結合状態のX.に対応するW 
i jとAiとを記憶手段12から除外することが可能
になり、非結合のXiに対する演算処理を省いて処理速
度の一層の高速化を達成できる。
In this way, in this embodiment, the storage means 12 is divided into a plurality of brains Y1 to Y for each output signal yi, and each plane Y1 to Y has one neuron of its own layer corresponding to that plane and one neuron of the previous layer corresponding to that plane. In addition to storing weight values W i j indicating the strength of connection with each neuron in the layer, information representing the output signal of the neuron in the previous layer (in this example, the address of the shift register 10) Ai is paired with each Wtj. memorize it,
When reading one W5j, the A of the pair with this Wij
i is also read out, and one of the output signals X in the shift register 10 is shifted out according to the decoding result of Ai. Therefore, W via Ai
i j and x. For example, X. Some of them are in a non-combined state (weight W+= “0”)
If X. of this unbound state is W corresponding to
It becomes possible to exclude ij and Ai from the storage means 12, and the processing speed can be further increased by omitting arithmetic processing for uncombined Xi.

第3図は本発明に係る半導体情報処理装置の第2実施例
を示す図であり、記憶手段内に結合の有無を表す情報ビ
ットを付加した例である。
FIG. 3 is a diagram showing a second embodiment of the semiconductor information processing device according to the present invention, and is an example in which an information bit indicating the presence or absence of coupling is added in the storage means.

すなわち、第3図において、100は前層のニューロン
出力x1〜x25,を格納するシフトレジスタ、T,〜
T 2S&はゲートスイッチ、101はアドレス信号A
iをデコードしてT1〜T tsbの1つをオンさせる
信号を出力するデコーダ、102はデュアルポートメモ
リを使用した記憶手段で、記憶千段102は、複数のブ
レーン(図では1つのプレーンで表している)を有し、
各プレーンは、自層のニューロン数分の重み値W i 
jおよび各W i jとペアのアドレスA,を記憶する
とともに、各々のWij,毎に前層のニューロンとの結
合状態例えば1:結合、O:非結合を表す情報ビットF
,を付加している。
That is, in FIG. 3, 100 is a shift register that stores the neuron outputs x1 to x25 of the previous layer, and T, to
T2S& is a gate switch, 101 is an address signal A
A decoder 102 decodes a signal to turn on one of T1 to Ttsb, and 102 is a storage means using a dual port memory. ),
Each plane has a weight value W i corresponding to the number of neurons in its own layer.
In addition to storing the address A of the pair with each Wij and each Wij, an information bit F representing the connection state with the neuron of the previous layer, for example 1: connected, O: non-connected, is stored.
, is added.

103は記憶手段102上のF.をモニタし、この情報
ビットが結合を示している(“1”)ときに、アクセス
許容信号Scを出力する情報ビットモニタ回路。104
はこのScを受けて記憶手段102からAiおよびW.
jをアクセスするシリアルアクセス制御部であり、アク
セスされたAiはデコーダ101に、そして、WiJは
演算処理部(演算手段)105に入力される。演算処理
部105は、シフトレジスタから読み出されたX、を増
幅するアンプ105aと、Xiをデコードしその結果(
+1.−1,Oの何れか)を出力する3値デコーダ10
5bと、記憶手段102から読み出したW i jを保
持するランチ105 cと、ラッチ105C内のデータ
(Wij)とデコーダ105bからの3値データ(+1
, −0,Oの何れか)とを乗算する乗算器105 d
と、乗算器105dの乗算結果を逐次足し込んで行く、
加算Fil05eおよびラソチl05fからなる加算回
路105gと、自層の1ニューロンの全重みについての
乗算および加算すなわち積和演算が終ったときに、その
積和演算結果を、閾値保持用ラ7チ105h、105i
からの比較レベルすなわち閾値B,,B!と比較して自
層のlニューロンの出力結果(±1,O)を得、その結
果をシフトレジスタ105jにシフトインする比較器1
05kと、を備える。なお、106は、システムクロソ
ク信号SCLKに従って装置内各部の動作順序を制御す
る制御信号S CNTを出力する順序制御回路、107
は図外のホストCPU等に連接するI/O部である。
103 is the F. An information bit monitor circuit that monitors the information bit and outputs an access permission signal Sc when this information bit indicates coupling (“1”). 104
In response to this Sc, Ai and W. are stored from the storage means 102.
The accessed Ai is input to the decoder 101, and WiJ is input to the arithmetic processing unit (arithmetic means) 105. The arithmetic processing unit 105 includes an amplifier 105a that amplifies X read out from the shift register, and an amplifier 105a that decodes Xi and decodes the result (
+1. A ternary decoder 10 that outputs either -1 or O)
5b, a lunch 105c that holds W i j read from the storage means 102, data (Wij) in the latch 105C, and ternary data (+1) from the decoder 105b.
, −0, O).
and the multiplication results of the multiplier 105d are added one after another.
When the addition circuit 105g consisting of the addition Fil05e and the laser chip 05f completes the multiplication and addition for all the weights of one neuron in its own layer, that is, the product-sum calculation, the product-sum calculation results are sent to the threshold holding circuit 105h, 105i
The comparison level from B,,B! A comparator 1 that obtains the output result (±1, O) of the l neuron of its own layer by comparing it with , and shifts the result into the shift register 105j.
05k. In addition, 106 is a sequence control circuit that outputs a control signal SCNT for controlling the operating order of each part in the device according to the system cross signal SCLK, and 107
is an I/O unit connected to a host CPU (not shown), etc.

このような構成において、例えば、図外のホストCPU
等から記憶手段LO2の情報ビットF.を操作し、結合
状態(Fi=1)をセットすれば、記憶千段102から
は結合関係にあるW i jおよびAiのペアだけを読
み出すことができ、非結合のXエによる演算処理を省く
ことができる。勿論、結合関係にあるWi、およびA,
だけを記憶手段102内に記憶させてもよく、この場合
、情報ビソトF.はすべで結合を示す状態にセットする
ことになる。
In such a configuration, for example, a host CPU (not shown)
etc., the information bit F. of the storage means LO2 is stored. By manipulating , and setting the bonding state (Fi=1), only the pair of W i j and Ai in the bonding relationship can be read out from the memory stage 102, thereby omitting the arithmetic processing by non-bonding Xe. be able to. Of course, Wi and A, which are in a bonding relationship,
In this case, only the information Bisoto F. will all be set to indicate a bond.

以上述べたように、上記各実施例によれば、前層のニュ
ーロンの出力信号を表す情報(Ai)と、この人.に対
応するW.Jとをペアにして記憶手段内に記憶したので
、また、第2実施例では結合状態を表す情報ビンl−F
iを付加したので、1つのW i jの読み出しに伴っ
て読み出されるAiに従って、前層からの出力信号X、
を特定でき、例えば、いくつかのX.が非結合(重みW
 i j一“0”)であった場合に、第1実施例では、
そのXiに対応するW i jおよびA,を記憶から除
外して、そのX,に関する演算処理を省くことができ、
処理速度の一層の高速化を達成できる,また、第2実施
例では、情報ビットF,をモニタすることにより、非結
合のW BおよびAiの読み出しを禁止でき、同様にし
て処理速度の一層の高速化を図ることができる。
As described above, according to each of the above embodiments, the information (Ai) representing the output signal of the neuron in the previous layer and the information (Ai) representing the output signal of the neuron in the previous layer and the information of this person. The corresponding W. In the second embodiment, the information bin l-F representing the combination state is stored in the storage means as a pair.
Since i is added, the output signal X from the previous layer is
For example, some X. is uncombined (weight W
i j - "0"), in the first embodiment,
It is possible to exclude W i j and A, corresponding to that Xi from memory, and to omit arithmetic processing regarding that X,
Furthermore, in the second embodiment, by monitoring the information bit F, reading of uncombined W B and Ai can be prohibited, and in the same way, the processing speed can be further increased. It is possible to increase the speed.

さらにまた、上記各実施例によれば、学習等を繰り返し
て非結合の量が特定された場合、すなわち絞り込みの程
度が判明した場合に、この絞り込みデータを製造工程に
フィードバンクすることにより、例えばデュアルポート
メモリの容量を削減して、所要結合数だけのW、、を記
憶するに充分なものにすることができ、したがってチソ
プ面積を減小した半導体情報処理装置を作ることもでき
る。
Furthermore, according to each of the above embodiments, when the amount of non-bonding is specified by repeating learning etc., that is, when the degree of narrowing down is known, by feeding this narrowing data to the manufacturing process, for example, The capacity of the dual port memory can be reduced to be sufficient to store only the required number of connections, W, . Therefore, it is also possible to create a semiconductor information processing device with a reduced chip area.

〔発明の効果〕〔Effect of the invention〕

本発明によれば、記憶手段への重み値の設定に柔軟性を
持たせたので、非結合の重み値を記憶から除外すること
が可能となり、非結合の演算を省いて、処理の一層の高
速化を達威できる。
According to the present invention, since the setting of weight values in the storage means is made flexible, it is possible to exclude non-combined weight values from storage, and by omitting non-combined calculations, processing can be further simplified. It can achieve high speed.

【図面の簡単な説明】[Brief explanation of drawings]

第1図は本発明の原理ブロソク図、 第2図は本発明に係る半導体情報処理装置の第1実施例
を示すその構成図、 第3図は本発明に係る半導体情報処理装置の第2実施例
を示すその構成図、 第4〜6図は従来例を示す図で、 第4図はそのニューロンのモデルを示す図、第5図はそ
のニューラルネソトの構造を示す図、第6図はその従来
の半導体情報処理装置の概念構成図である。 10、 12、 l4、 100・・・・・・シフトレジスタ、 102・・・・・・記憶手段、
FIG. 1 is a principle diagram of the present invention, FIG. 2 is a block diagram showing a first embodiment of a semiconductor information processing device according to the present invention, and FIG. 3 is a second embodiment of the semiconductor information processing device according to the present invention. Figures 4 to 6 are diagrams showing the conventional example, Figure 4 is a diagram showing the neuron model, Figure 5 is a diagram showing the structure of the neural network, and Figure 6 is the diagram showing the conventional example. 1 is a conceptual configuration diagram of a conventional semiconductor information processing device. 10, 12, l4, 100...shift register, 102...memory means,

Claims (1)

【特許請求の範囲】  前層の各ニューロンからの出力信号x_1〜x_nを
格納するシフトレジスタと、 前層の各ニューロンと自層の各ニューロンとの間の結合
の強さを表す多数の重み値W_i_jを記憶する記憶手
段と、 前記シフトレジスタから読み出された出力信号x_1〜
x_nのそれぞれと重み値W_i_jとに基づいて積和
演算処理および閾値演算処理を含む演算処理を実行し、
自層の各ニューロンの出力信号y_1〜y_nを得る演
算手段と、を備えた半導体情報処理装置において、 前記記憶手段内の各々の重み値W_i_jが、前記出力
信号x_1〜x_nの何れに対応する重み値であるかを
表す情報A_1〜A_nを、該記憶手段内に記憶すると
ともに、 1つの重み値W_i_jを読み出したときに、この重み
値W_i_jに関係する上記情報A_iの1つを読み出
し、 該情報A_iに基づいて前記シフトレジスタ内のx_1
〜x_nの1つを前記演算手段に読み出すように構成し
たことを特徴とする半導体情報処理装置。
[Claims] A shift register that stores output signals x_1 to x_n from each neuron in the previous layer, and a number of weight values representing the strength of connection between each neuron in the previous layer and each neuron in the own layer. storage means for storing W_i_j; and output signals x_1 to x_1 read from the shift register.
Performing calculation processing including a product-sum calculation process and a threshold calculation process based on each of x_n and the weight value W_i_j,
In a semiconductor information processing device, each weight value W_i_j in the storage means is a weight corresponding to any of the output signals x_1 to x_n. information A_1 to A_n indicating whether the value is a value is stored in the storage means, and when one weight value W_i_j is read out, one of the above-mentioned information A_i related to this weight value W_i_j is read out; x_1 in said shift register based on A_i
A semiconductor information processing device characterized in that the semiconductor information processing device is configured to read out one of .about.x_n to the calculation means.
JP1192035A 1989-07-25 1989-07-25 Semiconductor information processor Pending JPH0355658A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1192035A JPH0355658A (en) 1989-07-25 1989-07-25 Semiconductor information processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1192035A JPH0355658A (en) 1989-07-25 1989-07-25 Semiconductor information processor

Publications (1)

Publication Number Publication Date
JPH0355658A true JPH0355658A (en) 1991-03-11

Family

ID=16284521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1192035A Pending JPH0355658A (en) 1989-07-25 1989-07-25 Semiconductor information processor

Country Status (1)

Country Link
JP (1) JPH0355658A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037561A (en) * 2005-07-29 2007-02-15 Nifco Inc Cord pull-tub for slide fasteners
US7937346B2 (en) 2007-06-15 2011-05-03 Canon Kabushiki Kaisha Calculation processing apparatus and method
US7978905B2 (en) 2007-06-13 2011-07-12 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US8391306B2 (en) 2007-09-26 2013-03-05 Canon Kabushiki Kaisha Calculation processing apparatus and method
WO2016194248A1 (en) * 2015-06-03 2016-12-08 三菱電機株式会社 Inference device and inference method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037561A (en) * 2005-07-29 2007-02-15 Nifco Inc Cord pull-tub for slide fasteners
JP4701033B2 (en) * 2005-07-29 2011-06-15 株式会社ニフコ Cord puller for slide fastener
US7978905B2 (en) 2007-06-13 2011-07-12 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US8385631B2 (en) 2007-06-13 2013-02-26 Canon Kabushiki Kaisha Calculation processing apparatus and control method thereof
US7937346B2 (en) 2007-06-15 2011-05-03 Canon Kabushiki Kaisha Calculation processing apparatus and method
US8391306B2 (en) 2007-09-26 2013-03-05 Canon Kabushiki Kaisha Calculation processing apparatus and method
WO2016194248A1 (en) * 2015-06-03 2016-12-08 三菱電機株式会社 Inference device and inference method
JP6054005B1 (en) * 2015-06-03 2016-12-27 三菱電機株式会社 Inference apparatus and inference method

Similar Documents

Publication Publication Date Title
US5483620A (en) Learning machine synapse processor system apparatus
US10891544B2 (en) Event-driven universal neural network circuit
JP2746350B2 (en) Learning machine synapse processor system device
US5784632A (en) Parallel diagonal-fold array processor
US6581049B1 (en) Artificial neurons including power series of weights and counts that represent prior and next association
US20150294217A1 (en) Methods, systems and computer program products for neuromorphic graph compression using associative memories
JPH02170263A (en) Neural network signal processor
KR20220164571A (en) Integrated circuit device with deep learning accelerator and random access memory
Koberinski et al. Quantum theory as a principle theory: insights from an information-theoretic reconstruction
EP0526504B1 (en) Artificial neural device
JPH05242065A (en) Information processor and its system
JPH0355658A (en) Semiconductor information processor
Roska Circuits, computers, and beyond Boolean logic
Kong Time series prediction with evolvable block-based neural networks
JPH04182769A (en) Digital neuro processor
Andersen et al. A constructive algorithm for the training of a multilayer perceptron based on the genetic algorithm
Györgyi Techniques of replica symmetry breaking and the storage problem of the McCulloch–Pitts neuron
JPH04237388A (en) Neuro processor
Wan et al. Introducing cost-sensitive neural networks
JPH06139218A (en) Method and device for simulating neural network completely in parallel by using digital integrated circuit
Diamond et al. A fuzzy cognitive structure: Foundations, applications and VLSI implementation
JPH05197702A (en) Simulator device for neural network
Morishita et al. A digital neural network coprocessor with a dynamically reconfigurable pipeline architecture
JPH0355659A (en) Semiconductor information processor
Ramacher et al. A general-purpose signal processor architecture for neurocomputing and preprocessing applications