JPH0467257A - Neural network circuit - Google Patents
Neural network circuitInfo
- Publication number
- JPH0467257A JPH0467257A JP2179665A JP17966590A JPH0467257A JP H0467257 A JPH0467257 A JP H0467257A JP 2179665 A JP2179665 A JP 2179665A JP 17966590 A JP17966590 A JP 17966590A JP H0467257 A JPH0467257 A JP H0467257A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- neuron
- input
- circuits
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 22
- 210000002569 neuron Anatomy 0.000 claims abstract description 105
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims 1
- 238000009825 accumulation Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000003909 pattern recognition Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Devices For Executing Special Programs (AREA)
- Complex Calculations (AREA)
Abstract
Description
【発明の詳細な説明】
［産業上の利用分野］
本発明は、単位回路である多数のニューロン回路の入出
力端子間を接続することによってネットワーク回路を構
成したニューラルネットワーク回路に関する。DETAILED DESCRIPTION OF THE INVENTION [Field of Industrial Application] The present invention relates to a neural network circuit in which a network circuit is constructed by connecting input and output terminals of a large number of neuron circuits that are unit circuits.
〔従来の技術］
ニューラルネットワーク回路は生物の神経回路網をモデ
ル化して、従来のノイマン形計算機では難しかった文字
認識や音声認識などのパターン認識処理、最適化問題、
ロボット制御などを実現するものである。従来のノイマ
ン形計算機ではプロダラムに従って逐次処理するため計
算時間が膨大だったのに対して、ニューラルネットワー
ク回路ではニューロン回路が並列に演算を実行できるの
で処理速度が極めて高速になる特徴がある。また、ニュ
ーラルネットワーク回路の機能は、学習によってニュー
ロン間の接続状態を変えることによって実現される。こ
のため、処理手順がルール化しにくい問題でも学習教材
さえあれば機能を実現できる特徴がある。学習を常に行
いながら動作させると、環境の変化によって時間ととも
に望ましい機能が変化しても、それに追従することがで
きるなどの柔軟なシステムが構築できるものである。[Conventional technology] Neural network circuits model biological neural networks and can solve pattern recognition processes such as character recognition and speech recognition, optimization problems, etc. that were difficult to solve with conventional Neumann type computers.
It realizes robot control, etc. Conventional Neumann type computers perform processing sequentially according to the program program, which takes a huge amount of calculation time, whereas neural network circuits have extremely high processing speeds because their neuron circuits can perform calculations in parallel. Furthermore, the functions of neural network circuits are realized by changing the connection state between neurons through learning. For this reason, it has the characteristic that even problems whose processing procedures are difficult to formulate into rules can be implemented as long as there are learning materials. If a system is operated while constantly learning, it is possible to build a flexible system that can follow changes in desirable functions over time due to changes in the environment.
さらに、同一のニューロン回路を多数接続してネットワ
ークを構成するため、故障した回路があっても他の正常
な回路に簡単に置き換えて動作できるので、ＬＳＩ化す
る場合などに高い欠陥耐性を実現できる。本発明はこの
ようなニューラルネットワーク回路をＬＳＩ化する場合
に適し、少数のニューロン回路で高い性能の得られる構
成法に関するものである。Furthermore, since a network is constructed by connecting many identical neuron circuits, even if there is a faulty circuit, it can be easily replaced with another normal circuit, making it possible to achieve high defect tolerance when implementing LSI. . The present invention is suitable for implementing such a neural network circuit into an LSI, and relates to a configuration method that can provide high performance with a small number of neuron circuits.
ニューラルネットワーク回路は神経細胞に相当するニュ
ーロン回路を単位として、ニューロン回路を多数接続し
て構成される。第１○図に、１個のニューロン回路の記
号を示す。１個のニューロン回路は複数の入力端子から
の信号を受けて、それぞれの入力信号に対して荷重係数
を持っており、荷重係数に応じて結合の強さを変えたり
、入力との誤差を計算し、その結果を全て加算して出力
を決定する。このニューロン回路の接続によりニューラ
ルネットワーク回路の構造がきまるが、最も簡単な構造
は第１１図に示すような２層構造のニューラルネットワ
ーク回路である。入力端子の層を入力層あるいは第１層
、ニューロン回路の層を第２層あるいは出力層と言って
いる。それぞれの入力端子の信号は全てのニューロン回
路に並列に入力されており、それぞれにニューロン回路
は並列に入力信号を処理できるようになっている。入力
信号が加えられると、特定のニューロン回路が反応して
認識などの処理が実現される。A neural network circuit is constructed by connecting a large number of neuron circuits, each having a neuron circuit corresponding to a nerve cell as a unit. Figure 1○ shows the symbol of one neuron circuit. One neuron circuit receives signals from multiple input terminals, has a weighting coefficient for each input signal, and changes the strength of the connection according to the weighting coefficient and calculates the error with the input. Then, add all the results to determine the output. The structure of the neural network circuit is determined by the connection of the neuron circuits, and the simplest structure is a two-layer neural network circuit as shown in FIG. The layer of input terminals is called the input layer or first layer, and the layer of neuron circuits is called the second layer or output layer. Signals from each input terminal are input to all neuron circuits in parallel, so that each neuron circuit can process input signals in parallel. When an input signal is applied, specific neuron circuits respond to perform processing such as recognition.
しかし、２層構造のニューラルネットワークでは処理能
力はあまり大きくないので、一般的には、第１２図に示
すような３層構造のニューラルネットワークを使う場合
が多い。３層構造の場合には、第２層のニューロン回路
の層を中間層あるいは隠れ層、第３層のニューン回路の
層を出力層と呼んでいる。この第３層は第２層のニュー
ロン回路の出力を入力として、第２層と全く同じ構造を
持つ場合と興なる構造を持つ場合がある。同じ構造の場
合にはそれぞれの中間層の出力信号は全ての出力層のニ
ューロン回路に入力されるが、第１２図に示すように出
力層のニューロン回路をＯＲ論理処理のみの簡単な構造
にすることができる。この場合には中間層の出力は１個
の出力層のニューロン回路に接続されるだけなので回路
規模は大幅に低減できるとともに、パターン認識などに
使う場合には十分な能力を維持している。しかし、複雑
な処理に対応するためには、ネットワークの構造も複雑
なものが使用されるのが一般的であり、ニューロン回路
の出力が帰還されたり、３層以上の多層構造が使用され
たり、複数のネットワーク回路を組み合わせたりされる
。However, since the processing power of a two-layer neural network is not very large, a three-layer neural network as shown in FIG. 12 is generally used. In the case of a three-layer structure, the second layer of neuron circuits is called an intermediate layer or hidden layer, and the third layer of neuron circuits is called an output layer. This third layer receives the output of the neuron circuit of the second layer as input, and may have the same structure as the second layer or a different structure. In the case of the same structure, the output signals of each intermediate layer are input to the neuron circuits of all output layers, but as shown in Figure 12, the neuron circuits of the output layer have a simple structure that only performs OR logic processing. be able to. In this case, the output of the intermediate layer is only connected to the neuron circuit of one output layer, so the circuit scale can be significantly reduced, and sufficient performance is maintained when used for pattern recognition, etc. However, in order to handle complex processing, it is common to use complex network structures, such as feeding back the output of neuron circuits, or using a multilayer structure with three or more layers. Can be used to combine multiple network circuits.
従来のニューラルネットワーク回路で使用されていたニ
ューロン回路を第１３図に示す。また、本発明者らによ
り発明されたニューロン回路を第１４図に示す。ｎ個の
入力に対応して、ｎ個の荷重係数（ｗ １−ｗ ｎ ）
を持ち、減算回路は入力信号と荷重係数の差を求め、そ
の結果を２乗回路で２乗するか絶対値回路で絶対値を計
算し、それぞれの入力と荷重係数に対する演算結果を全
て加算回路によって累積し、その結果の大きさによって
出力値が決定される。出力値を最終的に決定する閾値回
路は、第１５図（ａ）〜（ｃ）に示すような伝達特性を
もっている。（ａ）はステップ関数形、（ｂ）は折れ線
形、（Ｃ）はシグモイド関数形である。第１５図（Ｃ）
のシグモイド関数形がもっとも汎用性が高いが、演算が
複雑であるので（ａ）、（ｂ）のような簡単化したもの
も使用できる。FIG. 13 shows a neuron circuit used in a conventional neural network circuit. Further, FIG. 14 shows a neuron circuit invented by the present inventors. Corresponding to n inputs, n weighting factors (w 1 - w n )
The subtraction circuit calculates the difference between the input signal and the weighting coefficient, squares the result with a squaring circuit, or calculates the absolute value with an absolute value circuit, and adds all the calculation results for each input and weighting coefficient to the circuit. The output value is determined by the magnitude of the result. The threshold circuit that ultimately determines the output value has transfer characteristics as shown in FIGS. 15(a) to 15(c). (a) is a step function form, (b) is a polygonal line, and (C) is a sigmoid function form. Figure 15 (C)
The sigmoid function form is the most versatile, but since the calculations are complex, simplified forms such as (a) and (b) can also be used.
［発明が解決しようとする課題］
第１３．１４図のニューロン回路を用いて、第１２図の
ネットワーク回路を構成したものはパターン認識に多く
使用される。入力層に入力されたパターンによってニュ
ーロン回路が反応して認識を行う。入力信号の数に応じ
た次元数の多次元空間を認識する多数の領域に区切るよ
うにニューロン回路の荷重係数が決められていると、入
カバターンを含む領域を形成するニューロン回路が反応
する。[Problems to be Solved by the Invention] A network circuit constructed by using the neuron circuits shown in FIGS. 13 and 14 and the network circuit shown in FIG. 12 is often used for pattern recognition. Neuron circuits react to the patterns input to the input layer and perform recognition. When the weighting coefficients of the neuron circuits are determined so as to divide a multidimensional space whose dimensions correspond to the number of input signals into a large number of regions, the neuron circuits forming the regions including the input cover patterns react.
入力数が２個の場合、１個のニューロン回路が形成する
領域の形状は、第１３図の従来形の場合には第４図に示
すように円状になる。例えば、入力ｌ、２の値が円内の
部分に含まれる場合にニューロン回路が反応するように
するには、荷重係数ｗ１、Ｗ２の値を円の中心点に設定
してベクトルＷを決め、閾値回路のスレショルＦレベル
ｈの大きさを半径に設定すればよい。つまり、ベクトル
Ｗと入力ベクトルの距離を計算し、距離がスレショルド
レベル６以内であればニューロン回路が反応出力（Ｌｏ
ｗ）を出している。従って、ベクトルＷから等距離にな
る半径りの円が境界になる。入力数が３個の場合の識別
領域は球状になり、４個以上では超球面になる。また、
第１４図のニューロン回路では、入力数が２個の場合、
１個のニューロン回路が形成する領域の形状は第５図に
示すように四角形になる。入力数が３個の場合には８面
体になり）、４個以上では超多面体になる。閾値回路の
伝達特性を第１５図（ａ）のステップ関数形に設定する
と、識別領域の境界は明確になるし、第１５図（ｂ）、
（ｃ）の特性に設定すると境界は幅を持つことになる。When the number of inputs is two, the shape of the region formed by one neuron circuit becomes circular as shown in FIG. 4 in the conventional type shown in FIG. 13. For example, to make the neuron circuit respond when the values of inputs l and 2 are included in a circle, set the values of weighting coefficients w1 and W2 to the center point of the circle and determine vector W. The size of the threshold F level h of the threshold circuit may be set to the radius. In other words, the distance between the vector W and the input vector is calculated, and if the distance is within the threshold level 6, the neuron circuit will output a response (Lo
w) is issued. Therefore, a circle with a radius equidistant from the vector W becomes the boundary. When the number of inputs is three, the identification area becomes spherical, and when there are four or more inputs, it becomes a hyperspherical surface. Also,
In the neuron circuit shown in Fig. 14, when the number of inputs is two,
The shape of the area formed by one neuron circuit is a square as shown in FIG. When the number of inputs is 3, it becomes an octahedron), and when the number of inputs is 4 or more, it becomes a hyperpolyhedron. When the transfer characteristic of the threshold circuit is set to the step function form shown in FIG. 15(a), the boundary of the discrimination area becomes clear, and
If the characteristic (c) is set, the boundary will have width.
識別できる領域数はニューロン回路数が増えるほど多く
なる。The number of regions that can be identified increases as the number of neuron circuits increases.
ところが、任意の形状の識別領域に対応するには、第１
２図のように出力層でＯＲ処理を行うことにより、識別
領域を複数の超球面の集まりとして形成する。第７図（
ａ）は、多数のニューロン回路を用いて任意の形状の目
標識別領域に対応したときの例であるが、精度良く目標
形状に合致させるには円形の重なりが多くなり、極めて
多数のニューロン回路が必要になる問題があった。この
ため、装置が極めて大型化したり、消費電力も極めて大
きくなる問題があった。However, in order to correspond to an arbitrary shaped identification area, the first
By performing OR processing in the output layer as shown in FIG. 2, the identification area is formed as a collection of a plurality of hyperspherical surfaces. Figure 7 (
A) is an example of a case where a large number of neuron circuits are used to respond to a target identification area of arbitrary shape. However, in order to accurately match the target shape, there will be many circular overlaps, and an extremely large number of neuron circuits will be required. There was a problem that made it necessary. Therefore, there are problems in that the device becomes extremely large and the power consumption becomes extremely large.
本発明の目的は、従来の識別領域形状が固定のニューロ
ン回路では極めて多数のニューロン回路数を必要にして
いた任意形状の識別領域を、少ないニューロン回路数で
実現できる高機能なニューロン回路を作製することにあ
る。The purpose of the present invention is to create a highly functional neuron circuit that can realize an arbitrary-shaped identification region with a small number of neuron circuits, whereas conventional neuron circuits with a fixed identification region shape require an extremely large number of neuron circuits. There is a particular thing.
［課題を解決するための手段］
上記の目的を達成するために、本発明は、ｎ個の入力端
子と（ｎは１以上の整数）、上記入力端子のそれぞれに
対応して２個ずつ、合計２ｎ個の荷重係数と、上記２個
の荷重係数から成る各組のうち大きい値の荷重係数をｗ
Ｈ１小さい値の荷重係数をｗＬとして、（入力信号−ｗ
Ｈ）を求める減算回路と、（ｗＬ−入力信号）を求める
減算回路と、それぞれの減算結果の正の値だけを通過さ
せる整流回路と、上記整流回路の出力をそれぞれ２乗特
性などの非線形特性回路を経た後または直接に全て累積
する加算回路と、上記累積結果が平方根特性などの非線
形特性回路を経た後または直接に入力される閾値回路と
を有し、上記閾値回路の高力値を８力信号とするニュー
ロン回路を単位回路として、多数の上記ニューロン回路
の入出力端子間を接続することによってネットワーク回
路を構成し、上記ネットワーク回路に入力されたｍ個（
ｍは１以上の整数）の入力信号に対してそれぞれ独自の
上記荷重係数を持つ上記ニューロン回路が演算を実行し
、上記ネットワーク回路内の全てまたは一部の上記ニュ
ーロン回路の出力値を上記ネットワーク回路の出力信号
とし、それぞれの上記ニューロン回路の上記荷重係数と
上記閾値回路の閾値の大きさによって上記ネットワーク
回路の機能を制御することを特徴とする。[Means for Solving the Problems] In order to achieve the above object, the present invention provides n input terminals (n is an integer of 1 or more), two corresponding to each of the above input terminals, A total of 2n load coefficients and the load coefficient of the larger value among each set consisting of the above two load coefficients are w
Let wL be the weighting coefficient for the small value of H1, (input signal - w
A subtraction circuit for obtaining H), a subtraction circuit for obtaining (wL-input signal), a rectification circuit for passing only the positive value of each subtraction result, and a nonlinear characteristic such as a square characteristic for the output of the rectification circuit. It has an adder circuit that accumulates all the results after passing through a circuit or directly, and a threshold circuit into which the accumulated results are input directly or after passing through a nonlinear characteristic circuit such as a square root characteristic, and the high power value of the threshold circuit is A network circuit is constructed by connecting the input and output terminals of a large number of neuron circuits using a neuron circuit that generates a force signal as a unit circuit, and m (
The neuron circuits, each having its own weighting coefficient, perform calculations on the input signals (m is an integer of 1 or more), and the output values of all or some of the neuron circuits in the network circuit are transferred to the network circuit. The function of the network circuit is controlled by the load coefficient of each neuron circuit and the threshold value of the threshold circuit.
［作用］
従来のニューロン回路では識別領域形状が固定であるた
めに任意形状の識別領域を形成するのに極めて多数のニ
ューロン回路数を必要にしていた。[Operation] In conventional neuron circuits, since the shape of the identification region is fixed, an extremely large number of neuron circuits are required to form an arbitrary shape identification region.
そこで、本発明では従来形の２倍の荷重係数を持つニュ
ーロン回路により、１個のニューロン回路の識別領域形
状を可変にして、少ないニューロン回路数で任意形状の
識別領域を形成できるようにした。Therefore, in the present invention, the shape of the discrimination region of one neuron circuit is made variable by using neuron circuits having twice the weighting coefficient of the conventional type, so that a discrimination region of an arbitrary shape can be formed with a small number of neuron circuits.
〔実施例］
本発明のニューロン回路の例を第１．２図に示す。ｎ個
の入力端子と（ｎは１以上の整数）、それぞれの入力端
子に対応して２個ずつの合計２ｎ個の荷重係数を持ち、
２個の組のうち大きい値の荷重係数をｗＨ１小さい値の
荷重係数をｗＬとすると、減算回路は（入力信号−ｗ
Ｈ）と（ｗＬ−入力信号）を求めており、それぞれの減
算結果の正の値だけを通過させる整流回路を持っている
。[Example] An example of the neuron circuit of the present invention is shown in Fig. 1.2. It has n input terminals (n is an integer greater than or equal to 1) and a total of 2n weight coefficients, 2 each corresponding to each input terminal,
Let wH be the weighting coefficient with the larger value out of the two sets, and wL be the weighting coefficient with the smaller value, then the subtraction circuit will calculate (input signal - w
H) and (wL-input signal), and has a rectifier circuit that allows only the positive values of the respective subtraction results to pass through.
それぞれの入力と荷重係数に対する演算結果を全て加算
回路によって累積し、その結果によって出力値が決定さ
れるのは従来と同じである。出力値を最終的に決定する
閾値回路は、従来回路と同様に第１５図に示すような伝
達特性をもっている。As in the conventional case, all calculation results for each input and weight coefficient are accumulated by an adder circuit, and the output value is determined based on the result. The threshold circuit that ultimately determines the output value has a transfer characteristic as shown in FIG. 15, similar to the conventional circuit.
第１４図のニューロン回路における入力部分の伝達特性
を第３図（ａ）に示す。減算回路と絶対値回路の特性は
、入力信号に対して荷重係数Ｗ以下の部分で極性が反転
するので■字形の特性を持っている。第１３図の２乗回
路を持つニューロン回路では、これが放物線特性になる
。これに対して、本発明による第２図のニューロン回路
では１個の入力に対してｗＨ，ｗＬの２個の荷重係数を
持っているので、入力部分の特性は第３図（ｂ）のよう
な特性になる。ｗＨとｗＬの間の入力に対して出力レベ
ルがゼロになる。ｗＨ以上とｗ Ｌ以下については従来
と同様な特性である。また、本発明による第１図のニュ
ーロン回路では２乗回路によって、ｗＨ以上とｗＬ以下
の直線部分が放物曲線になる。FIG. 3(a) shows the transfer characteristics of the input portion of the neuron circuit shown in FIG. 14. The characteristics of the subtraction circuit and the absolute value circuit have a ■-shaped characteristic because the polarity is reversed at a portion below the weighting coefficient W with respect to the input signal. In the neuron circuit having the square circuit shown in FIG. 13, this becomes a parabolic characteristic. On the other hand, the neuron circuit according to the present invention shown in FIG. 2 has two weighting coefficients, wH and wL, for one input, so the characteristics of the input part are as shown in FIG. 3(b). It becomes a characteristic. The output level is zero for inputs between wH and wL. The characteristics above wH and below wL are similar to the conventional ones. Further, in the neuron circuit of FIG. 1 according to the present invention, the straight line portion above wH and below wL becomes a parabolic curve due to the square circuit.
入力数が２個の場合、第１．２図の本発明によるニュー
ロン回路では、１個のニューロン回路が形成する領域の
形状は、第６図に示すような形状になる。荷重係数ｗＨ
１、ｗＨ２の値のベクトルＷＨと、荷重係数ｗＬ１％ｗ
Ｌ２の値のベクトルＷＬと２個のベクトルをＩＭのニュ
ーロン回路がもっており、入力１（ｗＬｌ、入力２ （
ｗ Ｌ ２、の領域と、入力１（ｗＬｌ、入力２）ｗＨ
２、の領域と、入力１）ｗＨｌ、入力２（ｗＬ２、の領
域と、入力１）ｗＨｌ、入力２）ｗ−Ｈ２、の領域の４
領域では、従来形と同じ特性を示すが、それ以外の部分
では、入力１がｗＬｌからｗＨｌまでのときには入力１
に対する演算結果はゼロなので入力２だけで識別領域の
範囲が決まり、閾値回路がＬｏｗを出力するのは（ｗＬ
２−ｈ）から（ｗＨ２＋ｈ）の範囲になる。また、入力
２がｗＬ２からｗＨ２までのときには入力２に対する演
算結果はゼロなので入力ｌたけで識別領域の範囲が決ま
り、閾値回路がＬｏｗを出力するのは（ｗＬｌ−ｈ）か
ら（ｗＨ１＋ｈ）の範囲になる。When the number of inputs is two, in the neuron circuit according to the present invention shown in FIG. 1.2, the shape of the region formed by one neuron circuit is as shown in FIG. 6. Load factor wH
1. Vector WH of the value of wH2 and loading coefficient wL1%w
The IM neuron circuit has a vector WL of the value of L2 and two vectors, input 1 (wLl, input 2 (
The area of w L 2, and input 1 (wLl, input 2) wH
2, the area of input 1) wHl, the area of input 2 (wL2), and the area of 4 of input 1) wHl, input 2) w-H2,
In the region, it shows the same characteristics as the conventional type, but in other parts, when input 1 is from wLl to wHl, input 1
Since the calculation result for is zero, the range of the identification area is determined only by input 2, and the reason why the threshold circuit outputs Low is (wL
2-h) to (wH2+h). Also, when input 2 is from wL2 to wH2, the calculation result for input 2 is zero, so the range of the identification area is determined by just 1 input, and the threshold circuit outputs Low in the range from (wLl-h) to (wH1+h). become.
従って、その両者を合わせた領域は第１２図に示すよう
な形状になる。この（ｗＬｌ、ｗＬ２）と（ｗＨｌ、ｗ
Ｈ２）の２点を対角線とする四角形は正方形ではなく長
方形であり、その形状は荷重係数によって制御できるこ
とが明らかである６人力数が３個の場合の識別領域は直
方体に厚さｈの周辺部を含む形状になり、４個以上では
超直方体に厚さｈの周辺部を含む形状になる。Therefore, the combined area has a shape as shown in FIG. 12. This (wLl, wL2) and (wHl, w
It is clear that the quadrilateral whose diagonals are the two points in H2) is not a square but a rectangle, and its shape can be controlled by the load coefficient.6 The identification area when the number of manpower is 3 is a rectangular parallelepiped with a peripheral part of thickness h. If there are four or more, the shape becomes a hypercuboid including a peripheral portion with a thickness h.
本発明によるニューロン回路の識別領域の形状は、第６
図に示すようになることを説明したが、この形状はベク
トルＷＬとＷＨがほぼ等しい場合には従来形ニューロン
回路の識別領域の形状に近くなり、閾値レベルｈが小さ
ければその形状はほとんど長方形になる。このように、
本発明のニューロン回路の識別領域の形状は自由度の高
いものになっている。The shape of the identification region of the neuron circuit according to the present invention is the sixth
As shown in the figure, when the vectors WL and WH are approximately equal, this shape is close to the shape of the identification region of a conventional neuron circuit, and when the threshold level h is small, the shape becomes almost a rectangle. Become. in this way,
The shape of the identification region of the neuron circuit of the present invention has a high degree of freedom.
従って、第６図に任意形状を目標識別領域にして、従来
形と本発明のニューロン回路で対応した例を示す。従来
形では前記したように多数のニューロン回路が必要であ
ったのが、本発明では極めて少数のニューロン回路で済
むことがわかる。さらに、実際の応用ではパターン認識
に全ての入力データが有効に利用できるわけではなく、
パターンの特徴情報を抽出して利用されるので、不必要
な入力データが含まれていることが多い。第８図（ａ）
、（ｂ）は入力２の値が意味のないデータであった場合
の例である。識別領域は入力ｌで決まり、入力２に関し
ては全ての範囲が領域に含まれる。このため、入力２の
方向に長い領域を実現しなければならない。ところが、
入力２を表現しているディジタル信号のビット数が大き
い場合や、浮動小数点表現である場合には入力２の範囲
は極めて広く、入力ｌの識別領域の幅が小さければ小さ
な半径の円で識別領域を埋めつくす必要があり、極めて
多数のニューロン回路が必要になる。現実問題としては
、ニューロン数に比例して回路規模が大きくなり、ニュ
ーロン数には限界があるので、逆に入力信号の範囲を狭
くすることで対処せざるを得ない。入力信号の範囲を狭
くすると、信号積、度（分解能）が低下するので、精度
の良いパターン認識はできなくなる。これに対して、本
発明ではこのような場合も入力信号の範囲に関係なく１
個のニューロン回路で対処できるので、必要なニューロ
ン数の低減効果は極めて大きい利点がある。Therefore, FIG. 6 shows an example in which an arbitrary shape is used as a target identification region and the conventional neuron circuit and the neuron circuit of the present invention are used. It can be seen that while the conventional type required a large number of neuron circuits as described above, the present invention requires only a very small number of neuron circuits. Furthermore, in actual applications, not all input data can be effectively used for pattern recognition.
Since the feature information of the pattern is extracted and used, unnecessary input data is often included. Figure 8(a)
, (b) are examples where the value of input 2 is meaningless data. The identification area is determined by input 1, and for input 2, the entire range is included in the area. Therefore, it is necessary to realize a long region in the direction of input 2. However,
If the number of bits of the digital signal representing input 2 is large or if it is expressed as a floating point number, the range of input 2 is extremely wide, and if the width of the identification area of input l is small, the identification area is a circle with a small radius. It is necessary to completely fill the area, and an extremely large number of neuron circuits are required. In reality, the circuit scale increases in proportion to the number of neurons, and since there is a limit to the number of neurons, we have no choice but to conversely narrow the range of input signals. If the range of the input signal is narrowed, the signal product and resolution (resolution) will decrease, making it impossible to perform pattern recognition with high accuracy. On the other hand, in the present invention, even in such a case, regardless of the range of the input signal, 1
Since this can be done with a single neuron circuit, the effect of reducing the number of required neurons is extremely large.
さらに、パターン認識の精度を大きく改善できることも
明らかである。Furthermore, it is clear that the accuracy of pattern recognition can be greatly improved.
ディジタル回路によって本発明によるニューラルネット
ワーク回路を実現する場合のニューロン回路の構成例を
第９図に示す。第９図ではニューロン回路の入力部分で
ある１番目の入力と荷重係数に対する演算回路と１から
ｎまでの演算結果の累積を行うｉ番目の加算器のみを示
している。入力信号と荷重係数の減算を実行する加算回
路のキャリー出力（ＣＯ）がｉｉ １ ｕのときに演算
結果が負数であるので、整流回路はＡＮＤゲート回路を
用いて負数が伝達しないようになっている。また、ｗＨ
とｗＬの係数に対する演算結果のうち少なくとも１個は
ゼロ８力であるので、両者の加算はＯＲゲートで簡単に
実現できるので、累積に使用する加算回路の個数は従来
形より増加しない。従って、本発明の１個のニューロン
回路の回路規模は従来形に対して荷重係数の演算に使用
する加算回路が１個から２個に増加するのみである。FIG. 9 shows an example of the configuration of a neuron circuit when the neural network circuit according to the present invention is realized by a digital circuit. FIG. 9 shows only the first input, which is the input part of the neuron circuit, an arithmetic circuit for the weighting coefficient, and an i-th adder that accumulates the arithmetic results from 1 to n. When the carry output (CO) of the adder circuit that subtracts the input signal and the weight coefficient is ii 1 u, the operation result is a negative number, so the rectifier circuit uses an AND gate circuit to prevent the transmission of negative numbers. There is. Also, wH
Since at least one of the calculation results for the coefficients of and wL is a zero-eight force, the addition of both can be easily realized with an OR gate, so the number of adder circuits used for accumulation does not increase compared to the conventional type. Therefore, the circuit scale of one neuron circuit according to the present invention is increased from one to two adding circuits used for calculation of weighting coefficients compared to the conventional type.
ニューロン回路全体で回路規模を比較すると、第１図の
実施例では２乗回路が１人力につき２個必要であるよう
に書かれているが、第９図のような構成をとればＯＲ回
路で加算したあとに２乗回路を配置しても同じ演算がで
きるので、２乗回路は１人力につき１個になり、従来形
と同じである。Comparing the circuit scale of the entire neuron circuit, the example shown in Figure 1 states that two square circuits are required for each person's power, but if the configuration shown in Figure 9 is adopted, it is possible to use an OR circuit. The same calculation can be performed even if a squaring circuit is placed after the addition, so there is only one squaring circuit per person, which is the same as the conventional type.
加算器と２乗回路の回路規模を比較すると２乗回路の方
が圧倒的に大きいので、本発明の１個のニューロン回路
の回路規模増加の割合は小さい。第８図の実施例では２
乗回路がないので、もともと回路規模が小さい構成であ
ったので、増加率は約１．５倍になる。Comparing the circuit scales of the adder and the squaring circuit, the squaring circuit is overwhelmingly larger, so the increase in circuit scale for one neuron circuit of the present invention is small. In the embodiment of FIG.
Since there is no multiplier circuit, the circuit scale was originally small, so the increase rate is about 1.5 times.
以上説明したように、１個のニューロン回路の回路規模
の増加は１．５倍あるいはそれ以下であるのに対して、
必要なニューロン数の低減効果は応用により大きく違う
が、規模の大きなニューラルネットワーク回路はど低減
効果は大きく、ｌ／１００〜１７１００００以上になる
と考えられるので、本発明のニューラルネットワーク回
路としての回路規模の低減効果は極めて大きい。As explained above, while the increase in circuit scale of one neuron circuit is 1.5 times or less,
Although the effect of reducing the required number of neurons varies greatly depending on the application, the effect of reducing the number of neurons is large in large-scale neural network circuits, and is thought to be more than 1/100 to 1,710,000. The reduction effect is extremely large.
ニューラルネットワーク回路をハード化するとき、必要
なニューロン回路数は応用によって異なるが、一般的に
はニューロン回路数が大きいほど処理能力は向上する。When making a neural network circuit hardware, the number of neuron circuits required varies depending on the application, but in general, the larger the number of neuron circuits, the better the processing power.
そのため、ＬＳＩ化によって多数のニューロン回路を搭
載したニューラルネットワーク回路の実現が期待されて
いる。しかし、チップサイズの制限によって１チツプに
搭載できる回路規模は限られているし、放熱や実装の問
題から１チツプで消費できる電力も制限がある。従って
、ＬＳＩ化されたニューラルネットワーク回路が実用的
な性能を発揮するために、ニューロン回路の回路規模と
消費電力の低減が最も重要な課題になっている。このた
め、本発明のニューロン回路を用いることにより、ニュ
ーラルネットワーク回路が実用的なレベルまで性能が向
上する効果は極めて大きい。Therefore, it is expected that neural network circuits equipped with a large number of neuron circuits will be realized through LSI integration. However, due to chip size limitations, the scale of circuitry that can be mounted on a single chip is limited, and heat dissipation and mounting issues also limit the amount of power that can be consumed by a single chip. Therefore, in order for LSI-based neural network circuits to exhibit practical performance, reducing the circuit scale and power consumption of neuron circuits has become the most important issue. Therefore, by using the neuron circuit of the present invention, the performance of the neural network circuit can be improved to a practical level, which is extremely effective.
以上本発明を上記実施例に基づいて具体的に説明したが
、本発明は上記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は勿論である。Although the present invention has been specifically explained above based on the above-mentioned embodiments, the present invention is not limited to the above-mentioned embodiments, and it goes without saying that various changes can be made without departing from the gist thereof.
［発明の効果〕
以上説明したように、本発明のニューラルネットワーク
回路では、必要なニューロン回路数を大幅に低減でき、
かつパターン認識の精度を大きく改善できるとともに、
回路規模を低減できる。[Effects of the Invention] As explained above, in the neural network circuit of the present invention, the number of necessary neuron circuits can be significantly reduced;
In addition to greatly improving the accuracy of pattern recognition,
The circuit scale can be reduced.
第１図は本発明の超球面識別形ニューロン回路の構成の
一例を示す図、第２図は本発明の越冬面体識別形ニュー
ロン回路の構成の一例を示す図、第３図（ａ）、（ｂ）
はニューロン回路の入力部の伝達特性を示す図で、（ａ
）は減算回路と絶対値回路の特性を示し、（ｂ）は減算
回路と整流回路の特性を示し、第４図は従来の超球面識
別形ニューロン回路の識別領域（２人力の場合）を示す
図、第５図は従来の越冬面体識別形ニューロン回路の識
別領域（２人力の場合）を示す図、第６図（ａ）、（ｂ
）は本発明によるニューロン回路の識別領域の形状（２
人力の場合）を示す図で、（ａ）は超球面形を示し、（
ｂ）は超多面体形を示し、第７図（ａ）、（ｂ）は複数
のニューロン回路による識別領域の第１の形成例（２人
力の場合）を示す図で、（ａ）は従来形を示し、（ｂ）
は本発明を示し、第８図（ａ）、（ｂ）は複数のニュー
ロン回路による識別領域の第２の形成例を示す図で、（
ａ）は従来形を示し、（ｂ）は本発明を示し、第９図は
本発明の越冬面体識別形ニューロン回路の演算回路の構
成例を示す図、第１０図はニューロン回路の記号を示す
図、第１１図は２層構造のニューラルネットワーク回路
の構成を示す図、第１２図は３層構造のニューラルネッ
トワーク回路（ＯＲ処理出力形）の構成を示す図、第１
３図は従来の超球面識別形ニューロン回路の構成を示す
図、第１４図は従来の越冬面体識別形ニューロン回路の
構成を示す図、第１５図（ａ）、（ｂ）、（ｃ）は閾値
回路の伝達特性を示す図で、（ａ）はステップ関数形、
（ｂ）は折れ線形、（Ｃ）はシグモイド関数形を示す。
特許呂願人 日本電信電話株式会社FIG. 1 is a diagram showing an example of the configuration of a hypersphere discriminating neuron circuit of the present invention, FIG. 2 is a diagram showing an example of the configuration of a wintering face discriminating neuron circuit of the present invention, and FIGS. b)
is a diagram showing the transfer characteristics of the input part of the neuron circuit, and (a
) shows the characteristics of the subtraction circuit and the absolute value circuit, (b) shows the characteristics of the subtraction circuit and the rectification circuit, and Figure 4 shows the discrimination area of the conventional hyperspherical discrimination type neuron circuit (in the case of two-man power). Figures 5 and 5 are diagrams showing the recognition area of the conventional wintering faceplate recognition type neuron circuit (in the case of two-person operation), and Figures 6 (a) and (b).
) is the shape (2) of the identification region of the neuron circuit according to the present invention.
(in the case of human power), (a) shows a hyperspherical shape, (
b) shows a superpolyhedral shape, FIGS. 7(a) and 7(b) are diagrams showing a first example (in the case of two-manpower) of forming an identification area by a plurality of neuron circuits, and (a) shows a conventional form. (b)
shows the present invention, and FIGS. 8(a) and 8(b) are diagrams showing a second example of forming an identification area by a plurality of neuron circuits.
a) shows the conventional type, (b) shows the present invention, FIG. 9 is a diagram showing a configuration example of the arithmetic circuit of the wintering mask discrimination type neuron circuit of the present invention, and FIG. 10 shows the symbol of the neuron circuit. 11 is a diagram showing the configuration of a two-layer neural network circuit, and FIG. 12 is a diagram showing the configuration of a three-layer neural network circuit (OR processing output type).
Figure 3 shows the configuration of a conventional hypersphere discrimination type neuron circuit, Figure 14 shows the configuration of a conventional wintering faceplate discrimination type neuron circuit, and Figures 15 (a), (b), and (c) show the configuration of a conventional hypersphere discrimination type neuron circuit. It is a diagram showing the transfer characteristics of a threshold circuit, in which (a) is a step function type;
(b) shows a polygonal line, and (C) shows a sigmoid function form. Patent applicant Nippon Telegraph and Telephone Corporation
Claims (1)
端子のそれぞれに対応して２個ずつ、合計２ｎ個の荷重
係数と、上記２個の荷重係数から成る各組のうち大きい
値の荷重係数をｗＨ、小さい値の荷重係数をｗＬとして
、（入力信号−ｗＨ）を求める減算回路と、（ｗＬ−入
力信号）を求める減算回路と、それぞれの減算結果の正
の値だけを通過させる整流回路と、上記整流回路の出力
をそれぞれ非線形特性回路を経た後または直接に全て累
積する加算回路と、上記累積結果が非線形特性回路を経
た後または直接に入力される閾値回路とを有し、上記閾
値回路の出力値を出力信号とするニューロン回路を単位
回路として、多数の上記ニューロン回路の入出力端子間
を接続することによってネットワーク回路を構成し、上
記ネツトワーク回路に入力されたｍ個（ｍは１以上の整
数）の入力信号に対してそれぞれ独自の上記荷重係数を
持つ上記ニユーロン回路が演算を実行し、上記ネットワ
ーク回路内の全てまたは一部の上記ニューロン回路の出
力値を上記ネットワーク回路の出力信号とし、それぞれ
の上記ニューロン回路の上記荷重係数と上記閾値回路の
閾値の大きさによって上記ネットワーク回路の機能を制
御することを特徴とするニューラルネットワーク回路。1. n input terminals (n is an integer greater than or equal to 1), 2 weighting coefficients for each of the above input terminals, a total of 2n weighting coefficients, and the larger value of each set consisting of the above two weighting coefficients. A subtraction circuit that calculates (input signal - wH), a subtraction circuit that calculates (wL - input signal), and only the positive values of the respective subtraction results are passed, with the weighting coefficient of wH being the weighting coefficient of a small value and wL being the weighting coefficient of a small value. a rectifier circuit that accumulates the outputs of the rectifier circuits, respectively, after passing through nonlinear characteristic circuits or directly, and a threshold circuit to which the cumulative results are inputted directly or after passing through nonlinear characteristic circuits. , a network circuit is constructed by connecting the input and output terminals of a large number of neuron circuits, using a neuron circuit whose output signal is the output value of the threshold circuit as a unit circuit, and m circuits input to the network circuit. (where m is an integer of 1 or more), the neuron circuits each having its own weighting coefficient execute calculations, and the output values of all or some of the neuron circuits in the network circuit are transferred to the network. A neural network circuit, characterized in that the output signal of the circuit is used to control the function of the network circuit according to the weight coefficient of each of the neuron circuits and the magnitude of the threshold value of the threshold circuit.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2179665A JP2542107B2 (en) | 1990-07-09 | 1990-07-09 | Neural network circuit |
| KR1019910011546A KR950001601B1 (en) | 1990-07-09 | 1991-07-08 | Neural network circuit |
| US07/727,065 US5166539A (en) | 1990-07-09 | 1991-07-08 | Neural network circuit |
| EP91111435A EP0477486B1 (en) | 1990-07-09 | 1991-07-09 | Neural network circuit |
| DE69119172T DE69119172T2 (en) | 1990-07-09 | 1991-07-09 | Neural network circuit |
| US07/909,993 US5353383A (en) | 1990-07-09 | 1992-07-07 | Neural network circuit |
| US08/266,691 US5467429A (en) | 1990-07-09 | 1994-06-28 | Neural network circuit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2179665A JP2542107B2 (en) | 1990-07-09 | 1990-07-09 | Neural network circuit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0467257A true JPH0467257A (en) | 1992-03-03 |
| JP2542107B2 JP2542107B2 (en) | 1996-10-09 |
Family
ID=16069739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2179665A Expired - Fee Related JP2542107B2 (en) | 1990-07-09 | 1990-07-09 | Neural network circuit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2542107B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016157233A (en) * | 2015-02-24 | 2016-09-01 | 国立大学法人広島大学 | Lvq neural network |
| CN109443419A (en) * | 2018-08-31 | 2019-03-08 | 广州市世科高新技术有限公司 | A kind of rectifier on-line monitoring method based on machine learning |
-
1990
- 1990-07-09 JP JP2179665A patent/JP2542107B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016157233A (en) * | 2015-02-24 | 2016-09-01 | 国立大学法人広島大学 | Lvq neural network |
| CN109443419A (en) * | 2018-08-31 | 2019-03-08 | 广州市世科高新技术有限公司 | A kind of rectifier on-line monitoring method based on machine learning |
| CN109443419B (en) * | 2018-08-31 | 2021-08-31 | 广州致新电力科技有限公司 | Machine learning-based rectifier online monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2542107B2 (en) | 1996-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949255B (en) | Image reconstruction method and device | |
| Fritzke | Supervised learning with growing cell structures | |
| Isokawa et al. | Quaternionic neural networks: Fundamental properties and applications | |
| CN110472695B (en) | Abnormal working condition detection and classification method in industrial production process | |
| US5355436A (en) | Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations | |
| Li et al. | An extended multilayer perceptron model using reduced geometric algebra | |
| CN112734022B (en) | Four-character memristor neural network circuit with recognition and sequencing functions | |
| JPH0467257A (en) | Neural network circuit | |
| Shibata et al. | Gauss-sigmoid neural network | |
| JPH05101028A (en) | Integral decision method for plural feature quantity | |
| JPH04182769A (en) | Digital neuro processor | |
| Dawwd et al. | Video based face recognition using convolutional neural network | |
| Nitta | Reducibility of the complex-valued neural network | |
| Tokunaga et al. | Modular network SOM: Self-organizing maps in function space | |
| Park | Signal space interpretations of Hopfield neural network for optimization | |
| Dawwd et al. | A reconfigurable interconnected filter for face recognition based on convolution neural network | |
| PANDYA et al. | A stochastic parallel algorithm for supervised learning in neural networks | |
| JPH04295976A (en) | Neural network circuit | |
| Ghorbani et al. | Incremental communication for multilayer neural networks | |
| Yang et al. | A linear ridgelet network | |
| JPH04112354A (en) | Neural network circuit | |
| McGinnity et al. | Novel architecture and synapse design for hardware implementations of neural networks | |
| Yuan et al. | Online learning and object recognition for auv optical vision | |
| Kobayashi et al. | Complex‐valued multidirectional associative memory | |
| Szabó et al. | An efficient hardware implementation of feed-forward neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |