JPH0855098A - Neural network classifier and neural network configuration method - Google Patents
Neural network classifier and neural network configuration methodInfo
- Publication number
- JPH0855098A JPH0855098A JP6207941A JP20794194A JPH0855098A JP H0855098 A JPH0855098 A JP H0855098A JP 6207941 A JP6207941 A JP 6207941A JP 20794194 A JP20794194 A JP 20794194A JP H0855098 A JPH0855098 A JP H0855098A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- layer
- output
- neural network
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、画像データ処理やシス
テムの故障診断処理等に利用されるニューラルネットワ
ーク・クラシファイアおよびニューラルネットワークの
構成法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network classifier and a method of constructing a neural network used for image data processing, system failure diagnosis processing and the like.
【0002】[0002]
【従来の技術】ニューラルネットワーク・クラシファイ
ア(Neural Network Classifier :以下では簡略して
「クラシファイア」という)は、多数のニューロンモデ
ルを用いて構成されるニューラルネットワークを利用し
て実現され、カテゴリを識別する機能を有するシステム
である。ニューロンモデルは、神経細胞に似せて考えら
れた多入力1出力の情報処理素子である。クラシファイ
アの代表例は、パーセプトロン(ローゼンブラットによ
って提案された学習機械のモデル)の構造を有するもの
である。またパーセプトロン構造を有しないクラシファ
イアも存在する。パーセプトロン構造は、ニューロンモ
デルを利用して作られ、例えば入力層、中間層、出力層
の3層によって形成される構造である。各層のニューロ
ンモデルの間は接続線で接続され、各接続線では可変の
結合係数(結合重みともいう)が設定される。この結合
係数を自動調整できる構造を設けることにより、ニュー
ロンモデルへ与えられる各入力の当該ニューロンモデル
に及ぼす効果が決定される。こうしてクラシファイア全
体として学習機能を発生させることができる。クラシフ
ァイアでは、教師データの入力に基づき、教師データに
対応する所望の出力が発生するように、結合係数が自動
的に調整される。クラシファイアが入力層と中間層と出
力層による3層のパーセプトロン構造を有する場合、入
力層と中間層の間、中間層と出力層の間に学習可能層が
形成される。2. Description of the Related Art A neural network classifier (Neural Network Classifier: hereinafter simply referred to as "classifier") is realized by using a neural network composed of many neuron models and has a function of identifying a category. It is a system having. The neuron model is a multi-input / single-output information processing element that is considered to resemble a nerve cell. A typical example of a classifier has a structure of a perceptron (a model of a learning machine proposed by Rosenblatt). There are also classifiers that do not have a perceptron structure. The perceptron structure is a structure created by using a neuron model, and is formed by, for example, three layers of an input layer, an intermediate layer, and an output layer. The neuron models in each layer are connected by connecting lines, and variable connecting coefficients (also called connecting weights) are set in each connecting line. By providing a structure capable of automatically adjusting the coupling coefficient, the effect of each input given to the neuron model on the neuron model is determined. In this way, the learning function can be generated in the classifier as a whole. In the classifier, the coupling coefficient is automatically adjusted based on the input of the teacher data so that the desired output corresponding to the teacher data is generated. When the classifier has a three-layer perceptron structure including an input layer, an intermediate layer, and an output layer, a learnable layer is formed between the input layer and the intermediate layer and between the intermediate layer and the output layer.
【0003】ここで「クラシファイアの構成」を数学的
手法という観点で述べる。n次元の空間(特徴空間とい
う)においてこの空間をクラスと呼ばれるk個の区域に
分ける面を考えるものとし、また多数のサンプル(特徴
空間内の点)からなるトレーニングセット(上記教師デ
ータに相当)が用意され、その各点がどのクラスに属す
るかが分かっているものとする。このような前提の下で
「クラシファイアを構成する」とは、上記トレーニング
セットを利用することにより、特徴空間内の新しい任意
の点に関してその点が属するクラスを指示できるような
手続きを実現することである。Here, the "classifier construction" will be described in terms of a mathematical method. Consider a plane that divides this space into k areas called classes in an n-dimensional space (called a feature space), and a training set consisting of a large number of samples (points in the feature space) (corresponding to the above teacher data). Is prepared and it is known to which class each point belongs. Under such a premise, “to construct a classifier” means to realize a procedure that can specify a class to which a new arbitrary point in the feature space belongs by using the above training set. is there.
【0004】従来のクラシファイアでは、識別対象の持
つn次元の特徴(ベクトル:特徴量f1 〜fn で表現さ
れる)の各々を当該クラシファイアの入力層に入力し、
その出力に基づいて対象が属するカテゴリ(パターンと
もいう;前述の「区域(クラスと呼ばれる)」に相当)
の識別を行っていた。上記のクラシファイアは、専用ニ
ューロン素子を用いてハードウェアによって、または等
価の機能を有するソフトウェアによって実現される。In the conventional classifier, each of the n-dimensional features (vector: represented by feature quantities f 1 to f n ) of the identification target is input to the input layer of the classifier,
A category to which the target belongs based on the output (also called a pattern; corresponding to the above-mentioned "area (called a class)")
Was being identified. The above classifier is realized by hardware using a dedicated neuron element or by software having an equivalent function.
【0005】次に、クラシファイアの従来の代表的な例
を説明する。Next, a typical conventional example of a classifier will be described.
【0006】単層パーセプトロン構造を有するもの:こ
れは文献Minsky M., and Papert S.Perceptrons: An In
troduction to Computational Geometry. MIT Press, 1
969(中野,坂口訳、パーセプトロン(改訂版)、パー
ソナルメディア,1993)に記述される。この構造では、
学習可能層が一層であるので、線形分離可能性を有する
識別対象を識別するという問題に関しては高速に学習を
行うことができ、大域的な領域であっても解に確実に収
束するという特性を有する。反面、線形分離可能でない
問題に対しては学習を行うことができないという欠点を
有する。Those with a single-layer perceptron structure: This is the document Minsky M., and Papert S. Perceptrons: An In
troduction to Computational Geometry. MIT Press, 1
969 (Nakano, Sakaguchi translation, Perceptron (revised version), Personal Media, 1993). In this structure,
Since the number of learnable layers is one, it is possible to perform high-speed learning with respect to the problem of identifying a discrimination target having linear separability, and it is possible to reliably converge to a solution even in a global region. Have. On the other hand, it has a drawback that it cannot learn a problem that is not linearly separable.
【0007】多層パーセプトロン構造とバックプロパゲ
ーション学習法とを組み合わせたもの:これは、文献Ru
melhart D.E., Hinton G.E., and Williams R.J. Learn
inginternal representaion by error propagation. In
D.E.Rumelhart & J.L. McClelland (eds.) Parallel D
istributed Processing: Explorations in the Microst
ructure of Cognition, Vol. 1: Foundations. MIT Pre
ss(1986) (甘利監訳、PDPモデル:認知科学とニュ
ーロン回路網の探索、産業図書、1988)に記述される。
この構造では、線形分離可能でない問題であっても学習
を行うことができるという特性を有する。反面、学習に
おける収束性が遅く、得られた解が極小解にとどまる、
すなわち大局的な最適解に収束しないという欠点を有す
る。A combination of the multilayer perceptron structure and the backpropagation learning method:
melhart DE, Hinton GE, and Williams RJ Learn
inginternal representaion by error propagation. In
DERumelhart & JL McClelland (eds.) Parallel D
istributed Processing: Explorations in the Microst
ructure of Cognition, Vol. 1: Foundations. MIT Pre
ss (1986) (Translated by Amari, PDP model: Cognitive science and search for neuron network, Industrial book, 1988).
This structure has the property that learning can be performed even for problems that are not linearly separable. On the other hand, the convergence in learning is slow, and the obtained solution is a minimal solution.
That is, it has a drawback that it does not converge to a global optimum solution.
【0008】ハイパキューブの構造を有するもの:これ
は、文献Huang W.M.,Lippmann R.P.Neural Net and Tra
ditional Classifiers. In Anderson D.Z. [Ed.] Proc.
ofthe 1987 Neural Information Processing System C
onf., pp.387-396, Am.Instof Pysics, New York, 1988
に記述される。この構造では、特徴空間を境界を形成
する超立方体を用いて各クラスに分離し、かつ各超立方
体はオーバーラップしない構造を有する。この構造によ
れば、特徴空間の次元が少ないときに有効であるが、特
徴空間の次元が増大するにつれてニューロンの数が指数
関数的に増大するので、特徴空間が大きいときには使用
することが困難であるという欠点を有する。Having the structure of a hypercube: This is the document Huang WM, Lippmann RP Neural Net and Tra
ditional Classifiers. In Anderson DZ [Ed.] Proc.
ofthe 1987 Neural Information Processing System C
onf., pp.387-396, Am.Instof Pysics, New York, 1988
Described in. In this structure, the feature space is divided into classes using hypercubes that form boundaries, and the hypercubes do not overlap each other. According to this structure, it is effective when the dimension of the feature space is small, but since the number of neurons increases exponentially as the dimension of the feature space increases, it is difficult to use when the feature space is large. It has the drawback of being.
【0009】1層または複数層の固定な前処理層と1層
の可変(トレーニング可能)な出力層とからなるもの:
これは、例えば文献Gallant S.I. and Smith D. Random
cells: An idea whose time has come and gone and c
ome again? IEEE International Conference on Neural
Networks,1987,II, 671-678に示唆される。このクラシ
ファイアは多層パーセプトロン構造の一種である。固定
の前処理層は、入力された特徴空間を変換することによ
り、入力特徴空間では分離面の形は線形でないけれど
も、変換された空間ではクラスが線形に分離できるよう
になる。トレーニング可能層が1層であるので、学習速
度が高速になる。Consists of one or more fixed pre-treatment layers and one variable (trainable) output layer:
This is, for example, the document Gallant SI and Smith D. Random.
cells: An idea whose time has come and gone and c
ome again? IEEE International Conference on Neural
Networks, 1987, II, 671-678. This classifier is a kind of multilayer perceptron structure. The fixed pre-processing layer transforms the input feature space to allow the classes to be linearly separated in the transformed space, although the shape of the separation plane is not linear in the input feature space. Since there is only one trainable layer, the learning speed is high.
【0010】またバックプロパゲーション学習法に関連
する他の従来文献として特開平1−232464号公報
を挙げることができる。この文献では、識別対象が多い
場合に、識別対象をグループに分け、グループごとに識
別を行うことによって学習速度を高め、識別性能を向上
させている。As another conventional document related to the back propagation learning method, there is JP-A-1-232464. In this document, when there are many objects to be identified, the objects to be identified are divided into groups, and the learning speed is increased and the identification performance is improved by performing identification for each group.
【0011】[0011]
【発明が解決しようとする課題】前述した幾つかのタイ
プの従来のクラシファイアの中で、学習速度、認識速
度、認識率、適用できる問題範囲(線形分離か否か等)
の広さを総合的に考えると、実用性の観点で複数の固定
層からなる前処理層と1層の可変出力層からなるクラシ
ファイアがもっとも望ましい。そこで、複数の固定層か
らなる前処理層と1層の可変出力層からなるクラシファ
イアにおいて、さらに、学習速度および認識速度を高速
化し認識率を高めることが望まれる。Among several types of conventional classifiers described above, learning speed, recognition speed, recognition rate, applicable problem range (whether linear separation or not)
In view of practicality, a classifier consisting of a pretreatment layer composed of a plurality of fixed layers and one variable output layer is most desirable from the viewpoint of practicality. Therefore, it is desired to further increase the learning rate and the recognition rate to increase the recognition rate in the classifier including the preprocessing layer including a plurality of fixed layers and the variable output layer including one layer.
【0012】本発明の目的は、上記の課題に鑑み、速い
学習速度および認識速度、高い認識率を達成し、実用に
適した識別能力を有するニューラルネットワーク・クラ
シファイアおよびニューラルネットワークの構成法を提
供することにある。In view of the above problems, an object of the present invention is to provide a neural network classifier and a method for constructing a neural network which achieves high learning speed, recognition speed, high recognition rate, and has a discrimination ability suitable for practical use. Especially.
【0013】[0013]
【課題を解決するための手段】第1の本発明に係るニュ
ーラルネットワーク・クラシファイアは、上記目的を達
成するため、結合係数が固定であるs個(sは自然数)
のニューロングループを含み、かつこれらのニューロン
グループの各々がn個(nは自然数)の特徴の各々に関
する入力値を入力するように構成された前処理層と、前
処理層のs個のニューロングループの各々の出力値を結
合係数で重み付けて入力するm個(mは自然数)のニュ
ーロン要素を含む1層の出力層とを備え、前処理層のニ
ューロングループの各々は、特徴空間を定義するn個の
特徴の各軸で、対応する入力値の通過区間を定める2つ
のしきい値がランダムに設定されるn個のニューロン要
素を含むように構成される。In order to achieve the above object, the neural network classifier according to the first aspect of the present invention has a fixed coupling coefficient of s (s is a natural number).
Of neuron groups, and each of these neuron groups is configured to receive an input value for each of n (n is a natural number) features, and s neuron groups of the preprocessing layer And an output layer of one layer including m (m is a natural number) neuron elements for inputting the output values of each of the output values with a coupling coefficient, and each of the neuron groups of the preprocessing layer defines a feature space. On each axis of the feature, two threshold values that define a passage section of the corresponding input value are configured to include n neuron elements randomly set.
【0014】第2の本発明は、第1の発明において、好
ましくは、前処理層でのs個のニューロングループから
出力されるs個の出力値がバイナリで表現される値であ
り、s個の出力値のうち「1」となる出力値の個数がV
に設定され、この数値Vが1よりもかなり大きくかつs
よりもかなり小さいことを特徴とする。In the second aspect of the present invention, preferably, the s number of output values output from the s number of neuron groups in the preprocessing layer are values expressed in binary, Of the output values of "1" among the output values of V
Is set to this numerical value V is significantly larger than 1 and s
It is characterized by being much smaller than.
【0015】第3の本発明に係るニューラルネットワー
クの構成法は、ニューロンモデルを形成する手段の間の
結合関係が固定であり、n個(nは自然数)の特徴の各
々に関する入力値を入力し、各入力値ごとに特徴軸上で
の存在範囲を識別するための識別区間がランダムに定め
られた中間段階を有し、n個の特徴の各々で、対応する
入力値が前記識別区間に関する存在条件を満たすときに
のみ出力を発する前処理ステップと、学習可能な特性を
備える出力ステップとを備える。In the method for constructing a neural network according to the third aspect of the present invention, the connection relation between means for forming a neuron model is fixed, and input values for each of n (n is a natural number) features are input. , For each input value, there is an intermediate step in which an identification section for identifying the existence range on the feature axis is randomly determined, and for each of n features, a corresponding input value exists for the identification section. It comprises a pre-processing step which outputs an output only when a condition is satisfied, and an output step which has a learnable characteristic.
【0016】第4の本発明は、第3の発明において、好
ましくは、前処理ステップの前記中間段階の識別区間の
設定数はsであり、かつs個のバイナリ出力値のうち
「1」となる個数Vが1よりもかなり大きくかつsより
もかなり小さいことを特徴とする。According to a fourth aspect of the present invention, in the third aspect of the present invention, preferably, the set number of identification intervals in the intermediate stage of the preprocessing step is s, and s binary output values are "1". It is characterized in that the number V is considerably larger than 1 and considerably smaller than s.
【0017】[0017]
【作用】本発明では、前処理層の各ニューロングループ
に含まれるn個のニューロン要素(例えば対構造を有す
るニューロンが使用される)によってランダムに設定さ
れる通過区間で各特徴の入力値がf1 〜fn であるn次
元特徴空間での位置を決定するようにし、これにより特
徴空間で所定数の超直方体を設定して、超直方体を利用
してその内側に存在するかまたは外側に存在するかとい
うことに基づいて特徴空間内の任意の点のクラス分けを
行う。出力層の入力値に乗算される結合係数で定まる学
習可能層が1層であるから学習速度が高速になる。ま
た、前処理層でのs個のニューロングループから出力さ
れるs個のバイナリ出力値に関し、s個の出力値のうち
「1」となる出力値の個数がVに設定され、この数値V
が1よりもかなり大きくかつsよりもかなり小さくする
という「分散的バイナリコーディング」を利用するよう
にしたため、上記の高速な学習を可能にし、さらにクラ
ス分けの認識速度の高速化を可能にする。According to the present invention, the input value of each feature is f in the pass section randomly set by n neuron elements (for example, a neuron having a pair structure is used) included in each neuron group of the preprocessing layer. The position in the n-dimensional feature space, which is 1 to f n , is determined, and thus a predetermined number of hypercubes are set in the feature space, and the hypercubes are used to exist inside or outside. Classify any point in the feature space based on whether or not to do it. Since there is only one learnable layer determined by the coupling coefficient by which the input value of the output layer is multiplied, the learning speed becomes high. Also, regarding the s binary output values output from the s neuron groups in the pre-processing layer, the number of output values that are “1” among the s output values is set to V, and this numerical value V
Since "distributed binary coding" is used in which is significantly larger than 1 and considerably smaller than s, the above-mentioned high-speed learning is possible and the recognition speed for class classification can be accelerated.
【0018】[0018]
【実施例】以下に、本発明の実施例を添付図面に基づい
て説明する。Embodiments of the present invention will be described below with reference to the accompanying drawings.
【0019】図1は本発明に係るニューラルネットワー
ク・クラシファイアを構成するニューロン素子(以下ニ
ューロンという)の基本的モデルを示す。ニューロン1
1はn個の入力値x1 〜xn と1個の出力値yを有す
る。出力値yは、tをニューロン11のしきい値、入力
値x1 〜xn の和SをS=Σxi wi とするとき、次の
ように定義される。なおwi はニューロン11のi番目
の結合係数である。FIG. 1 shows a basic model of a neuron element (hereinafter referred to as a neuron) which constitutes a neural network classifier according to the present invention. Neuron 1
1 has n input values x 1 to x n and one output value y. The output value y is defined as follows, where t is the threshold value of the neuron 11 and the sum S of the input values x 1 to x n is S = Σx i w i . Note that w i is the i-th coupling coefficient of the neuron 11.
【0020】[0020]
【数1】 S≧tであれば、y=1 …(1) S<tであれば、y=0 …(2)## EQU1 ## If S ≧ t, y = 1 (1) If S <t, y = 0 (2)
【0021】上記のニューロン11は基本的なモデルで
あって、後述のごとく本実施例のネットワーク中では各
部の必要な機能に応じて構造が変更される。The above-mentioned neuron 11 is a basic model, and its structure is changed according to the required function of each part in the network of this embodiment as described later.
【0022】図2は、ニューロン11を基本的要素とし
て構成される本発明に係るクラシファイアのネットワー
ク構造を示す。このネットワーク構造はs個(sは自然
数)のニューロングループG1 ,…,Gj ,…,Gs と
m個のニューロンC1 ,…,Cm を含む。各ニューロン
グループG1 〜Gs の入力は共通な入力値f1 ,…,f
n であり、その出力は出力値y1 ,…,ys である。n
個(nは自然数)の入力値f1 ,…,fn のそれぞれは
特徴を表す。出力値y1 〜ys は、「1」または「0」
の2進数で表現されるバイナリの値である。ニューロン
グループG1 〜Gs は、後述するように、結合係数が固
定である前処理層21を形成する。m個(mは自然数)
のニューロンC1 〜Cm のそれぞれにはニューロングル
ープG1〜Gs のすべての出力値y1 〜ys が入力され
る。各ニューロンC1 〜Cm の各入力線では結合係数w
jiが設定され、入力される値y1 〜ys に対して重み付
けがされる。この結合係数は例えばアナログ量でありか
つ可変であって、結合係数調整手段(図示せず)によっ
て適宜に調整される。ニューロンC1 〜Cm の層は、前
段との間の結合係数が可変である1層の出力層22を形
成する。前処理層21と出力層22の間に結合係数が変
化し得る学習可能層が形成され、これによりクラシファ
イアは学習機能を有する。FIG. 2 shows the network structure of the classifier according to the present invention, which is composed of the neuron 11 as a basic element. This network structure includes s (s is a natural number) neuron groups G 1 , ..., G j , ..., G s and m neurons C 1 , ..., C m . The inputs of the neuron groups G 1 to G s are common input values f 1 , ..., F
n , the output of which is the output value y 1 , ..., Y s . n
Each of the n (n is a natural number) input values f 1 , ..., F n represents a feature. The output values y 1 to y s are “1” or “0”.
Is a binary value represented by a binary number. The neuron groups G 1 to G s form a preprocessing layer 21 having a fixed coupling coefficient, as described later. m (m is a natural number)
All output values y 1 to y s of the neuron groups G 1 to G s are input to the neurons C 1 to C m , respectively. In each input line of each neuron C 1 to C m , the coupling coefficient w
ji is set and weighted with respect to the input values y 1 to y s . This coupling coefficient is, for example, an analog quantity and variable, and is appropriately adjusted by a coupling coefficient adjusting means (not shown). The layers of neurons C 1 to C m form one output layer 22 having a variable coupling coefficient with the preceding stage. A learnable layer having a variable coupling coefficient is formed between the pre-processing layer 21 and the output layer 22, whereby the classifier has a learning function.
【0023】上記において、sは十分に大きな数であ
り、例えば数千というオーダーの数である。mはクラシ
ファイアに対するクラスの最大数であり、例えば通常2
〜数十程度の数である。またnは特徴空間の次元数であ
る。In the above, s is a sufficiently large number, for example on the order of thousands. m is the maximum number of classes for the classifier, eg usually 2
~ It is about several tens. Further, n is the number of dimensions of the feature space.
【0024】次に、図3を参照してニューロングループ
(一般化してGj とする)の内部構造の例を説明する。Next, an example of the internal structure of the neuron group (generalized as G j ) will be described with reference to FIG.
【0025】ニューロングループGj は例えば3層構造
を有している。ニューロングループGj において、第1
の層31は入力値f1 〜fn に対応してn組のニューロ
ン対lij,hij(i=1〜n)を含み、第2の層32は
n個のニューロンaij(i=1〜n)を含み、第3の層
33は1個のニューロンbj を含む。各入力fi (i=
1〜n)は組を形成する2つのニューロンlij,h
ij(i=1〜n)に対し結合係数1で入力される。ニュ
ーロンlijではしきい値tijが設定され、ニューロンh
ijではしきい値Tijが設定されている。ニューロンlij
の出力は第2の層32のニューロンaijに対して興奮性
入力(結合係数が1である)として入力され、ニューロ
ンhijの出力は第2の層32のニューロンaijに対して
抑制性入力(結合係数が−1である)として入力され
る。第2の層32のニューロンaijではしきい値1が設
定される。第2の層32のすべてのニューロンaij(i
=1〜n)からの出力は結合係数1でニューロンbj に
対して興奮性入力として結合される。ニューロンbj で
はしきい値nが設定される。ニューロンbj の出力yj
がニューロングループGj 全体の出力となる。以上のよ
うに、ニューロングループGj 内のすべての結合係数は
1または−1で固定であり、結合は変更不可能の状態に
ある。The neuron group G j has, for example, a three-layer structure. In the neuron group G j , the first
Layer 31 includes n sets of neuron pairs l ij and h ij (i = 1 to n) corresponding to the input values f 1 to f n , and the second layer 32 includes n neurons a ij (i = 1-n), the third layer 33 includes one neuron b j . Each input f i (i =
1 to n) are two neurons l ij , h forming a set
It is input with a coupling coefficient of 1 for ij (i = 1 to n). The threshold value t ij is set for the neuron l ij , and the neuron h
A threshold value T ij is set for ij . Neuron l ij
The output of the input as excitatory input to neurons a ij of the second layer 32 (the coupling coefficient is 1), the output of the neuron h ij is inhibitory to neurons a ij of the second layer 32 Input as input (coupling coefficient is -1). The threshold value 1 is set for the neurons a ij of the second layer 32. All neurons a ij (i in the second layer 32
= 1 to n) are coupled as excitatory inputs to the neuron b j with a coupling coefficient of 1. A threshold value n is set for the neuron b j . Output y j of neuron b j
Is the output of the entire neuron group G j . As described above, all the coupling coefficients in the neuron group G j are fixed at 1 or -1, and the coupling is in an unchangeable state.
【0026】上記においてニューロングループ内で用い
られるニューロンモデルは、図1に示した基本のニュー
ロン11を変形させて用いている。またニューロングル
ープの内部の層数は3層に限定されず、任意の層数で構
成することができる。例えば、層31における2つのニ
ューロンと層32の1つのニューロンからなる組を、同
一の入力・出力特性(識別関数)を有する単一のニュー
ロンで実現することもできる。本実施例では、「ニュー
ロングループ」と表現しても、その概念に中に単一ニュ
ーロンで実現される構成をも含むものとする。換言すれ
ば、ニューロングループを1つのニューロンとして見る
見方も可能である。The neuron model used in the above neuron group is a modification of the basic neuron 11 shown in FIG. Further, the number of layers inside the neuron group is not limited to three, and the neuron group can be configured with any number of layers. For example, a set of two neurons in the layer 31 and one neuron in the layer 32 can be realized by a single neuron having the same input / output characteristic (discriminant function). In the present embodiment, even if expressed as a "neuron group", the concept also includes a configuration realized by a single neuron. In other words, it is possible to view the neuron group as one neuron.
【0027】またニューロンlij,hij(i=1〜n)
のしきい値tij,Tijは、それぞれ例えばランダムな手
続きに基づいて選択され、かつ、各ijの組に関してニュ
ーロンlijのしきい値tijがニューロンhijのしきい値
Tijよりも低くなるように設定される。ニューロンaij
は、興奮性入力が1でありかつ抑制性入力が0であると
き、すなわち入力値fi がtij≦fi <Tijを満たすと
きにのみ発火し、その出力が「1」と等しくなる。tij
〜Tijの範囲は、入力値の存在位置を識別するための通
過区間としての機能を有する。ニューロンbj のしきい
値はnであるので、ニューロンbj はニューロングルー
プGj 内のすべてのニューロンaijが発火した時だけ発
火し、これによって「1」を出力する。Further, neurons l ij and h ij (i = 1 to n)
The thresholds t ij and T ij of ij are selected based on, for example, a random procedure, and the threshold t ij of the neuron l ij is greater than the threshold T ij of the neuron h ij for each ij set. It is set to be low. Neuron a ij
Fires only when the excitatory input is 1 and the inhibitory input is 0, that is, when the input value f i satisfies t ij ≤f i <T ij , and its output becomes equal to "1". . t ij
The range from to T ij has a function as a passage section for identifying the existing position of the input value. Since the threshold value of the neuron b j is n, the neuron b j fires only when all the neurons a ij in the neuron group G j fire, thereby outputting "1".
【0028】以上において、しきい値tij,Tijのそれ
ぞれの値の決め方は、tij<Tijを満たすという条件の
下でランダムに行われることが望ましい。ここで、「ラ
ンダム」とは、n組のしきい値(tij,Tij)によって
指定されるs個の判定領域の分布を全体的に見たとき、
特定な統計的な偏りがないということを意味する。換言
すれば、結果として得られたs個の判定領域の分布がラ
ンダムであればよい。他方、決め方の手続き自体がラン
ダムである必要は必ずしもない。例えば、s個のバイナ
リ出力値のうち「1」の数がVになるように組織的に決
めることもできる。このVの値はおよそ数十〜数百とい
うオーダーの数である。In the above, it is desirable that the respective values of the threshold values t ij and T ij are determined randomly under the condition that t ij <T ij is satisfied. Here, “random” means that when the distribution of s judgment regions specified by n sets of threshold values (t ij , T ij ) is viewed as a whole,
It means that there is no particular statistical bias. In other words, the distribution of the s determination regions obtained as a result may be random. On the other hand, the decision procedure itself does not necessarily have to be random. For example, it is possible to systematically determine that the number of "1" s out of s binary output values becomes V. The value of V is on the order of tens to hundreds.
【0029】ここで、上記の構造を有するニューロング
ループGj (j=1〜s)の機能を幾何学的な解釈に基
づき説明する。説明を簡単にするために、今仮に、第1
のニューロングループG1 に入力される特徴がf1 ,f
2 の2つだけであるとし、2つの特徴についての入力値
がd,eであるとする。入力値d,eのそれぞれはニュ
ーロンの組(l11,h11),(l21,h21)に入力され
る。ニューロンl11,h11の各しきい値をt11,T11と
し、ニューロンl21,h21の各しきい値をt21,T21と
する。このような前提において、第3の層32のニュー
ロンb1 が発火して「1」を出力するのは、入力値d,
eで指定される点が、図4に示される長方形41の内側
領域に存在するときのみである。理由は次の通りであ
る。Here, the function of the neuron group G j (j = 1 to s) having the above structure will be described based on a geometrical interpretation. In order to simplify the explanation
Feature f 1 is input to the neuron group G 1 of, f
It is assumed that there are only two , 2 and the input values for the two features are d and e. Each of the input values d and e is input to the pair of neurons (l 11 , h 11 ), (l 21 , h 21 ). The thresholds of the neurons l 11 and h 11 are t 11 and T 11, and the thresholds of the neurons l 21 and h 21 are t 21 and T 21 . Under such a premise, the neuron b 1 of the third layer 32 fires and outputs “1” because the input value d,
Only when the point designated by e exists in the inner area of the rectangle 41 shown in FIG. The reason is as follows.
【0030】図4に示される二次元空間において横軸は
特徴f1 、縦軸は特徴f2 である。長方形41は横軸の
しきい値t11,T11で定まる区間と縦軸のしきい値をt
21,T21で定まる区間とによって画定される。第2の層
32の各ニューロンでt11≦d<T11およびt21≦e<
T21が満足されるときにのみすべてのニューロンが発火
し、その結果ニューロンb1 が発火することになる。t
11≦d<T11とt21≦e<T21の条件を満たすことは、
入力値d,eが長方形41の内側領域内に存在すること
を意味する。In the two-dimensional space shown in FIG. 4, the horizontal axis represents the feature f 1 and the vertical axis represents the feature f 2 . The rectangle 41 has a section defined by the threshold values t 11 and T 11 on the horizontal axis and a threshold value on the vertical axis t.
21 and a section defined by T 21 . For each neuron of the second layer 32, t 11 ≤d <T 11 and t 21 ≤e <
Only when T 21 is satisfied will all neurons fire, resulting in neuron b 1 . t
Satisfying the conditions of 11 ≦ d <T 11 and t 21 ≦ e <T 21
It means that the input values d and e exist in the inner area of the rectangle 41.
【0031】ニューロングループは、G1 だけではなく
多数存在するから、図5に示すように特徴空間は大きさ
と位置の異なる多くの長方形51で覆われることにな
る。各長方形は、所定の大小関係を有しかつランダムに
設定される2つのしきい値によって決定されるので、多
くの長方形の形成もランダムに行われる。Since many neuron groups exist in addition to G 1 , the feature space is covered with many rectangles 51 having different sizes and positions as shown in FIG. Since each rectangle has a predetermined magnitude relationship and is determined by two threshold values that are randomly set, many rectangles are also formed at random.
【0032】上記の特徴空間は実際に多次元空間になる
ので、この場合、上記長方形の領域は、多次元直方体す
なわち超直方体に拡張される。前処理層21の各ニュー
ロングループの出力yj が入力特徴空間内の1つの超直
方体に対応する。前処理層21に入力される特徴値が、
その超直方体の内側にあるか外側にあるかで、出力が決
定される。なお超直方体の数sは、特徴空間の各点が十
分大きな数の超直方体で覆われるように選択される。Since the above-mentioned feature space is actually a multidimensional space, in this case, the rectangular region is expanded to a multidimensional rectangular parallelepiped, that is, a hypercube. The output y j of each neuron group of the preprocessing layer 21 corresponds to one hypercube in the input feature space. The feature value input to the preprocessing layer 21 is
The output is determined whether it is inside or outside the hypercube. Note that the number s of hypercubes is selected so that each point in the feature space is covered by a sufficiently large number of hypercubes.
【0033】上記構造を有する前処理層21では、その
出力値y1 〜ys が多次元の分散的バイナリコーディン
グを形成する。「分散的バイナリコーディング」とは、
1つの入力値fi に対し、sビットのバイナリコードで
あってsビット中の「1」の個数を表す数値Vが1より
もかなり大きくかつsよりもかなり小さい値になるよう
なバイナリコードを対応させるコーディング方式のこと
をいう。前述の通り、sは例えば数千という数であり、
Vは例えば数十〜数百という数である。In the preprocessing layer 21 having the above structure, the output values y 1 to y s form multidimensional distributed binary coding. What is "distributed binary coding"?
For one input value f i , a binary code of s bits, in which a numerical value V representing the number of “1” s in s bits is a value considerably larger than 1 and considerably smaller than s, Refers to the corresponding coding method. As mentioned above, s is, for example, several thousand,
V is, for example, several tens to several hundreds.
【0034】出力層22の各ニューロンは、各ニューロ
ングループの出力値yj (j=1〜s)に結合係数を乗
算してなる値を入力し、その和を得る。各ニューロンC
1 〜Cm の内部には、和を演算する機能が内蔵される。
各ニューロングループの出力値yj は、発火するときに
は「1」、そうでないときには「0」であるので、出力
層22の各ニューロンにおける活性値の演算(積和演
算)は、「1」である出力値yj (j=1〜s)に対応
する結合係数を単純に加算することで行われる。s個の
出力値yj において「1」である個数は、前述の分散的
バイナリコーディングに従ってsよりもかなり小さいV
であるので、直列演算の場合には高速な演算を、並列演
算の場合には演算器を小さくすることができる。またす
べてのニューロンC1 〜Cm は、代表的に、もっとも興
奮度の高いニューロンが1つだけ発火するように制御さ
れた共通のしきい値を有する。出力層22においてニュ
ーロンC1 〜Cm のうちどのニューロンが発火したかと
いうことで、入力された特徴空間内の点(入力値f1 ,
…,fn で決まる)が属するクラスが識別される。s個
の出力値yj において「1」の個数を表すVは1よりも
かなり大きな数であるので、V個の「1」によるコード
で表現可能な組合せの総数は、最大sのV乗のオーダで
あり、識別の分解能を高くすることができる。Each neuron of the output layer 22 inputs a value obtained by multiplying the output value y j (j = 1 to s) of each neuron group by a coupling coefficient and obtains the sum. Each neuron C
Inside 1 to C m , a function for calculating a sum is built in.
The output value y j of each neuron group is “1” when it is fired, and is “0” when it is not fired. Therefore, the operation value calculation (sum of products operation) of each neuron of the output layer 22 is “1”. This is performed by simply adding the coupling coefficients corresponding to the output values y j (j = 1 to s). The number that is “1” in the s output values y j is significantly smaller than s according to the above-mentioned distributed binary coding.
Therefore, a high-speed operation can be performed in the case of serial operation, and an operation unit can be reduced in the case of parallel operation. Also, all neurons C 1 -C m typically have a common threshold controlled such that only the most excitable neuron fires. Which of the neurons C 1 to C m has fired in the output layer 22 indicates the point (input value f 1 ,
, ( Determined by f n ) belongs to the class. Since V representing the number of "1" s in the s output values y j is considerably larger than 1, the total number of combinations that can be represented by V "1" codes is the maximum of s Vth power. This is an order, and the resolution of identification can be increased.
【0035】なお、すべてのニューロンC1 〜Cm で
は、複数の発火を許容したり、あるいはアナログ出力を
行ったりするように、しきい値または出力関数を設定す
ることもできる。In all the neurons C 1 to C m , a threshold value or an output function can be set so as to allow a plurality of firings or perform analog output.
【0036】ここで、ランダム・スレシュホールド・ク
ラシファイア(RTCという)の分解能について説明す
る。Here, the resolution of the random threshold classifier (called RTC) will be described.
【0037】いま特徴空間を一辺の長さ1のn次元超立
方体とする。RTCでは、前処理によってこの特徴空間
の各点を、s個の識別関数を用いて、s次元のバイナリ
ベクトル(内部表現ベクトル)にマッピングする。そし
て学習可能層である出力層において、s次元のバイナリ
ベクトルを各クラスを表す出力にマッピングする。Let us now assume that the feature space is an n-dimensional hypercube with a side length of 1. In RTC, each point in this feature space is mapped to an s-dimensional binary vector (internal representation vector) by using s discriminant functions by preprocessing. Then, in the output layer that is the learnable layer, the s-dimensional binary vector is mapped to the output representing each class.
【0038】RTCの場合、内部表現ベクトルがいつで
もおよそV個の「1」のビットを持つようにランダムな
位置と大きさを有する超直方体に対応する識別関数によ
ってコーディングされるので、この内部表現ベクトルは
入力値に応じて非常に多くの状態をとることができるよ
うになり、その状態の数は大体s CV で、およそsのV
乗のオーダになると考えられる。従って、特徴空間にお
ける識別可能な最小体積はその逆数、すなわち1/sV
のオーダとなる。In the case of RTC, this internal representation vector is coded by the discriminant function corresponding to a hyper-rectangle having a random position and size such that it always has approximately V "1" bits. Can take an extremely large number of states depending on the input value, and the number of states is approximately s C V , and V is approximately s.
It is considered to be the order of powers. Therefore, the smallest identifiable volume in the feature space is its reciprocal, namely 1 / s V
It becomes the order of.
【0039】これを、ハイパーキューブ・クラシファイ
アのように、領域がオーバーラップしないs個の識別関
数でコーディングしたときと比較すると、内部表現ベク
トルは常に1個だけの「1」のビットを持つために、そ
の取りうる状態の数はsとなり、そのために特徴空間に
おける識別可能な最小体積は1/sとなる。しかもここ
で、sが数千、Vが数十であることを考えると、この分
解能の差は非常に大きなものとなる。Comparing this with the case of coding with s discriminant functions whose regions do not overlap, like a hypercube classifier, the internal representation vector always has only one "1" bit. , The number of possible states is s, and therefore the minimum identifiable volume in the feature space is 1 / s. Moreover, considering that s is several thousand and V is several tens, this difference in resolution becomes very large.
【0040】前処理層21と出力層22の間の結合関係
で定義された結合係数に基づく学習則を説明する。ここ
で、図1のクラシファイアにサンプルデータを入力する
ものとし、当該サンプルが実際に属するクラスの番号を
r、クラシファイアにサンプルを入力したときに出力さ
れるクラスの番号をkとする。この場合に、もしk=r
であれば、クラシファイアによって正しいクラスの識別
が行われたものとして、学習可能層では何の学習も行わ
れない。またもしk≠rであれば、クラシファイアによ
って誤ったクラスの識別が行われたものとして、次のよ
うな学習、すなわち各結合係数の変更(または更新)が
結合係数調整手段によって行われる。The learning rule based on the coupling coefficient defined by the coupling relation between the preprocessing layer 21 and the output layer 22 will be described. Here, it is assumed that sample data is input to the classifier in FIG. 1, the class number to which the sample actually belongs is r, and the class number output when the sample is input to the classifier is k. In this case, if k = r
In that case, no learning is performed in the learnable layer, assuming that the classifier has correctly identified the class. If k ≠ r, it is assumed that the classifier has erroneously identified the class, and the following learning, that is, changing (or updating) of each coupling coefficient is performed by the coupling coefficient adjusting unit.
【0041】[0041]
【数2】 Wjr=wjr+yj …(3) Wjr=wjr−yj もしwjr>0の場合 …(4) Wjr=0 もしwjr=0の場合 …(5)(2) W jr = w jr + y j (3) W jr = w jr -y j If w jr > 0 (4) W jr = 0 If w jr = 0 (5)
【0042】上式において、jは出力層22のニューロ
ンの番号、wjrとWjrはそれぞれ学習の前と後のニュー
ロンbj からニューロンck への結合線の結合係数、y
j はニューロンbj の出力値である。また結合係数を符
号ありとする場合、上記の式(4),(5)の代わりに
式Wjr=wjr−yj を用いればよい。In the above equation, j is the number of the neuron in the output layer 22, w jr and W jr are the coupling coefficient of the coupling line from the neuron b j to the neuron c k before and after the learning, respectively, and y
j is the output value of the neuron b j . When the coupling coefficient has a sign, the formula W jr = w jr −y j may be used instead of the formulas (4) and (5).
【0043】上記のような結合係数の変更を、トレーニ
ングセットとして用意された複数のサンプルの各々につ
いて順に行い、誤りが十分に少なくなるか、または決め
られた回数のサイクルが終了するまで繰り返す。The change of the coupling coefficient as described above is sequentially performed for each of the plurality of samples prepared as the training set, and the repetition is repeated until the number of errors is sufficiently reduced or a predetermined number of cycles are completed.
【0044】なお、前述のように、出力ニューロンC1
〜Cm のしきい値または出力関数の設定を変更した場合
には、当然それに応じて結合係数の更新公式も変更され
るべきである。As described above, the output neuron C 1
If you change the setting of the threshold or the output function of -C m should of course be changed or update official coupling coefficient accordingly.
【0045】上記のように構成された本実施例に係るク
ラシファイアに基づく認識の過程、すなわち特徴空間で
の任意の点が属するクラスの識別の過程は、前述の図5
で明らかである。図5において、特徴空間での入力され
る新しい点P(F1,F2)を考えるとき、この点Pが
k番目のクラスに属するのであれば、この点Pはk番目
のクラス内に存在するn次元の超直方体によって覆われ
ると予想される。すなわち、前述のトレーニングを通し
て、対応する発火ニューロンbj からk番目のクラスへ
のニューロンへの結合が、ニューロンbj と他のクラス
との間の結合よりも通常強くなる。この結果、点Pは、
k番目のクラスと認識される確率が高くなる。The process of recognition based on the classifier according to the present embodiment configured as described above, that is, the process of identifying a class to which an arbitrary point in the feature space belongs is described with reference to FIG.
Is clear in. In FIG. 5, when considering a new input point P (F1, F2) in the feature space, if this point P belongs to the kth class, this point P exists in the kth class n It is expected to be covered by a hypercube of dimension. That is, through the aforementioned training, the coupling from the corresponding firing neuron b j to the k-th class neuron is usually stronger than the coupling between neuron b j and other classes. As a result, the point P is
The probability of being recognized as the kth class is high.
【0046】上記のごとく構成されるクラシファイア
は、学習可能層が単一であり、前処理層21で前述のご
とく分散的バイナリコーディングが実行され、かつVの
数値が少ないので、短い時間で学習および認識・識別を
行うことができ、また同様な理由で、認識率を高めるこ
とができる。The classifier constructed as described above has a single learnable layer, the distributed binary coding is executed in the preprocessing layer 21 as described above, and the number of V is small. The recognition / identification can be performed, and the recognition rate can be increased for the same reason.
【0047】上記のクラシファイアは、図2および図3
で示した構成を有する専用のハードウェアを実現するこ
ともできるし、また等価なハードウェアやソフトウェア
で実現することもできる。The classifier described above is shown in FIGS.
It is also possible to realize dedicated hardware having the configuration shown in, or equivalent hardware or software.
【0048】また前処理層21と出力層22との間の学
習可能層における結合係数は、上記実施例では正の数
(興奮性の結合係数)として説明したが、必要に応じ
て、正と負の数(興奮性と抑制性の結合係数)によって
構成することもできる。The coupling coefficient in the learnable layer between the pre-processing layer 21 and the output layer 22 has been described as a positive number (excitatory coupling coefficient) in the above embodiment, but it may be set to a positive value if necessary. It can also be configured by a negative number (excitatory and inhibitory coupling coefficient).
【0049】また上記実施例では前処理層21の各ニュ
ーロングループを3層31,32,33のニューラルネ
ットワークとして構成したが、前処理層21の構造はこ
れに限定されない。例えば第2層と第3層を統合して2
層のニューラルネットワークとして形成し、等価の機能
を実現することもできる。さらに、上記実施例で用いた
ニューロンモデルに限定せず、前処理層と等価の働きを
有するその他の回路またはアルゴリズムを用いることも
できる。Further, in the above embodiment, each neuron group of the pre-processing layer 21 is constructed as a neural network of three layers 31, 32 and 33, but the structure of the pre-processing layer 21 is not limited to this. For example, by integrating the second layer and the third layer, 2
It can also be formed as a layered neural network to realize an equivalent function. Furthermore, the present invention is not limited to the neuron model used in the above embodiment, and other circuits or algorithms having an equivalent function to the preprocessing layer can be used.
【0050】図6にニューロングループの他の構造を示
す。この構造では、図3の構造と比較して第2層32を
省略し、第1層31の各出力をニューロンbj に直接に
入力させている。この構造の場合には、ニューロンbj
内の演算機能で前記のニューロンaij(i=1〜n)の
演算機能を持たせるようにしている。本実施例によれ
ば、ネットワークの構造が簡素になる。FIG. 6 shows another structure of the neuron group. In this structure, the second layer 32 is omitted as compared with the structure of FIG. 3, and each output of the first layer 31 is directly input to the neuron b j . In the case of this structure, the neuron b j
The calculation function of the inside is given to the calculation function of the neuron a ij (i = 1 to n). According to this embodiment, the network structure is simplified.
【0051】次に、前処理層21で実現される等価な機
能を、従来の通常のコンピュータを利用し前処理方法と
してソフトウェアで近似的に実現する場合の具体例につ
いて説明を加える。Next, a specific example in which equivalent functions realized by the pre-processing layer 21 are approximately realized by software as a pre-processing method using a conventional ordinary computer will be described.
【0052】この前処理方法に基づくステップは次の通
りである。下記のステップにおいて、入力される各特徴
の値をf1 〜fn とし、簡単化のため各fi は0≦fi
<1の値をとるものとする。また各特徴値fi に対して
図7に示すテーブルCi [K+1]を予め作っておく。
テーブルCi [K+1]の各要素Ci [k](k=0〜
L)は、fi =k/Lに対するバイナリコードである。
各特徴値f1 〜fn が与えられたとき、下記に示すステ
ップ1〜5でコーディングが行われる。The steps based on this pretreatment method are as follows. In the following steps, the value of each input feature is set to f 1 to f n, and each f i is 0 ≦ f i for simplification.
It shall take a value of <1. Further, a table C i [K + 1] shown in FIG. 7 is created in advance for each feature value f i .
Each element C i [k] (k = 0 to 0 of table C i [K + 1]
L) is the binary code for f i = k / L.
When each feature value f 1 to f n is given, coding is performed in steps 1 to 5 shown below.
【0053】ステップ1: fi =k/L+r,k=0
〜(L−1);kは整数,0≦r<1となるようなk,
rを求める。Step 1: f i = k / L + r, k = 0
~ (L-1); k is an integer, k such that 0 ≦ r <1,
Find r.
【0054】ステップ2: sビット中にs×rビット
の「1」を含むマスクMを作る。この作り方は、計算機
のアーキテクチャに合わせて適当に決められる。Step 2: Create a mask M containing s × r bits of "1" in s bits. The method of making this is appropriately determined according to the architecture of the computer.
【0055】ステップ3: (Ci [k]& ̄M)|
(Ci [k+1]&M)の演算を行い、解を得る。ここ
で、「 ̄」はビットごとの否定演算子、「&」はビット
ごとのAND演算子、「|」はビットごとのOR演算子
を意味する。Step 3: (C i [k] & MM) |
(C i [k + 1] & M) is calculated to obtain a solution. Here, "|" means a bitwise negation operator, "&" means a bitwise AND operator, and "|" means a bitwise OR operator.
【0056】ステップ4: 上記のステップ1〜3を、
i=1,2,…,nに関して行い、それぞれでコードを
得る。Step 4: The above Steps 1 to 3 are
Perform for i = 1, 2, ..., N and get a code for each.
【0057】ステップ5: 求められたすべてのコード
について、ビットごとにAND演算を行う。Step 5: An AND operation is performed for each bit of all the obtained codes.
【0058】以上のアルゴリズムを利用することによ
り、前処理層21の出力値yi に相当するバイナリコー
ドを得ることができ、上記近似計算による前処理方法に
よれば処理を高速化することができる。By using the above algorithm, a binary code corresponding to the output value y i of the preprocessing layer 21 can be obtained, and the processing speed can be increased by the preprocessing method based on the above approximate calculation. .
【0059】[0059]
【発明の効果】以上の説明で明らかなように、結合係数
が固定な層状ニューロングループを含む前処理層と1つ
の学習機能を有した出力層からなるクラシファイアにお
いて、単一の学習可能層と、前処理層における分散的バ
イナリコーディングとによって、学習時間と認識時間の
高速化を達成でき、また特徴空間におけるクラス分けに
おいてオーバーラップ部分が形成される複数の超直方体
を使用し、かつ分散的バイナリコーディングにおいてコ
ードの全体ビット数および発火して「1」となるビット
数を適切に設定したため、高い認識率を達成することが
できる。As is clear from the above description, in the classifier consisting of the preprocessing layer including the layered neuron group with a fixed coupling coefficient and the output layer having one learning function, a single learnable layer, By using distributed binary coding in the pre-processing layer, it is possible to achieve faster learning time and recognition time, and to use multiple hyper-rectangles in which overlapping portions are formed in the classification in the feature space and to perform distributed binary coding. Since the total number of bits of the code and the number of bits that become "1" when fired are properly set in, a high recognition rate can be achieved.
【図1】基本的なニューロンモデルを説明するための図
である。FIG. 1 is a diagram for explaining a basic neuron model.
【図2】本発明に係るニューラルネットワーク・クラシ
ファイアのネットワークを示す図である。FIG. 2 is a diagram showing a network of a neural network classifier according to the present invention.
【図3】ニューロングループの内部構成を示す図であ
る。FIG. 3 is a diagram showing an internal structure of a neuron group.
【図4】1つのニューロングループで設定される2つの
しきい値の幾何学的な解釈を説明するための図である。FIG. 4 is a diagram for explaining a geometrical interpretation of two threshold values set in one neuron group.
【図5】多数のニューロングループのそれぞれで設定さ
れる2つのしきい値によって複数の長方形が特徴空間に
おいて設定されることを説明するための図である。FIG. 5 is a diagram for explaining that a plurality of rectangles are set in the feature space by two threshold values set in each of a large number of neuron groups.
【図6】ニューロングループの他の内部構成を示す図で
ある。FIG. 6 is a diagram showing another internal configuration of a neuron group.
【図7】前処理層の機能をソフトエェアで近似的に実現
する場合に利用されるテーブルを示す図である。FIG. 7 is a diagram showing a table used when the function of the pretreatment layer is approximately realized by software.
11 ニューロン 21 前処理層 22 出力層 11 Neurons 21 Preprocessing Layer 22 Output Layer
フロントページの続き (72)発明者 エルンスト・クスリ ウクライナ,252207,キエフ 207 プロ スペクト アカデミカ グルシュコバ 40,インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 タチアナ・バイディーク ウクライナ,252207,キエフ 207 プロ スペクト アカデミカ グルシュコバ 40,インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 ウラジミル・ルコヴィッチ ウクライナ,252207,キエフ 207 プロ スペクト アカデミカ グルシュコバ 40,インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 ドミトリィ・ラチコフスキィ ウクライナ,252207,キエフ 207 プロ スペクト アカデミカ グルシュコバ 40,インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニFront page continued (72) Inventor Ernst Kusri Ukraine, 252207, Kiev 207 Prospect Academia Gurshkova 40, Institute Key Bernetiki Imeni Beem Gruskova Nazional Neu Academy Nauk Ukraini (72) Inventor Tatiana Bydikh Ukraine, 252207, spectrin Academica Gurushukoba 40, Institute Kiberuneti key Imeni based em Gurushukoba Natsuionarunoi Academy Nauku Ukuraini (72) inventor Vladimir Rukovitchi Ukraine, 252207, Kiev 207 Pro spectrin Academica Gurushukoba 40, Institute Kiberuneti key Imeni based em Gurushukoba Natsuionarunoi Academy Nauku Ukuraini (72) Inventor Dmitry Latikovsky Ukraine, 252207, Kiev 207 Prospect Academia Gruskova 40, Institute Key Bernetiki Immeny Bem Gruskova Nazionarnoy Academy Nauk Ukraini
Claims (4)
数)のニューロングループを含み、これらのニューロン
グループがn個(nは自然数)の特徴に関する入力値を
すべて入力するように構成された前処理層と、 前記前処理層の前記s個のニューロングループの各々の
出力値を、結合係数で重み付けして入力するm個(mは
自然数)のニューロン要素を含む1層の出力層とを備
え、 前記前処理層の前記ニューロングループの各々は、特徴
空間を定義する前記n個の特徴の各軸で、対応する前記
入力値の通過区間を定める2つのしきい値がランダムに
設定されるn個のニューロン要素を含むことを特徴とす
るニューラルネットワーク・クラシファイア。1. A group of s (s is a natural number) neuron groups having fixed coupling coefficients, and these neuron groups are configured to input all input values for n (n is a natural number) features. A preprocessing layer and a single output layer including m (m is a natural number) neuron elements for inputting the output values of the s neuron groups of the preprocessing layer by weighting with a coupling coefficient. In each of the neuron groups of the pre-processing layer, two threshold values that define a passage section of the corresponding input value are randomly set on each axis of the n features that define a feature space. A neural network classifier characterized by including n neuron elements.
・クラシファイアにおいて、前記前処理層での前記s個
のニューロングループから出力されるs個の出力値がバ
イナリで表現される値であり、前記s個の出力値のうち
「1」となる出力値の個数がVに設定され、この数値V
が1よりもかなり大きくかつsよりもかなり小さいこと
を特徴とするニューラルネットワーク・クラシファイ
ア。2. The neural network classifier according to claim 1, wherein the s number of output values output from the s number of neuron groups in the preprocessing layer are values expressed in binary, and the number of the s number of output values is s. The number of output values that become "1" among the output values of
A neural network classifier characterized in that is significantly greater than 1 and significantly less than s.
結合関係が固定であり、n個(nは自然数)の特徴の各
々に関する入力値を入力し、各入力値ごとに特徴軸上で
の存在範囲を識別するための識別区間がランダムに定め
られた中間段階を有し、前記n個の特徴の各々で、対応
する入力値が前記識別区間に関する存在条件を満たすと
きにのみ出力を発する前処理ステップと、 学習可能な特性を備える出力ステップと、 を備えることを特徴とするニューラルネットワークの構
成法。3. A connection relation between means for forming a neuron model is fixed, input values for each of n (n is a natural number) features are input, and each input value is present on the feature axis. A pre-processing which has an intermediate step in which an identification section for identifying a range is randomly determined, and outputs an output only when a corresponding input value satisfies a existence condition regarding the identification section in each of the n features. A method for constructing a neural network, comprising: a step, and an output step having a learnable characteristic.
の構成法において、前記前処理ステップの前記中間段階
の識別区間の設定数はsであり、かつs個のバイナリ出
力値のうち「1」となる個数Vが1よりもかなり大きく
かつsよりもかなり小さいことを特徴とするニューラル
ネットワークの構成法。4. The method of constructing a neural network according to claim 3, wherein the set number of identification sections in the intermediate stage of the preprocessing step is s, and is “1” among s binary output values. A method for constructing a neural network, characterized in that the number V is considerably larger than 1 and considerably smaller than s.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6207941A JPH0855098A (en) | 1994-08-09 | 1994-08-09 | Neural network classifier and neural network configuration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6207941A JPH0855098A (en) | 1994-08-09 | 1994-08-09 | Neural network classifier and neural network configuration method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0855098A true JPH0855098A (en) | 1996-02-27 |
Family
ID=16548079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6207941A Pending JPH0855098A (en) | 1994-08-09 | 1994-08-09 | Neural network classifier and neural network configuration method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0855098A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018189791A1 (en) * | 2017-04-10 | 2018-10-18 | ソフトバンク株式会社 | Information processing device, information processing method, and program |
US11494388B2 (en) | 2017-04-10 | 2022-11-08 | Softbank Corp. | Information processing apparatus, information processing method, and program |
US11586933B2 (en) | 2017-04-10 | 2023-02-21 | Softbank Corp. | Information processing apparatus, information processing method, and program for simulating growth of cells |
-
1994
- 1994-08-09 JP JP6207941A patent/JPH0855098A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018189791A1 (en) * | 2017-04-10 | 2018-10-18 | ソフトバンク株式会社 | Information processing device, information processing method, and program |
JPWO2018189791A1 (en) * | 2017-04-10 | 2020-03-05 | ソフトバンク株式会社 | Information processing apparatus, information processing method, and program |
US11494640B2 (en) | 2017-04-10 | 2022-11-08 | Softbank Corp. | Information processing apparatus, information processing method, and program |
US11494388B2 (en) | 2017-04-10 | 2022-11-08 | Softbank Corp. | Information processing apparatus, information processing method, and program |
US11586933B2 (en) | 2017-04-10 | 2023-02-21 | Softbank Corp. | Information processing apparatus, information processing method, and program for simulating growth of cells |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6009418A (en) | Method and apparatus for neural networking using semantic attractor architecture | |
Sakar et al. | Growing and pruning neural tree networks | |
JP3520048B2 (en) | Visualization and self-organization of multidimensional data by equalized orthogonal mapping | |
Benaim | On functional approximation with normalized Gaussian units | |
Zhang et al. | Spiking echo state convolutional neural network for robust time series classification | |
Bellido et al. | Do backpropagation trained neural networks have normal weight distributions? | |
Yeganejou et al. | Classification via deep fuzzy c-means clustering | |
Varshitha et al. | Natural language processing using convolutional neural network | |
Zhang et al. | Introduction to artificial neural network | |
Prakash et al. | Growing subspace pattern recognition methods and their neural-network models | |
Guo et al. | Dynamic neural network structure: A review for its theories and applications | |
JPH0855098A (en) | Neural network classifier and neural network configuration method | |
Kulkarni | Neural-fuzzy models for multispectral image analysis | |
Bishop et al. | Neural networks-an introduction | |
US6490571B1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
Mansuri et al. | Modified DMGC algorithm using ReLU-6 with improved learning rate for complex cluster associations | |
Bodyanskiy et al. | Probabilistic neuro-fuzzy network with non-conventional activation functions | |
Owens et al. | A multi-output-layer perceptron | |
Chen et al. | A recurrent functional-link-based neural fuzzy system and its applications | |
Bello et al. | Classification of Dataset Using Deep Belief Networks Clustering Method | |
Imran et al. | Convolutional Neural Network (CNN) with Randomized Pooling | |
Huang | Interpretations of Deep Learning by Forests and Haar Wavelets | |
Parvin et al. | A heuristic classifier ensemble for huge datasets | |
Lee et al. | Inductive learning of fuzzy rule-based classifier with self-constructing clustering | |
Haider et al. | BEGSS! Pruning Candidate Selection for ConvNets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050823 |