JPH0855098A - Neural network classifier and neural network configuration method - Google Patents

Abstract

PURPOSE:To provide a neural network classifier and neural network configuration method which achieves a high learning speed, a high recognition speed, and a high recognition rate and has a discrimination capability suitable for the practical use. CONSTITUTION:A preprocessing layer 21, which includes neuron groups G1 to Gs consisting of several neuron layers which have coupling coefficients fixed and is so constituted that input. values f1 to fn related to n features are inputted to these In neuron groups, and a single output layer 22 including m neuron. elements C1 to Cm to which output values of neuron groups of the preprocessing layer are inputted are provided. Consequently, each neuron group includes n pairs of neuron elements to which two thresholds which determine the passage section of the corresponding input value on each axis defining the feature space are set at random. S output values outputted from neuron groups are processed by discrete binary coding.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、画像データ処理やシス
テムの故障診断処理等に利用されるニューラルネットワ
ーク・クラシファイアおよびニューラルネットワークの
構成法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network classifier and a method of constructing a neural network used for image data processing, system failure diagnosis processing and the like.

【０００２】[0002]

【従来の技術】ニューラルネットワーク・クラシファイ
ア（Neural Network Classifier ：以下では簡略して
「クラシファイア」という）は、多数のニューロンモデ
ルを用いて構成されるニューラルネットワークを利用し
て実現され、カテゴリを識別する機能を有するシステム
である。ニューロンモデルは、神経細胞に似せて考えら
れた多入力１出力の情報処理素子である。クラシファイ
アの代表例は、パーセプトロン（ローゼンブラットによ
って提案された学習機械のモデル）の構造を有するもの
である。またパーセプトロン構造を有しないクラシファ
イアも存在する。パーセプトロン構造は、ニューロンモ
デルを利用して作られ、例えば入力層、中間層、出力層
の３層によって形成される構造である。各層のニューロ
ンモデルの間は接続線で接続され、各接続線では可変の
結合係数（結合重みともいう）が設定される。この結合
係数を自動調整できる構造を設けることにより、ニュー
ロンモデルへ与えられる各入力の当該ニューロンモデル
に及ぼす効果が決定される。こうしてクラシファイア全
体として学習機能を発生させることができる。クラシフ
ァイアでは、教師データの入力に基づき、教師データに
対応する所望の出力が発生するように、結合係数が自動
的に調整される。クラシファイアが入力層と中間層と出
力層による３層のパーセプトロン構造を有する場合、入
力層と中間層の間、中間層と出力層の間に学習可能層が
形成される。2. Description of the Related Art A neural network classifier (Neural Network Classifier: hereinafter simply referred to as "classifier") is realized by using a neural network composed of many neuron models and has a function of identifying a category. It is a system having. The neuron model is a multi-input / single-output information processing element that is considered to resemble a nerve cell. A typical example of a classifier has a structure of a perceptron (a model of a learning machine proposed by Rosenblatt). There are also classifiers that do not have a perceptron structure. The perceptron structure is a structure created by using a neuron model, and is formed by, for example, three layers of an input layer, an intermediate layer, and an output layer. The neuron models in each layer are connected by connecting lines, and variable connecting coefficients (also called connecting weights) are set in each connecting line. By providing a structure capable of automatically adjusting the coupling coefficient, the effect of each input given to the neuron model on the neuron model is determined. In this way, the learning function can be generated in the classifier as a whole. In the classifier, the coupling coefficient is automatically adjusted based on the input of the teacher data so that the desired output corresponding to the teacher data is generated. When the classifier has a three-layer perceptron structure including an input layer, an intermediate layer, and an output layer, a learnable layer is formed between the input layer and the intermediate layer and between the intermediate layer and the output layer.

【０００３】ここで「クラシファイアの構成」を数学的
手法という観点で述べる。ｎ次元の空間（特徴空間とい
う）においてこの空間をクラスと呼ばれるｋ個の区域に
分ける面を考えるものとし、また多数のサンプル（特徴
空間内の点）からなるトレーニングセット（上記教師デ
ータに相当）が用意され、その各点がどのクラスに属す
るかが分かっているものとする。このような前提の下で
「クラシファイアを構成する」とは、上記トレーニング
セットを利用することにより、特徴空間内の新しい任意
の点に関してその点が属するクラスを指示できるような
手続きを実現することである。Here, the "classifier construction" will be described in terms of a mathematical method. Consider a plane that divides this space into k areas called classes in an n-dimensional space (called a feature space), and a training set consisting of a large number of samples (points in the feature space) (corresponding to the above teacher data). Is prepared and it is known to which class each point belongs. Under such a premise, “to construct a classifier” means to realize a procedure that can specify a class to which a new arbitrary point in the feature space belongs by using the above training set. is there.

【０００４】従来のクラシファイアでは、識別対象の持
つｎ次元の特徴（ベクトル：特徴量ｆ₁ 〜ｆ_n で表現さ
れる）の各々を当該クラシファイアの入力層に入力し、
その出力に基づいて対象が属するカテゴリ（パターンと
もいう；前述の「区域（クラスと呼ばれる）」に相当）
の識別を行っていた。上記のクラシファイアは、専用ニ
ューロン素子を用いてハードウェアによって、または等
価の機能を有するソフトウェアによって実現される。In the conventional classifier, each of the n-dimensional features (vector: represented by feature quantities f _{1 to} f _n ) of the identification target is input to the input layer of the classifier,
A category to which the target belongs based on the output (also called a pattern; corresponding to the above-mentioned "area (called a class)")
Was being identified. The above classifier is realized by hardware using a dedicated neuron element or by software having an equivalent function.

【０００５】次に、クラシファイアの従来の代表的な例
を説明する。Next, a typical conventional example of a classifier will be described.

【０００６】単層パーセプトロン構造を有するもの：こ
れは文献Minsky M., and Papert S.Perceptrons: An In
troduction to Computational Geometry. MIT Press, 1
969（中野，坂口訳、パーセプトロン（改訂版）、パー
ソナルメディア，1993）に記述される。この構造では、
学習可能層が一層であるので、線形分離可能性を有する
識別対象を識別するという問題に関しては高速に学習を
行うことができ、大域的な領域であっても解に確実に収
束するという特性を有する。反面、線形分離可能でない
問題に対しては学習を行うことができないという欠点を
有する。Those with a single-layer perceptron structure: This is the document Minsky M., and Papert S. Perceptrons: An In
troduction to Computational Geometry. MIT Press, 1
969 (Nakano, Sakaguchi translation, Perceptron (revised version), Personal Media, 1993). In this structure,
Since the number of learnable layers is one, it is possible to perform high-speed learning with respect to the problem of identifying a discrimination target having linear separability, and it is possible to reliably converge to a solution even in a global region. Have. On the other hand, it has a drawback that it cannot learn a problem that is not linearly separable.

【０００７】多層パーセプトロン構造とバックプロパゲ
ーション学習法とを組み合わせたもの：これは、文献Ru
melhart D.E., Hinton G.E., and Williams R.J. Learn
inginternal representaion by error propagation. In
D.E.Rumelhart & J.L. McClelland (eds.) Parallel D
istributed Processing: Explorations in the Microst
ructure of Cognition, Vol. 1: Foundations. MIT Pre
ss(1986) （甘利監訳、ＰＤＰモデル：認知科学とニュ
ーロン回路網の探索、産業図書、1988）に記述される。
この構造では、線形分離可能でない問題であっても学習
を行うことができるという特性を有する。反面、学習に
おける収束性が遅く、得られた解が極小解にとどまる、
すなわち大局的な最適解に収束しないという欠点を有す
る。A combination of the multilayer perceptron structure and the backpropagation learning method:
melhart DE, Hinton GE, and Williams RJ Learn
inginternal representaion by error propagation. In
DERumelhart & JL McClelland (eds.) Parallel D
istributed Processing: Explorations in the Microst
ructure of Cognition, Vol. 1: Foundations. MIT Pre
ss (1986) (Translated by Amari, PDP model: Cognitive science and search for neuron network, Industrial book, 1988).
This structure has the property that learning can be performed even for problems that are not linearly separable. On the other hand, the convergence in learning is slow, and the obtained solution is a minimal solution.
That is, it has a drawback that it does not converge to a global optimum solution.

【０００８】ハイパキューブの構造を有するもの：これ
は、文献Huang W.M.,Lippmann R.P.Neural Net and Tra
ditional Classifiers. In Anderson D.Z. [Ed.] Proc.
ofthe 1987 Neural Information Processing System C
onf., pp.387-396, Am.Instof Pysics, New York, 1988
に記述される。この構造では、特徴空間を境界を形成
する超立方体を用いて各クラスに分離し、かつ各超立方
体はオーバーラップしない構造を有する。この構造によ
れば、特徴空間の次元が少ないときに有効であるが、特
徴空間の次元が増大するにつれてニューロンの数が指数
関数的に増大するので、特徴空間が大きいときには使用
することが困難であるという欠点を有する。Having the structure of a hypercube: This is the document Huang WM, Lippmann RP Neural Net and Tra
ditional Classifiers. In Anderson DZ [Ed.] Proc.
ofthe 1987 Neural Information Processing System C
onf., pp.387-396, Am.Instof Pysics, New York, 1988
Described in. In this structure, the feature space is divided into classes using hypercubes that form boundaries, and the hypercubes do not overlap each other. According to this structure, it is effective when the dimension of the feature space is small, but since the number of neurons increases exponentially as the dimension of the feature space increases, it is difficult to use when the feature space is large. It has the drawback of being.

【０００９】１層または複数層の固定な前処理層と１層
の可変（トレーニング可能）な出力層とからなるもの：
これは、例えば文献Gallant S.I. and Smith D. Random
cells: An idea whose time has come and gone and c
ome again? IEEE International Conference on Neural
Networks,1987,II, 671-678に示唆される。このクラシ
ファイアは多層パーセプトロン構造の一種である。固定
の前処理層は、入力された特徴空間を変換することによ
り、入力特徴空間では分離面の形は線形でないけれど
も、変換された空間ではクラスが線形に分離できるよう
になる。トレーニング可能層が１層であるので、学習速
度が高速になる。Consists of one or more fixed pre-treatment layers and one variable (trainable) output layer:
This is, for example, the document Gallant SI and Smith D. Random.
cells: An idea whose time has come and gone and c
ome again? IEEE International Conference on Neural
Networks, 1987, II, 671-678. This classifier is a kind of multilayer perceptron structure. The fixed pre-processing layer transforms the input feature space to allow the classes to be linearly separated in the transformed space, although the shape of the separation plane is not linear in the input feature space. Since there is only one trainable layer, the learning speed is high.

【００１０】またバックプロパゲーション学習法に関連
する他の従来文献として特開平１−２３２４６４号公報
を挙げることができる。この文献では、識別対象が多い
場合に、識別対象をグループに分け、グループごとに識
別を行うことによって学習速度を高め、識別性能を向上
させている。As another conventional document related to the back propagation learning method, there is JP-A-1-232464. In this document, when there are many objects to be identified, the objects to be identified are divided into groups, and the learning speed is increased and the identification performance is improved by performing identification for each group.

【００１１】[0011]

【発明が解決しようとする課題】前述した幾つかのタイ
プの従来のクラシファイアの中で、学習速度、認識速
度、認識率、適用できる問題範囲（線形分離か否か等）
の広さを総合的に考えると、実用性の観点で複数の固定
層からなる前処理層と１層の可変出力層からなるクラシ
ファイアがもっとも望ましい。そこで、複数の固定層か
らなる前処理層と１層の可変出力層からなるクラシファ
イアにおいて、さらに、学習速度および認識速度を高速
化し認識率を高めることが望まれる。Among several types of conventional classifiers described above, learning speed, recognition speed, recognition rate, applicable problem range (whether linear separation or not)
In view of practicality, a classifier consisting of a pretreatment layer composed of a plurality of fixed layers and one variable output layer is most desirable from the viewpoint of practicality. Therefore, it is desired to further increase the learning rate and the recognition rate to increase the recognition rate in the classifier including the preprocessing layer including a plurality of fixed layers and the variable output layer including one layer.

【００１２】本発明の目的は、上記の課題に鑑み、速い
学習速度および認識速度、高い認識率を達成し、実用に
適した識別能力を有するニューラルネットワーク・クラ
シファイアおよびニューラルネットワークの構成法を提
供することにある。In view of the above problems, an object of the present invention is to provide a neural network classifier and a method for constructing a neural network which achieves high learning speed, recognition speed, high recognition rate, and has a discrimination ability suitable for practical use. Especially.

【００１３】[0013]

【課題を解決するための手段】第１の本発明に係るニュ
ーラルネットワーク・クラシファイアは、上記目的を達
成するため、結合係数が固定であるｓ個（ｓは自然数）
のニューロングループを含み、かつこれらのニューロン
グループの各々がｎ個（ｎは自然数）の特徴の各々に関
する入力値を入力するように構成された前処理層と、前
処理層のｓ個のニューロングループの各々の出力値を結
合係数で重み付けて入力するｍ個（ｍは自然数）のニュ
ーロン要素を含む１層の出力層とを備え、前処理層のニ
ューロングループの各々は、特徴空間を定義するｎ個の
特徴の各軸で、対応する入力値の通過区間を定める２つ
のしきい値がランダムに設定されるｎ個のニューロン要
素を含むように構成される。In order to achieve the above object, the neural network classifier according to the first aspect of the present invention has a fixed coupling coefficient of s (s is a natural number).
Of neuron groups, and each of these neuron groups is configured to receive an input value for each of n (n is a natural number) features, and s neuron groups of the preprocessing layer And an output layer of one layer including m (m is a natural number) neuron elements for inputting the output values of each of the output values with a coupling coefficient, and each of the neuron groups of the preprocessing layer defines a feature space. On each axis of the feature, two threshold values that define a passage section of the corresponding input value are configured to include n neuron elements randomly set.

【００１４】第２の本発明は、第１の発明において、好
ましくは、前処理層でのｓ個のニューロングループから
出力されるｓ個の出力値がバイナリで表現される値であ
り、ｓ個の出力値のうち「１」となる出力値の個数がＶ
に設定され、この数値Ｖが１よりもかなり大きくかつｓ
よりもかなり小さいことを特徴とする。In the second aspect of the present invention, preferably, the s number of output values output from the s number of neuron groups in the preprocessing layer are values expressed in binary, Of the output values of "1" among the output values of V
Is set to this numerical value V is significantly larger than 1 and s
It is characterized by being much smaller than.

【００１５】第３の本発明に係るニューラルネットワー
クの構成法は、ニューロンモデルを形成する手段の間の
結合関係が固定であり、ｎ個（ｎは自然数）の特徴の各
々に関する入力値を入力し、各入力値ごとに特徴軸上で
の存在範囲を識別するための識別区間がランダムに定め
られた中間段階を有し、ｎ個の特徴の各々で、対応する
入力値が前記識別区間に関する存在条件を満たすときに
のみ出力を発する前処理ステップと、学習可能な特性を
備える出力ステップとを備える。In the method for constructing a neural network according to the third aspect of the present invention, the connection relation between means for forming a neuron model is fixed, and input values for each of n (n is a natural number) features are input. , For each input value, there is an intermediate step in which an identification section for identifying the existence range on the feature axis is randomly determined, and for each of n features, a corresponding input value exists for the identification section. It comprises a pre-processing step which outputs an output only when a condition is satisfied, and an output step which has a learnable characteristic.

【００１６】第４の本発明は、第３の発明において、好
ましくは、前処理ステップの前記中間段階の識別区間の
設定数はｓであり、かつｓ個のバイナリ出力値のうち
「１」となる個数Ｖが１よりもかなり大きくかつｓより
もかなり小さいことを特徴とする。According to a fourth aspect of the present invention, in the third aspect of the present invention, preferably, the set number of identification intervals in the intermediate stage of the preprocessing step is s, and s binary output values are "1". It is characterized in that the number V is considerably larger than 1 and considerably smaller than s.

【００１７】[0017]

【作用】本発明では、前処理層の各ニューロングループ
に含まれるｎ個のニューロン要素（例えば対構造を有す
るニューロンが使用される）によってランダムに設定さ
れる通過区間で各特徴の入力値がｆ₁ 〜ｆ_n であるｎ次
元特徴空間での位置を決定するようにし、これにより特
徴空間で所定数の超直方体を設定して、超直方体を利用
してその内側に存在するかまたは外側に存在するかとい
うことに基づいて特徴空間内の任意の点のクラス分けを
行う。出力層の入力値に乗算される結合係数で定まる学
習可能層が１層であるから学習速度が高速になる。ま
た、前処理層でのｓ個のニューロングループから出力さ
れるｓ個のバイナリ出力値に関し、ｓ個の出力値のうち
「１」となる出力値の個数がＶに設定され、この数値Ｖ
が１よりもかなり大きくかつｓよりもかなり小さくする
という「分散的バイナリコーディング」を利用するよう
にしたため、上記の高速な学習を可能にし、さらにクラ
ス分けの認識速度の高速化を可能にする。According to the present invention, the input value of each feature is f in the pass section randomly set by n neuron elements (for example, a neuron having a pair structure is used) included in each neuron group of the preprocessing layer. The position in the n-dimensional feature space, which is _{1 to} f _n , is determined, and thus a predetermined number of hypercubes are set in the feature space, and the hypercubes are used to exist inside or outside. Classify any point in the feature space based on whether or not to do it. Since there is only one learnable layer determined by the coupling coefficient by which the input value of the output layer is multiplied, the learning speed becomes high. Also, regarding the s binary output values output from the s neuron groups in the pre-processing layer, the number of output values that are “1” among the s output values is set to V, and this numerical value V
Since "distributed binary coding" is used in which is significantly larger than 1 and considerably smaller than s, the above-mentioned high-speed learning is possible and the recognition speed for class classification can be accelerated.

【００１８】[0018]

【実施例】以下に、本発明の実施例を添付図面に基づい
て説明する。Embodiments of the present invention will be described below with reference to the accompanying drawings.

【００１９】図１は本発明に係るニューラルネットワー
ク・クラシファイアを構成するニューロン素子（以下ニ
ューロンという）の基本的モデルを示す。ニューロン１
１はｎ個の入力値ｘ₁ 〜ｘ_n と１個の出力値ｙを有す
る。出力値ｙは、ｔをニューロン１１のしきい値、入力
値ｘ₁ 〜ｘ_n の和ＳをＳ＝Σｘ_i ｗ_i とするとき、次の
ように定義される。なおｗ_i はニューロン１１のｉ番目
の結合係数である。FIG. 1 shows a basic model of a neuron element (hereinafter referred to as a neuron) which constitutes a neural network classifier according to the present invention. Neuron 1
1 has n input values x _{1 to} x _n and one output value y. The output value y is defined as follows, where t is the threshold value of the neuron 11 and the sum S of the input values x _{1 to} x _n is S = Σx _i w _i . Note that w _i is the i-th coupling coefficient of the neuron 11.

【００２０】[0020]

【数１】 Ｓ≧ｔであれば、ｙ＝１ …（１） Ｓ＜ｔであれば、ｙ＝０ …（２）## EQU1 ## If S ≧ t, y = 1 (1) If S <t, y = 0 (2)

【００２１】上記のニューロン１１は基本的なモデルで
あって、後述のごとく本実施例のネットワーク中では各
部の必要な機能に応じて構造が変更される。The above-mentioned neuron 11 is a basic model, and its structure is changed according to the required function of each part in the network of this embodiment as described later.

【００２２】図２は、ニューロン１１を基本的要素とし
て構成される本発明に係るクラシファイアのネットワー
ク構造を示す。このネットワーク構造はｓ個（ｓは自然
数）のニューロングループＧ₁ ，…，Ｇ_j ，…，Ｇ_s と
ｍ個のニューロンＣ₁ ，…，Ｃ_m を含む。各ニューロン
グループＧ₁ 〜Ｇ_s の入力は共通な入力値ｆ₁ ，…，ｆ
_n であり、その出力は出力値ｙ₁ ，…，ｙ_s である。ｎ
個（ｎは自然数）の入力値ｆ₁ ，…，ｆ_n のそれぞれは
特徴を表す。出力値ｙ₁ 〜ｙ_s は、「１」または「０」
の２進数で表現されるバイナリの値である。ニューロン
グループＧ₁ 〜Ｇ_s は、後述するように、結合係数が固
定である前処理層２１を形成する。ｍ個（ｍは自然数）
のニューロンＣ₁ 〜Ｃ_m のそれぞれにはニューロングル
ープＧ₁〜Ｇ_s のすべての出力値ｙ₁ 〜ｙ_s が入力され
る。各ニューロンＣ₁ 〜Ｃ_m の各入力線では結合係数ｗ
_jiが設定され、入力される値ｙ₁ 〜ｙ_s に対して重み付
けがされる。この結合係数は例えばアナログ量でありか
つ可変であって、結合係数調整手段（図示せず）によっ
て適宜に調整される。ニューロンＣ₁ 〜Ｃ_m の層は、前
段との間の結合係数が可変である１層の出力層２２を形
成する。前処理層２１と出力層２２の間に結合係数が変
化し得る学習可能層が形成され、これによりクラシファ
イアは学習機能を有する。FIG. 2 shows the network structure of the classifier according to the present invention, which is composed of the neuron 11 as a basic element. This network structure includes s (s is a natural number) neuron groups G ₁ , ..., G _j , ..., G _s and m neurons C ₁ , ..., C _m . The inputs of the neuron groups G _{1 to} G _s are common input values f ₁ , ..., F
_n , the output of which is the output value y ₁ , ..., Y _s . n
Each of the n (n is a natural number) input values f ₁ , ..., F _n represents a feature. The output values y _{1 to} y _s are “1” or “0”.
Is a binary value represented by a binary number. The neuron groups G _{1 to} G _s form a preprocessing layer 21 having a fixed coupling coefficient, as described later. m (m is a natural number)
All output values y _{1 to} y _s of the neuron groups G _{1 to} G _s are input to the neurons C _{1 to} C _m , respectively. In each input line of each neuron C _{1 to} C _m , the coupling coefficient w
_ji is set and weighted with respect to the input values y _{1 to} y _s . This coupling coefficient is, for example, an analog quantity and variable, and is appropriately adjusted by a coupling coefficient adjusting means (not shown). The layers of neurons C _{1 to} C _m form one output layer 22 having a variable coupling coefficient with the preceding stage. A learnable layer having a variable coupling coefficient is formed between the pre-processing layer 21 and the output layer 22, whereby the classifier has a learning function.

【００２３】上記において、ｓは十分に大きな数であ
り、例えば数千というオーダーの数である。ｍはクラシ
ファイアに対するクラスの最大数であり、例えば通常２
〜数十程度の数である。またｎは特徴空間の次元数であ
る。In the above, s is a sufficiently large number, for example on the order of thousands. m is the maximum number of classes for the classifier, eg usually 2
~ It is about several tens. Further, n is the number of dimensions of the feature space.

【００２４】次に、図３を参照してニューロングループ
（一般化してＧ_j とする）の内部構造の例を説明する。Next, an example of the internal structure of the neuron group (generalized as G _j ) will be described with reference to FIG.

【００２５】ニューロングループＧ_j は例えば３層構造
を有している。ニューロングループＧ_j において、第１
の層３１は入力値ｆ₁ 〜ｆ_n に対応してｎ組のニューロ
ン対ｌ_ij，ｈ_ij（ｉ＝１〜ｎ）を含み、第２の層３２は
ｎ個のニューロンａ_ij（ｉ＝１〜ｎ）を含み、第３の層
３３は１個のニューロンｂ_j を含む。各入力ｆ_i （ｉ＝
１〜ｎ）は組を形成する２つのニューロンｌ_ij，ｈ
_ij（ｉ＝１〜ｎ）に対し結合係数１で入力される。ニュ
ーロンｌ_ijではしきい値ｔ_ijが設定され、ニューロンｈ
_ijではしきい値Ｔ_ijが設定されている。ニューロンｌ_ij
の出力は第２の層３２のニューロンａ_ijに対して興奮性
入力（結合係数が１である）として入力され、ニューロ
ンｈ_ijの出力は第２の層３２のニューロンａ_ijに対して
抑制性入力（結合係数が−１である）として入力され
る。第２の層３２のニューロンａ_ijではしきい値１が設
定される。第２の層３２のすべてのニューロンａ_ij（ｉ
＝１〜ｎ）からの出力は結合係数１でニューロンｂ_j に
対して興奮性入力として結合される。ニューロンｂ_j で
はしきい値ｎが設定される。ニューロンｂ_j の出力ｙ_j
がニューロングループＧ_j 全体の出力となる。以上のよ
うに、ニューロングループＧ_j 内のすべての結合係数は
１または−１で固定であり、結合は変更不可能の状態に
ある。The neuron group G _j has, for example, a three-layer structure. In the neuron group G _j , the first
Layer 31 includes n sets of neuron pairs l _ij and h _ij (i = 1 to n) corresponding to the input values f _{1 to} f _n , and the second layer 32 includes n neurons a _ij (i = 1-n), the third layer 33 includes one neuron b _j . Each input f _i (i =
1 to n) are two neurons l _ij , h forming a set
It is input with a coupling coefficient of 1 for _ij (i = 1 to n). The threshold value t _ij is set for the neuron l _ij , and the neuron h
_A threshold value T _ij is set for _ij . Neuron l _ij
The output of the input as excitatory input to neurons a _ij of the second layer 32 (the coupling coefficient is 1), the output of the neuron h _ij is inhibitory to neurons a _ij of the second layer 32 Input as input (coupling coefficient is -1). The threshold value 1 is set for the neurons a _ij of the second layer 32. All neurons a _ij (i in the second layer 32
= 1 to n) are coupled as excitatory inputs to the neuron b _j with a coupling coefficient of 1. A threshold value n is set for the neuron b _j . Output y _j of neuron b _j
Is the output of the entire neuron group G _j . As described above, all the coupling coefficients in the neuron group G _j are fixed at 1 or -1, and the coupling is in an unchangeable state.

【００２６】上記においてニューロングループ内で用い
られるニューロンモデルは、図１に示した基本のニュー
ロン１１を変形させて用いている。またニューロングル
ープの内部の層数は３層に限定されず、任意の層数で構
成することができる。例えば、層３１における２つのニ
ューロンと層３２の１つのニューロンからなる組を、同
一の入力・出力特性（識別関数）を有する単一のニュー
ロンで実現することもできる。本実施例では、「ニュー
ロングループ」と表現しても、その概念に中に単一ニュ
ーロンで実現される構成をも含むものとする。換言すれ
ば、ニューロングループを１つのニューロンとして見る
見方も可能である。The neuron model used in the above neuron group is a modification of the basic neuron 11 shown in FIG. Further, the number of layers inside the neuron group is not limited to three, and the neuron group can be configured with any number of layers. For example, a set of two neurons in the layer 31 and one neuron in the layer 32 can be realized by a single neuron having the same input / output characteristic (discriminant function). In the present embodiment, even if expressed as a "neuron group", the concept also includes a configuration realized by a single neuron. In other words, it is possible to view the neuron group as one neuron.

【００２７】またニューロンｌ_ij，ｈ_ij（ｉ＝１〜ｎ）
のしきい値ｔ_ij，Ｔ_ijは、それぞれ例えばランダムな手
続きに基づいて選択され、かつ、各ijの組に関してニュ
ーロンｌ_ijのしきい値ｔ_ijがニューロンｈ_ijのしきい値
Ｔ_ijよりも低くなるように設定される。ニューロンａ_ij
は、興奮性入力が１でありかつ抑制性入力が０であると
き、すなわち入力値ｆ_i がｔ_ij≦ｆ_i ＜Ｔ_ijを満たすと
きにのみ発火し、その出力が「１」と等しくなる。ｔ_ij
〜Ｔ_ijの範囲は、入力値の存在位置を識別するための通
過区間としての機能を有する。ニューロンｂ_j のしきい
値はｎであるので、ニューロンｂ_j はニューロングルー
プＧ_j 内のすべてのニューロンａ_ijが発火した時だけ発
火し、これによって「１」を出力する。Further, neurons l _ij and h _ij (i = 1 to n)
The thresholds t _ij and T _ij of _ij are selected based on, for example, a random procedure, and the threshold t _ij of the neuron l _ij is greater than the threshold T _{ij of the} neuron h _ij for each ij set. It is set to be low. Neuron a _ij
Fires only when the excitatory input is 1 and the inhibitory input is 0, that is, when the input value f _i satisfies t _ij ≤f _i <T _ij , and its output becomes equal to "1". . t _ij
The range from to T _ij has a function as a passage section for identifying the existing position of the input value. Since the threshold value of the neuron b _j is n, the neuron b _j fires only when all the neurons a _ij in the neuron group G _j fire, thereby outputting "1".

【００２８】以上において、しきい値ｔ_ij，Ｔ_ijのそれ
ぞれの値の決め方は、ｔ_ij＜Ｔ_ijを満たすという条件の
下でランダムに行われることが望ましい。ここで、「ラ
ンダム」とは、ｎ組のしきい値（ｔ_ij，Ｔ_ij）によって
指定されるｓ個の判定領域の分布を全体的に見たとき、
特定な統計的な偏りがないということを意味する。換言
すれば、結果として得られたｓ個の判定領域の分布がラ
ンダムであればよい。他方、決め方の手続き自体がラン
ダムである必要は必ずしもない。例えば、ｓ個のバイナ
リ出力値のうち「１」の数がＶになるように組織的に決
めることもできる。このＶの値はおよそ数十〜数百とい
うオーダーの数である。In the above, it is desirable that the respective values of the threshold values t _ij and T _ij are determined randomly under the condition that t _ij <T _ij is satisfied. Here, “random” means that when the distribution of s judgment regions specified by n sets of threshold values (t _ij , T _ij ) is viewed as a whole,
It means that there is no particular statistical bias. In other words, the distribution of the s determination regions obtained as a result may be random. On the other hand, the decision procedure itself does not necessarily have to be random. For example, it is possible to systematically determine that the number of "1" s out of s binary output values becomes V. The value of V is on the order of tens to hundreds.

【００２９】ここで、上記の構造を有するニューロング
ループＧ_j （ｊ＝１〜ｓ）の機能を幾何学的な解釈に基
づき説明する。説明を簡単にするために、今仮に、第１
のニューロングループＧ₁ に入力される特徴がｆ₁ ，ｆ
₂ の２つだけであるとし、２つの特徴についての入力値
がｄ，ｅであるとする。入力値ｄ，ｅのそれぞれはニュ
ーロンの組（ｌ₁₁，ｈ₁₁），（ｌ₂₁，ｈ₂₁）に入力され
る。ニューロンｌ₁₁，ｈ₁₁の各しきい値をｔ₁₁，Ｔ₁₁と
し、ニューロンｌ₂₁，ｈ₂₁の各しきい値をｔ₂₁，Ｔ₂₁と
する。このような前提において、第３の層３２のニュー
ロンｂ₁ が発火して「１」を出力するのは、入力値ｄ，
ｅで指定される点が、図４に示される長方形４１の内側
領域に存在するときのみである。理由は次の通りであ
る。Here, the function of the neuron group G _j (j = 1 to s) having the above structure will be described based on a geometrical interpretation. In order to simplify the explanation
Feature f ₁ is input to the neuron group G ₁ of, f
It is assumed that there are only _two , 2 and the input values for the two features are d and e. Each of the input values d and e is input to the pair of neurons (l ₁₁ , h ₁₁ ), (l ₂₁ , h ₂₁ ). The thresholds of the neurons l ₁₁ and h ₁₁ are t ₁₁ and T _11, and the thresholds of the neurons l ₂₁ and h ₂₁ are t ₂₁ and T ₂₁ . Under such a premise, the neuron b ₁ of the third layer 32 fires and outputs “1” because the input value d,
Only when the point designated by e exists in the inner area of the rectangle 41 shown in FIG. The reason is as follows.

【００３０】図４に示される二次元空間において横軸は
特徴ｆ₁ 、縦軸は特徴ｆ₂ である。長方形４１は横軸の
しきい値ｔ₁₁，Ｔ₁₁で定まる区間と縦軸のしきい値をｔ
₂₁，Ｔ₂₁で定まる区間とによって画定される。第２の層
３２の各ニューロンでｔ₁₁≦ｄ＜Ｔ₁₁およびｔ₂₁≦ｅ＜
Ｔ₂₁が満足されるときにのみすべてのニューロンが発火
し、その結果ニューロンｂ₁ が発火することになる。ｔ
₁₁≦ｄ＜Ｔ₁₁とｔ₂₁≦ｅ＜Ｔ₂₁の条件を満たすことは、
入力値ｄ，ｅが長方形４１の内側領域内に存在すること
を意味する。In the two-dimensional space shown in FIG. 4, the horizontal axis represents the feature f ₁ and the vertical axis represents the feature f ₂ . The rectangle 41 has a section defined by the threshold values t ₁₁ and T ₁₁ on the horizontal axis and a threshold value on the vertical axis t.
₂₁ and a section defined by T ₂₁ . For each neuron of the second layer 32, t ₁₁ ≤d <T ₁₁ and t ₂₁ ≤e <
Only when T ₂₁ is satisfied will all neurons fire, resulting in neuron b ₁ . t
Satisfying the conditions of ₁₁ ≦ d <T ₁₁ and t ₂₁ ≦ e <T ₂₁
It means that the input values d and e exist in the inner area of the rectangle 41.

【００３１】ニューロングループは、Ｇ₁ だけではなく
多数存在するから、図５に示すように特徴空間は大きさ
と位置の異なる多くの長方形５１で覆われることにな
る。各長方形は、所定の大小関係を有しかつランダムに
設定される２つのしきい値によって決定されるので、多
くの長方形の形成もランダムに行われる。Since many neuron groups exist in addition to G ₁ , the feature space is covered with many rectangles 51 having different sizes and positions as shown in FIG. Since each rectangle has a predetermined magnitude relationship and is determined by two threshold values that are randomly set, many rectangles are also formed at random.

【００３２】上記の特徴空間は実際に多次元空間になる
ので、この場合、上記長方形の領域は、多次元直方体す
なわち超直方体に拡張される。前処理層２１の各ニュー
ロングループの出力ｙ_j が入力特徴空間内の１つの超直
方体に対応する。前処理層２１に入力される特徴値が、
その超直方体の内側にあるか外側にあるかで、出力が決
定される。なお超直方体の数ｓは、特徴空間の各点が十
分大きな数の超直方体で覆われるように選択される。Since the above-mentioned feature space is actually a multidimensional space, in this case, the rectangular region is expanded to a multidimensional rectangular parallelepiped, that is, a hypercube. The output y _j of each neuron group of the preprocessing layer 21 corresponds to one hypercube in the input feature space. The feature value input to the preprocessing layer 21 is
The output is determined whether it is inside or outside the hypercube. Note that the number s of hypercubes is selected so that each point in the feature space is covered by a sufficiently large number of hypercubes.

【００３３】上記構造を有する前処理層２１では、その
出力値ｙ₁ 〜ｙ_s が多次元の分散的バイナリコーディン
グを形成する。「分散的バイナリコーディング」とは、
１つの入力値ｆ_i に対し、ｓビットのバイナリコードで
あってｓビット中の「１」の個数を表す数値Ｖが１より
もかなり大きくかつｓよりもかなり小さい値になるよう
なバイナリコードを対応させるコーディング方式のこと
をいう。前述の通り、ｓは例えば数千という数であり、
Ｖは例えば数十〜数百という数である。In the preprocessing layer 21 having the above structure, the output values y _{1 to} y _s form multidimensional distributed binary coding. What is "distributed binary coding"?
For one input value f _i , a binary code of s bits, in which a numerical value V representing the number of “1” s in s bits is a value considerably larger than 1 and considerably smaller than s, Refers to the corresponding coding method. As mentioned above, s is, for example, several thousand,
V is, for example, several tens to several hundreds.

【００３４】出力層２２の各ニューロンは、各ニューロ
ングループの出力値ｙ_j （ｊ＝１〜ｓ）に結合係数を乗
算してなる値を入力し、その和を得る。各ニューロンＣ
₁ 〜Ｃ_m の内部には、和を演算する機能が内蔵される。
各ニューロングループの出力値ｙ_j は、発火するときに
は「１」、そうでないときには「０」であるので、出力
層２２の各ニューロンにおける活性値の演算（積和演
算）は、「１」である出力値ｙ_j （ｊ＝１〜ｓ）に対応
する結合係数を単純に加算することで行われる。ｓ個の
出力値ｙ_j において「１」である個数は、前述の分散的
バイナリコーディングに従ってｓよりもかなり小さいＶ
であるので、直列演算の場合には高速な演算を、並列演
算の場合には演算器を小さくすることができる。またす
べてのニューロンＣ₁ 〜Ｃ_m は、代表的に、もっとも興
奮度の高いニューロンが１つだけ発火するように制御さ
れた共通のしきい値を有する。出力層２２においてニュ
ーロンＣ₁ 〜Ｃ_m のうちどのニューロンが発火したかと
いうことで、入力された特徴空間内の点（入力値ｆ₁ ，
…，ｆ_n で決まる）が属するクラスが識別される。ｓ個
の出力値ｙ_j において「１」の個数を表すＶは１よりも
かなり大きな数であるので、Ｖ個の「１」によるコード
で表現可能な組合せの総数は、最大ｓのＶ乗のオーダで
あり、識別の分解能を高くすることができる。Each neuron of the output layer 22 inputs a value obtained by multiplying the output value y _j (j = 1 to s) of each neuron group by a coupling coefficient and obtains the sum. Each neuron C
Inside _{1 to} C _m , a function for calculating a sum is built in.
The output value y _j of each neuron group is “1” when it is fired, and is “0” when it is not fired. Therefore, the operation value calculation (sum of products operation) of each neuron of the output layer 22 is “1”. This is performed by simply adding the coupling coefficients corresponding to the output values y _j (j = 1 to s). The number that is “1” in the s output values y _j is significantly smaller than s according to the above-mentioned distributed binary coding.
Therefore, a high-speed operation can be performed in the case of serial operation, and an operation unit can be reduced in the case of parallel operation. Also, all neurons C ₁ -C _m typically have a common threshold controlled such that only the most excitable neuron fires. Which of the neurons C _{1 to} C _m has fired in the output layer 22 indicates the point (input value f ₁ ,
, ₍ Determined by f _n ) belongs to the class. Since V representing the number of "1" s in the s output values y _j is considerably larger than 1, the total number of combinations that can be represented by V "1" codes is the maximum of s Vth power. This is an order, and the resolution of identification can be increased.

【００３５】なお、すべてのニューロンＣ₁ 〜Ｃ_m で
は、複数の発火を許容したり、あるいはアナログ出力を
行ったりするように、しきい値または出力関数を設定す
ることもできる。In all the neurons C _{1 to} C _m , a threshold value or an output function can be set so as to allow a plurality of firings or perform analog output.

【００３６】ここで、ランダム・スレシュホールド・ク
ラシファイア（ＲＴＣという）の分解能について説明す
る。Here, the resolution of the random threshold classifier (called RTC) will be described.

【００３７】いま特徴空間を一辺の長さ１のｎ次元超立
方体とする。ＲＴＣでは、前処理によってこの特徴空間
の各点を、ｓ個の識別関数を用いて、ｓ次元のバイナリ
ベクトル（内部表現ベクトル）にマッピングする。そし
て学習可能層である出力層において、ｓ次元のバイナリ
ベクトルを各クラスを表す出力にマッピングする。Let us now assume that the feature space is an n-dimensional hypercube with a side length of 1. In RTC, each point in this feature space is mapped to an s-dimensional binary vector (internal representation vector) by using s discriminant functions by preprocessing. Then, in the output layer that is the learnable layer, the s-dimensional binary vector is mapped to the output representing each class.

【００３８】ＲＴＣの場合、内部表現ベクトルがいつで
もおよそＶ個の「１」のビットを持つようにランダムな
位置と大きさを有する超直方体に対応する識別関数によ
ってコーディングされるので、この内部表現ベクトルは
入力値に応じて非常に多くの状態をとることができるよ
うになり、その状態の数は大体_s Ｃ_V で、およそｓのＶ
乗のオーダになると考えられる。従って、特徴空間にお
ける識別可能な最小体積はその逆数、すなわち１／ｓ^V
のオーダとなる。In the case of RTC, this internal representation vector is coded by the discriminant function corresponding to a hyper-rectangle having a random position and size such that it always has approximately V "1" bits. Can take an extremely large number of states depending on the input value, and the number of states is approximately _s C _V , and _V is approximately s.
It is considered to be the order of powers. Therefore, the smallest identifiable volume in the feature space is its reciprocal, namely 1 / s ^V
It becomes the order of.

【００３９】これを、ハイパーキューブ・クラシファイ
アのように、領域がオーバーラップしないｓ個の識別関
数でコーディングしたときと比較すると、内部表現ベク
トルは常に１個だけの「１」のビットを持つために、そ
の取りうる状態の数はｓとなり、そのために特徴空間に
おける識別可能な最小体積は１／ｓとなる。しかもここ
で、ｓが数千、Ｖが数十であることを考えると、この分
解能の差は非常に大きなものとなる。Comparing this with the case of coding with s discriminant functions whose regions do not overlap, like a hypercube classifier, the internal representation vector always has only one "1" bit. , The number of possible states is s, and therefore the minimum identifiable volume in the feature space is 1 / s. Moreover, considering that s is several thousand and V is several tens, this difference in resolution becomes very large.

【００４０】前処理層２１と出力層２２の間の結合関係
で定義された結合係数に基づく学習則を説明する。ここ
で、図１のクラシファイアにサンプルデータを入力する
ものとし、当該サンプルが実際に属するクラスの番号を
ｒ、クラシファイアにサンプルを入力したときに出力さ
れるクラスの番号をｋとする。この場合に、もしｋ＝ｒ
であれば、クラシファイアによって正しいクラスの識別
が行われたものとして、学習可能層では何の学習も行わ
れない。またもしｋ≠ｒであれば、クラシファイアによ
って誤ったクラスの識別が行われたものとして、次のよ
うな学習、すなわち各結合係数の変更（または更新）が
結合係数調整手段によって行われる。The learning rule based on the coupling coefficient defined by the coupling relation between the preprocessing layer 21 and the output layer 22 will be described. Here, it is assumed that sample data is input to the classifier in FIG. 1, the class number to which the sample actually belongs is r, and the class number output when the sample is input to the classifier is k. In this case, if k = r
In that case, no learning is performed in the learnable layer, assuming that the classifier has correctly identified the class. If k ≠ r, it is assumed that the classifier has erroneously identified the class, and the following learning, that is, changing (or updating) of each coupling coefficient is performed by the coupling coefficient adjusting unit.

【００４１】[0041]

【数２】 Ｗ_jr＝ｗ_jr＋ｙ_j …（３） Ｗ_jr＝ｗ_jr−ｙ_j もしｗ_jr＞０の場合 …（４） Ｗ_jr＝０ もしｗ_jr＝０の場合 …（５）(2) W _jr = w _jr + y _j (3) W _jr = w _jr -y _j If w _jr > 0 (4) W _jr = 0 If w _jr = 0 (5)

【００４２】上式において、ｊは出力層２２のニューロ
ンの番号、ｗ_jrとＷ_jrはそれぞれ学習の前と後のニュー
ロンｂ_j からニューロンｃ_k への結合線の結合係数、ｙ
_j はニューロンｂ_j の出力値である。また結合係数を符
号ありとする場合、上記の式（４），（５）の代わりに
式Ｗ_jr＝ｗ_jr−ｙ_j を用いればよい。In the above equation, j is the number of the neuron in the output layer 22, w _jr and W _jr are the coupling coefficient of the coupling line from the neuron b _j to the neuron c _k before and after the learning, respectively, and y
_j is the output value of the neuron b _j . When the coupling coefficient has a sign, the formula W _jr = w _jr −y _j may be used instead of the formulas (4) and (5).

【００４３】上記のような結合係数の変更を、トレーニ
ングセットとして用意された複数のサンプルの各々につ
いて順に行い、誤りが十分に少なくなるか、または決め
られた回数のサイクルが終了するまで繰り返す。The change of the coupling coefficient as described above is sequentially performed for each of the plurality of samples prepared as the training set, and the repetition is repeated until the number of errors is sufficiently reduced or a predetermined number of cycles are completed.

【００４４】なお、前述のように、出力ニューロンＣ₁
〜Ｃ_m のしきい値または出力関数の設定を変更した場合
には、当然それに応じて結合係数の更新公式も変更され
るべきである。As described above, the output neuron C ₁
If you change the setting of the threshold or the output function of -C _m should of course be changed or update official coupling coefficient accordingly.

【００４５】上記のように構成された本実施例に係るク
ラシファイアに基づく認識の過程、すなわち特徴空間で
の任意の点が属するクラスの識別の過程は、前述の図５
で明らかである。図５において、特徴空間での入力され
る新しい点Ｐ（Ｆ１，Ｆ２）を考えるとき、この点Ｐが
ｋ番目のクラスに属するのであれば、この点Ｐはｋ番目
のクラス内に存在するｎ次元の超直方体によって覆われ
ると予想される。すなわち、前述のトレーニングを通し
て、対応する発火ニューロンｂ_j からｋ番目のクラスへ
のニューロンへの結合が、ニューロンｂ_j と他のクラス
との間の結合よりも通常強くなる。この結果、点Ｐは、
ｋ番目のクラスと認識される確率が高くなる。The process of recognition based on the classifier according to the present embodiment configured as described above, that is, the process of identifying a class to which an arbitrary point in the feature space belongs is described with reference to FIG.
Is clear in. In FIG. 5, when considering a new input point P (F1, F2) in the feature space, if this point P belongs to the kth class, this point P exists in the kth class n It is expected to be covered by a hypercube of dimension. That is, through the aforementioned training, the coupling from the corresponding firing neuron b _j to the k-th class neuron is usually stronger than the coupling between neuron b _j and other classes. As a result, the point P is
The probability of being recognized as the kth class is high.

【００４６】上記のごとく構成されるクラシファイア
は、学習可能層が単一であり、前処理層２１で前述のご
とく分散的バイナリコーディングが実行され、かつＶの
数値が少ないので、短い時間で学習および認識・識別を
行うことができ、また同様な理由で、認識率を高めるこ
とができる。The classifier constructed as described above has a single learnable layer, the distributed binary coding is executed in the preprocessing layer 21 as described above, and the number of V is small. The recognition / identification can be performed, and the recognition rate can be increased for the same reason.

【００４７】上記のクラシファイアは、図２および図３
で示した構成を有する専用のハードウェアを実現するこ
ともできるし、また等価なハードウェアやソフトウェア
で実現することもできる。The classifier described above is shown in FIGS.
It is also possible to realize dedicated hardware having the configuration shown in, or equivalent hardware or software.

【００４８】また前処理層２１と出力層２２との間の学
習可能層における結合係数は、上記実施例では正の数
（興奮性の結合係数）として説明したが、必要に応じ
て、正と負の数（興奮性と抑制性の結合係数）によって
構成することもできる。The coupling coefficient in the learnable layer between the pre-processing layer 21 and the output layer 22 has been described as a positive number (excitatory coupling coefficient) in the above embodiment, but it may be set to a positive value if necessary. It can also be configured by a negative number (excitatory and inhibitory coupling coefficient).

【００４９】また上記実施例では前処理層２１の各ニュ
ーロングループを３層３１，３２，３３のニューラルネ
ットワークとして構成したが、前処理層２１の構造はこ
れに限定されない。例えば第２層と第３層を統合して２
層のニューラルネットワークとして形成し、等価の機能
を実現することもできる。さらに、上記実施例で用いた
ニューロンモデルに限定せず、前処理層と等価の働きを
有するその他の回路またはアルゴリズムを用いることも
できる。Further, in the above embodiment, each neuron group of the pre-processing layer 21 is constructed as a neural network of three layers 31, 32 and 33, but the structure of the pre-processing layer 21 is not limited to this. For example, by integrating the second layer and the third layer, 2
It can also be formed as a layered neural network to realize an equivalent function. Furthermore, the present invention is not limited to the neuron model used in the above embodiment, and other circuits or algorithms having an equivalent function to the preprocessing layer can be used.

【００５０】図６にニューロングループの他の構造を示
す。この構造では、図３の構造と比較して第２層３２を
省略し、第１層３１の各出力をニューロンｂ_j に直接に
入力させている。この構造の場合には、ニューロンｂ_j
内の演算機能で前記のニューロンａ_ij（ｉ＝１〜ｎ）の
演算機能を持たせるようにしている。本実施例によれ
ば、ネットワークの構造が簡素になる。FIG. 6 shows another structure of the neuron group. In this structure, the second layer 32 is omitted as compared with the structure of FIG. 3, and each output of the first layer 31 is directly input to the neuron b _j . In the case of this structure, the neuron b _j
The calculation function of the inside is given to the calculation function of the neuron a _ij (i = 1 to n). According to this embodiment, the network structure is simplified.

【００５１】次に、前処理層２１で実現される等価な機
能を、従来の通常のコンピュータを利用し前処理方法と
してソフトウェアで近似的に実現する場合の具体例につ
いて説明を加える。Next, a specific example in which equivalent functions realized by the pre-processing layer 21 are approximately realized by software as a pre-processing method using a conventional ordinary computer will be described.

【００５２】この前処理方法に基づくステップは次の通
りである。下記のステップにおいて、入力される各特徴
の値をｆ₁ 〜ｆ_n とし、簡単化のため各ｆ_i は０≦ｆ_i
＜１の値をとるものとする。また各特徴値ｆ_i に対して
図７に示すテーブルＣ_i ［Ｋ＋１］を予め作っておく。
テーブルＣ_i ［Ｋ＋１］の各要素Ｃ_i ［ｋ］（ｋ＝０〜
Ｌ）は、ｆ_i ＝ｋ／Ｌに対するバイナリコードである。
各特徴値ｆ₁ 〜ｆ_n が与えられたとき、下記に示すステ
ップ１〜５でコーディングが行われる。The steps based on this pretreatment method are as follows. In the following steps, the value of each input feature is set to f _{1 to} f _n, and each f _i is 0 ≦ f _i for simplification.
It shall take a value of <1. Further, a table C _i [K + 1] shown in FIG. 7 is created in advance for each feature value f _i .
Each element C _i [k] (k = 0 to 0 of table C _i [K + 1]
L) is the binary code for f _i = k / L.
When each feature value f _{1 to} f _n is given, coding is performed in steps 1 to 5 shown below.

【００５３】ステップ１： ｆ_i ＝ｋ／Ｌ＋ｒ，ｋ＝０
〜（Ｌ−１）；ｋは整数，０≦ｒ＜１となるようなｋ，
ｒを求める。Step 1: f _i = k / L + r, k = 0
~ (L-1); k is an integer, k such that 0 ≦ r <1,
Find r.

【００５４】ステップ２： ｓビット中にｓ×ｒビット
の「１」を含むマスクＭを作る。この作り方は、計算機
のアーキテクチャに合わせて適当に決められる。Step 2: Create a mask M containing s × r bits of "1" in s bits. The method of making this is appropriately determined according to the architecture of the computer.

【００５５】ステップ３： （Ｃ_i ［ｋ］＆￣Ｍ）｜
（Ｃ_i ［ｋ＋１］＆Ｍ）の演算を行い、解を得る。ここ
で、「￣」はビットごとの否定演算子、「＆」はビット
ごとのＡＮＤ演算子、「｜」はビットごとのＯＲ演算子
を意味する。Step 3: (C _i [k] & MM) |
(C _i [k + 1] & M) is calculated to obtain a solution. Here, "|" means a bitwise negation operator, "&" means a bitwise AND operator, and "|" means a bitwise OR operator.

【００５６】ステップ４： 上記のステップ１〜３を、
ｉ＝１，２，…，ｎに関して行い、それぞれでコードを
得る。Step 4: The above Steps 1 to 3 are
Perform for i = 1, 2, ..., N and get a code for each.

【００５７】ステップ５： 求められたすべてのコード
について、ビットごとにＡＮＤ演算を行う。Step 5: An AND operation is performed for each bit of all the obtained codes.

【００５８】以上のアルゴリズムを利用することによ
り、前処理層２１の出力値ｙ_i に相当するバイナリコー
ドを得ることができ、上記近似計算による前処理方法に
よれば処理を高速化することができる。By using the above algorithm, a binary code corresponding to the output value y _i of the preprocessing layer 21 can be obtained, and the processing speed can be increased by the preprocessing method based on the above approximate calculation. .

【００５９】[0059]

【発明の効果】以上の説明で明らかなように、結合係数
が固定な層状ニューロングループを含む前処理層と１つ
の学習機能を有した出力層からなるクラシファイアにお
いて、単一の学習可能層と、前処理層における分散的バ
イナリコーディングとによって、学習時間と認識時間の
高速化を達成でき、また特徴空間におけるクラス分けに
おいてオーバーラップ部分が形成される複数の超直方体
を使用し、かつ分散的バイナリコーディングにおいてコ
ードの全体ビット数および発火して「１」となるビット
数を適切に設定したため、高い認識率を達成することが
できる。As is clear from the above description, in the classifier consisting of the preprocessing layer including the layered neuron group with a fixed coupling coefficient and the output layer having one learning function, a single learnable layer, By using distributed binary coding in the pre-processing layer, it is possible to achieve faster learning time and recognition time, and to use multiple hyper-rectangles in which overlapping portions are formed in the classification in the feature space and to perform distributed binary coding. Since the total number of bits of the code and the number of bits that become "1" when fired are properly set in, a high recognition rate can be achieved.

【図面の簡単な説明】[Brief description of drawings]

【図１】基本的なニューロンモデルを説明するための図
である。FIG. 1 is a diagram for explaining a basic neuron model.

【図２】本発明に係るニューラルネットワーク・クラシ
ファイアのネットワークを示す図である。FIG. 2 is a diagram showing a network of a neural network classifier according to the present invention.

【図３】ニューロングループの内部構成を示す図であ
る。FIG. 3 is a diagram showing an internal structure of a neuron group.

【図４】１つのニューロングループで設定される２つの
しきい値の幾何学的な解釈を説明するための図である。FIG. 4 is a diagram for explaining a geometrical interpretation of two threshold values set in one neuron group.

【図５】多数のニューロングループのそれぞれで設定さ
れる２つのしきい値によって複数の長方形が特徴空間に
おいて設定されることを説明するための図である。FIG. 5 is a diagram for explaining that a plurality of rectangles are set in the feature space by two threshold values set in each of a large number of neuron groups.

【図６】ニューロングループの他の内部構成を示す図で
ある。FIG. 6 is a diagram showing another internal configuration of a neuron group.

【図７】前処理層の機能をソフトエェアで近似的に実現
する場合に利用されるテーブルを示す図である。FIG. 7 is a diagram showing a table used when the function of the pretreatment layer is approximately realized by software.

【符号の説明】[Explanation of symbols]

１１ ニューロン ２１ 前処理層 ２２ 出力層 11 Neurons 21 Preprocessing Layer 22 Output Layer

フロントページの続き (72)発明者 エルンスト・クスリ ウクライナ，252207，キエフ 207 プロ スペクト アカデミカ グルシュコバ 40，インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 タチアナ・バイディーク ウクライナ，252207，キエフ 207 プロ スペクト アカデミカ グルシュコバ 40，インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 ウラジミル・ルコヴィッチ ウクライナ，252207，キエフ 207 プロ スペクト アカデミカ グルシュコバ 40，インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニ (72)発明者 ドミトリィ・ラチコフスキィ ウクライナ，252207，キエフ 207 プロ スペクト アカデミカ グルシュコバ 40，インスティテュート キーベルネティ キ イメニ ベー エム グルシュコバ ナツィオナルノイ アカデミー ナウク ウクライニFront page continued (72) Inventor Ernst Kusri Ukraine, 252207, Kiev 207 Prospect Academia Gurshkova 40, Institute Key Bernetiki Imeni Beem Gruskova Nazional Neu Academy Nauk Ukraini (72) Inventor Tatiana Bydikh Ukraine, 252207, spectrin Academica Gurushukoba 40, Institute Kiberuneti key Imeni based em Gurushukoba Natsuionarunoi Academy Nauku Ukuraini (72) inventor Vladimir Rukovitchi Ukraine, 252207, Kiev 207 Pro spectrin Academica Gurushukoba 40, Institute Kiberuneti key Imeni based em Gurushukoba Natsuionarunoi Academy Nauku Ukuraini (72) Inventor Dmitry Latikovsky Ukraine, 252207, Kiev 207 Prospect Academia Gruskova 40, Institute Key Bernetiki Immeny Bem Gruskova Nazionarnoy Academy Nauk Ukraini

Claims (4)

【特許請求の範囲】[Claims] 【請求項１】 結合係数が固定であるｓ個（ｓは自然
数）のニューロングループを含み、これらのニューロン
グループがｎ個（ｎは自然数）の特徴に関する入力値を
すべて入力するように構成された前処理層と、 前記前処理層の前記ｓ個のニューロングループの各々の
出力値を、結合係数で重み付けして入力するｍ個（ｍは
自然数）のニューロン要素を含む１層の出力層とを備
え、 前記前処理層の前記ニューロングループの各々は、特徴
空間を定義する前記ｎ個の特徴の各軸で、対応する前記
入力値の通過区間を定める２つのしきい値がランダムに
設定されるｎ個のニューロン要素を含むことを特徴とす
るニューラルネットワーク・クラシファイア。1. A group of s (s is a natural number) neuron groups having fixed coupling coefficients, and these neuron groups are configured to input all input values for n (n is a natural number) features. A preprocessing layer and a single output layer including m (m is a natural number) neuron elements for inputting the output values of the s neuron groups of the preprocessing layer by weighting with a coupling coefficient. In each of the neuron groups of the pre-processing layer, two threshold values that define a passage section of the corresponding input value are randomly set on each axis of the n features that define a feature space. A neural network classifier characterized by including n neuron elements. 【請求項２】 請求項１記載のニューラルネットワーク
・クラシファイアにおいて、前記前処理層での前記ｓ個
のニューロングループから出力されるｓ個の出力値がバ
イナリで表現される値であり、前記ｓ個の出力値のうち
「１」となる出力値の個数がＶに設定され、この数値Ｖ
が１よりもかなり大きくかつｓよりもかなり小さいこと
を特徴とするニューラルネットワーク・クラシファイ
ア。2. The neural network classifier according to claim 1, wherein the s number of output values output from the s number of neuron groups in the preprocessing layer are values expressed in binary, and the number of the s number of output values is s. The number of output values that become "1" among the output values of
A neural network classifier characterized in that is significantly greater than 1 and significantly less than s. 【請求項３】 ニューロンモデルを形成する手段の間の
結合関係が固定であり、ｎ個（ｎは自然数）の特徴の各
々に関する入力値を入力し、各入力値ごとに特徴軸上で
の存在範囲を識別するための識別区間がランダムに定め
られた中間段階を有し、前記ｎ個の特徴の各々で、対応
する入力値が前記識別区間に関する存在条件を満たすと
きにのみ出力を発する前処理ステップと、 学習可能な特性を備える出力ステップと、 を備えることを特徴とするニューラルネットワークの構
成法。3. A connection relation between means for forming a neuron model is fixed, input values for each of n (n is a natural number) features are input, and each input value is present on the feature axis. A pre-processing which has an intermediate step in which an identification section for identifying a range is randomly determined, and outputs an output only when a corresponding input value satisfies a existence condition regarding the identification section in each of the n features. A method for constructing a neural network, comprising: a step, and an output step having a learnable characteristic. 【請求項４】 請求項３記載のニューラルネットワーク
の構成法において、前記前処理ステップの前記中間段階
の識別区間の設定数はｓであり、かつｓ個のバイナリ出
力値のうち「１」となる個数Ｖが１よりもかなり大きく
かつｓよりもかなり小さいことを特徴とするニューラル
ネットワークの構成法。4. The method of constructing a neural network according to claim 3, wherein the set number of identification sections in the intermediate stage of the preprocessing step is s, and is “1” among s binary output values. A method for constructing a neural network, characterized in that the number V is considerably larger than 1 and considerably smaller than s.