JPS63255761A - Time series rule inductive inference device - Google Patents

Abstract

PURPOSE:To grasp rules hidden between pattern constituting elements of a time series system in a small constitution by constituting a device so that the number of preceding inputs by which a rule as the object of learning is affected can be set. CONSTITUTION:Input vectors in P-number of preceding steps and the current output vector are synthesized in accordance with a parameter P of a time series coefficient determining device 10 and this resultant pattern is outputted from a pattern synthesizer 1. A partial set is taken out from this pattern by basic function device groups 2a and 2b, and the logical value corresponding to this partial set is outputted. Outputs of these function devices are compared with a teacher signal by weight learning devices 3a and 3b, and the degree of correlation is stored as a weight function value. Learning conditions in weight learning devices 3a and 3b are checked by weight monitor mechanisms 5a and 5b, and exchange compensation of basic function devices 2a and 2b is performed on the basis of check results. Inference is performed on the basis of learning results stored in this manner.

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、入出力の因果間やパターン内部規則等の自律
的把握が直接・間接に必要となるあらゆる製品に適用さ
れる時系列規則帰納推論装置に関する。[Detailed Description of the Invention] [Industrial Application Field] The present invention is a time-series rule induction system that is applied to all products that directly or indirectly require autonomous understanding of input/output causality, pattern internal rules, etc. Relating to reasoning devices.

［従来の技術］ 従来、この種の装置の類似技術としては、学習型パター
ン認識装置としてのバーセブトロンが著名である。パー
セブトロンに代表される従来型の学習パターン認識装置
では、人カバターン（通称Ｓユニット）のどの部分集合
に着目して一つの情報源（通称Ａユニット）とするかは
、予め設定しておかなければならない。従って、全ての
可能性に対応しようとすると、必要なＡユニット（−局
所論理関数）の数は、入カバターン（Ｓユニット）の次
数の増加に比し、飛躍的に増大する（ｎ次の２値入力に
対して’）ｒＬＪ個のパターンが存在する）。このため
の対策として、乱数を利用して一様に間引く方式が提案
されている。[Prior Art] Conventionally, as a similar technology to this type of device, the Bersebtron, which is a learning pattern recognition device, is well known. In conventional learning pattern recognition devices such as Persebtron, it is necessary to set in advance which subset of human cover turns (commonly known as S unit) to focus on as one information source (commonly known as A unit). No. Therefore, if we try to deal with all possibilities, the number of necessary A units (-local logic functions) will increase dramatically (n-order 2 There are ')rLJ patterns for the value input). As a countermeasure for this, a method has been proposed that uses random numbers to uniformly thin out the numbers.

し発明が解決しようとする問題点コ しかしながら、この種の装置にあっては次のような問題
があった。即ち、上記方式は、画像等、インプット・パ
ターンが冗長な系においては有効な場合もあるが、例え
ば原パターンを一定の事前知識を基にして特徴抽出して
おき、これら力）ら、或いはこれらの組合わせの中から
重要な部分パターンは何かと言うような間ｍに適用する
ことは難しい。また、Ｓユニットの数を必要以上に多く
することは、必要以上に識別関数（通称Ｒユニット）の
空間次元を拡大する虞れが十分にある。このため、学習
によって得られた結果が、原パターンの特徴を陽に表現
していない結果に終る可能性が大であった。Problems to be Solved by the Invention However, this type of device has the following problems. That is, the above method may be effective in systems where input patterns are redundant, such as images, but for example, if features are extracted from the original pattern based on a certain amount of prior knowledge, or It is difficult to apply this to the interval m, such as what is the important partial pattern among the combinations of. Moreover, increasing the number of S units more than necessary has a strong possibility of expanding the spatial dimension of the discriminant function (commonly known as R unit) more than necessary. For this reason, there is a high possibility that the results obtained through learning will not explicitly express the characteristics of the original pattern.

また、当該発明に直接関連するものとして、水谷氏によ
る“帰納ゲームの研究内のモデル（東京大学、計数工学
科卒業論文（１９７１））かあるが、このモデルにおい
ても同様の問題点をａしている。Also, as something directly related to the invention, there is a model by Mr. Mizutani in his research on inductive games (Graduate thesis, Department of Mathematical Engineering, University of Tokyo (1971)), but this model also has similar problems. There is.

本発明は、上記事情を考慮してなされたもので、その目
的とするところは、従来方式よりも少ない構成（或いは
少ない容量、少ない計算量）で、パターン構成要素間に
潜む規則を明確に把握することができ、且つ効率的な学
習を行うことができ、前ｆｉｉ１回かの入力ベクトルを
も考慮可能にした時系列規則帰納推論装置を提供するこ
とにある。The present invention has been made in consideration of the above circumstances, and its purpose is to clearly grasp the rules hidden between pattern constituent elements with a smaller structure (or smaller capacity or smaller amount of calculation) than conventional methods. It is an object of the present invention to provide a time-series rule inductive inference device that is capable of performing efficient learning, and is also capable of considering input vectors from one previous fii time.

［問題点を解決するための手段］ 本発明では前記目的を達成するために、次の（１）〜（
４）の特徴を有する。[Means for Solving the Problems] In order to achieve the above object, the present invention provides the following (1) to (
4).

（１）　　入力ベクトル記憶器を付加し、何回か前まで
の入力ベクトルを保存出来るようにした点である。(1) An input vector memory device has been added to allow input vectors from several times ago to be saved.

（２）時系列係数決定器を付加し、学習の対象となる規
則が何回前までの入力に影響されるかを設定できるよう
にし、これによって入力ベクトル記憶器から取り出す入
力ベクトル数、マスク発生器のマスク次元数を制御でき
るようにした点である。(2) Added a time-series coefficient determiner so that it is possible to set how many previous inputs the rule to be learned is affected by, and thereby determine the number of input vectors to be retrieved from the input vector memory and mask generation. The point is that the number of mask dimensions of the device can be controlled.

（３）パターン合成器と時系列係数決定器、入力ベクト
ル記憶器により、今回入力ベクトルを与えるたけで、何
回か前からの入力ベクトルを付加したパターンを生成可
能にした点である。(3) By using a pattern synthesizer, a time-series coefficient determiner, and an input vector memory, it is possible to generate a pattern to which input vectors from several previous times have been added, just by providing the current input vector.

（４）時系列係数決定器と正答基底変換器、誤答基底変
換器により、それまでの学習結果を継承したままで推論
の対象となる規則が何回前の入力に影響されるかという
対象規則の範囲を拡大、縮小することを可能にした点で
ある。(4) The time series coefficient determiner, correct answer basis converter, and wrong answer basis converter determine how many previous inputs influence the rule that is the subject of inference while inheriting the learning results up to that point. This makes it possible to expand or contract the scope of the rules.

［作用］ 本発明は、識別すべき種々のパターン全体の一部または
全部を予め提示することにより、パターン識別のための
内部法則を自動的に発見させ、これにより未提示のパタ
ーンに対しても既提示パターンから得られた学習結果に
もとづき、一定の法則の下に推論を行なうことが要求さ
れる全ての製品のパターン認識に利用できる。[Operation] The present invention automatically discovers internal rules for pattern identification by presenting part or all of the various patterns to be identified in advance, and thereby enables even unpresented patterns to be identified. It can be used for pattern recognition of all products that require inference based on certain rules based on learning results obtained from previously presented patterns.

さらに、ｔｌｌなる学習型パターン認識装置としてのみ
ではなく単純な記憶によるものでないことの結果として
、例えばパターンの一部を入力とし、残りを出カバター
ンとすることにより、入力、出力間の因果関係を発見的
に求めるシステム・アナライザーとして利用することも
可能である。Furthermore, as a result of not only being a learning pattern recognition device called tll, but also not based on simple memory, for example, by using part of the pattern as input and the rest as output pattern, we can understand the causal relationship between input and output. It can also be used as a heuristic system analyzer.

また、単なる一回の入力出力の関係を学習する学習機械
ではないことの結果として例えばある時点のパターンの
一部が何回か前（何回前からかは任意に設定できる）か
らの入力の全てに関係して決定される時系列的な系の学
習も可能である。In addition, as a result of the fact that it is not a learning machine that learns the relationship between a single input and output, for example, a part of the pattern at a certain point may be based on input from several times before (the number of times before can be set arbitrarily). It is also possible to learn a time-series system that is determined in relation to everything.

［実施例コ 以下、本発明の実施例について説明するが、はじめに、
本発明の実施例と関連する先願発明（特願昭６１−２３
８４０３号）について図面を参照して説明する。先願発
明は第１図と第２図の入力ベクトル記憶器９と、時系列
係数決定器１０と、正答城代変換２”Ａ　１４　ａと、
ごｔ答城代変換器１４ｂをすべて設けてないものであり
、以下この機能について第６図〜第１３図を参照して説
明する。[Example] Examples of the present invention will be described below, but first,
Prior inventions related to embodiments of the present invention (Japanese Patent Application No. 61-23
No. 8403) will be explained with reference to the drawings. The prior invention includes the input vector memory 9 shown in FIGS. 1 and 2, the time series coefficient determiner 10, the correct answer conversion 2''A 14a,
This system is not equipped with any conversion converters 14b, and this function will be explained below with reference to FIGS. 6 to 13.

前記先願発明装置における学習方式について説明する。The learning method in the prior invention device will be explained.

０／１よりなる入力ベクトルと０／１となる出力ベクト
ルの組が提示され、この間の規則を学習させることを試
みるものである。正しい入力ベクトルと出力ベクトルと
の組合わせに対しては教師信号は１　（Ｙｅｓ）となり
、誤りの組合わせに対しては−１（Ｎｏ）となるものと
する。但し、教師信号は常に正しい応答をする必要はな
く、一定以下の判断の誤りを含んでいてもよい。A set of an input vector of 0/1 and an output vector of 0/1 is presented, and an attempt is made to learn the rules between them. It is assumed that the teacher signal is 1 (Yes) for a correct combination of input vector and output vector, and -1 (No) for an erroneous combination. However, the teacher signal does not always have to give a correct response, and may contain errors in judgment below a certain level.

このような場合、入力ベクトルを入力ベクトル１に対応
させ、出力ベクトルを入力ベクトル２に対応させ、パタ
ーン合成器１により次式に示すようなパターンと称する
一つのベクトルに合成させる。In such a case, the input vector is made to correspond to input vector 1, the output vector is made to correspond to input vector 2, and the pattern synthesizer 1 combines them into one vector called a pattern as shown in the following equation.

このパターンに対し、これらの部分集合を取出し、この
部分集合の０／１値から一部に定まる論理値（１／−１
）を出力するのが基底関数器群２の各基底関数である。For this pattern, extract a subset of these and set a logical value (1/-1) determined in part from the 0/1 value of this subset.
) is output by each basis function of basis function unit group 2.

この基底関数器群２は第６図に示すようにマスク関数器
２１　（２１１〜２１ｕ）と論理関数器２２　（２２１
〜２２ｒＬ）よりなりたち、マスク関数器２１は第７図
に示すようにパターン４１のうちの部分パターン４１ａ
を取出す役目を果たし、マスク関数出力ベクトル４２に
合成する。また、マスク関数器２１は、パターンを全く
取出さないものから全てのパターンを取出すものまで、
次式 に示すようにＳ次元のパターンに対し２８個の種類が存
在する。As shown in FIG.
~22rL), and the mask function unit 21 has a partial pattern 41a of the pattern 41 as shown in FIG.
It plays the role of extracting the mask function output vector 42 and combines it into the mask function output vector 42. Furthermore, the mask function unit 21 ranges from one that extracts no pattern to one that extracts all patterns.
As shown in the following equation, there are 28 types of S-dimensional patterns.

一方、マスク関数器の最大数は通常２　個よりも十分小
さいＮ１個とし、通常のパターンの学習に必要なマスク
は一定個数以下であるとの想定の下に、如何に有効なマ
スク関数器を発見するかがポイントとなっている。On the other hand, the maximum number of mask function vectors is set to N1, which is much smaller than the usual two, and with the assumption that the number of masks required for normal pattern learning is less than a certain number, how can we create an effective mask function vector? The key is to discover it.

なお、学習の初期状態では、前記（２）式に示すように
、最も注目点数（部分空間の次元）の小さいものから順
にＮ１個までを仮定する。これは、画像等のパターン認
識のような場合を除き、例えばプラントの入力信号と出
力信号との因果則を発見させるような場合、全ての入力
信号と出力信号が複雑な対応をしているような場合はあ
まりなく、むしろ特定の一部の入力と特定の一部の出力
が強く結びついているようなケースが多いと言う暗黙的
な想定による。無論、入力、出力系に事前に分っている
ことがあれば初期状態として、これから出発することも
可能である。Note that in the initial state of learning, as shown in equation (2) above, up to N1 points are assumed in order from the one with the smallest number of points of interest (dimension of subspace). Except for cases such as pattern recognition of images, etc., for example, when discovering causal rules between input signals and output signals of a plant, all input signals and output signals seem to have a complex correspondence. This is based on the implicit assumption that there are not many cases where this is the case, but rather there are many cases in which a certain number of inputs and a certain number of outputs are strongly connected. Of course, if there is something known in advance about the input and output systems, it is possible to start from this as an initial state.

論理関数の一例を第８図に示す。一般的には、多入力型
の排他的論理和（１の入力が奇数個であれば１．偶数個
であれば０とする。なお、空集合のマスク関数では入力
が全くないものとし、逆に排他的論理和の出力はＯとす
る。）である必要はなく、また各マスク関数器に対する
論理関数器は同じである必要はない。また、正答論理関
数器と誤答論理関数器は同じである必要はない。但し、
排他的論理和は、全てのパターンに対して、平均的には
１１０の出力確率が５０％、５０％であり、パターンに
関する知識か皆無の系においては有効な論理関数である
。An example of a logical function is shown in FIG. In general, a multi-input type exclusive OR (1 if the number of inputs is an odd number is 1; if there is an even number, it is 0. In addition, in the case of an empty set mask function, it is assumed that there is no input, and the inverse The output of the exclusive OR is O.), and the logical function vectors for each mask function vector need not be the same. Further, the correct answer logic function vector and the incorrect answer logic function vector do not need to be the same. however,
The exclusive OR has an average output probability of 110 of 50% for all patterns, and is an effective logical function in a system where there is no knowledge about the patterns.

各基底関数器２の出力と教師信号とを比較し、この１目
間度を重み関数値として蓄えるのが重み学習器３であり
、下記第１表及び第２表にその学習方法の一例を示す。The weight learning device 3 compares the output of each basis function device 2 with the teacher signal and stores the degree between eyes as a weighting function value. An example of the learning method is shown in Tables 1 and 2 below. show.

本実施例では、教師信号１の場合に変化する重み及び基
底関数器と、教師信号−１の場合に変化する重み及び基
底関数器との２種類を持つ。第１、表では正しいパター
ンが提示された時の正答重み学習方式であり、第２表は
誤りパターンが提示された時のご１答重み学習方式であ
る。In this embodiment, there are two types: a weight and basis function unit that changes in the case of teacher signal 1, and a weight and basis function unit that changes in case of teacher signal -1. The first table shows the correct answer weight learning method when a correct pattern is presented, and the second table shows the one answer weight learning method when an incorrect pattern is presented.

正答重みは、正答が多く出現される場合に有効な方式で
あるが、全パターン中の正答の割合いが大きいと、論理
関数が排他的論理和の場合、正答基底関数の出力と全正
答パターンが強く相関することが不可能となる（排他的
論理和は全パターン中５０％に１．５０％に０となるた
め）。同Ｆｌに、基底関数とパターンの強い相関がとれ
なくなることは、その他の論理関数でも起り得る。この
場合は、誤答基底関数と誤答パターンの相関がら生成さ
れるマスクの方が有効である。逆の場合も、同様の事が
いえる。Correct answer weighting is an effective method when many correct answers appear, but if the proportion of correct answers in all patterns is large, if the logical function is exclusive OR, the output of the correct answer basis function and all correct answer patterns It becomes impossible for the patterns to be strongly correlated (because the exclusive OR is 0 for 1.50% of all patterns in 50%). In the same Fl, the failure to have a strong correlation between basis functions and patterns may also occur with other logical functions. In this case, a mask generated from the correlation between the incorrect answer basis function and the incorrect answer pattern is more effective. The same thing can be said in the opposite case.

ここでωｐ、ωｑは、マスク関数の種類に対応した値で
あり、初期時或いは後に述べるマスク交換時には一般的
には０とする。また、ωｐ′ｒ　ωｑｆは学習前の値、
ωｐ　、ω９　は１回の学習後の値を示す。αは１に近
い値を用いるが、ｍ回の学習後にはωｐの平均値は （１−αｌｌ１）　ｅ　ｐとなり、ωｐの分散値は（１
−α０）２　（εｐ−εｐ）２となることが第１表の学
習方式より算出できる。同様に、ωｑの平均値は（１−
αＩＩＩ）７下となり、ωｑの分散値は（１−αＬｌ′
）２（εｑ−ｅ〒）２となることが第２表の学習方式よ
り算出できる。但し、７丁はεｐのゝト均値、εｑはε
ｑの平均値である。従って、αが小さい程、平均的な学
習は速いが学習パターンの出方による分散は大きいとい
う、所謂トレードオフの関係にある。Here, ωp and ωq are values corresponding to the type of mask function, and are generally set to 0 at the initial stage or at the time of mask exchange described later. Also, ωp′r ωqf is the value before learning,
ωp and ω9 indicate values after one learning. A value close to 1 is used for α, but after m learning times, the average value of ωp becomes (1-αll1) e p, and the variance value of ωp becomes (1
−α0)2 (εp−εp)2 can be calculated using the learning method shown in Table 1. Similarly, the average value of ωq is (1-
αIII) is below 7, and the variance value of ωq is (1−αLl′
)2(εq−e〒)2 can be calculated using the learning method shown in Table 2. However, for 7 guns, the mean value of εp, and εq are ε
It is the average value of q. Therefore, there is a so-called trade-off relationship in which the smaller α is, the faster the average learning is, but the larger the variance due to the appearance of the learning pattern.

次に、この重み学習器３による学習状況をマスク関数が
基底関数器にセットされた後、何回の有効な教育を行っ
たとの比較で教師信号と基底関数器出力との相関度のチ
ェックを行うのが重みモニター機構５であり、この判断
基準を第９図に示す。Next, we check the degree of correlation between the teacher signal and the output of the basis setter by comparing the learning status of this weight learner 3 with the number of effective teachings performed after the mask function is set in the basis setter. The weight monitoring mechanism 5 performs this determination, and the criteria for this determination are shown in FIG.

仮に、あるマスク関数よりなる基底関数器の出力が教師
信号と無相関なら、εｐの平均値は０となり、従って十
分大きな教育回数に対してはこれに対応する重み値ωｐ
も０となる。従って、一定教育回数のＳは、第９図に示
す無相関判定ゾーンに入る重み値ωｐに対応したマスク
関数と論理関数よりなる基底関数を有効でないと判断し
、マスク交換を行うよう指令をマスク交換機構６に出す
。If the output of a basis function unit consisting of a certain mask function has no correlation with the teacher signal, the average value of εp will be 0, and therefore, for a sufficiently large number of teachings, the corresponding weight value ωp
also becomes 0. Therefore, S for a certain number of trainings determines that the basis function consisting of the mask function and logical function corresponding to the weight value ωp that falls in the non-correlation determination zone shown in FIG. 9 is not valid, and issues a command to perform mask exchange. Send it to exchange mechanism 6.

マスク交換機構６は、下記第３表に示すような判定機構
に従い、必要に応じて新しいマスクを補充する。なお、
補充順序は、一般的には前記（２）式で示される順序に
よる。The mask exchange mechanism 6 replenishes new masks as necessary according to the determination mechanism shown in Table 3 below. In addition,
The replenishment order generally follows the order shown in equation (2) above.

第３表 マスクｑについても同ｔ、ｌ 以」二に述べた手順を１回の学習毎に行うことにより、
教師信号の判定と相関の強いマスク関数のみを基底関数
器群２内に抽出し、且つその貢献度に応じて重み値を重
み記憶器４内に蓄積していくのが学習時の構成の動作で
ある。The same applies to mask q in Table 3. By performing the procedure described in 2 for each learning session,
The operation of the configuration during learning is to extract only the mask functions that have a strong correlation with the judgment of the teacher signal into the basis function vector group 2, and to accumulate weight values in the weight memory 4 according to their contribution. It is.

次に、上述の学習結果を用いて学習時の入力、更には未
知の入力に対して、推論により出力を予測する場合につ
いて説明する。先願発明の入力。Next, a case will be described in which the above-mentioned learning results are used to predict the output by inference with respect to the input during learning and further to unknown input. Input of prior invention.

出力の対応関係を次式に示す。The correspondence of outputs is shown in the following equation.

通常は、学習過程の入力ベクトル１（入力）を示すこと
により、入力ベクトル２（出力）を想定する推論形式で
あるが、一般的には１対１対応である必要はなく、例え
ば推論過程の入力ベクトルは学習過程の入力ベクトルと
出力ベクトルの一部（又は全部）で構成されるものでよ
い。Normally, this is an inference format that assumes input vector 2 (output) by indicating input vector 1 (input) of the learning process, but generally there is no need for a one-to-one correspondence; for example, in the inference process The input vector may be composed of a part (or all) of the input vector and output vector of the learning process.

正答識別関数器１１ａは、次式に示すようにパターンに
対する正答基底関数器２ａと重み値の線型結合式よりな
る。但し、Σは正答による学習器程で残ったマクスに関
する総和である。The correct answer discrimination function unit 11a is composed of a linear combination of the correct answer basis function unit 2a for the pattern and a weight value, as shown in the following equation. However, Σ is the summation of the maxi remaining in the learning machine based on correct answers.

ｇｐ　　（Ｚ）−Σωｐ・ｇｐ　　（Ｚ）　　　・・・
（４）誤答識別関数器１１ｂは、次式に示すように対応
する誤答基底関数器と誤答重み値を用いる。但し、Σは
誤答による学習過程で残ったマスクに関する総和である
。gp (Z)-Σωp・gp (Z)...
(4) The wrong answer discrimination function unit 11b uses the corresponding wrong answer basis function unit and wrong answer weight value as shown in the following equation. However, Σ is the sum total of masks remaining in the learning process due to incorrect answers.

ｇｑ　　（Ｚ）−Σωｑ・εｑ　　（Ｚ）　　　・・・
（５）最終識別関数器１２は、これらの２つの関数器の
値を統合した値を出す。この統合式の一例を下記に示す
。gq (Z)−Σωq・εq (Z) ・・・
(5) The final discriminant function unit 12 outputs a value that integrates the values of these two function units. An example of this integrated formula is shown below.

ｇ　（Ｚ）−ｇｐ　　（Ｚ）　十ｇｑ　　（Ｚ）　　・
・・（６）統合の仕方によっては、基底関数器群２の出
力群の分離を線型分離以上のものにすることができる。g (Z) - gp (Z) 10gq (Z) ・
(6) Depending on the method of integration, the separation of the output groups of basis function unit group 2 can be made more than linear separation.

その例を第１０図に示す。An example is shown in FIG.

出力推論機構１３の動作原理を示すものが第１１図であ
り、可能性のある出力ベクトルのうち、最も大きな最終
識別関数器１２の出力を有する出力ベクトルを最も確か
らしい出力とする原理を概念的に示している。なお、当
動作原理がらも明らかなように、解が複数個ある場合に
おいても、必要に応じてそれぞれの解を順次提示できる
ような仕組みとなっている。FIG. 11 shows the operating principle of the output inference mechanism 13, which conceptually shows the principle that among possible output vectors, the output vector having the largest output of the final discriminant function unit 12 is the most probable output. It is shown in As is clear from the operating principle, even if there are multiple solutions, each solution can be presented sequentially as necessary.

このようにして先願発明の実施例によれば、次の■〜■
のような効果が得られる。In this way, according to the embodiment of the prior invention, the following ■～■
You can get an effect like this.

■　重み学習器３１重みモニター機構５及びマスク交換
機ｆＭ　６の協同作用の結果、パターン識別に有効なマ
スク関数を優先的に基底関数器群２に取り込めるように
したことにより、基底関数器群２に予め重要と思われる
関数器群による構成方式に比べ、より少ない構成（或い
はより少ない容量。■ As a result of the cooperative action of the weight learner 31, the weight monitor mechanism 5, and the mask exchanger fM 6, mask functions effective for pattern identification can be preferentially taken into the basis function group 2. Compared to the configuration method using a group of functional units, which is considered to be important in advance, it requires fewer configurations (or less capacity).

より少ない計算ｍ）で、パターン構成要素間に潜む規則
を、より明確に把握することができる。With fewer calculations m), the rules underlying the pattern components can be more clearly understood.

■　パターンに関する規則が部分的に事前に把握できて
いる場合、初期状態として、これに対応する規則を基底
関数器群２の一部として設定し、且つマスク発生器７の
マスク発生順序を初期規則の周辺に相当するものを優先
するように設定することにより、より効率的に学習を行
うことができる。■ If a rule regarding a pattern is partially known in advance, the corresponding rule is set as part of the basis function set 2 as an initial state, and the mask generation order of the mask generator 7 is set according to the initial rule. Learning can be performed more efficiently by setting priority to those around the area.

■　教師信号に誤りがあるような場合でも、この誤りが
一定計以下であれば、重み学習器３の蓄積効果により、
略同様の学習効果が得られる。■ Even if there is an error in the teacher signal, if the error is less than a certain amount, due to the cumulative effect of the weight learning device 3,
Almost the same learning effect can be obtained.

■　最終識別関数器１２及び出力推論機ｆ’ｓ　１３の
協同作用により、出力ベクＩ・ルを推定するに当り、必
要なら１党数の解を提示できょうにしているので、ｌｕ
数個の正解の出力ベクトルを持つような推論問題にも対
応可能となる。■ Due to the cooperative action of the final discriminant function unit 12 and the output inference unit f's 13, when estimating the output vector I, it is possible to present a one-party solution if necessary.
It is also possible to deal with inference problems that have several correct output vectors.

■　正答識別関数器１１ａ、誤答識別関数器１１ｂ及び
最終識別関数器１２の協同作用により、基底関数器群２
の出力群が線型分離不可能な場合にも対応させることが
できる。■ By the cooperative action of the correct answer discriminator 11a, the wrong answer discriminator 11b, and the final discriminator 12, the basis function
This can also be applied to the case where the output group of is not linearly separable.

■　正答識別関数器１１ａと誤答識別関数器１１ｂの併
設により、正答・誤答の出現の仕方によらず学習を進行
させることができる。(2) By providing the correct answer discriminator 11a and the incorrect answer discriminator 11b, learning can proceed regardless of how correct answers and incorrect answers appear.

■　■の方式により、全パターン中の正答パターン、誤
答パターンの割合いの如何によらず、内部表現に有効な
マスクを残すことができる。(2) By the method (2), an effective mask can be left in the internal representation, regardless of the proportion of correct and incorrect patterns among all patterns.

以下、本発明について図面を参照して説明する。Hereinafter, the present invention will be explained with reference to the drawings.

第１図および第２図は本発明の時系列規則帰納推論装置
ｇの一実施例の全体構成例を示すもので、第１図は同装
置の学習時の構成例であり、第２図は同装置の推論時の
構成例である。図中１はパターン合成器、２　（２ａ、
２ｂ）は第１及び第２の基底関数器群、３　（３ａ、３
ｂ）は第１及び第２の重み学習器、４　（４ａ、４ｂ）
は第１及び第２の重み記憶器、５　（５ａ、５ｂ）は第
１及び第２の重みモニター機構、６はマスク交換機構、
７はマスク発生器、８は切替器、９は入力ベクトル記憶
器、１０は時系列関数決定器、１４　（１４ａ。1 and 2 show an example of the overall configuration of an embodiment of the time-series rule inductive inference device g of the present invention. FIG. 1 shows an example of the configuration of the same device during learning, and FIG. This is an example of the configuration of the same device during inference. In the figure, 1 is a pattern synthesizer, 2 (2a,
2b) are the first and second basis function groups, 3 (3a, 3
b) are the first and second weight learners, 4 (4a, 4b)
are first and second weight storage devices, 5 (5a, 5b) are first and second weight monitoring mechanisms, 6 is a mask exchange mechanism,
7 is a mask generator, 8 is a switch, 9 is an input vector memory, 10 is a time series function determiner, 14 (14a).

１４ｂ）は第１及び第２の識別関数器、１２は最終識別
関数器、１３は出力推論機構を示している。14b) shows first and second discriminant function devices, 12 a final discriminant function device, and 13 an output inference mechanism.

また、第１図、第２図においてａは正答側、ｂは誤答側
を示している。Further, in FIGS. 1 and 2, a indicates the correct answer side, and b indicates the incorrect answer side.

次に前記装置による学習方式について説明する。Next, a learning method using the device will be explained.

０／１よりなる入力ベクトルと０／１よりなる出力ベク
トルの組が提示され、この間の規則を学習させることを
試みるものである。提示する組の例を第３図に示す。こ
こで出力ベクトルは組になっている入力ベクトルのみで
なく、それより例えば１ステツプ前の入力にも依存して
決定されるとする。例えばｎステップ口の出力ベクトル
の第１成分はｎステップ口の入力ベクトルの第１成分と
ｎ−１ステツプロの入力ベクトルの第１成分が等しけれ
ば１１等しくなければ０となるような規則を考える。ｌ
ステップ（ｉ≦０）は定義されないが、その場合例えば
全ての成分が０であるような入力ベクトルを仮定する。A set of an input vector consisting of 0/1 and an output vector consisting of 0/1 is presented, and an attempt is made to learn the rules between them. An example of the set to be presented is shown in FIG. Here, it is assumed that the output vector is determined depending not only on the input vectors in the set, but also on the input one step before the input vectors. For example, consider a rule such that the first component of the output vector of the n-step input is 11 if the first component of the input vector of the n-step input is equal to the first component of the input vector of the n-1 step processor, and 0 if they are not equal. l
The step (i≦0) is not defined, but in that case, for example, an input vector is assumed in which all components are 0.

この場合、まず時系列係数決定′ｒ、１０のパラメータ
Ｐを１にする。ここで１というのは１ステツプ前まで考
慮するという意味である。このパラメータを０にすると
、前述した先願発明と同じになる。パターン合成器１は
第４図に示すようにパラメータＰに応じてＰステップ前
までの入力ベクトルを並べたものに今回の出力ベクトル
を付加したベクトルをパターンとして合成する。以下こ
のパターンに対して前述した先願発明と同等の方式で学
習を行なう。In this case, first, the parameter P of time series coefficient determination 'r, 10 is set to 1. Here, 1 means to consider up to one step before. When this parameter is set to 0, it becomes the same as the earlier invention described above. As shown in FIG. 4, the pattern synthesizer 1 synthesizes a vector obtained by arranging the input vectors up to P steps ago according to the parameter P and adding the current output vector as a pattern. Thereafter, learning is performed on this pattern in a manner similar to that of the prior invention described above.

学習の途中で学習の様子がおもわしくないため、時系列
係数決定器１０のパラメータを変更する場合の動作を次
に示す。まず時系列係数決定器１０のパラメータを設定
しなおすとする。するとこれによってパターンの次元が
変化する。一般に入力ベクトル次元ａ、出力ベクトル次
元すとし、時系列係数決定器１０のパラメータＰをＰｌ
とするとパターンの次元は（Ｐ□＋１）ａ＋ｂ次元とな
る。The following describes the operation when changing the parameters of the time-series coefficient determiner 10 because the learning behavior is not interesting during the learning process. First, assume that the parameters of the time series coefficient determiner 10 are reset. This then changes the dimension of the pattern. Generally, it is assumed that the input vector dimension is a and the output vector dimension is Pl.
Then, the dimension of the pattern becomes (P□+1)a+b dimension.

従ってパラメータＰがＰｌ−Ｐ２に変化すると、パター
ンの次元はａ　（Ｐ２　　Ｐｌ　）次元変化する。Therefore, when the parameter P changes to Pl-P2, the dimension of the pattern changes by a (P2 Pl) dimension.

このパターンの次元の変化によって前に示した２ａ正答
（２ｂ誤答）基底関数器群のマスク及び７マスク発生器
が発生するマスクの次元も変化する。この変化を行なう
のは正答基底変換器１４ａ。This change in the dimension of the pattern also changes the dimension of the mask of the 2a correct answer (2b incorrect answer) basis function unit group and the mask generated by the 7 mask generator shown above. This change is performed by the correct answer basis converter 14a.

誤答基底変換器１４ｂ、マスク発生器７である。These are an incorrect answer basis converter 14b and a mask generator 7.

この変化の方式をまとめると、第５図のようになる。第
５図において今までのパターンの次元を１１、変更によ
ってできるパターンの次元を１２とする。ただし１１≠
、ｆ？２である。これによって、過去の学習結果をその
まま継承し、考慮する入力ベクトルのステップ数を変更
することができる。The method of this change can be summarized as shown in Fig. 5. In FIG. 5, the dimension of the previous pattern is 11, and the dimension of the pattern created by the change is 12. However, 11≠
, f? It is 2. This allows past learning results to be inherited as they are, and the number of input vector steps to be considered to be changed.

変化の方式の意味は次のようになる。今までのパターン
の次元ノ０、変更によって出来るパターンの次元１２と
すると、Ｉ！１−、ｆ’２　＞０の場合は今まで考慮し
ていた過去のステップ数を減らすということを意味する
。一方、マスクの第１〜第（ｊ？１１’２　）成分は、
その切り捨てられる過去の入力ベクトルに注目する成分
である。従って、マスクベクトルからこの部分を削除し
た新たなマスクベクトルとは、対応するステップ前の入
力ベクトルを全く無視するということを意味する。その
他の成分は今まで通り考慮するのであるからここに対応
するマスクベクトルの成分及びマスクの重みはそのまま
残す。発生させるマスクは通常通りＪ！２次元のものと
すればよい。一方ノ、−ｌ！２く０の場合は今まで以上
に過去の入力にさかのぼって考慮される規則を想定する
ことを意味する。The meaning of the method of change is as follows. If the dimension of the previous pattern is 0, and the pattern created by the change is dimension 12, then I! 1-, f'2 >0 means that the number of past steps that have been considered up to now is reduced. On the other hand, the first to (j?11'2) components of the mask are:
This is the component that focuses on the past input vector that will be truncated. Therefore, a new mask vector obtained by deleting this part from the mask vector means that the input vector before the corresponding step is completely ignored. Since the other components are considered as before, the corresponding mask vector components and mask weights are left as they are. The mask generated is J! as usual! It may be two-dimensional. On the other hand, -l! In the case of 2×0, it means that rules that are considered retroactively more than ever are assumed.

この場合には今まであるマスクはそのさかのぼって考慮
される部分については全く考慮していなかったというこ
とであるから、全ての成分をＯにする。新たに発生させ
るマスクについてはパターンと同一の次元であればよい
が、新たに考慮することにした過去の入力を積極的に考
慮すには新たに考慮することにした入力に対応するマス
クの成分（第（〕、＋１）〜第２．成分）に少なくとも
１箇所１が立っている方が効率的である。なお第５図の
（）があるとより効率的であるが別になくてもよい。In this case, all the components are set to O because the existing masks have not taken any consideration into the part that is considered retroactively. It is sufficient for a newly generated mask to have the same dimensions as the pattern, but in order to actively consider past inputs that have been decided to be newly considered, the components of the mask that correspond to the inputs that have been newly decided to be considered should be It is more efficient if at least one 1 stands at (the (], +1) to the second component). Although it is more efficient if the parentheses in FIG. 5 are present, they are not necessary.

時系列係数決定器１０のパラメータ変更に伴なう変換か
こうしてマスク発生器７、正答（及び誤答）基底変換６
１４ａ、１４ｂによって行なわれた後は、やはり前述し
た先願発明と同様の学習を行なう。The mask generator 7, correct answer (and wrong answer) basis conversion 6
After performing steps 14a and 14b, the same learning as in the prior invention described above is performed.

第２図が第１図の学習結果を用いて学習時の入力、更に
は未知の入力に対して推論により出力を予測する場合の
構成を示している。FIG. 2 shows a configuration in which the learning results of FIG. 1 are used to predict the output by inference with respect to the input during learning and also to unknown input.

第４図に第１図第２図の入力、出力の対応関係を示すが
、通常は学習過程の入力ベクトル１（−Ｘ）を示すこと
により、入力ベクトル２（−ｙ）を想定する推論形式で
あるが、一般的には１対１対応である必要はなく、例え
ば推論過程の入力ベクトルは学習過程の入力ベクトルと
出力ベクトルの一部（又は全部）で構成されていてもよ
い。Figure 4 shows the correspondence between the inputs and outputs in Figures 1 and 2, but usually an inference format assumes input vector 2 (-y) by indicating input vector 1 (-X) in the learning process. However, in general, there is no need for a one-to-one correspondence; for example, the input vector of the inference process may be composed of part (or all) of the input vector and output vector of the learning process.

推論方式については前述した先願発明と同様である。The inference method is the same as that of the prior invention described above.

以上述べた実施例によれば、 （１）時系列係数決定器１０により推論の対象となる規
則が何回前の入力まで考慮したものであるかに関して対
象となる規則の範囲の拡大、縮小（主として拡大）が可
能となる。According to the embodiment described above, (1) Expansion or reduction of the range of the rule to be inferred by the time series coefficient determiner 10 regarding how many previous inputs the rule to be inferred has been considered Mainly, expansion) becomes possible.

（ｎ）時系列係数決定器１０．基底変換器１４ａ。(n) Time series coefficient determiner 10. Basis converter 14a.

１４ｂ、マスク発生器７の協同作用により、学習途中で
対象規則の拡大、縮小を行なう場合関数器２ａ、２ｂ群
のマスクを継承できる。14b and the mask generator 7, the masks of the function generators 2a and 2b can be inherited when the target rule is enlarged or reduced during learning.

これに対し、パーセブトロンに代表される従来型の学習
パターン認識装置は、入カバターン（通称Ｓユニット）
から中間層（Ａユニット）を経て出力（Ｒユニット）が
決定されるものであった。On the other hand, conventional learning pattern recognition devices such as persebtrons use input cover turns (commonly known as S units).
From there, the output (R unit) was determined via the intermediate layer (A unit).

このため、−回の入力からその入力に応じた出力を正し
く行なう学習は可能だが（線型分離可能であるという条
件つき）、出力が例えば今回入力より一回前、二回前に
入力されたパターンに影響される場合の学習は不可能で
あった。For this reason, it is possible to learn to correctly output according to the input from − times the input (with the condition that it is linearly separable), but if the output is a pattern that was input one or two times before the current input, for example. Learning was impossible when influenced by

また、この対策として仮に入力をいくつか前の分まで記
憶しておき、今回入力分とあわせて人カバターンとする
方式を採用したとしても入力として何回前まで参照する
かのパラメータを変えた場合学習機械の内部状態をそれ
までの学習結果を保存したままでそれに応じて合理的に
変化させることが困難である。Also, as a countermeasure to this, even if a method is adopted in which inputs are memorized up to a few previous minutes and the current input is used as a cover turn, if the parameter of how many times the previous input is referenced is changed. It is difficult to rationally change the internal state of a learning machine according to the learning results while preserving the learning results up to that point.

さらに、小春モデルにおいても、何回か前までの入力が
出力に影響を及ぼす場合の学習はできず、仮に、この対
策ができたとしても内部空間次元が必要以上に大きくな
り、効率が悪く、事実上実理不可能に近い内部構造とな
るという問題がある。Furthermore, even in the Koharu model, it is not possible to learn when inputs from several times ago affect the output, and even if this countermeasure could be taken, the internal spatial dimension would be larger than necessary, which would be inefficient. There is a problem in that the internal structure is practically impossible.

一方、先願発明では一回の入力が一回の出力を決定する
という規則の学習のみ可能である。On the other hand, in the prior invention, it is only possible to learn the rule that one input determines one output.

［発明の効果］ 以上詳述したように本発明によれば、従来方式よりも少
ない構成（或いは少ない容昌、少ない計算ｒＩ″Ｌ）で
、パターン４７１成要素間に潜む規則をより明確に把握
することができ、Ｒつ効率的な学習を行うことができ、
推論の対象となる規則か何回か前の入力に影響されるか
という対象規則の範囲を拡大、縮小することが可能とな
る。従って、未提示のパターンから得られた学習結果に
基づき一定の法則の下に推論を行うことが要求される製
品のパターン認識装置や、入力間の因果関係を発見的に
求めるシステム・アナライザー等としてＩＩＩ用ｉ＋Ｊ
能な帰納１１論装置を実現することができ、そのＵ用件
は絶大である。[Effects of the Invention] As detailed above, according to the present invention, the rules hidden between the pattern 471 components can be more clearly understood with fewer configurations (or fewer changes, fewer calculations) than the conventional method. You can learn efficiently,
It is possible to expand or reduce the range of rules that are subject to inference or are influenced by previous inputs. Therefore, it can be used as a pattern recognition device for products that require inference based on a certain rule based on learning results obtained from unpresented patterns, or as a system analyzer that heuristically determines causal relationships between inputs. i+J for III
It is possible to realize a highly efficient inductive logic device, and its U requirements are enormous.

【図面の簡単な説明】[Brief explanation of drawings]

第１図及び第２図は本発明の一実施例に係わる帰納推論
装置の概略構成を示すもので、第１図は学習１１ｊｊの
全体構成を示すブロック図、第２図は１１［論時の全体
ｔＭ成を示すブロック図、゛第３図は同実施例の学習時
提示パターン図、第４図は第１図の本発明により学習時
と第２図本発明による推論時における入出力信号の構成
関係を示す図、第５図は本発明の一実施例としてのマス
ク発生器と、正答基底変換器と誤答基底変換；；；の作
用例を示す図、第６図は先願発明に用いた基底関数器群
の具体的ｌ、ｊ７成を示すブロック図、第７図は先願発
明のマスク関ｆｆｉ＆　ａＷの作用を説明するための模
式図、第８図は先願発明の論理関数器の作用を説明する
ためのトゴ式図、第９図は先願発明の重みモニター機構
の判定基準例を説明するための模式図、第１０図は先願
発明の最終識別関数器の作用を説明するための模式図、
第１１図は先願発明の出力推論機構の１１Ｆ論概念を説
明するための模式図、−゛″　　　　　　”　　　　　
　　　　　”’′−、判である。 １・・パターン合成器、２ａ・・・正答基底関数器群、
２ｂ・・・誤答基底関数器群、３ａ・・・正答重み学習
器、３ｂ・・・ご１答重み学習器、４ａ・・・正答重み
記憶器、４ｂ・・・誤答重み記憶器、５ａ・・・正答ｍ
みモニター機構、５ｂ・・・誤答重みモニター機構、ぢ
・・・マスク交換機構、７・・・マスク発生器、８・・
・切替器、９・・・入力ベクトル記憶器、１０・・・時
系列係数決定器、１１ａ・・・正答識別関数器、ｌｌｂ
誤答識別関数器、１２・・・最終識別関数器、１３・・
・出力推論機構１４ａ・・・正答基底変換器、１４ｂ・
・・誤答基底変換器。 出願人代理人　弁理士　鈴江武彦 第３図 第４図 第５図1 and 2 show a schematic configuration of an inductive reasoning device according to an embodiment of the present invention. FIG. 1 is a block diagram showing the overall configuration of the learning 11jj, and FIG. A block diagram showing the overall tM configuration. ゛Fig. 3 is a diagram of the presentation pattern during learning of the same embodiment. Fig. 4 is a diagram of input/output signals during learning according to the present invention in Fig. 1, and Fig. 2 during inference according to the present invention. FIG. 5 is a diagram showing the configuration relationship, and FIG. 5 is a diagram showing an example of the operation of a mask generator, a correct answer basis converter, and an incorrect answer basis converter as an embodiment of the present invention. FIG. A block diagram showing the specific l, j7 configuration of the basis function group used, FIG. 7 is a schematic diagram for explaining the operation of the mask function ffi & aW of the earlier invention, and FIG. 8 is a logic function of the earlier invention. 9 is a schematic diagram for explaining an example of the criterion for the weight monitoring mechanism of the prior invention, and FIG. 10 is a schematic diagram for explaining the function of the final discriminator of the prior invention Schematic diagram for explanation,
FIG. 11 is a schematic diagram for explaining the concept of the 11F theory of the output inference mechanism of the prior invention.
”'-, is the size. 1... Pattern synthesizer, 2a... Correct answer basis function group,
2b...Wrong answer basis function unit group, 3a...Correct answer weight learning device, 3b...One answer weight learning device, 4a...Correct answer weight storage device, 4b...Wrong answer weight storage device, 5a...Correct answer m
5b... Wrong answer weight monitoring mechanism, 1... Mask exchange mechanism, 7... Mask generator, 8...
- Switcher, 9... Input vector storage device, 10... Time series coefficient determiner, 11a... Correct answer discrimination function device, llb
Wrong answer discriminator, 12...Final discriminator, 13...
・Output inference mechanism 14a...correct answer basis converter, 14b・
...Wrong answer basis converter. Applicant's agent Patent attorney Takehiko Suzue Figure 3 Figure 4 Figure 5

Claims (1)

【特許請求の範囲】[Claims] パターン合成器が学習対象となるパターンの一部、全部
（空集合を含む）を取出し、これに対して論理値を出力
する第１及び第２の基底関数器群と、上記各基底関数器
の出力と教師信号との相関度に応じて重み値を変化させ
る第１及び第２の重み学習器と、上記重み値の変化度を
学習回数との関連においてモニタし、パターンの内部規
則表現に不要な基底関数器をピックアップする第１及び
第２の学習状況モニタ機構と、これらのモニタ機構の出
力に基づいて基底関数器の交換、補充を行ったり、マス
ク発生器からのマスク次元数の除去、機能停止を行う基
底関数交換補充機構と、上記パターンの内部規則を基底
関数器群として選択し、その重要度を蓄積する第１及び
第２の重み記憶器と、前記教師信号が正答を示す場合と
誤答を示す場合について前記基底関数器群、重み学習器
、モニタ機構、重み記憶器を第１或いは第２側に切替え
る切替器と、正答による重み値と基底関数の線型和より
構成される正答関数器及び誤答による重み値と基底関数
の線型和により構成される誤答関数器を統合した識別関
数器と、何回か前までの入力ベクトルを保存可能な入力
ベクトル記憶器と、学習の対象となる規則が何回前まで
の入力に影響されるかを設定可能であって上記入力ベク
トル記憶器のに入力ベクトル数と上記基底関数交換補充
機構のマスク次元数を制御する時系列係数決定器とを具
備し、前記重み記憶器に蓄積された学習結果に基づいて
、前記識別関数器により前記パターンの一部を提示して
残部を推論する、或いはパターンの全部を見せて正否を
判定させるとともに、前何回かの入力ベクトルをも考慮
可能にしたことを特徴とする時系列規則帰納推論装置。The pattern synthesizer extracts some or all of the patterns to be learned (including the empty set) and outputs a logical value for the patterns, and a first and second basis function unit group, and each of the basis function units described above. First and second weight learning devices that change weight values according to the degree of correlation between the output and the teacher signal, monitor the degree of change of the weight values in relation to the number of learning times, and are unnecessary for internal rule expression of the pattern. first and second learning status monitoring mechanisms for picking up basis function vectors, and based on the outputs of these monitoring mechanisms, replacing and replenishing the basis function vectors, removing the number of mask dimensions from the mask generator, a basis function exchange replenishment mechanism that stops functioning; first and second weight memories that select internal rules of the above pattern as a basis function unit group and accumulate their importance; and when the teacher signal indicates a correct answer. and a switch for switching the basis function unit group, a weight learning device, a monitor mechanism, a weight storage device to the first or second side in case of an incorrect answer, and a linear sum of the weight value and basis function according to the correct answer. A discriminative function unit that integrates a correct answer function unit and an incorrect answer function unit formed by a linear sum of weight values and basis functions due to incorrect answers, an input vector memory that can store input vectors up to several times before, and learning. A time series coefficient that can set how many previous inputs the target rule is influenced by and controls the number of input vectors in the input vector memory and the number of mask dimensions of the basis function exchange replenishment mechanism. a decider, and based on the learning results accumulated in the weight memory, the discrimination function unit presents a part of the pattern and infers the remaining part, or shows the entire pattern and determines whether it is correct or not. A time-series rule inductive inference device characterized in that it is also capable of considering input vectors from several previous times.