JPH06149771A - Method and device for constituting neural network for associative storage - Google Patents

Abstract

PURPOSE:To easily perform the learning of a recurrent type network for associative storage which includes a hidden unit. CONSTITUTION:Neural networks corresponding to storage items one to one are prepared. The networks learn the relation between the corresponding storage items and other storage items. Those networks are feedforward type neural networks and an error inverse propagating method which is widely used by the feedforward type networks is employed for learning. The input of a feedforward type neural network after learning and the output of another feedforward type neural network are coupled through a feedback loop 103 to form one recurrent type network.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明はある記憶項目をキーとし
てそれと関連の深い記憶項目を想起する連想記憶の構成
方法およびその装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for constructing an associative memory in which a certain memory item is used as a key to recall a memory item having a close relationship with it.

【０００２】[0002]

【従来の技術】ホップフィールドモデルと呼ばれるユニ
ットが相互に結合したニューラルネットワークを連想記
憶として用いる方法が従来から知られている。通常、ホ
ップフィールドモデルでは、ユニット間の結合重みは外
部の手段によって決定され、ニューラルネットワークに
明示的に与えられる。2. Description of the Related Art A method using a neural network, which is called a Hopfield model, in which units are connected to each other, is known as an associative memory. Usually, in the Hopfield model, the connection weight between units is determined by external means and given explicitly to the neural network.

【０００３】ユニット間の結合重みを決定する方法に関
しては特開平3−179560 号公報に、語間の関係を表すネ
ットワークの生成方法がある。この方法で生成されるネ
ットワークは、語に対応するノードとそれらを結合する
重み付きリンクからなっており、リンクの重みが語間の
関係を表している。リンクの重みは文書中に２語が同時
に出現する頻度情報から決定される。Regarding the method of determining the connection weight between units, Japanese Patent Laid-Open No. 3-179560 discloses a method of generating a network showing the relationship between words. The network generated by this method consists of nodes corresponding to words and weighted links connecting them, and the link weights represent the relationships between words. The link weight is determined from the frequency information in which two words appear in the document at the same time.

【０００４】[0004]

【発明が解決しようとする課題】連想記憶では、キーか
らある記憶項目が連想され、その記憶項目からさらに別
の記憶項目が連想されるというように、連想が連続して
起こり、その過程、あるいはその結果が連想結果となる
という動作が考えられる。これは、すなわち、連想出力
が入力にフィードバックされることであり、これを実現
するニューラルネットワークとしてはリカレント型が適
している。リカレント型ニューラルネットワークは、ユ
ニット間の信号の伝達経路にループが存在するネットワ
ークである。In associative memory, a memory item is associated with a certain memory item, and another memory item is associated with the memory item. It is conceivable that the result becomes an association result. That is, the associative output is fed back to the input, and the recurrent type is suitable as a neural network for realizing this. The recurrent neural network is a network in which a loop exists in a signal transmission path between units.

【０００５】ニューラルネットワークには隠れユニット
のあるタイプとないタイプが考えられる。記憶項目間の
関係が多少なりとも複雑な場合は、それを学習するため
には隠れユニットが必要となる。隠れユニットのあるリ
カレント型ニューラルネットワークに適用できる学習方
法としてはリカレント型ネットワーク用に拡張した誤差
逆伝播法などが知られているが、学習に要する時間，学
習の収束性の点で困難がある。There are two types of neural networks, one with hidden units and the other without hidden units. If the relationship between memory items is more or less complicated, hidden units are needed to learn it. As a learning method applicable to a recurrent neural network with hidden units, an error backpropagation method extended for a recurrent network is known, but it is difficult in terms of time required for learning and convergence of learning.

【０００６】本発明の目的は、連想記憶のための隠れユ
ニットのあるリカレント型ネットワークの学習を簡単に
行うことにある。An object of the present invention is to easily perform learning of a recurrent network having hidden units for associative memory.

【０００７】[0007]

【課題を解決するための手段】記憶項目の一つ一つに対
応するニューラルネットワークを用意する。これをサブ
ネットワークと呼ぶことにする。サブネットワークの出
力値が、対応している記憶項目の想起の強さを表す。記
憶項目の想起の強さを活性度と呼ぶことにする。また、
サブネットワークは他の記憶項目の活性度、すなわち、
他のサブネットワークの出力値を入力とする。そして、
対応している記憶項目とその他の記憶項目との間の関係
を学習する。サブネットワークはフィードフォワード型
ニューラルネットワークであり、学習にはフィードフォ
ワード型ネットワークで多用されている誤差逆伝播法を
用いる。学習の終了したサブネットワーク同士を結合し
て、一つのリカレント型ネットワークにする。[Means for Solving the Problems] A neural network corresponding to each memory item is prepared. This is called a sub-network. The output value of the sub-network represents the strength of recall of the corresponding storage item. The strength of memory item recall is called activity. Also,
The sub-network is the activity of other storage items, that is,
Input the output value of another sub-network. And
Learn the relationships between corresponding memory items and other memory items. The sub-network is a feed-forward type neural network, and the error back-propagation method which is frequently used in the feed-forward type network is used for learning. Combine the learned sub-networks into one recurrent network.

【０００８】また、上記のような、記憶項目間の想起関
係を個別に学習したサブネットワークを結合して得られ
るリカレント型ニューラルネットワークを用いて連想記
憶装置を構成する。Further, the associative memory device is constructed using a recurrent neural network obtained by connecting the sub-networks in which the association relations between memory items are individually learned as described above.

【０００９】[0009]

【作用】各サブネットワークの出力値は、対応している
記憶項目の活性度を表す。サブネットワークの入力は他
の記憶項目の活性度である。各サブネットワークに、対
応している記憶項目とその他の記憶項目との間の関係を
学習させる。記憶項目間の関係とは、例えば、文書中の
単語の共起頻度である。これにより、各サブネットワー
クは、他の記憶項目の活性度から自らが対応している記
憶項目の活性度を決定する関数を学習する。The output value of each sub-network represents the activity of the corresponding storage item. The input of the sub-network is the activity of other storage items. Make each sub-network learn the relationship between the corresponding storage item and the other storage items. The relationship between storage items is, for example, the co-occurrence frequency of words in a document. As a result, each sub-network learns a function that determines the activity level of the corresponding storage item from the activity levels of the other storage items.

【００１０】各サブネットワークはフィードフォワード
型であり、誤差逆伝播法等を用いて比較的簡単に学習を
行うことができる。Each sub-network is a feed-forward type, and learning can be performed relatively easily by using an error back-propagation method or the like.

【００１１】学習終了後、フィードバックループを介し
て全てのサブネットワークを結合し、リカレント型ネッ
トワークにすることにより、各サブネットワークにおけ
る連想結果を新たに連想キーとし、連想を連続して行う
ことができる。After the learning is completed, all the sub-networks are connected through a feedback loop to form a recurrent network, and the association result in each sub-network is newly used as an association key, so that the associations can be continuously performed. .

【００１２】[0012]

【実施例】本発明の一実施例を説明する。ここでは、文
書中の単語の共起関係を学習し、それにしたがって、与
えられた連想キーと関連の深い単語を想起する連想記憶
を例にとる。図１に連想ネットワークの構成を示す。サ
ブネットワーク１０１の一つ一つが記憶項目の一つ一つ
に対応している。端子１０２は連想ネットワークと外部
との信号の入出力、例えば、連想キーの入力，連想結果
の出力を行う。フィードバックループ１０３はサブネッ
トワークの出力と入力を結合し、また、外部からの信号
をサブネットワークに入力する。EXAMPLE An example of the present invention will be described. Here, associative memory that learns the co-occurrence relations of words in a document and recollects words that are deeply related to a given associative key is taken as an example. FIG. 1 shows the configuration of the associative network. Each of the sub-networks 101 corresponds to each of the storage items. The terminal 102 inputs and outputs signals between the associative network and the outside, for example, inputs an associative key and outputs an associative result. The feedback loop 103 couples the output and the input of the sub-network, and also inputs a signal from the outside to the sub-network.

【００１３】記憶項目の集合をＩＴＥＭ，その要素数を
Ｎ，各要素をitem_i と表すことにする。これらの関係を
数１に示す。A set of storage items is represented by ITEM, the number of elements is represented by N, and each element is represented by item _i . Equation 1 shows these relationships.

【００１４】[0014]

【数１】ＩＴＥＭ＝｛item_i｜ｉ＝１，…，Ｎ｝ サブネットワークの集合をＳＮＥＴ、その各要素をsnet
_i と表すことにする。サブネットワークは記憶項目に対
応しているので、記憶項目の数だけサブネットワークが
存在する。これらの関係を数２に示す。## EQU1 ## ITEM = {item _i | i = 1, ..., N} SNET is a set of sub-networks, and each element is snet
_Let's call it _i . Since sub-networks correspond to storage items, there are as many sub-networks as storage items. Equation 2 shows these relationships.

【００１５】[0015]

【数２】ＳＮＥＴ＝｛snet_i｜ｉ＝１，…，Ｎ｝ サブネットワークはフィードフォワード型のニューラル
ネットワークである。ニューラルネットワークは一般に
多入力一出力の比較的簡単な計算ユニットを結合重みを
介して多数結合してなる計算装置である。計算ユニット
の入出力特性は次式で表される。## EQU00002 ## SNET = {snet _i | i = 1, ..., N} The sub-network is a feed-forward type neural network. A neural network is generally a computing device in which a large number of relatively simple computing units with multiple inputs and one output are connected via connection weights. The input / output characteristic of the calculation unit is expressed by the following equation.

【００１６】[0016]

【数３】ｏ_i＝ｆ(net_i) net_i＝ａ(ｗ_ijｏ_j，θ_i) ｊ＝１，…，Ｍ ただし、Ｍはユニットｉに入力するユ
ニットの数 ｏ_i ：計算ユニットｉの出力値 θ_i ：計算ユニットｉの持つバイアス ｗ_ij：計算ユニットｊの出力と計算ユニットｉの入力の
間の結合重み ａ()：計算ユニットの入力関数 ｆ()：計算ユニットの出力関数 フィードフォワード型ニューラルネットワークは計算ユ
ニット間結合にループが存在せず、信号の伝達が入力側
計算ユニットから出力側計算ユニットへの一方向のみで
ある。フィードフォワード型ニューラルネットワークで
は計算ユニットの入・出力関数として次のような総和、
及びシグモイド関数がよく用いられる。[Mathematical formula-see original document] o _i = f (net _i ) net _i = a (w _ij o _j , θ _i ) j = 1, ..., M where M is the number of units input to the unit _i o _i : calculation unit i Output value θ _i : Bias of calculation unit i w _ij : Connection weight between the output of calculation unit j and the input of calculation unit i a (): Input function of calculation unit f (): Output function of calculation unit Feed In the forward type neural network, there is no loop in the coupling between the calculation units, and the signal transmission is only in one direction from the input side calculation unit to the output side calculation unit. In the feed-forward neural network, the following sums as input / output functions of the calculation unit,
And sigmoid functions are often used.

【００１７】[0017]

【数４】ａ(ｗ_ijｏ_j，θ_i)＝Σ_jｗ_ijｏ_j＋θ_i ｆ(net_i)＝１／(１＋exp(−net_i)) フィードフォワード型ニューラルネットワーク向けの学
習アルゴリズムとして誤差逆伝播法がよく知られてい
る。誤差逆伝播法は教師付き学習法で、入力値とその入
力値に対して出力すべき出力値の組を教師値として提示
すると、ニューラルネットワークの出力値と教師出力値
との誤差が減少するようにニューラルネットワークの結
合重み、及びバイアスを変更する。結合重みｗ_ijの変更
量Δｗ_ijは次式で与えられる。## EQU4 ## a (w _ij o _j , θ _i ) = Σ _j w _ij o _j + θ _i f (net _i ) = 1 / (1 + exp (−net _i )) Error as a learning algorithm for the feedforward neural network The back propagation method is well known. The error back-propagation method is a supervised learning method, and when a pair of input values and output values to be output for the input values is presented as a teacher value, the error between the neural network output value and the teacher output value decreases. Change the connection weight and bias of the neural network. The change amount Δw _ij of the connection weight w _ij is given by the following equation.

【００１８】[0018]

【数５】Δｗ_ij＝−ηδ_iｏ_j η ：学習定数（＞０） δ_i：計算ユニットｉの誤差 計算ユニットｉの誤差δ_i は次式で与えられる。Δw _ij = −ηδ _i o _j η: learning constant (> 0) δ _i : error of calculation unit i The error δ _i of calculation unit _i is given by the following equation.

【００１９】[0019]

【数６】 [Equation 6]

【００２０】誤差逆伝播法は繰返し計算に基づく最急降
下法なので、入力値とそれに対する教師出力値をニュー
ラルネットワークに提示しては結合重みを変更するとい
う処理を繰返し、学習を行う。Since the error back-propagation method is the steepest descent method based on iterative calculation, learning is performed by repeating the processing of presenting the input value and the teacher output value corresponding thereto to the neural network and changing the connection weight.

【００２１】各サブネットワークsnet_iは対応する記憶
項目item_iとその他の記憶項目item_j（ｊ≠ｉ）の間の関
係を学習する。記憶項目間の関係とは、本実施例では、
文書中の単語の共起関係であり、与えられた文書からこ
の共起関係を学習する。表１に文書の例を示す。また、
表２に記憶項目の例を示す。Each sub-network snet _i learns the relationship between the corresponding storage item item _i and the other storage items item _j (j ≠ i). In this embodiment, the relationship between the memory items is
It is a co-occurrence relation of words in a document, and this co-occurrence relation is learned from a given document. Table 1 shows an example of a document. Also,
Table 2 shows examples of stored items.

【００２２】[0022]

【表１】 [Table 1]

【００２３】[0023]

【表２】 [Table 2]

【００２４】例として、単語「高い」（item₁₀）に注目
する。単語「高い」は文番号８，９の文中に出現する。
この２文から次のような共起関係が容易に見てとれる。As an example, consider the word "high" (item ₁₀ ). The word “high” appears in the sentences of sentence numbers 8 and 9.
From these two sentences, the following co-occurrence relation can be easily seen.

【００２５】[0025]

【数７】 論理式［(Ａ社)・(製品１)＋(Ｂ社)・(製品２)］が真 → 単語「高い」が文中に出現 ここで、（Ａ社）は単語「Ａ社」が文中に出現するとき
に真となる論理変数であり、他の単語についても同様で
ある。「・」，「＋」はそれぞれ論理積，論理和を表
す。数７は、『「Ａ社」と「製品１」が同時に、また
は、「Ｂ社」と「製品２」が同時に出現する文に「高
い」が出現する』ことを意味している。記憶項目間の関
係は論理関数に限らず、一般に次のようにかける。[Formula 7] Logical expression [(Company A), (Product 1) + (Company B), (Product 2)] is true → The word "high" appears in the sentence, where (Company A) is the word "Company A." Is a logical variable that becomes true when it appears in a sentence, and the same applies to other words. “•” and “+” represent logical product and logical sum, respectively. The expression 7 means that “high” appears in a sentence in which “company A” and “product 1” appear at the same time, or “company B” and “product 2” appear at the same time ”. The relationship between the memory items is not limited to the logical function, but is generally applied as follows.

【００２６】[0026]

【数８】Ａitem_i＝Ｆitem_i(Ａitem₁，…，Ａitem_N) ただし、 Ａitem_i ：item_iの活性度 Ｆitem_i()：Ａitem_j(ｊ＝１，…，Ｎ)の関数 各サブネットワークsnet_iは対応する記憶項目item_iにつ
いてＦitem_i( )を学習する。したがって、サブネットワ
ークsnet_iの入力はＡitem_j，出力はＦitem_i( )となり、
サブネットワークsnet_iの出力値が新たなＡitem_iとな
る。Equation 8] _{Aitem i = Fitem i (Aitem 1} , ..., Aitem N) However, Aitem _i: item _i of activity _{Fitem i (): Aitem j (} j = 1, ..., N) of the function each subnetwork snet _i learns Fitem _i () for the corresponding storage item item _i . Therefore, the input of subnetwork snet _i is Aitem _j , and the output is Fitem _i (),
The output value of the sub-network snet _i becomes the new A item _i .

【００２７】学習の手順を述べる。本実施例では、関数
Ｆitem_i( )はＡitem_j(ｊ≠ｉ）で定義されるものとす
る。まず、表１の文書をもとに数９に示すような学習用
データを作成する。これは、各単語が文中に出現するか
どうかを表す二値ベクトルであり、単語が文中に出現す
るときに、その単語に対応する要素が値１をとるものと
する。The learning procedure will be described. In this embodiment, the function Fitem _i () is defined by Aitem _j (j ≠ i). First, learning data as shown in Formula 9 is created based on the document in Table 1. This is a binary vector indicating whether or not each word appears in the sentence, and when the word appears in the sentence, the element corresponding to the word takes the value 1.

【００２８】[0028]

【数９】 ldata_i＝（le_i1，le_i2，…，le_iN） （ｉ＝１，…，Ｍ） ただし、 ldata_i：文番号ｉに関する学習データ Ｍ ：文書数 Ｎ ：記憶項目数 学習用データの例を表３に示す。Ldata _i = (le _i1 , le _i2 , ..., le _iN ) (i = 1, ..., M) where, ldata _i : learning data for sentence number _i M: number of documents N: number of memory items for learning Table 3 shows an example of the data.

【００２９】[0029]

【表３】 [Table 3]

【００３０】次に、この学習用データをもとに数１０に
示すような各サブネットワーク用の教師データを作成す
る。これは学習用データベクトルを出力教師データと入
力教師データに分解したものである。Next, based on this learning data, teacher data for each sub-network as shown in Formula 10 is created. This is a learning data vector decomposed into output teacher data and input teacher data.

【００３１】[0031]

【数１０】 [Equation 10]

【００３２】例としてサブネットワークsnet₁₀用の教師
データを表４に示す。As an example, Table 4 shows teacher data for the sub-network snet ₁₀ .

【００３３】[0033]

【表４】 [Table 4]

【００３４】さらに、この教師データをもとに実効教師
データを作成する。実効教師データは、教師データの中
から、ある文番号に関する出力，入力教師データの組を
削除したものである。例えば、表４の文番号１と文番号
８を見てみよう。文番号８から、単語「Ａ社」と単語
「製品１」が同時に出現する場合に単語「高い」が文中
に出現することがわかる。ところが、文番号１を見る
と、単語「Ａ社」と単語「製品１」が同時に出現してい
るが、単語「高い」は出現していない。文の意味の上で
は文番号１と文番号８は矛盾する文ではないが、後述す
る制約の付いた誤差逆伝播法ではこの２文は矛盾したデ
ータと見なされる。そこで、文番号１のような文を削除
した残りを実効教師データとし、これを学習に用いる。
サブネットワークsnet₁₀の実効教師データを表５に示
す。Further, effective teacher data is created based on this teacher data. The effective teacher data is obtained by deleting a set of output and input teacher data regarding a certain sentence number from the teacher data. For example, look at sentence number 1 and sentence number 8 in Table 4. It can be seen from the sentence number 8 that the word “high” appears in the sentence when the word “company A” and the word “product 1” appear at the same time. However, looking at sentence number 1, the word "Company A" and the word "Product 1" appear at the same time, but the word "high" does not appear. The sentence numbers 1 and 8 are not contradictory sentences in terms of the meaning of the sentence, but these two sentences are regarded as contradictory data in the later-described constrained error back-propagation method. Therefore, the rest of the deleted sentence such as sentence number 1 is used as effective teacher data, and this is used for learning.
Table 5 shows the effective teacher data for sub-network snet ₁₀ .

【００３５】[0035]

【表５】 [Table 5]

【００３６】この例では文番号１と６が実効教師データ
から削除される。実効教師データを作成する手順を図２
に示す。In this example, sentence numbers 1 and 6 are deleted from the effective teacher data. Figure 2 shows the procedure for creating effective teacher data.
Shown in.

【００３７】〔サブネットワークsnet_j用の実効教師デ
ータ作成手順〕 ２０１：２０２の処理を文書数だけ行う（ｉ＝１〜
Ｍ）。[Procedure for Creating Effective Teacher Data for Sub-Network snet _j ] The process 201: 202 is performed for the number of documents (i = 1 to 1).
M).

【００３８】２０２：文番号ｉの教師データが削除され
ていなければ２０３の処理を行う。202: If the teacher data of sentence number i is not deleted, the process of 203 is performed.

【００３９】２０３：文番号ｉの出力教師データの値が
１ならば２０４の処理を行う。203: If the value of the output teacher data of the sentence number i is 1, the process of 204 is performed.

【００４０】２０４：２０５の処理を文書数だけ行う。
ただし、文番号ｉについては行わない（ｋ＝１〜Ｍ，ｋ
≠ｉ）。The processing of 204: 205 is performed for the number of documents.
However, the sentence number i is not performed (k = 1 to M, k
≠ i).

【００４１】２０５：二値ベクトルidata_jiとidata_jkの
要素ごとの論理積をとった結果がidata_ji に等しく、か
つ、文番号ｋの出力教師データの値が０ならば２０６の
処理を行う。205: If the result of taking the logical product of the binary vectors idata _ji and idata _jk for each element is equal to idata _ji and the value of the output teacher data of the sentence number k is 0, the process of 206 is performed.

【００４２】２０６：文番号ｋの教師データを実効教師
データから削除する。206: Delete the teacher data of sentence number k from the effective teacher data.

【００４３】図３にサブネットワークsnet_iの構成を示
す。本実施例では、Ｆitem_i( )はＡitem_j（ｊ≠ｉ）で
定義される。すなわち、サブネットワークsnet_iは自ら
が対応する記憶項目の活性度Ａitem_i を直接入力しな
い。したがって、サブネットワークの出力ユニット３０
１の数は１，入力ユニット３０３の数はＮ−１である。
隠れユニット３０２の数は記憶項目間の関係の複雑さに
依存する。学習は実効教師データを用いて、誤差逆伝播
法により行うが、ここで用いる誤差逆伝播法には、ユニ
ット間の結合重みの値が非負，ユニットのバイアスの値
が非正という制約を加えてある。この誤差逆伝播法の手
順を表すＰＡＤ図を図４に示す。FIG. 3 shows the configuration of the sub-network snet _i . In this embodiment, Fitem _i () is defined by Aitem _j (j ≠ i). That is, the sub-network snet _i does not directly input the activity Aitem _i of the storage item to which it corresponds. Therefore, the output unit 30 of the sub-network
The number of 1's is 1, and the number of input units 303 is N-1.
The number of hidden units 302 depends on the complexity of the relationships between storage items. Learning is performed by the error back-propagation method using effective teacher data. The error back-propagation method used here has the constraint that the value of the coupling weight between units is non-negative and the value of the bias of the unit is non-positive. is there. A PAD diagram showing the procedure of this error back propagation method is shown in FIG.

【００４４】〔制約付き誤差逆伝播法の手順〕 ４０１：ｉが１からＮ_Lまで４０２の処理を行う。[Procedure of Error Back Propagation Method with Constraints] 401: i is 1 to _NL 402 is processed.

【００４５】４０２：δ_iL←err_i・o_iL・(１−o_iL) ４０３：ｍがＬ−１から２まで４０４の処理を行う。[0045] _{402: δ iL ← err i ·} o iL · (1-o iL) 403: m performs processing of 404 from L-1 to 2.

【００４６】４０４：ｉが１からＮ_mまで４０５から４
０８の処理を行う。404: i from 1 to N _m 405 to 4
08 processing is performed.

【００４７】４０５：δ_im←０ ４０６：ｊが１からＮ_m+1まで４０７の処理を行う。405: δ _im ← 0 406: j is processed from 1 to N _{m + 1} 407.

【００４８】４０７：δ_im←δ_im＋ｗ_jim+1δ_im+1 ４０８：δ_im←δ_im・ｏ_im・(１−ｏ_im) ４０９：ｍが２からＬまで４１０の処理を行う。[0048] _{407: δ im ← δ im +} w jim + 1 δ im + 1 408: δ im ← δ im · o im · (1-o im) 409: m performs processing of 410 from 2 to L.

【００４９】４１０：ｉが１からＮ_mまで４１１から４
１７の処理を行う。410: i from 1 to N _m 411 to 4
The process of 17 is performed.

【００５０】４１１：ｊが１からＮ_m-1まで４１２の処
理を行う。411: j performs processing 412 from 1 to N _m-1 .

【００５１】４１２：tmp←ｗ_ijm＋ηδ_imｏ_jm-1 ４１３：tmp≧０ならば４１４、そうでなければ４１５
の処理を行う。412: tmp ← w _ijm + ηδ _im o _jm-1 413: 414 if tmp ≧ 0, otherwise 415
Process.

【００５２】４１４：ｗ_ijm←tmp ４１５：ｗ_ijm←ｗ_ijm／２ ４１６：tmp←θ_im＋ηδ_im ４１７：tmp≦０ならば４１８、そうでなければ４１９
の処理を行う。414: w _ijm ← tmp 415: w _ijm ← w _ijm / 2 416: tmp ← θ _im + ηδ _im 417: 418 if tmp ≦ 0, otherwise 419
Process.

【００５３】４１８：θ_im←tmp ４１９：θ_im←θ_im／２ ここで、 Ｌ ：ネットワークの層数 Ｎ_m ：第ｍ層のユニット数 err_i ：出力ユニットｉの出力誤差 ｏ_im ：第ｍ層，ユニットｉの出力値 δ_im ：第ｍ層，ユニットｉの誤差信号 ｗ_ijm：第ｍ−１層，ユニットｊから第ｍ層，ユニット
ｉへの結合重み θ_im ：第ｍ層，ユニットｉのバイアス 学習の終了したサブネットワークを結合して一つのリカ
レント型ネットワークを構成する。サブネットワークsn
et_iの入力Ｉ_j（ｊ≠ｉ）にはサブネットワークsnet_jの
出力ｏ_jをフィードバックループで結合する。418: θ _im ← tmp 419: θ _im ← θ _im / 2 where L: number of network layers N _m : number of _m- th layer units err _i : output error of output unit i o _im : m-th Output value of layer, unit i δ _im : error signal of m-th layer, unit i w _ijm : m-1 layer, connection weight from unit j to m-th layer, unit i θ _im : m-th layer, unit i Bias of Subnetworks for which learning has been completed are combined to form a recurrent network. Subnetwork sn
The output o _j of the sub-network snet _j is connected to the input I _j (j ≠ i) of et _i by a feedback loop.

【００５４】次に、以上のようにして構成したリカレン
ト型ネットワークの連想記憶としての利用法について述
べる。表２の記憶項目と表１の文書に基づいて構成され
たネットワークであるとする。まず、連想キーを設定す
る。例として、「Ａ社」と「売る」、すなわち、item₁
とitem₄を連想キーとする。ネットワークへの連想キー
の設定は、item₁とitem₄の活性度、すなわち、サブネッ
トワークsnet₁とsnet₄の出力値を１に固定することで行
う。その他のサブネットワークの出力値は初期値として
０を与えるが、固定はしない。Next, a method of using the recurrent network configured as above as an associative memory will be described. It is assumed that the network is configured based on the storage items in Table 2 and the documents in Table 1. First, set the association key. As an example, "Company A" and "Sell", that is, item ₁
And item ₄ are associated keys. The associative key is set to the network by fixing the activity of item ₁ and item ₄ , that is, the output value of sub-networks snet ₁ and snet ₄ to 1. The output values of other sub-networks are given 0 as initial values, but they are not fixed.

【００５５】サブネットワークの出力値はフィードバッ
クループによって他のサブネットワークに入力される。
このフィードバックは正帰還になっているので、このま
までは各サブネットワークの出力が飽和してしまうこと
が起こり得る。そこで、フィードバックには適当な減衰
をかける。例えば、０.８ 程度である。The output value of the sub-network is input to another sub-network by the feedback loop.
Since this feedback is a positive feedback, the output of each sub-network may be saturated as it is. Therefore, appropriate attenuation is applied to the feedback. For example, it is about 0.8.

【００５６】各サブネットワークはフィードバックルー
プからの入力を受け、出力値を計算する。これによって
記憶項目の活性度が更新される。更新された活性度は、
再び、フィードバックされ、サブネットワークに入力さ
れる。このように各サブネットワークの計算は連続して
行われ、あらかじめ設定された計算繰返し回数、あるい
は全てのサブネットワークの出力値が変化しなくなった
時点で計算は終了したとする。この時のサブネットワー
クの出力値が連想結果となる。Each sub-network receives the input from the feedback loop and calculates the output value. This updates the activity of the storage item. The updated activity is
It is fed back again and input to the sub-network. In this way, the calculation of each sub-network is continuously performed, and it is assumed that the calculation ends when the preset number of calculation iterations or the output values of all the sub-networks do not change. The output value of the sub-network at this time becomes the association result.

【００５７】各記憶項目の活性度の更新の仕方には同期
更新と非同期更新が考えられる。これらの手順をそれぞ
れ図５，図６に示す。Synchronous update and asynchronous update can be considered as the method of updating the activity of each storage item. These procedures are shown in FIGS. 5 and 6, respectively.

【００５８】〔同期更新の手順〕 ５０１：各記憶項目の活性度の初期状態を設定する。[Procedure for Synchronous Update] 501: The initial state of the activity of each storage item is set.

【００５９】５０２：計算繰返し回数ＣＹを設定する。502: Set the number of calculation repetitions CY.

【００６０】５０３：計算繰返し回数ＣＹだけ５０４か
ら５１３の処理を行う。503: Processes 504 to 513 are performed according to the number of calculation repetitions CY.

【００６１】５０４：ｉが１からＮまで５０５の処理を
行う。504: i is processed from 1 to N by 505.

【００６２】５０５：サブネットワークsnet_i の出力が
固定されていなければ５０６の処理を行う。505: If the output of the sub-network snet _i is not fixed, the process of 506 is performed.

【００６３】５０６：サブネットワークsnet_i の計算を
行う。506: The sub-network snet _i is calculated.

【００６４】５０７：ＦＬＡＧ←０ ５０８：ｉが１からＮまで５０９の処理を行う。507: FLAG ← 0 508: The processing of 509 from i to 1 is performed.

【００６５】５０９：サブネットワークsnet_i の出力が
固定されていなければ５１０の処理を行う。509: If the output of the sub-network snet _i is not fixed, the process of 510 is performed.

【００６６】５１０：Ａitem_i←サブネットワークsnet_i
の出力値×減衰係数 ５１１：５１０でＡitem_iの値が変化したならば５１２
の処理を行う。510: A item _i ← subnetwork snet _i
Output value x attenuation coefficient 511: If the value of Aitem _i changes at 510, 512
Process.

【００６７】５１２：ＦＬＡＧ←１ ５１３：ＦＬＡＧ＝０ならば５１４の処理を行う。If 512: FLAG ← 1 513: FLAG = 0, the process of 514 is performed.

【００６８】５１４：ループ５０３を脱出する。514: Exit the loop 503.

【００６９】〔非同期更新の手順〕 ６０１：各記憶項目の活性度の初期状態を設定する。[Procedure for Asynchronous Update] 601: Set the initial state of activity of each storage item.

【００７０】６０２：計算繰返し回数ＣＹを設定する。602: Set the number of calculation repetitions CY.

【００７１】６０３：計算繰返し回数ＣＹだけ６０４か
ら６１１の処理を行う。603: The processes from 604 to 611 are performed for the number of calculation repetitions CY.

【００７２】６０４：ＦＬＡＧ←０ ６０５：ｉが１からＮまで６０６の処理を行う。604: FLAG ← 0 605: i is processed from 1 to N 606.

【００７３】ただし、ｉの順序はランダム。However, the order of i is random.

【００７４】６０６：サブネットワークsnet_i の出力が
固定されていなければ６０７から６０９の処理を行う。606: If the output of the sub-network snet _i is not fixed, the processes of 607 to 609 are performed.

【００７５】６０７：サブネットワークsnet_i の計算を
行う。607: The sub-network snet _i is calculated.

【００７６】６０８：Ａitem_i←サブネットワークsnet_i
の出力値×減衰係数 ６０９：６０８でＡitem_i の値が変化したならば６１０
の処理を行う。608: A item _i ← Subnetwork snet _i
Output value x attenuation coefficient 609: If the value of Aitem _i changes at 608, 610
Process.

【００７７】６１０：ＦＬＡＧ←１ ６１１：ＦＬＡＧ＝０ならば６１２の処理を行う。610: FLAG ← 1 611: If FLAG = 0, the process of 612 is performed.

【００７８】６１２：ループ６０３を脱出する。612: Exit the loop 603.

【００７９】連想結果の一例を表６に示す。Table 6 shows an example of the association result.

【００８０】[0080]

【表６】 [Table 6]

【００８１】「Ａ社」と「売る」を連想キーとし、「製
品１」(item₇)と「高い」(item₁₀)が連想されている。
文番号１により、「Ａ社」と「売る」から「製品１」が
連想され、文番号８からさらに「高い」が連想されたと
解釈できる。With "association company A" and "sell" as association keys, "product 1" (item ₇ ) and "high" (item ₁₀ ) are associated.
It can be construed that sentence number 1 is associated with “product 1” from “company A” and “sell”, and sentence number 8 is associated with “higher”.

【００８２】[0082]

【発明の効果】本発明によれば連想記憶のための隠れユ
ニットのあるリカレント型ニューラルネットワークの学
習を、フィードフォワード型ニューラルネットワークの
学習アルゴリズムを用いて簡単に行うことができる。According to the present invention, learning of a recurrent neural network having a hidden unit for associative memory can be easily performed by using a learning algorithm of a feedforward neural network.

【図面の簡単な説明】[Brief description of drawings]

【図１】連想ネットワークの説明図。FIG. 1 is an explanatory diagram of an associative network.

【図２】教師データから実効教師データを作成する手順
を表すＰＡＤ説明図。FIG. 2 is a PAD explanatory diagram showing a procedure for creating effective teacher data from teacher data.

【図３】サブネットワークの説明図。FIG. 3 is an explanatory diagram of a sub-network.

【図４】本実施例で用いた誤差逆伝播法の手順を表すＰ
ＡＤ説明図。FIG. 4 shows P representing the procedure of the error backpropagation method used in this embodiment.
AD explanatory drawing.

【図５】活性度の同期更新の手順を表すＰＡＤ説明図。FIG. 5 is a PAD explanatory diagram showing a procedure of synchronous update of activity.

【図６】活性度の非同期更新の手順を表すＰＡＤ説明
図。FIG. 6 is a PAD explanatory diagram showing a procedure of asynchronous update of activity.

【符号の説明】[Explanation of symbols]

１０１…サブネットワーク、１０２…入出力端子、１０
３…フィードバックループ。101 ... Subnetwork, 102 ... Input / output terminals, 10
3 ... Feedback loop.

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】複数の記憶項目を記憶しており、ある単数
または前記複数の記憶項目をキーとし、それと関連の深
い前記記憶項目を想起する連想記憶に関して、前記各記
憶項目に対応するニューラルネットワークをそれぞれ用
意し、前記各ニューラルネットワークはそれぞれが対応
している前記記憶項目とその他の前記記憶項目との間の
想起関係を学習し、その後に学習の終了した前記ニュー
ラルネットワークを結合して一つのネットワークを構成
することを特徴とする連想記憶のためのニューラルネッ
トワークの構成方法。1. A neural network which stores a plurality of memory items, uses a certain singular or a plurality of memory items as a key, and associates the memory items with which they are closely related, the neural network corresponding to each of the memory items. Respectively, each of the neural networks learns an association relationship between the corresponding memory item and the other memory item, and after that, the neural networks that have finished learning are combined into one neural network. A method for constructing a neural network for associative memory characterized by constructing a network. 【請求項２】請求項１において、前記各記憶項目に対応
する前記ニューラルネットワークは隠れユニットを持つ
フィードフォワード型ネットワークである連想記憶のた
めのニューラルネットワークの構成方法。2. The method for constructing a neural network for associative memory according to claim 1, wherein the neural network corresponding to each memory item is a feedforward type network having hidden units. 【請求項３】請求項１において、学習時はフィードフォ
ワード型として学習を行い、学習終了後にリカレント型
として動作する連想記憶のためのニューラルネットワー
クの構成方法。3. The method for constructing a neural network for associative memory according to claim 1, wherein learning is performed as a feed-forward type during learning and operates as a recurrent type after learning is completed. 【請求項４】請求項１において、リカレント型ニューラ
ルネットワークをいくつかのサブネットワークに分解
し、各サブネットワークごとに個別に学習を行う連想記
憶のためのニューラルネットワークの構成方法。4. The method for constructing a neural network for associative memory according to claim 1, wherein the recurrent neural network is decomposed into several sub-networks, and each sub-network is individually trained. 【請求項５】記憶項目間の想起関係を、各記憶項目ごと
に個別に学習することが可能なニューラルネットワーク
を用いることを特徴とする連想記憶装置。5. An associative memory device using a neural network capable of individually learning an associative relationship between memory items for each memory item.