JPH08147307A - Semantic knowledge acquisition device - Google Patents
Semantic knowledge acquisition deviceInfo
- Publication number
- JPH08147307A JPH08147307A JP6287782A JP28778294A JPH08147307A JP H08147307 A JPH08147307 A JP H08147307A JP 6287782 A JP6287782 A JP 6287782A JP 28778294 A JP28778294 A JP 28778294A JP H08147307 A JPH08147307 A JP H08147307A
- Authority
- JP
- Japan
- Prior art keywords
- word
- words
- binary relation
- value
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、機械翻訳や、自然言
語インターフェイスシステム，情報検索システムなどの
自然言語処理システムにおける知識獲得，知識利用にお
ける意味知識獲得装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to machine translation, knowledge acquisition in a natural language processing system such as a natural language interface system and an information retrieval system, and a semantic knowledge acquisition device in knowledge use.
【０００２】[0002]
【従来の技術】知識情報処理システムとは、人間の知的
活動の一部を実現する計算機システムのことである。高
性能な知的情報処理システムを実現するためには、一般
に多くの意味知識が必要であると考えられている。例え
ば、機械翻訳システムにおいて、「Ｔｉｍｅ ｆｌｉｅ
ｓ ｌｉｋｅ ａｎ ａｒｒｏｗ」という英文を、意味
知識を利用せずに文法的な知識だけから機械翻訳する
と、「光陰が矢の如し」という正しい解釈に加え、「時
間蠅が矢を好む」という誤った翻訳がなされてしまう可
能性がある。2. Description of the Related Art A knowledge information processing system is a computer system that realizes a part of human intellectual activity. In order to realize a high-performance intelligent information processing system, it is generally considered that a lot of semantic knowledge is required. For example, in a machine translation system, "Time free
Machine translation of the English sentence "s like an arrow" from only grammatical knowledge without using semantic knowledge, in addition to the correct interpretation that "Mitsuin is like an arrow", is a mistake that "Time fly prefers an arrow" There is a possibility that translation will be done.
【０００３】このような曖昧性を解消するには、機械翻
訳をする上で意図的な知識が不可欠となる。例えば、現
実世界では、「ｆｒｕｉｔ ｆｌｙ」（ショウジョウバ
エ）は存在するが、「ｔｉｍｅ ｆｌｙ」（時間蠅）は
存在しない。このような知識を機械翻訳システムに与え
ることができれば、前者の正しい解釈だけがなされるよ
うになる。In order to eliminate such ambiguity, intentional knowledge is essential for machine translation. For example, in the real world, "fruit fly" (Drosophila) exists, but "time fly" (temper fly) does not exist. If such knowledge can be given to the machine translation system, only the former correct interpretation will be made.
【０００４】また、同様に、構文的な知識のみから「Ｉ
ｓａｗ ａ ｇｉｒｌ ｗｉｔｈａ ｓｃａｒｆ．」
という文を機械翻訳すると、「私はスカーフを身につけ
ている女の子を見た。」という翻訳と「私はスカーフで
女の子を見た。」という翻訳との２つの解釈が出力され
てしまう。現実世界では、「ｓｅｅ ｗｉｔｈ ｔｅｌ
ｅｓｃｏｐｅ」（望遠鏡で見る）ことはありえるが、
「ｓｅｅ ｗｉｔｈ ｓｃａｒｆ」（スカーフで見る）
ことはあり得ない。機械翻訳システムが、このような知
識を持っていれば、前者の正しい解釈だけ出力できるは
ずである。Similarly, from the syntactic knowledge alone, "I
saw a girl with scarf. "
The machine translation of this sentence would output two interpretations: "I saw a girl wearing a scarf." And "I saw a girl in a scarf." In the real world, "see with tel
"escape" (seen through a telescope),
"See with scarf" (scarf)
It is impossible. If the machine translation system has such knowledge, it should be able to output only the correct interpretation of the former.
【０００５】以上のような知識は、単語間の共起関係の
知識としてとらえることができる。単語間の共起関係と
は、単語と単語がある特定の文脈において、一緒に現れ
るか，または現れやすいか否かの関係ことである。従来
の多くの自然言語システムでは、このような共起関係な
どの知識を人間が直接システムに与えなければならなか
った。しかし、このような知識の量は膨大であるため、
人間がシステムに完全な知識を与えるのには大変な労力
が要される。The above knowledge can be regarded as knowledge of the co-occurrence relation between words. A co-occurrence relationship between words is a relationship between words or words that appear together or are likely to appear in a certain context. In many conventional natural language systems, humans had to directly give the system knowledge such as co-occurrence relations. However, the amount of such knowledge is huge,
It takes a lot of effort for humans to give complete knowledge to the system.
【０００６】このため、データとして与えられた電子化
されたテキストの中から、単語の共起関係を自動的に抽
出し、さらにその知識を一般化し、与えられたデータ中
に存在しない単語の共起関係についても、ある程度の精
度で推測できるような方式が期待されている。ここで従
来より、電子化されデータとして与えられたテキスト中
に存在する単語の共起関係を抽出する技術がいくつか提
案されている。Therefore, the co-occurrence relation of words is automatically extracted from the digitized text given as data, and the knowledge is generalized, and the co-occurrence relation of words not existing in the given data is shared. It is expected that the origin relationship will be estimated with a certain degree of accuracy. Heretofore, there have been proposed some techniques for extracting the co-occurrence relation of words existing in a text which is digitized and given as data.
【０００７】単語の共起関係を抽出する技術としては、
チャーチの抽出法がよく知られている(Kenneth Ward Ch
urch, Patrick Hanks, Word Association Norms, Mutua
l Information,and Lexsicography, Proceedings of 27
th Annual Meeting of theAssociation for Computatio
nal Linguistics,1989)。この方式では、電子化された
テキストとして与えられたデータ中を走査し、ある一定
の大きさの窓に現れる単語の共起頻度、すなわち窓内に
同時に出現する度合いを統計し、以下の数１で定義され
る「共起度」（ＡｓｓｏｃｉａｔｉｏｎＲａｔｉｏ）を
計算する。As a technique for extracting the co-occurrence relation of words,
The church extraction method is well known (Kenneth Ward Ch
urch, Patrick Hanks, Word Association Norms, Mutua
l Information, and Lexsicography, Proceedings of 27
th Annual Meeting of the Association for Computatio
nal Linguistics, 1989). In this method, the data given as digitized text is scanned, and the co-occurrence frequency of words appearing in a window of a certain size, that is, the degree of simultaneous appearance in the window is statistically calculated. The "co-occurrence degree" (Association Ratio) defined by
【０００８】[0008]
【数１】 [Equation 1]
【０００９】ここで、Ｐ（ｘ，ｙ）は、単語ｘとｙが同
じ「窓」内に現れる確率で、Ｐ（ｘ）とＰ（ｙ）は単語
ｘとｙが窓内に現れる確率である。共起度の値が０より
大きい２つの単語はよく一緒に現れると見なせるし、共
起度の値が０より小さい２つの単語はあまり一緒には現
れないと見なせる。こうして、文書データの中に現れる
単語間の共起関係を抽出することができる。Where P (x, y) is the probability that the words x and y will appear in the same "window", and P (x) and P (y) are the probabilities that the words x and y will appear in the window. is there. Two words with a co-occurrence value greater than 0 can be considered to appear together often, and two words with a co-occurrence value less than 0 can be considered not to occur together. In this way, the co-occurrence relationship between words that appear in the document data can be extracted.
【００１０】上述したチャーチの方法では、文書データ
中に現れる単語間の共起関係は抽出することができる
が、文書データに現れない単語間の関係についてこの事
例からその単語間の共起関係を抽出するといった学習す
ることはできない。こうした一般化をともなう学習につ
いては、機械学習の分野において、共起関係を含む一般
の二項関係の逐次学習に関するゴールドマンなどの発明
があった（Sally A.Goldman,Manfred K.Warmuth,Lernin
g Binary Relations Using Weighted Majority Voting
ACM COLT'93,1993）。The above-mentioned Church method can extract the co-occurrence relation between words that appear in the document data. However, regarding the relation between words that do not appear in the document data, from this case, the co-occurrence relation between the words can be extracted. You cannot learn to extract. Regarding learning with such generalization, Goldman et al. Have invented in the field of machine learning regarding sequential learning of general binary relations including co-occurrence relations (Sally A. Goldman, Manfred K. Warmuth, Lernin
g Binary Relations Using Weighted Majority Voting
ACM COLT'93, 1993).
【００１１】ここで、二項関係とは、一般にある集合Ｘ
と集合Ｙの直積の各要素（ｘ，ｙ）∈Ｘ×Ｙに対し、１
か０の値を与える関数ｆ：Ｘ×Ｙ→｛０，１｝であると
考えることができる。以下に、ゴールドマンらの学習方
法を具体例をもって説明する。例えば、動物園の動物の
属性を学習する問題を考える。動物園には、図３に示す
ように、５体の動物ｘがあって、また、動物全体には７
つの属性ｙがあるとする。この属性ｙとは、「肉食」と
か「飛ぶ」などである。Here, the binary relation is a set X which is generally present.
1 for each element (x, y) ∈ X × Y of the direct product of
It can be considered that the function f: X × Y → {0, 1} that gives a value of 0 or 0. The learning method of Goldman et al. Will be described below with a specific example. For example, consider the problem of learning the attributes of animals in a zoo. As shown in FIG. 3, there are 5 animals x in the zoo, and there are 7 animals x in total.
Suppose there are two attributes y. The attribute y is "meat eating" or "flying".
【００１２】ある動物ｘが属性ｙをもつということは、
組（ｘ，ｙ）がここで問題とする二項関係に属するとい
うことと同値であり、またこのとき、（ｘ，ｙ）の二項
関係値が１であるということとする。さて、学習機械
は、１回毎に動物ｘとその属性ｙとの組を与えられ、そ
の動物がその属性をもつかどうかの予測値を出力し、そ
の後、教師信号として正解を与えられる。このとき、動
物たちは、比較的数の少ない種に属し、同じ種に属する
動物のもつ属性は同じであるという仮定のもとに、どの
動物とどの動物が同じ種に属するかを過去のデータの中
から学習し、それに基づいて未だ観測していない組に対
しても予測するという方式である。The fact that an animal x has the attribute y means that
It is equivalent to the fact that the pair (x, y) belongs to the binary relation in question here, and at this time, the binary relation value of (x, y) is 1. Now, the learning machine is given a pair of an animal x and its attribute y every time, outputs a predicted value as to whether or not the animal has the attribute, and then gives a correct answer as a teacher signal. At this time, based on the assumption that animals belong to a relatively small number of species and the attributes of animals belonging to the same species are the same, past data regarding which animals belong to which species It is a method that learns from the inside, and based on that, predicts even the groups that have not been observed yet.
【００１３】具体的には、各々の動物ｉと動物ｊの組の
間に重みｗ（ｉ，ｊ）を設け、予測すべき動物ｉとその
属性ｋとの組（ｉ，ｋ）が入力される度に、過去のデー
タから属性ｋをもつか否かが判明している全ての動物の
間で重みつき多数決をとり、それに従って（ｉ，ｋ）に
関する予測を行う。さらに、（ｉ，ｋ）に関する正解を
与えられ、学習機械が予測した値が誤りであったことが
判明する度に、これに基づいて重みを以下のように更新
する。すなわち、重みつき多数決をとるに当たり、正し
い予測値に貢献した動物ｊに対する予測すべき動物ｉの
重みｗ（ｉ，ｊ）は定数倍（例えば２倍）とし、誤った
予測値に貢献した動物ｊ’に対する重みｗ（ｉ，ｊ’）
は、定数分の１（例えば２分の１）とし、次の組への予
測へと進む。Specifically, a weight w (i, j) is provided between each pair of animals i and j, and the pair (i, k) of the animal i to be predicted and its attribute k is input. Each time, a weighted majority vote is taken among all the animals for which it is known from the past data whether or not it has the attribute k, and the prediction regarding (i, k) is performed accordingly. Further, each time a correct answer for (i, k) is given and it is found that the value predicted by the learning machine is erroneous, the weight is updated as follows based on this. That is, when the weighted majority decision is taken, the weight w (i, j) of the animal i to be predicted with respect to the animal j that contributed to the correct predicted value is set to a constant multiple (for example, twice), and the animal j that contributed to the incorrect predicted value is determined. Weight for'w (i, j ')
Is a constant fraction (for example, a half), and the process proceeds to the prediction for the next set.
【００１４】ここで、共起関係を初めとする単語と単語
の間の種々の二項関係を自動的に学習し、さらにその結
果を自然言語処理に利用する自然言語処理装置を考え
る。より具体的には、同一複合名詞の中で２つの名詞が
隣り合う位置に共起できるか否かという名詞と名詞の間
の二項関係や、ある名詞がある動詞の直接目的となり得
るかという動詞と名詞の間の二項関係を学習し、その知
識を自然言語解析に利用するような装置に関して考え
る。Now, let us consider a natural language processing apparatus that automatically learns various binary relationships between words, including co-occurrence relationships, and uses the results for natural language processing. More specifically, whether the two nouns can co-occur in adjacent positions in the same compound noun, the binary relation between the noun and the noun, and whether the noun can be the direct purpose of a verb. Consider a device that learns binary relations between verbs and nouns and uses that knowledge for natural language analysis.
【００１５】図４は、名詞と名詞が複合名詞になるかど
うかの二項関係を示す行列の説明図である。行には対の
初めとなる左の名詞、列には対の後となる右の名詞を示
している。また、１が複合名詞句になりうること、０が
複合名詞にならないことを示している。そして、図４に
示した例から分かるように、一般に同じ行ベクトルをも
つ行が複数存在するし、また、同じ列ベクトルをもつ列
も複数存在する。本明細書においては、同じ行ベクトル
をもつ行の単語が同じ種類を形成するといい、また、同
じ列ベクトルをもつ列の単語も同じ種類を形成するとい
う。FIG. 4 is an explanatory diagram of a matrix showing a binary relation between a noun and whether or not the noun becomes a compound noun. The row shows the left noun at the beginning of the pair, and the column shows the right noun after the pair. Also, 1 indicates that it can be a compound noun phrase, and 0 indicates that it can not be a compound noun. Then, as can be seen from the example shown in FIG. 4, there are generally a plurality of rows having the same row vector and a plurality of columns having the same column vector. In this specification, words in rows having the same row vector form the same type, and words in columns having the same column vector form the same type.
【００１６】[0016]
【発明が解決しようとする課題】従来は以上のように構
成されていたので、以下に示すような問題点があった。
すなわち、前述したゴールドマンらの発明においては、
動物すなわち行ベクトルの単語が比較的少ない数の種類
を形成するという前提のもとで、その性質を利用して効
果的に二項関係を学習する方式を提案している。このた
め、ある行単語と列単語のペアの二項関係を予測しよう
とする場合、同じ列にある二項関係しかその予測のため
に用いることができず、より高い精度の二項関係の学習
ができないという問題があった。例えば、図３におい
て、「動物４」と「飛ぶ」との間の二項関係を予想しよ
うとする場合、「飛ぶ」という列の他の二項関係しか予
測のために用いることができず、あまり高い精度は得ら
れなかった。Since the conventional configuration is as described above, there are the following problems.
That is, in the Goldman et al. Invention described above,
Based on the premise that animals, that is, words in a row vector, form a relatively small number of words, we propose a method for effectively learning binary relations by utilizing its properties. Therefore, when trying to predict the binary relation of a certain row word and column word pair, only the binary relation in the same column can be used for the prediction, and the learning of the binary relation with higher accuracy is possible. There was a problem that I could not do it. For example, in FIG. 3, when trying to predict a binary relation between “animal 4” and “fly”, only the other binary relation in the column “fly” can be used for the prediction, I couldn't get very high accuracy.
【００１７】この発明は、以上のような問題点を解消す
るためになされたものであり、自然言語処理などで必要
とされる単語間の共起関係を自動的に学習するとき、よ
り高い精度の二項関係の学習ができるようにすることを
目的とする。The present invention has been made to solve the above problems, and when automatically learning the co-occurrence relationship between words required for natural language processing or the like, higher accuracy is achieved. The purpose is to enable learning of the binary relation of.
【００１８】[0018]
【課題を解決するための手段】この発明の意味知識獲得
装置は、電子化された文書データ中の意味知識を単語間
の二項関係の事例として抽出する教師部と、第１の単語
群を行に配置し，第２の単語群を列に配置し，各々の二
項関係が示される観測行列を備えた二項関係格納部と、
教師部から与えられる事例をもとに意味知識を学習して
これを二項関係格納部の行列の対応する位置に格納し，
対象とする単語間の二項関係知識を行列より取り出して
出力する学習部とからなる。そして、二項関係格納部
は、観測行列に加え、その観測行列の行にならぶ単語間
の関連度を示す重みを格納する行間重み行列とその観測
行列の列にならぶ単語間の重みを格納する列間重み行列
とを備え持つ。また、学習部は、観測行列にすでに格納
されている他の単語の組の二項関係値を他の単語の組の
行同士列同士の間の重みを用いた重みつき多数決により
採用して対象とする単語の組の二項関係値を予測し、こ
の予測した二項関係値が教師部が抽出した二項関係値と
異なるとき、二項関係値を予測する単語の組の行の単語
と他のすでに二項関係値が観測行列に格納されている単
語の組の行の単語との間の重みは列重み行列に格納され
ている値に基づいて更新し、二項関係値を予測する単語
の組の列の単語と他のすでに二項関係値が観測行列に格
納されている単語の組の列の単語との間の重みは行重み
行列に格納されている値に基づいて更新していくこと
で、教師部が有する二項関係値を学習して観測行列に格
納し、それ以外の二項関係値も推定していくことを特徴
とする。A semantic knowledge acquisition apparatus according to the present invention comprises a teacher section for extracting semantic knowledge in digitized document data as an example of a binary relation between words, and a first word group. A binomial relation storage unit having an observation matrix in which rows are arranged, second words are arranged in columns, and each binary relation is shown;
Semantic knowledge is learned based on the case given from the teacher's department, and this is stored in the corresponding position of the matrix of the binary relation storage unit.
The learning unit extracts the binary relation knowledge between target words from the matrix and outputs the knowledge. Then, in addition to the observation matrix, the binomial relation storage unit stores an inter-row weight matrix that stores a weight indicating the degree of association between words that line the observation matrix and a weight between words that line the columns of the observation matrix. It has an inter-column weight matrix. In addition, the learning unit adopts the binary relation value of the other word set already stored in the observation matrix by weighted majority decision using the weight between the rows and columns of the other word set and applies the target. Predict the binary relation value of the word set to be, and when this predicted binary relation value is different from the binary relation value extracted by the teacher, Predict the binomial value by updating the weights between the words in the rows of the word sets whose binomial relation values are already stored in the observation matrix, based on the values stored in the column weight matrix. The weights between the words in the column of the word set and other words in the column of the word set whose binomial relation values are already stored in the observation matrix are updated based on the values stored in the row weight matrix. By doing so, the binary relation values of the teacher part are learned and stored in the observation matrix, and other binary relation values are also estimated. And wherein the go.
【００１９】また、学習部が対象とする単語の組の二項
関係値を予測するとき、対象とする単語の組の二項関係
値の予測は、この予測する単語の組と観測行列において
すでに二項関係値が０である単語の組との行の単語間の
重みと列の単語間の重みとの積の総和と、この予測する
単語の組と観測行列においてすでに二項関係値が１であ
る単語の組との行の単語間の重みと列の単語間の重みと
の積の総和とを比較し、値の大きい方の二項関係値を予
測する単語の組の二項関係とすることを特徴とする。加
えて、学習部が対象とする単語の組の二項関係値を予測
するとき、観測行列内の同一行および同一列内のすでに
格納されている他の単語の組の二項関係値を、その他の
単語の組の行同士列同士の間の重みを用いた重みつき多
数決により採用して、二項関係値を予測することを特徴
とする。When the learning unit predicts the binary relation value of the target word set, the prediction of the binary relation value of the target word set is already performed in the predicted word set and the observation matrix. The sum of the products of the weights between the words in the row and the weights between the words in the column with the set of words with a binary relation value of 0, and the binary relation value of 1 in the observed matrix and the observation matrix. And the sum of the products of the weights between the words in the row and the weights between the words in the column, and the binary relation of the pair of words that predicts the binary relation value with the larger value. It is characterized by doing. In addition, when the learning unit predicts the binary relation value of the target word set, the binary relation value of another word set already stored in the same row and the same column in the observation matrix is It is characterized by being adopted by weighted majority voting using weights between rows and columns of other word pairs to predict a binary relation value.
【００２０】そして、二項関係値を予測する単語の組の
行の単語と、他のすでに二項関係値が格納されている単
語の組が存在する任意の対象行の単語との間の重みは、
列重み行列に格納されている、予測する単語の組の列の
単語，行の単語が対象行の単語と等しくしかもすでに同
じ値の二項関係が格納されている他の単語の組の列の単
語，の間の重みの総和と、予測する単語の組の列の単
語，行の単語が対象行の単語と等しくしかもすでに違う
値の二項関係が格納されている他の単語の組の列の単
語，の間の重みの総和との比を、その時点での行の単語
の間の重みに乗ずることで更新する。一方、二項関係値
を予測する単語の組の列の単語と他のすでに二項関係値
が格納されている単語の組が存在する任意の対象列の単
語との間の重みは、行重み行列に格納されている、予測
する単語の組の行の単語，列の単語が対象列の単語と等
しくしかもすでに同じ値の二項関係が格納されている他
の単語の組の行の単語，の間の重みの総和と、予測する
単語の組の行の単語と，列の単語が対象列の単語と等し
くしかもすでに違う値の二項関係が格納されている他の
単語の組の行の単語，の間の重みの総和との比を，その
従来の列の単語の間の重みに乗ずることで更新すること
を特徴とする。Then, a weight between a word in a row of a word set for predicting a binary relation value and a word in an arbitrary target row in which another word set in which the binary relation value is already stored exists. Is
The columns in the column of the predicted word set stored in the column weight matrix, of the columns of other word sets in which the word of the row is equal to the word of the target row and the binary relation of the same value is already stored The sum of the weights between the words, and the words in the column of the word set to be predicted, and the columns of other word pairs in which the word in the row is equal to the word in the target row and already has a different value. The ratio between the weights of the words and the sum of the weights of the words is updated by multiplying the weight between the words of the line at that time. On the other hand, the weight between the word in the column of the word set that predicts the binary relation value and the word in any target column in which another word set in which the binary relation value is already stored is the row weight. A word in a row of a predictive word set stored in a matrix, a word in a row of another word set in which a column word is equal to a word in the target column and a binary relation with the same value is already stored, The sum of the weights between, and the words in the row of the predicted word pair and the rows of other word pairs in which the column word is equal to the word in the target column and already has a different binary value stored. The feature is that the ratio of the weight between words and the sum of the weights is updated by multiplying the weight between the words in the conventional column.
【００２１】そして、また、二項関係値を予測する単語
の組の二項関係値とは異なる値の二項関係値を有する同
一列内の他の単語の組の行の単語とその予測する単語の
組との間の重みは、所定の値を乗じて小さくすることで
更新する。二項関係値を予測する単語の組の二項関係値
とは同じ値の二項関係値を有する同一列内の他の単語の
組の行の単語とその予測する単語の組の行の単語との間
の重みは、所定の値を乗じて大きくすることで更新す
る。二項関係値を予測する単語の組の二項関係値とは異
なる値の二項関係値を有する同一行内の他の単語の組の
列の単語とその予測する単語の組の列の単語との間の重
みは、所定の値を乗じて小さくすることで更新する。二
項関係値を予測する単語の組の二項関係値とは同じ値の
二項関係値を有する同一行内の他の単語の組の列の単語
とその予測する単語の組の列の単語との間の重みは、所
定の値を乗じて大きくすることで更新することを特徴と
する。Further, a word in a row of another word set in the same column having a binary relation value different from the binary relation value of the word set for which the binary relation value is predicted, and the word thereof are predicted. The weight between the word set and the word set is updated by multiplying it by a predetermined value to reduce the weight. A binary relation value of a word set predicting a binary relation value is a word of a row of another word set in the same column having the same binary relation value and a word of a row of the predicted word set. The weights between and are updated by multiplying by a predetermined value and increasing. A word in a column of another word set and a word in a column of the predicted word set in the same row that has a binary relation value that is different from the binary relation value of the word set that predicts the binary relation value. The weights between are updated by multiplying by a predetermined value to reduce the weight. The binary relation value of a word set predicting a binary relation value is a word in a column of another word set having the same value of the binary relation value and a word in a column of the predicted word set. The weights in between are updated by being multiplied by a predetermined value to increase.
【００２２】[0022]
【作用】２つの単語群の二項関係を表す行列の中で、行
の単語も列の単語も両方ともが、比較的少数の種類を形
成する場合には、その事実を利用すれば、より効果的な
学習が可能なはずである。すなわち、二項関係が表され
ている行列の中で、すでにデータとして与えられている
二項関係を全て用い、新たな行と列の単語ペアの間の二
項関係を予測する。In the matrix representing the binary relation of two word groups, when both the row word and the column word form a relatively small number of types, the fact can be used to Effective learning should be possible. That is, in the matrix representing the binary relation, all binary relations already given as data are used to predict the binary relation between the new row and column word pairs.
【００２３】[0023]
【実施例】以下この発明の１実施例を図を参照して説明
する。 実施例１．図１は、この発明の１実施例である意味知識
獲得装置の構成を示す構成図である。同図において、１
は学習データである１万語からなる電子化されたテキス
ト、２は教師部、３は二項関係学習部、４は二項関係観
測行列群、５は前述した翻訳などを行う知的処理部であ
る。この意味知識獲得装置は、二項関係学習部３が教師
部２の指示のもとに共起関係を用意しておく単語群間の
二項関係を学習し、これを二項関係観測行列群４に格納
しておき、知的処理部５から要求された単語間の二項関
係を、二項関係学習部３が二項関係観測行列群４より取
り出し、または新たに予測して出力するものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. Example 1. FIG. 1 is a configuration diagram showing the configuration of a semantic knowledge acquisition device which is an embodiment of the present invention. In the figure, 1
Is a computerized text consisting of 10,000 words as learning data, 2 is a teacher part, 3 is a binary relation learning part, 4 is a binary relation observation matrix group, 5 is an intelligent processing part for performing the above-mentioned translation, etc. Is. In this semantic knowledge acquisition device, the binary relation learning unit 3 learns a binary relation between word groups for which a co-occurrence relation is prepared under the instruction of the teacher unit 2, and the binary relation observation matrix group 4 and stores the binary relation between words requested by the intelligent processing unit 5 by the binary relation learning unit 3 from the binary relation observation matrix group 4, or newly predicts and outputs it. Is.
【００２４】以下、詳細に説明する。ここでは、図２に
示すような名詞と動詞との関係を示す行列Ｍが二項関係
観測行列群４に用意され、二項関係学習部３はこの行列
Ｍの各名詞間および動詞間の重みを決定変更し、加え
て、教師部２の要請により名詞と動詞との間の共起度を
埋めていくものとする。なお、重みとは名詞同士や動詞
同士の２つの単語間の類似度を示すものであり、図２に
示すように名詞，動詞それぞれが分類されて配置されて
いれば、単語間の距離に反比例する量ともいえる。The details will be described below. Here, a matrix M indicating the relationship between nouns and verbs as shown in FIG. 2 is prepared in the binary relation observation matrix group 4, and the binary relation learning unit 3 weights each noun and each verb of this matrix M. In addition, the co-occurrence degree between the noun and the verb is filled in at the request of the teacher section 2. Note that the weight indicates the degree of similarity between two words of nouns or verbs. If the nouns and verbs are classified and arranged as shown in FIG. 2, they are inversely proportional to the distance between words. It can be said that the amount to do.
【００２５】まず、教師部２が、電子化されたテキスト
１から各単語にその単語品詞のタグを付け、この実施例
の場合は、十分小さい文脈にこの順序で共起する名詞と
動詞のペアを全部抽出し、それぞれのペアの共起度を前
述した数１により計算する。ただし、数１において、Ｐ
（ｘ，ｙ）は単語ペア（ｘ，ｙ）の生起確率を指し、Ｐ
（ｘ）とＰ（ｙ）はｘとｙそれぞれの生起確率である。First, the teacher unit 2 tags each word from the digitized text 1 with the word part-of-speech tag, and in this embodiment, a pair of noun and verb co-occurring in this order in a sufficiently small context. Are extracted, and the co-occurrence degree of each pair is calculated by the above-mentioned formula 1. However, in Equation 1, P
(X, y) indicates the occurrence probability of the word pair (x, y), and P
(X) and P (y) are the occurrence probabilities of x and y, respectively.
【００２６】例えば、図２の「ｂｉｒｄ」と「ｆｌｙ」
は、テキスト１内で「ｂｉｒｄ」と「ｆｌｙ」が出現し
ている回数がそれぞれ１０回、「ｂｉｒｄ」と「ｆｌ
ｙ」が共起している数が１回であるとする。この場合、
ｌｏｇ2 （１／１００００）／｛（１０／１００００）
×（１０／１００００）｝＝ｌｏｇ2 １００である。For example, "bird" and "fly" in FIG.
Shows that "bird" and "fly" appear 10 times in text 1, "bird" and "fl" respectively.
It is assumed that the number of times "y" co-occurs is one. in this case,
log 2 (1/10000) / {(10/10000)
X (10/10000)} = log 2 100.
【００２７】つぎに、共起度が１より大きい名詞と動詞
のペアについては、その名詞がその動詞の主格になりう
る（正例とみなす）とし、共起度が−１より小さい単語
のペアがその２つの単語が複合語にならない（負例とみ
なす）とする。上述の、「ｂｉｒｄ」と「ｆｌｙ」の場
合は、ｌｏｇ１００で１より大きいので、この正例とみ
なす。そして、それ以外の単語のペアについては、正例
とも負例ともみなさない。このようにして、教師部２は
テキスト１から得られる共起する名詞と動詞のペアに関
する二項関係の知識を持つことになる。Next, for a noun-verb pair with a co-occurrence degree greater than 1, it is assumed that the noun can be the nominative case of the verb (assumed to be a positive example), and a pair of words with a co-occurrence degree less than -1. Suppose that the two words are not compound words (considered as a negative example). In the above-mentioned cases of "bird" and "fly", since log100 is larger than 1, it is regarded as this positive example. The other word pairs are not regarded as positive examples or negative examples. In this way, the teacher unit 2 has knowledge of the binary relation regarding the co-occurring noun and verb pair obtained from the text 1.
【００２８】次に、教師部２は、自分が知っている単語
ペアの二項関係について、二項関係学習部３に予測する
ように要請する。ここで、二項関係観測行列群４には、
図２に示すように、名詞と動詞との関係を示す行列Ｍが
用意されており、初期では各名詞同士および各動詞同士
の間の類似度を示す重みが「１」が初期値として設定さ
れ、行列の中は全て空欄の状態である。Next, the teacher unit 2 requests the binary relation learning unit 3 to predict the binary relation of the word pair known by itself. Here, in the binomial observation matrix group 4,
As shown in FIG. 2, a matrix M indicating the relationship between nouns and verbs is prepared. Initially, a weight "1" indicating the similarity between nouns and verbs is set as an initial value. , The matrix is blank.
【００２９】データ構造としては、上述したように予測
したり教師部２から与えられる二項関係値を格納する行
列Ｍ（ｉ，ｊ）と、図示していないが、その行にならぶ
単語のペアｉ，ｋと列にならぶ単語のペアｊ，ｌに対す
る重みを格納する重み行列ｗ（ｊ，ｋ）とｕ（ｊ，ｌ）
をもつ。この初期に設定されている重みは、「１」に限
るものではなく、シーソラスなどを利用して、それぞれ
予め決定しておくようにしても良い。As the data structure, a matrix M (i, j) for storing the binary relational values given by the teacher 2 and the prediction as described above, and a pair of words (not shown) arranged in the row A weight matrix w (j, k) and u (j, l) that stores weights for i, k and a pair of words j, l arranged in columns
With. The weight set in the initial stage is not limited to "1", but may be determined in advance using a thesaurus or the like.
【００３０】教師部２の予測要請は、例えば、テキスト
１から得られた共起する名詞と動詞のペアである「ｂｉ
ｒｄ」と「ｆｌｙ」に関して、二項関係学習部３にその
二項関係を予測するように要請するものである。二項関
係学習部３はこの中より名詞である「ｂｉｒｄ」と動詞
である「ｆｌｙ」の二項関係を示す空欄に、以下の数２
に示す重みつき多数決によって計算した結果により、二
項関係値を設定する。The prediction request from the teacher section 2 is, for example, a co-occurring noun and verb pair "bi" obtained from the text 1.
With respect to “rd” and “fly”, the binary relation learning unit 3 is requested to predict the binary relation. From this, the binary relation learning unit 3 puts the following formula 2 in the blank indicating the binary relation between the noun “bird” and the verb “fly”.
The binomial relation value is set based on the result calculated by the weighted majority decision shown in.
【００３１】[0031]
【数２】 [Equation 2]
【００３２】これは、図２に示す行列Ｍの他の二項関係
値を用いて対象とする動詞と名詞との間の二項関係値を
設定するものである。二項関係値が「０」である他の名
詞と動詞の組の間で名詞同士と動詞同士それぞれの間の
重みを乗じた値と、二項関係値が「１」である他の名詞
と動詞の組の間で名詞同士と動詞同士それぞれの間の重
みを乗じた値とを比較し、大きい方の二項関係値を採用
するようにするものである。This is to set the binary relation value between the target verb and the noun by using other binary relation values of the matrix M shown in FIG. A value obtained by multiplying the weights of nouns and verbs between other nouns and verb pairs having a binary relation value of "0", and other nouns having a binary relation value of "1". The value obtained by multiplying the nouns and the values obtained by multiplying the verbs among the verb sets is compared, and the larger binary relation value is adopted.
【００３３】初期段階では、行列Ｍ中にはまだ他の二項
関係値がないので、二項関係学習部３は正しい二項関係
値を予測できないが、予測した結果は教師部２に提示す
る。教師部２では、学習データであるテキスト１から得
られた二項関係値と、二項関係学習部３が予測した二項
関係値とを比較することで、その予測が正しいかどうか
を判断してこれを二項関係学習部３に答える。At the initial stage, the matrix M has no other binary relation values, so the binary relation learning unit 3 cannot predict a correct binary relation value, but the predicted result is presented to the teacher unit 2. . The teacher unit 2 judges whether or not the prediction is correct by comparing the binary relation value obtained from the text 1 which is the learning data with the binary relation value predicted by the binary relation learning unit 3. This is answered to the binary relation learning unit 3.
【００３４】また、図２に示すようにすでに学習が進行
している状態で、「ｓｗａｌｌｏｗ」と「ｗｒｉｔｅ」
のペアの二項関係値を予測する場合、二項関係学習部３
は、二項関係値が「１」である（ｂｉｒｄ，ｆｌｙ），
（ｒｏｂｉｎ，ｆｌｙ），（ｓｗａｌｌｏｗ，ｆｌ
ｙ），（ｍａｎ，ｒｅａｄ），（ｍａｎ，ｗｒｉｔｅ）
のペアと（ｓｗａｌｌｏｗ，ｗｒｉｔｅ）との間の、名
詞同士および動詞同士のそれぞれの重みを乗じた値の総
和をとる。一方、二項関係値が「０」である（ｂｉｒ
ｄ，ｒｅａｄ），（ｒｏｂｉｎ，ｒｅａｄ），（ｓｗａ
ｌｌｏｗ，ｒｅａｄ），（ｒｏｂｉｎ，ｗｒｉｔｅ），
（ｍａｎ，ｆｌｙ）のペアと（ｓｗａｌｌｏｗ，ｗｒｉ
ｔｅ）との間の、名詞同士および動詞同士のそれぞれの
重みを乗じた値の総和をとる。Also, as shown in FIG. 2, when learning is already in progress, "slowlow" and "write"
When predicting the binary relation value of a pair of, the binary relation learning unit 3
Has a binary relational value of “1” (bird, fly),
(Robin, fly), (swallow, fl
y), (man, read), (man, write)
The sum of the values obtained by multiplying the weights of the nouns and the verbs between the pair and (sallow, write). On the other hand, the binary relation value is “0” (bir).
d, read), (robin, read), (swa
low, read), (robin, write),
(Man, fly) pair and (swallow, wri)
te), and the sum of the values obtained by multiplying the weights of the nouns and the verbs.
【００３５】そして、その総和の大きい方の二項関係値
をこの「ｓｗａｌｌｏｗ」と「ｗｒｉｔｅ」のペアの二
項関係値の予測値とする。この場合、二項関係値が
「１」であるものにおける重みの総和よりも二項関係値
が「０」であるものにおける重みの総和の方が大きくな
り、「ｓｗａｌｌｏｗ」と「ｗｒｉｔｅ」のペアの二項
関係値の予測値は「０」となる。このようにして、二項
関係学習部３は教師部２が電子化されたテキスト１から
二項関係値（共起度）を得ている名詞と動詞のペアを与
えられるにつれて単語間の重みを学習していき、与えら
れているペアについても、またそれ以外のペアについて
も、それらの二項関係値をより信頼度高く予測すること
ができるようになっていく。すなわち、二項関係学習部
３の学習が行われていく。The binary relational value having the larger sum is used as the predicted value of the binary relational value of the pair of "slowlow" and "write". In this case, the sum of the weights of the binary relation value "0" is larger than the sum of the weights of the binary relation value "1", and the pair of "slowlow" and "write" is larger. The predicted value of the binary relation value of is “0”. In this way, the binary relation learning unit 3 gives the weight between words as the teacher unit 2 is given a noun and verb pair that obtains a binary relation value (co-occurrence degree) from the digitized text 1. By learning, it becomes possible to predict the binomial relation values of a given pair and other pairs with higher reliability. That is, the learning of the binary relation learning unit 3 is performed.
【００３６】一方、二項関係学習部３は、要請された予
測を行なった結果が間違っていた場合、以下に示す数
３，４により、前述した単語間の重みを更新していく。On the other hand, if the result of the requested prediction is incorrect, the binary relation learning unit 3 updates the above-mentioned weights between words by the following equations 3 and 4.
【００３７】[0037]
【数３】 (Equation 3)
【００３８】[0038]
【数４】 [Equation 4]
【００３９】この更新式は、行間の重みｗの更新は行間
の重みｕを信用して行い、列間の重みｕの更新は行間の
重みｗを信用して行うことを意味している。例えば、二
項関係学習部３の学習が進んでいき、図２に示すよう
に、行列Ｍ内に値が埋まった状態の場合を考える。ここ
で、「ｒｏｂｉｎ」と「ｒｅａｄ」のペアの二項関係値
の学習がされたとき、この二項関係値の予測では「１」
としてしまい間違っていたものとする。This update formula means that the weight w between rows is updated by trusting the weight u between rows, and the weight u between columns is updated by trusting the weight w between rows. For example, let us consider a case in which the learning of the binary relation learning unit 3 progresses and values are embedded in the matrix M as shown in FIG. Here, when the binary relational value of the pair “robin” and “read” is learned, the prediction of the binary relational value is “1”.
And assume that it was wrong.
【００４０】この結果、例えば、列間の重みであるそれ
ぞれ動詞同士の重みｕ（ｊ，ｌ）は、以下に示すように
して更新する。まず、第１の和として、二項関係値を予
測するときに用いたすでに二項関係値が「０」と学習さ
れているペアの名詞と「ｒｏｂｉｎ」との間の重みの総
和Ａとまだ二項関係値が学習されていないペアの名詞と
「ｒｏｂｉｎ」との間の総和の半分Ｂとの和をとる。次
に、第２の和として、二項関係値が「１」と学習されて
いるペアの名詞と「ｒｏｂｉｎ」との間の重みの総和Ｃ
とまだ二項関係値が学習されていないペアの名詞と「ｒ
ｏｂｉｎ」との間の総和の半分Ｂとの和をとる。そし
て、第１の和を第２の和で除した値を前の重みに乗じる
ことで、重みの更新を行う。As a result, for example, the weight u (j, l) between verbs, which is the weight between columns, is updated as follows. First, as the first sum, the sum A of the weights between the noun of the pair and the "robin" that are already learned as "0" for the binary relation value used when predicting the binary relation value and The sum of the sum B between the noun of the pair for which the binary relation value has not been learned and "robin" is calculated. Next, as the second sum, the sum C of the weights between the noun and “robin” of the pair whose binary relation value is learned as “1”.
And a pair of nouns and "r
"Obin" and half of the total sum B. Then, the weight is updated by multiplying the previous weight by a value obtained by dividing the first sum by the second sum.
【００４１】ここで、上述のＡ，Ｂ，Ｃは、数４の部分
に対応するものであり、それぞれ以下の数５に示すとお
りである。Here, the above-mentioned A, B, and C correspond to the part of the equation 4, and are as shown in the following equation 5, respectively.
【００４２】[0042]
【数５】 (Equation 5)
【００４３】同様にして、行間の重みである名詞同士の
重みをそれぞれ更新する。このようにして、図２に示す
行列Ｍの各名詞同士，各動詞同士の間の重みは更新され
ており、多くの場合この結果を反映して、前述した「ｓ
ｗａｌｌｏｗ」と「ｗｒｉｔｅ」のペアの二項関係値の
予測においては、二項関係値が「１」であるものにおけ
る重みの総和よりも二項関係値が「０」であるものにお
ける重みの総和の方が大きくなる。Similarly, the weights of nouns, which are the weights between lines, are updated. In this way, the weights between the nouns and between the verbs in the matrix M shown in FIG. 2 are updated, and in many cases, the result is reflected to the above-mentioned “s”.
In the prediction of the binary relation value of the pair "wallow" and "write", the sum of the weights of the binary relation value "0" is more than the sum of the weights of the binary relation value "1". Is bigger.
【００４４】以上示したように、この実施例１によれ
ば、すでに学習されている結果を全て用いて二項関係の
予測し、その予測が間違っていた場合は、やはりすでに
学習されている結果を全て用い、それらの行間の重みを
利用して列間の重みを更新し、列間の重みを利用して行
間の重みを更新をするようにした。この結果、図２に示
すように、「ｂｉｒｄ，ｒｏｂｉｎ，ｓｗｌｌｏｗ」、
「ｃｏｗ」，「ｍａｎ」や「ｆｌｙ」，「ｊｕｍｐ，ｒ
ｕｎ」，「ｒｅａｄ，ｗｒｉｔｅ」のように、名詞の行
も動詞の列もどちらも比較的少数の分類を形成している
状態を利用でき、名詞と動詞のペアの単語間の二項関係
および名詞同士，動詞同士の間の重みの更新という学習
を効果的に行える。As described above, according to the first embodiment, a binomial relationship is predicted by using all the already learned results, and if the prediction is wrong, the already learned results are obtained. , The weights between the columns are used to update the weights between the columns, and the weights between the columns are used to update the weights between the rows. As a result, as shown in FIG. 2, "bird, robin, swlow",
“Cow”, “man”, “fly”, “jump, r
You can take advantage of the fact that both the noun lines and the verb sequences form a relatively small number of categories, such as "un" and "read, write". You can effectively learn to update the weights between nouns and verbs.
【００４５】また、知的処理部５より、まだ教師部２よ
りデータとして与えられていない単語間の二項関係値を
要求されても、上述の学習における予測と同様にして、
要求された単語間の二項関係値を予測して出力できるの
で、予め、全ての単語間の二項関係値を用意しておかな
くても良い。Even when the intelligent processing unit 5 requests a binary relation value between words which has not been given as data from the teacher unit 2 in the same manner as the prediction in the learning described above,
Since the requested binary relation value between words can be predicted and output, it is not necessary to prepare the binary relation values between all words in advance.
【００４６】実施例２．ところで、上記実施例１では、
行列Ｍ内の二項関係値を予測するときに、すでに学習さ
れている他の単語ペアの二項関係値を全て用いるように
したが、これに限るものではない。以下の数６に示すよ
うに、予測対象の単語ペアの同一列と同一行の二項関係
値を用いて予測を行うようにしてもよい。なお、以下で
は、学習部３のもつ観測行列をＭ、実際の学習対象の二
項関係を表す行列をＡとする。Example 2. By the way, in the first embodiment,
When predicting the binary relation value in the matrix M, all the binary relation values of other already learned word pairs are used, but the present invention is not limited to this. As shown in the following Expression 6, the prediction may be performed using the binary relation values of the same column and the same row of the word pair to be predicted. In the following, the observation matrix of the learning unit 3 is M, and the matrix representing the binary relation of the actual learning target is A.
【００４７】[0047]
【数６】 (Equation 6)
【００４８】そして、この予測した結果が間違っていた
場合、以下の数７，８に示すように予測をした単語ペア
の名詞，動詞それぞれの他の名詞，動詞との重みをそれ
ぞれ更新していく。If the predicted result is incorrect, the weights of the predicted noun of the word pair, the other noun of each verb, and the verb are updated as shown in the following equations 7 and 8. .
【００４９】[0049]
【数７】 (Equation 7)
【００５０】[0050]
【数８】 (Equation 8)
【００５１】なお、数７，８において、γ＝２β／（１
＋β）でありβ∈［０，１）とする。また、行と列が少
ない数の種類に厳密に分割できるという意味で純粋な二
項関係を予測する場合β＝０とし、多少の例外を雑音で
あるとして許せば行と列が少ない種類に分割できるとい
う意味で不純粋な二項関係を予測する場合は、例えばβ
＝１／４とする。なお、実際の学習問題は不純粋である
と考えられる。In Equations 7 and 8, γ = 2β / (1
+ Β) and β ∈ [0, 1). Also, in the case of predicting a pure binary relation in the sense that it can be strictly divided into a small number of rows and columns, β = 0, and if some exceptions are considered to be noise, the rows and columns are divided into a few types. If you want to predict an impure binary relation in the sense that you can, say β
= 1/4. The actual learning problem is considered to be impure.
【００５２】すなわち、この実施例２においては、数７
に示したように、予測対象の単語ペアの正しい二項関係
値を教師部２よりもらい、この正しい二項関係値と同じ
二項関係値である同一行内の他のペアの列の単語との重
みは（２−γ）倍し、この正しい二項関係値と異なる二
項関係値である同一行内の他のペアの列の単語との重み
はγ倍する。そして、同様にして、予想対象の単語ペア
の二項関係値が格納される同一列内の他のペアの行の単
語に関しても、それぞれの間の重みを変更していく。That is, in the second embodiment,
As shown in, the correct binary relational value of the word pair to be predicted is obtained from the teacher unit 2, and the correct binary relational value with the word of another pair column in the same row having the same binary relational value. The weight is multiplied by (2-γ), and the weight of a word in another pair of columns in the same row having a different binary relation value from this correct binary relation value is multiplied by γ. Then, similarly, the weights of the words of other pairs in the same column in which the binary relation values of the word pair to be predicted are stored are changed.
【００５３】ここで、学習をする行列Ｍの行と列を構成
する各単語それぞれの間の関係、すなわち上記実施例に
おいては名詞同士，動詞同士がそれぞれ似ているものが
多くまた分類する種類が少ないときは、実施例１の方が
より高い正解率となる学習結果を得られる。これに対し
て、名詞同士，動詞同士がそれぞれあまり似ていなく、
分類をすると多義にわたる場合は、実施例２の方がより
高い正解率となる学習結果を得られる。Here, the relationship between the respective words forming the rows and columns of the learning matrix M, that is, the nouns and the verbs in the above embodiment are similar to each other, and there are many types of classification. When the number is small, the learning result having a higher correct answer rate can be obtained in the first embodiment. On the other hand, nouns and verbs are not very similar,
If the classification is ambiguous, the learning result having a higher correct answer rate can be obtained in the second embodiment.
【００５４】なお、上記実施例１と実施例２における予
測の方法と重みの更新の方法とを組み替えて学習するよ
うにしてもよく、数２に示した方法により予測を行い、
上述した数７，８を用いて重みの更新をするようにして
も良い。また、１組の二項関係だけでなく、名詞が動詞
の主語になれるかどうか、名詞が動詞の目的語になれる
かどうかの関係なども同様に学習することができる。結
果的に、それぞれ行列とその行および列それぞれの単語
間の重みとからなる二項関係の知識表現群ができあが
る。The method of prediction and the method of updating the weights in the first and second embodiments may be rearranged for learning, and the prediction is performed by the method shown in Formula 2.
The weights may be updated using the equations 7 and 8 described above. Further, not only a set of binary relations, but also a relation such as whether or not a noun can be a subject of a verb and whether or not a noun can be an object of a verb can be similarly learned. As a result, a binary relational knowledge expression group is formed, which is composed of a matrix and weights between words in its row and column, respectively.
【００５５】[0055]
【発明の効果】以上説明したように、この発明によれ
ば、行の単語も列の単語もが比較的少ない数の種類を形
成する場合に、この性質をうまく利用することで、機械
が自動的に二項関係をより効果的にかつ効率的に学習で
きるようになるという効果がある。このように、この発
明によれば、従来人間が定義しなければならなかった知
識を、機械が自動的に学習できるようになるので、さら
に知的処理の質も向上することになる。As described above, according to the present invention, when the number of types of words in rows and the number of words in columns are relatively small, by utilizing this property, the machine automatically operates. There is an effect that the binary relation can be learned more effectively and efficiently. As described above, according to the present invention, since the machine can automatically learn the knowledge that conventionally had to be defined by humans, the quality of intelligent processing is further improved.
【図１】 この発明の１実施例である意味知識獲得装置
の構成を示す構成図である。FIG. 1 is a configuration diagram showing a configuration of a semantic knowledge acquisition device which is an embodiment of the present invention.
【図２】 実施例１における名詞と動詞との関係を示す
行列Ｍを示す説明図である。FIG. 2 is an explanatory diagram showing a matrix M showing a relationship between a noun and a verb in the first embodiment.
【図３】 動物とその属性との関係を示す行列の１例を
示す説明図である。FIG. 3 is an explanatory diagram showing an example of a matrix showing the relationship between animals and their attributes.
【図４】 名詞と名詞が複合名詞になるかどうかの二項
関係の１例を示す行列の説明図である。FIG. 4 is an explanatory diagram of a matrix showing an example of a binary relationship between a noun and whether the noun becomes a compound noun.
１…テキスト、２…教師部、３…二項関係学習部、４…
二項関係観測行列群、５…知的処理部。1 ... text, 2 ... teacher section, 3 ... binary relation learning section, 4 ...
Binary relation observation matrix group, 5 ... Intelligent processing unit.
Claims (6)
単語間の二項関係の事例として抽出する教師部と、 第１の単語群を行に配置し、第２の単語群を列に配置
し、各々の二項関係が示される観測行列を備えた二項関
係格納部と、 前記教師部から与えられる事例をもとに意味知識を学習
してこれを前記二項関係格納部の行列の対応する位置に
格納し、対象とする単語間の二項関係知識を前記行列よ
り取り出して出力する学習部とからなり、 前記二項関係格納部は、前記観測行列に加え、その観測
行列の行にならぶ単語間の関連度を示す重みを格納する
行間重み行列と、その観測行列の列にならぶ単語間の重
みを格納する列間重み行列とを備え持ち、 前記学習部は、 前記観測行列にすでに格納されている他の単語の組の二
項関係値を、前記他の単語の組の行同士列同士の間の重
みを用いた重みつき多数決により採用して、対象とする
単語の組の二項関係値を予測し、 この予測した二項関係値が前記教師部が抽出した二項関
係値と異なるとき、前記二項関係値を予測する単語の組
の行の単語と他のすでに二項関係値が観測行列に格納さ
れている単語の組の行の単語との間の重みは前記列重み
行列に格納されている値に基づいて更新し、前記二項関
係値を予測する単語の組の列の単語と他のすでに二項関
係値が観測行列に格納されている単語の組の列の単語と
の間の重みは前記行重み行列に格納されている値に基づ
いて更新していくことで、 前記教師部が有する二項関係値を学習して観測行列に格
納し、それ以外の二項関係値も推定していくことを特徴
とする意味知識獲得装置。1. A teacher section for extracting semantic knowledge in digitized document data as an example of a binary relation between words, a first word group is arranged in a row, and a second word group is arranged in a column. A binomial relation storage unit provided with an observation matrix in which each binomial relation is indicated, and semantic knowledge is learned based on the case given from the teacher unit, and this is used as a matrix in the binomial relation storage unit. And a learning unit that stores the information in a corresponding position of, and extracts and outputs the binary relation knowledge between the target words from the matrix, and the binary relation storage unit includes the observation matrix in addition to the observation matrix. An inter-row weight matrix that stores weights that indicate the degree of association between words that are arranged in rows, and an inter-column weight matrix that stores the weights between words that are arranged in columns of the observation matrix, and the learning unit is the observation matrix. Binary relation values of other word pairs already stored in Adopted by a weighted majority vote using the weight between the rows and columns of the word set to predict the binary relation value of the target word set, and the predicted binary relation value is When the extracted binary relation value is different from the word in the row of the word set that predicts the binary relation value and the other word in the row of the word set in which the binary relation value is already stored in the observation matrix. The weights between are updated based on the values stored in the column weight matrix, and the words in the column of the set of words that predict the binary relation value and other already binary relation values are stored in the observation matrix. By updating the weights between the words in the columns of the set of words that are stored in the row weight matrix based on the values stored in the row weight matrix, learning the binary relational values that the teacher has A semantic knowledge acquisition device characterized by storing and estimating other binary relation values.
て、 前記学習部が対象とする単語の組の二項関係値を予測す
るとき、前記対象とする単語の組の二項関係値の予測
は、 この予測する単語の組と観測行列においてすでに二項関
係値が０である単語の組との行の単語間の重みと列の単
語間の重みとの積の総和と、この予測する単語の組と観
測行列においてすでに二項関係値が１である単語の組と
の行の単語間の重みと列の単語間の重みとの積の総和と
を比較し、値の大きい方の二項関係値を前記予測する単
語の組の二項関係とすることを特徴とする意味知識獲得
装置。2. The semantic knowledge acquisition device according to claim 1, wherein when the learning unit predicts a binary relation value of a target word set, the learning unit predicts the binary relation value of the target word set. Is the sum of the product of the weight between the words in the row and the weight between the words in the column with this set of predicted words and the set of words whose binary relation value is already 0 in the observation matrix, and this predicted word And the set of words whose binomial relation value is already 1 in the observation matrix are compared with the sum of the products of the weights between the words in the rows and the weights between the words in the column, and the binary with the larger value is compared. A semantic knowledge acquisition device characterized in that the relation value is a binary relation of the set of predicted words.
て、 前記学習部が対象とする単語の組の二項関係値を予測す
るとき、前記観測行列内の同一行および同一列内のすで
に格納されている他の単語の組の二項関係値を、その他
の単語の組の行同士列同士の間の重みを用いた重みつき
多数決により採用して、二項関係値を予測することを特
徴とする意味知識獲得装置。3. The semantic knowledge acquisition device according to claim 2, wherein when the learning unit predicts a binary relation value of a target word set, it is already stored in the same row and the same column in the observation matrix. Characteristic of predicting a binary relation value by adopting the binary relation value of another set of words that has been adopted by a weighted majority decision using the weight between the rows and columns of the other word set A semantic knowledge acquisition device.
味知識獲得装置において、 前記二項関係値を予測する単語の組の行の単語と、他の
すでに二項関係値が格納されている単語の組が存在する
任意の対象行の単語との間の重みは、 前記列重み行列に格納されている、予測する単語の組の
列の単語，行の単語が前記対象行の単語と等しくしかも
すでに同じ値の二項関係が格納されている他の単語の組
の列の単語，の間の重みの総和と、予測する単語の組の
列の単語，行の単語が前記対象行の単語と等しくしかも
すでに違う値の二項関係が格納されている他の単語の組
の列の単語，の間の重みの総和との比を、その時点での
行の単語の間の重みに乗ずることで更新し、 前記二項関係値を予測する単語の組の列の単語と他のす
でに二項関係値が格納されている単語の組が存在する任
意の対象列の単語との間の重みは、 前記行重み行列に格納されている、予測する単語の組の
行の単語，列の単語が前記対象列の単語と等しくしかも
すでに同じ値の二項関係が格納されている他の単語の組
の行の単語，の間の重みの総和と、予測する単語の組の
行の単語と，列の単語が前記対象列の単語と等しくしか
もすでに違う値の二項関係が格納されている他の単語の
組の行の単語，の間の重みの総和との比を，その従来の
列の単語の間の重みに乗ずることで更新することを特徴
とする意味知識獲得装置。4. The semantic knowledge acquisition device according to claim 1, wherein a word in a row of a word set for predicting the binary relation value and another binary relation value are already stored. The weight between the word of any target row in which the set of words is present is stored in the column weight matrix, the word of the column of the word set to be predicted, and the word of the row are the words of the target row. The sum of the weights between the words in the columns of the other word sets in which the binary relations equal to the words and already having the same value are stored, and the words in the columns of the word sets to be predicted and the words in the rows are the target. The ratio between the sum of the weights between the words in the row and the words in the columns of other word pairs in which binary relations of different values are already stored, and the weight between the words in the row at that time The word in the sequence of words that predicts the binary relation value and the other binary relation value The weight with respect to the word in any target column in which the stored word set exists is the row word of the word set to be predicted stored in the row weight matrix, and the word in the column is the target column. , The sum of the weights between the words in the rows of other word pairs, which already store the binary relation of the same value, and the words in the rows of the predicted word pairs and the words in the columns are The ratio of the sum of the weights between the words in the row of another word set, in which the binary relations of equal and different values are already stored to the words in the target row, between the words in the conventional row, A semantic knowledge acquisition device characterized by updating by multiplying a weight.
味知識獲得装置において、 前記二項関係値を予測する単語の組の二項関係値とは異
なる値の二項関係値を有する同一列内の他の単語の組の
行の単語とその予測する単語の組との間の重みは、所定
の値を乗じて小さくすることで更新し、 前記二項関係値を予測する単語の組の二項関係値とは同
じ値の二項関係値を有する同一列内の他の単語の組の行
の単語とその予測する単語の組の行の単語との間の重み
は、所定の値を乗じて大きくすることで更新し、 前記二項関係値を予測する単語の組の二項関係値とは異
なる値の二項関係値を有する同一行内の他の単語の組の
列の単語とその予測する単語の組の列の単語との間の重
みは、所定の値を乗じて小さくすることで更新し、 前記二項関係値を予測する単語の組の二項関係値とは同
じ値の二項関係値を有する同一行内の他の単語の組の列
の単語とその予測する単語の組の列の単語との間の重み
は、所定の値を乗じて大きくすることで更新することを
特徴とする意味知識獲得装置。5. The semantic knowledge acquisition device according to claim 1, wherein a binary relation value different from the binary relation value of the word set for predicting the binary relation value is set. The weight between a word in a row of another word set in the same column and the word set to be predicted is updated by multiplying by a predetermined value to reduce the word, and the word to predict the binary relation value. The weight between a word in a row of another word set and a word in a row of the predicted word set in the same column having the same binary relation value as that of the set of Update by multiplying by the value of, to increase the binomial relationship value of the column of other word pairs in the same row having a binary relation value of a value different from the binary relation value of the word set that predicts the binary relation value. The weight between the word and the word in the sequence of the predicted word set is updated by multiplying by a predetermined value to reduce the weight, and the binary relation value The weight between a word in a column of another word set and a word in a column of the predicted word set in the same row that has the same binary relation value as the predicted word set is A semantic knowledge acquisition device characterized by updating by multiplying by a predetermined value to increase the value.
知識獲得装置において、 教師部が文書データから意味知識を行の単語と列の単語
の二項関係の事例として抽出する際、 行の単語各々について文書データ中の出現頻度からその
出現確率を計算し、 また、列の単語各々についても文書データ中の出現頻度
からその出現確率を計算し、 さらに各々の行の単語と列の単語の２つ組についてその
２つ組の文書データ中の共起頻度からその共起頻度出現
確率を計算した上で、 前記２つ組の共起出現確率を前記行の単語の出現確率と
前記列の単語の出現確率の積で割った値が１より十分大
きいときには、この２つ組を正例とみなし、 前記２つ組の共起出現確率を前記行の単語の出現確率と
前記列の単語の出現確率の積で割った値が１より十分小
さいときには、この２つ組を負例とみなし、 これらの正例と負例からなる事例を学習部に学習データ
として与えることを特徴とする意味知識獲得装置。6. The semantic knowledge acquisition apparatus according to claim 1, wherein the teacher unit extracts the semantic knowledge from the document data as an example of a binary relation between a word in a row and a word in a column. The appearance probability of each word in the row is calculated from the appearance frequency in the document data, and the appearance probability of each word in the column is also calculated from the appearance frequency in the document data. After calculating the co-occurrence frequency occurrence probability of the two-word set from the co-occurrence frequencies in the two-tuple document data, the co-occurrence occurrence probability of the two-tuple is calculated as the word occurrence probability of the row. When the value obtained by dividing the product of the appearance probabilities of the words in the column is sufficiently larger than 1, this two-tuple is regarded as a positive example, and the co-occurrence occurrence probabilities of the two tuples are compared with the occurrence probabilities of the words in the row and the column. The value divided by the product of word occurrence probabilities is sufficiently smaller than 1. At times, the set of two is regarded as a negative example, and a case including the positive example and the negative example is given to the learning unit as learning data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6287782A JP2786118B2 (en) | 1994-11-22 | 1994-11-22 | Semantic knowledge acquisition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6287782A JP2786118B2 (en) | 1994-11-22 | 1994-11-22 | Semantic knowledge acquisition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08147307A true JPH08147307A (en) | 1996-06-07 |
| JP2786118B2 JP2786118B2 (en) | 1998-08-13 |
Family
ID=17721677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6287782A Expired - Lifetime JP2786118B2 (en) | 1994-11-22 | 1994-11-22 | Semantic knowledge acquisition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2786118B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002005131A1 (en) * | 2000-07-06 | 2002-01-17 | Iiga Co., Ltd | Searching device |
| WO2006137516A1 (en) * | 2005-06-23 | 2006-12-28 | National Institute Of Information And Communications Technology | Binary relation extracting device |
| JP2007213336A (en) * | 2006-02-09 | 2007-08-23 | Mitsubishi Electric Corp | Dictionary creating device |
| WO2009123288A1 (en) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | Word classification system, method, and program |
| CN117196042A (en) * | 2023-11-03 | 2023-12-08 | 福建天晴数码有限公司 | Semantic reasoning method and terminal for learning target in education universe |
-
1994
- 1994-11-22 JP JP6287782A patent/JP2786118B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002005131A1 (en) * | 2000-07-06 | 2002-01-17 | Iiga Co., Ltd | Searching device |
| WO2006137516A1 (en) * | 2005-06-23 | 2006-12-28 | National Institute Of Information And Communications Technology | Binary relation extracting device |
| JP2007004458A (en) * | 2005-06-23 | 2007-01-11 | National Institute Of Information & Communication Technology | Binomial relation extraction apparatus, information retrieving apparatus using binomial relation extraction processing, method for binomial relation extraction processing, information retrieving processing method using binomial relation extraction processing, binomial relation extraction processing program, and information retrieving processing program using binomial relation extraction processing |
| JP4565106B2 (en) * | 2005-06-23 | 2010-10-20 | 独立行政法人情報通信研究機構 | Binary Relation Extraction Device, Information Retrieval Device Using Binary Relation Extraction Processing, Binary Relation Extraction Processing Method, Information Retrieval Processing Method Using Binary Relation Extraction Processing, Binary Relation Extraction Processing Program, and Binary Relation Extraction Retrieval processing program using processing |
| JP2007213336A (en) * | 2006-02-09 | 2007-08-23 | Mitsubishi Electric Corp | Dictionary creating device |
| WO2009123288A1 (en) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | Word classification system, method, and program |
| US8504356B2 (en) | 2008-04-03 | 2013-08-06 | Nec Corporation | Word classification system, method, and program |
| JP5447862B2 (en) * | 2008-04-03 | 2014-03-19 | 日本電気株式会社 | Word classification system, method and program |
| CN117196042A (en) * | 2023-11-03 | 2023-12-08 | 福建天晴数码有限公司 | Semantic reasoning method and terminal for learning target in education universe |
| CN117196042B (en) * | 2023-11-03 | 2024-01-30 | 福建天晴数码有限公司 | Semantic reasoning method and terminal for learning target in education universe |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2786118B2 (en) | 1998-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu | Python machine learning by example | |
| Milin et al. | Discrimination in lexical decision | |
| CN112131350B (en) | Text label determining method, device, terminal and readable storage medium | |
| US10503791B2 (en) | System for creating a reasoning graph and for ranking of its nodes | |
| Ignatow et al. | Text mining: A guidebook for the social sciences | |
| Cui et al. | Attention-over-attention neural networks for reading comprehension | |
| US20110231347A1 (en) | Named Entity Recognition in Query | |
| Dima et al. | Automatic noun compound interpretation using deep neural networks and word embeddings | |
| JPH07295989A (en) | Device that forms interpreter to analyze data | |
| CN111737427B (en) | Method for recommending lesson forum posts by combining forum interaction behaviors and user reading preference | |
| CN111325018A (en) | Domain dictionary construction method based on web retrieval and new word discovery | |
| Yamada et al. | Studio Ousia’s quiz bowl question answering system | |
| Cai | Automatic essay scoring with recurrent neural network | |
| Da et al. | Deep learning based dual encoder retrieval model for citation recommendation | |
| Troxler et al. | Actuarial applications of natural language processing using transformers: Case studies for using text features in an actuarial context | |
| CN114282528A (en) | Keyword extraction method, device, equipment and storage medium | |
| Elkhlifi et al. | French-written event extraction based on contextual exploration | |
| JP2786118B2 (en) | Semantic knowledge acquisition device | |
| Bai et al. | Gated character-aware convolutional neural network for effective automated essay scoring | |
| Liu | Python Machine Learning By Example: Implement machine learning algorithms and techniques to build intelligent systems | |
| Berezkin et al. | A method for creating structural models of text documents using neural networks | |
| Pugacheva et al. | Lexical choice and word formation in a taboo game paradigm | |
| CN113011141A (en) | Buddha note model training method, Buddha note generation method and related equipment | |
| Wang et al. | Natural language processing systems and Big Data analytics | |
| Paranjpe | Clustering semantically similar and related questions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090529 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100529 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110529 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110529 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 15 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |