CN114757179A - 一种实体关系联合抽取方法及装置 - Google Patents

一种实体关系联合抽取方法及装置 Download PDF

Info

Publication number
CN114757179A
CN114757179A CN202210386899.XA CN202210386899A CN114757179A CN 114757179 A CN114757179 A CN 114757179A CN 202210386899 A CN202210386899 A CN 202210386899A CN 114757179 A CN114757179 A CN 114757179A
Authority
CN
China
Prior art keywords
sentence
vector
matrix
relation
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210386899.XA
Other languages
English (en)
Inventor
王婷
何松泽
吴锡
马洪江
陈诗汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202210386899.XA priority Critical patent/CN114757179A/zh
Publication of CN114757179A publication Critical patent/CN114757179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实体关系联合抽取方法及装置，其方法包括：获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；通过对所述句子的关系进行编码处理，得到所述句子的关系向量；利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。

Description

一种实体关系联合抽取方法及装置
技术领域
本发明涉及计算机领域，特别涉及一种实体关系联合抽取方法及装置。
背景技术
目前,已有相关方法采用以关系为核心来进行实体关系联合抽取，例如：CopyRE与HRL都先抽取关系再抽取实体，不同的是，CopyRE是以一种复制机制来抽取三元组信息方法，但其只能复制实体的最后一个单词。HRL则应用了一种分层强化学习的方式来进行是关系三元组的抽取。RSAN则提出了一种基于关系注意力机制的方法来进行实体关系三元组的抽取该方法利用注意力机制为每个关系下构建特定的句子表征，根据该构建好的句子特征来抽取特定的关系下的实体信息。以上都是以关系为导向的实体关系联合抽取，这些方法采取的方式都较为复杂。已有研究人员在实体关系抽取任务上进行过一些能够用于知识图谱构建或者支持下游文本挖掘的方法或理论研究。Yu等人使用双仿射注意力机制能够让实体首尾边界进行交互，从而达到提升实体抽取效果。Wu等人通过提取实体的字符向量与句子语义信息从而获得较为全面的信息来提升关系抽取效果，Liu等人对实体信息与上下文信息对关系抽取影响进行了深入研究，发现实体信息对于关系抽取的效果有重要的影响。
目前以关系为核心的实体关系联合抽取，一般结构较为复杂，部分采用了一些特殊的方式如负采样或者采用更为先进的方法如强化学习来以此达到更好地效果。部分方法对于解决实体重叠问题的能力还有所欠缺，并且在关系数较多的情况下抽取实体关系能力效果不是很好。大部分方法在关系抽取阶段未能通过一些手段去模拟实体信息，忽略实体对关系抽取的影响，而已有文献证明实体信息对关系抽取有着重要的作用。
发明内容
根据本发明实施例提供的方案解决的技术问题是如何站在以关系为导向的角度提出一种结构简单且又能获得较好结果的实体关系联合抽取方法，并能够以此来缓解实体重叠问题。
根据本发明实施例提供的一种实体关系联合抽取方法，包括：
获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；
通过对所述句子的关系进行编码处理，得到所述句子的关系向量；
利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
根据本发明实施例提供的一种实体关系联合抽取装置，包括：
关系抽取模块，用于获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；
获取关系向量模块，用于通过对所述句子的关系进行编码处理，得到所述句子的关系向量；
抽取模块，用于利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
根据本发明实施例提供的方案，在一定程度上有效的解决了实体重叠问题并缓解了误差累积问题。模型采用自注意力机制关注字符信息以此来模拟实体信息，更加有效的提升整体效果，并且采用较为常用的方法来进行三元组抽取，无复杂设计部分与较为特殊的训练方式，也易于理解与使用。由于该方法是站在关系的角度，因此对于关系数较多的文本语句中该方法更加有效。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例提供的一种实体关系联合抽取方法的流程图；
图2是本发明实施例提供的一种实体关系联合抽取装置的示意图；
图3是本发明实施例提供的实体关系联合抽取模型的流程图；
图4是本发明实施例提供的实体关系联合抽取模型的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明实施例提供的一种实体关系联合抽取方法的流程图，如图1所示，包括：
步骤S101：获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；
步骤S102：通过对所述句子的关系进行编码处理，得到所述句子的关系向量；
步骤S103：利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
其中，所述获取句子的词向量矩阵包括：获取句子中每个词，并利用编码器对所述每个词进行编码处理，得到所述每个词的词向量；根据所述句子的长度和所述每个词的词向量，构建所述句子的词向量矩阵。
具体地说，所述对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系包括：利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵；通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量；通过将所述代表整体的模拟实体信息向量和所述代表整体句子信息向量进行拼接并输入到多层感知机MLP中，预测出所述句子的关系。其中，所述利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵包括：将所述词向量矩阵分别与查询参数矩阵、关键词参数矩阵以及值参数矩阵相乘，得到查询矩阵、关键字矩阵以及值矩阵；根据所述查询矩阵和所述关键字矩阵，得到注意力权重矩阵；根据所述注意力权重矩阵和所述值矩阵，得到包含模拟实体信息的向量矩阵。
具体地说，所述包含模拟实体信息的向量矩阵为：
Figure BDA0003594052940000041
其中，Q是指查询矩阵；K是指关键字矩阵；V是指值矩阵；dk是指线性变换后的维度；d是词向量的维度。
具体地说，所述通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量包括：
Figure BDA0003594052940000042
havg＝Avgpool(Yenc(s))∈Rd×1
其中，Entity_v是指代表整体的模拟实体信息向量；havg是指代表整体句子信息向量；Avgpool是指平均池化；Yenc(s)是指词向量矩阵；d是词向量的维度。
其中，所述通过对所述句子的关系进行编码处理，得到所述句子的关系向量包括：利用word2vec的方式对所述句子的关系进行编码处理，得到所述句子的关系向量。
其中，所述利用所述词向量矩阵和所述关系向量，得到所述句子的实体对包括：将所述词向量矩阵和所述关系向量进行结合处理，得到向量矩阵；通过将所述向量矩阵进行多层感知机MLP和条件随机场CRF处理，得到所述句子的实体对。
图2是本发明实施例提供的一种实体关系联合抽取装置的示意图，如图2所示，包括：关系抽取模块201，用于获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；获取关系向量模块202，用于通过对所述句子的关系进行编码处理，得到所述句子的关系向量；抽取模块203，用于利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
具体地说，所述关系抽取模块201具体用于利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵；通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量；通过将所述代表整体的模拟实体信息向量和所述代表整体句子信息向量进行拼接并输入到多层感知机MLP中，预测出所述句子的关系。
图3是本发明实施例提供的实体关系联合抽取模型的流程图，如图3所示，对于一个给定的句子S，首先将该句子输入进编码器获取到由每个词所对应的词向量,接着将由这些词向量所组成的词向量矩阵输入到关系抽取模块中，由关系抽取模块预测出句子中的关系，再将得到的关系经过关系编码器，获得关系向量，最后将得到的关系向量与开始的得到的词向量结合作为输入，输入到实体抽取模块中，抽取出当前关系下的实体对，最终该实体对与关系进行组合就抽取到句子中所包含的实体对。
从每个流程点具体来说，在将句子输入到编码器这个阶段中，采用的编码器为BERT编码器，该编码器由谷歌提出，能够将长度为n的句子转换为行数为n,列数为768的词向量矩阵，例如：输入“中国的首都是北京”，就会将其转换为行数为8列数为768的词向量矩阵；在将词向量矩阵输入到关系抽取模块阶段中，我们认为每个词都可能蕴含实体信息，由此如果需要知道在某个关系下的实体信息，就是要知道词与词之间的重要性，因为在一个关系存在则必定能对应一组实体对，那么在该关系下这组实体对之间关联程度，应当大于与其他实体的关联程度。为了获得这种关联度，也可称作为了模拟实体信息，这里我们采用自注意力机制与平均池化的方法来模拟实体信息，其中自注意力机制的流程是将词向量所组成的矩阵分别乘以三个不同的可训练的参数矩阵，可训练的参数矩阵是指神经网络进行反向传播的时候可以动态的调整其数值的矩阵，以达到拟合数据的目的。由此获得查询矩阵(Q)、关键字矩阵(K)、值矩阵(V)三个矩阵，再利用Q矩阵与K矩阵计算出注意力权重矩阵，该矩阵可以表征在某个关系下词与词之间的关联程度，获得注意力权重矩阵后与V矩阵相乘得到包含这种关联程度的向量矩阵，也可称作包含模拟实体信息的向量矩阵，到这里自注意力机制流程结束。接着对包含模拟实体信息的向量矩阵进行平均池化来获得代表整体的模拟实体信息向量，最后将词向量矩阵平均池化后所获得的能够代表整体句子信息向量，再将该向量与模拟实体信息向量拼接，拼接后的混合向量送入到神经网络中(即图4中的MLP)来识别句子中可能存在的关系，例如：在得到“中国的首都是北京”的词向量矩阵后，利用自注意力机制就能够关注到这些单词与单词之间的关联程度，从而获得包含模拟实体信息的向量矩阵，再通过平均池化能够得到代表整体的模拟实体信息向量，最后将词向量矩阵平均池化的结果与模拟实体向量拼接输入到神经网络预测得到包含这一关系；在将关系编码成关系向量这一阶段，采用的方法为word2vec的方式，具体来说每个关系都会对应一条关系向量，该关系向量的数值也是可以随着反向传播而改变也就即是由关系向量所组成的关系向量矩阵是可训练的参数矩阵。例如：在获得包含这一词中后，通过word2vec的方式就能找到该词所对应的关系向量；在将得到的关系向量与词向量结合输入到实体抽取模块这一阶段中，采用了条件随机场(CRF)这一方法，具体来说，关系向量与词向量矩阵结合得到向量矩阵通过两组神经网络进行变换(这里可以视作将关系向量与词向量结合得到的向量矩阵乘了两个不同的可训练参数矩阵)，将得到的结果再输入进条件随机场进行实体的抽取，条件随机场能够通过给定一组序列输入，输出另一组序列(条件概率分布)，这里就能够通过条件随机场输出每个字符所对应的标签，(这里标签采用的标记方法为“BIO”标记)得到实体对。例如：在得到包含的关系向量后，将关系向量与词向量矩阵结合输入到神经网络的结果，再输入到条件随机场中，可以得到“中国的首都是北京”两组序列标签，“B-H，I-H，O，O，O，O，O，O”与“O,O,O,O,O,O,B-E,I-E”，其中B-H是指头实体开始的地方，I-H是指头实体尾与中间部分，头实体“中国”所对应的标签为“B-H”与“I-H”，而尾实体则是第二组序列标签中的“B-E”与“I-E”，也就是“北京”，与头实体一样，“B-E”是指尾实体开始的地方，“I-E”是指尾实体尾与中间部分。“O”则是指不是实体的地方，如此就可以获取到实体对(中国，北京)；在最后阶段中，将实体对与关系进行组合得到(中国，包含，北京)这样的三元组信息。在训练阶段可以利用数据集中已知的关系使各个任务独立训练，互不干涉，使其在训练阶段降低误差累积。而在推测阶段则需要先识别潜在的关系，依据关系找出实体。
关系抽取模块对应上述流程图中的关系抽取，对这一部分进行公式化描述，具体过程性描述上述文中“在将词向量矩阵输入到关系抽取模块阶段中....拼接后的混合向量送入到神经网络中(即图中的MLP)来识别句子中可能存在的关系”。这里主要是对公式进行说明，具体公式如下:
Figure BDA0003594052940000071
Q＝WqueryYenc(s) (2)
V＝WvalueYenc(s) (3)
K＝WkeyYenc(s) (4)
havg＝Avgpool(Yenc(s))∈Rd×1
Figure BDA0003594052940000084
其中，
Figure BDA0003594052940000083
Wvalue∈Rd×d和
Figure BDA0003594052940000082
皆是可训练参数矩阵，dk是指线性变换后的维度，d是词向量的维度，nr是指关系个数。Q是指查询矩阵，K是指关键字矩阵，V是指值矩阵，Yenc(s)是指词向量矩阵，R是指实数集合，havg是指代表整体句子信息向量，prel是指正确答案为某关系的概率大小，Entity_v是指代表整体的模拟实体信息向量，Avgpool是指平均池化。该模块的主要作用是抽取关系。实体抽取模块对应上述流程图中“词向量与关系向量结合，进行实体抽取”，对此进行公式化描述，具体过程性描述与上述文中“在将关系编码成关系向量这一阶段，采用的方法为word2voc的方式...如此就可以获取到实体对(中国，北京)”一致。计算标签y＝{y1,y2,...,yn}的条件概率公式如下：
Vmix＝Concat(Yenc(s),uj)∈R2d×n
O＝WoVmix+bo
Figure BDA0003594052940000081
其中，uj∈Rd×1是指采用word2vec方式获得的关系向量，Concat是指拼接操作，Vmix是指关系向量与词向量矩阵结合得到向量矩阵，Yenc(s)是指词向量矩阵，d是词向量的维度。
Figure BDA0003594052940000085
和
Figure BDA0003594052940000086
都是可训练参数矩阵，n是指单词个数。p(y|s)为句子对应的序列的概率，
Figure BDA0003594052940000087
是发射矩阵，
Figure BDA0003594052940000088
是转移矩阵，YS是指序列中可能的标签，nl是指标签个数。然后再使用维特比算法解码，获得序列标签。该模块的主要作用是抽取实体对。
下面结合该模型示意图4以一个实施例进行对模型的推演过程说明。
(1).假设给定如图4所示的句子“中国的首都是北京”，输入进Bert编码器，就会将其转换为行数为8列数为768的词向量矩阵。BERT编码器由谷歌提出，目前较为常用的一种编码器，能够将长度为n的句子转换为行数为n,列数为768的词向量矩阵，该编码器能够很好的捕获上下文信息。
(2)将获得词向量输入到关系抽取中，先利用自注意力机制就关注到这些字符与字符之间的关联程度，具体来说，如图所示的那样，词向量矩阵乘以三个不同的参数矩阵(Wquery,Wkey，Wvalue)，由此获得查询矩阵(Q)、关键字矩阵(K)、值矩阵(V)三个矩阵。再利用Q矩阵与K矩阵计算出注意力权重矩阵，该矩阵可以表征在某个关系下词与词之间的关联程度，获得注意力权重矩阵后与V矩阵相乘得到包含这种关联程度的向量矩阵，也可称作包含模拟实体信息的向量矩阵从而获得包含模拟实体信息的向量矩阵，如图4中所示公式
Figure BDA0003594052940000091
再通过平均池化能够得到代表整体的模拟实体信息向量，最后将词向量矩阵平均池化的结果与模拟实体向量拼接输入到神经网络(图4中的MLP)预测得到包含这一关系。
(3)在得到“包含”之一关系后，利用word2vec的方式获得关系向量。具体来说每个关系都会对应一条关系向量，该关系向量的数值也是可以随着反向传播而改变，也就即是由关系向量所组成的关系向量矩阵是可训练的参数矩阵。
(4)在得到“包含”的关系向量后，将关系向量与词向量矩阵结合输入到神经网络中，所得到的结果再输入到条件随机场中(条件随机场是一种常用的序列预测方法，能够通过给定一组序列输入，输出另一组序列(条件概率分布))，由条件随机场输出两组序列，“B-H，I-H，O，O，O，O，O，O”与“O,O,O,O,O,O,B-E,I-E”，其中B-H是指头实体开始的地方，I-H是指头实体尾与中间部分，头实体“中国”所对应的标签为“B-H”与“I-H”，而尾实体则是第二组序列标签中的“B-E”与“I-E”，也就是“北京”，与头实体一样，“B-E”是指尾实体开始的地方，“I-E”是指尾实体尾与中间部分。“O”则是指不是实体的地方，如此就可以获取到实体对(中国，北京)。
(5)再得到实体对后，将关系与实体对组合，就有(中国，包含，北京)这样的三元组，如果预测出来的头实体个数与尾实体个数不等，就将少的一方最后一个实体复制到与多的一方相等。例如:如果我们输入的句子是“北京是中国的首都，也是一座城市”，那么提取的头实体为“北京”，尾实体为“中国，城市”，那么由于头实体的个数小于尾实体个数，就将头实体部分中最后一个实体，也就是北京复制一次，即头实体部分变为(“北京”，“北京”)，再与尾实体结合得到最后结果(中国，包含，北京)，(城市，包含，北京)。
尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.一种实体关系联合抽取方法，其特征在于，包括：
获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；
通过对所述句子的关系进行编码处理，得到所述句子的关系向量；
利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
2.根据权利要求1所述的方法，其特征在于，所述获取句子的词向量矩阵包括：
获取句子中每个词，并利用编码器对所述每个词进行编码处理，得到所述每个词的词向量；
根据所述句子的长度和所述每个词的词向量，构建所述句子的词向量矩阵。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系包括：
利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵；
通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量；
通过将所述代表整体的模拟实体信息向量和所述代表整体句子信息向量进行拼接并输入到多层感知机MLP中，预测出所述句子的关系。
4.根据权利要求3所述的方法，其特征在于，所述利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵包括：
将所述词向量矩阵分别与查询参数矩阵、关键词参数矩阵以及值参数矩阵相乘，得到查询矩阵、关键字矩阵以及值矩阵；
根据所述查询矩阵和所述关键字矩阵，得到注意力权重矩阵；
根据所述注意力权重矩阵和所述值矩阵，得到包含模拟实体信息的向量矩阵。
5.根据权利要求4所述的方法，其特征在于，所述包含模拟实体信息的向量矩阵为：
Figure FDA0003594052930000021
其中，Q是指查询矩阵；K是指关键字矩阵；V是指值矩阵；dk是指线性变换后的维度。
6.根据权利要求5所述的方法，其特征在于，所述通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量包括：
Figure FDA0003594052930000022
havg＝Avgpool(Yenc(s))∈Rd×1
其中，Entity_v是指代表整体的模拟实体信息向量；havg是指代表整体句子信息向量；Avgpool是指平均池化；Yenc(s)是指词向量矩阵；d是词向量的维度。
7.根据权利要求1所述的方法，其特征在于，所述通过对所述句子的关系进行编码处理，得到所述句子的关系向量包括：
利用word2vec的方式对所述句子的关系进行编码处理，得到所述句子的关系向量。
8.根据权利要求1所述的方法，其特征在于，所述利用所述词向量矩阵和所述关系向量，得到所述句子的实体对包括：
将所述词向量矩阵和所述关系向量进行拼接处理，得到向量矩阵；
通过将所述向量矩阵进行多层感知机MLP和条件随机场CRF处理，得到所述句子的实体对。
9.一种实体关系联合抽取装置，其特征在于，包括：
关系抽取模块，用于获取句子的词向量矩阵，并对所述句子的词向量矩阵进行关系抽取处理，得到所述句子的关系；
获取关系向量模块，用于通过对所述句子的关系进行编码处理，得到所述句子的关系向量；
抽取模块，用于利用所述词向量矩阵和所述关系向量，得到所述句子的实体对，并将所述实体对和所述关系进行组合处理，得到所述句子的三元组信息。
10.根据权利要求9所述的装置，其特征在于，所述关系抽取模块具体用于利用自注意力机制对所述句子的词向量矩阵进行处理，得到包含模拟实体信息的向量矩阵；通过对所述包含模拟实体信息的向量矩阵进行平均池化处理，得到代表整体的模拟实体信息向量，同时对所述句子的词向量矩阵进行平均池化处理，得到代表整体句子信息向量；通过将所述代表整体的模拟实体信息向量和所述代表整体句子信息向量进行拼接并输入到多层感知机MLP中，预测出所述句子的关系。
CN202210386899.XA 2022-04-13 2022-04-13 一种实体关系联合抽取方法及装置 Pending CN114757179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210386899.XA CN114757179A (zh) 2022-04-13 2022-04-13 一种实体关系联合抽取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210386899.XA CN114757179A (zh) 2022-04-13 2022-04-13 一种实体关系联合抽取方法及装置

Publications (1)

Publication Number Publication Date
CN114757179A true CN114757179A (zh) 2022-07-15

Family

ID=82331095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210386899.XA Pending CN114757179A (zh) 2022-04-13 2022-04-13 一种实体关系联合抽取方法及装置

Country Status (1)

Country Link
CN (1) CN114757179A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891958A (zh) * 2024-03-14 2024-04-16 中国标准化研究院 一种基于知识图谱的标准数据处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和***
CN110569366A (zh) * 2019-09-09 2019-12-13 腾讯科技（深圳）有限公司 文本的实体关系抽取方法、装置及存储介质
CN111709243A (zh) * 2020-06-19 2020-09-25 南京优慧信安科技有限公司 一种基于深度学习的知识抽取方法与装置
CN112651225A (zh) * 2020-12-29 2021-04-13 昆明理工大学 一种基于多阶段最大化注意力的多项选择机器阅读理解的方法
CN113076391A (zh) * 2021-01-27 2021-07-06 北京理工大学 一种基于多层注意力机制的远程监督关系抽取方法
CN113641767A (zh) * 2021-07-16 2021-11-12 中南民族大学 实体关系抽取方法、装置、设备及存储介质
CN114168754A (zh) * 2021-12-16 2022-03-11 杭州电子科技大学 一种基于句法依赖和融合信息的关系抽取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和***
CN110569366A (zh) * 2019-09-09 2019-12-13 腾讯科技（深圳）有限公司 文本的实体关系抽取方法、装置及存储介质
CN111709243A (zh) * 2020-06-19 2020-09-25 南京优慧信安科技有限公司 一种基于深度学习的知识抽取方法与装置
CN112651225A (zh) * 2020-12-29 2021-04-13 昆明理工大学 一种基于多阶段最大化注意力的多项选择机器阅读理解的方法
CN113076391A (zh) * 2021-01-27 2021-07-06 北京理工大学 一种基于多层注意力机制的远程监督关系抽取方法
CN113641767A (zh) * 2021-07-16 2021-11-12 中南民族大学 实体关系抽取方法、装置、设备及存储介质
CN114168754A (zh) * 2021-12-16 2022-03-11 杭州电子科技大学 一种基于句法依赖和融合信息的关系抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王文松: "《基于AM⁃CNN 算法下多特征融合实现文本分析》", 《现代电子技术》, 1 July 2021 (2021-07-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891958A (zh) * 2024-03-14 2024-04-16 中国标准化研究院 一种基于知识图谱的标准数据处理方法
CN117891958B (zh) * 2024-03-14 2024-05-24 中国标准化研究院 一种基于知识图谱的标准数据处理方法

Similar Documents

Publication Publication Date Title
CN111538848B (zh) 一种融合多源信息的知识表示学习方法
CN107562792B (zh) 一种基于深度学习的问答匹配方法
CN107480206B (zh) 一种基于多模态低秩双线性池化的图像内容问答方法
CN112559702B (zh) 基于Transformer的土木建筑信息领域自然语言问题生成方法
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN110837738B (zh) 相似问识别方法、装置、计算机设备及存储介质
CN110543640A (zh) 一种基于注意力机制神经机器翻译推断加速方法
CN110362797B (zh) 一种研究报告生成方法及相关设备
CN111930887A (zh) 基于联合训练方式的多文档多答案机器阅读理解***
CN109145083B (zh) 一种基于深度学习的候选答案选取方法
CN113821635A (zh) 一种用于金融领域的文本摘要的生成方法及***
CN115422939A (zh) 一种基于大数据的细粒度商品命名实体识别方法
CN114757179A (zh) 一种实体关系联合抽取方法及装置
CN111428518B (zh) 一种低频词翻译方法及装置
Li et al. Generative zero-shot prompt learning for cross-domain slot filling with inverse prompting
CN111309896A (zh) 基于二级注意力的深度学习文本摘要生成方法
CN113392191B (zh) 一种基于多维度语义联合学习的文本匹配方法和装置
CN116431788B (zh) 面向跨模态数据的语义检索方法
CN116521887A (zh) 一种基于深度学习的知识图谱复杂问答***及方法
CN115718904A (zh) 文本处理方法及装置
CN115062123A (zh) 一种对话生成***的知识库问答对生成方法
Liu et al. Entity representation learning with multimodal neighbors for link prediction in knowledge graph
Wu A chinese-english machine translation model based on deep neural network
CN113268962B (zh) 面向建筑行业信息化服务问答***的文本生成方法和装置
Kumar et al. Building conversational Question Answer Machine and comparison of BERT and its different variants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination