CN108829722A - 一种远程监督的Dual-Attention关系分类方法及*** - Google Patents

一种远程监督的Dual-Attention关系分类方法及*** Download PDF

Info

Publication number
CN108829722A
CN108829722A CN201810432079.3A CN201810432079A CN108829722A CN 108829722 A CN108829722 A CN 108829722A CN 201810432079 A CN201810432079 A CN 201810432079A CN 108829722 A CN108829722 A CN 108829722A
Authority
CN
China
Prior art keywords
sentence
vector
entity
feature
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810432079.3A
Other languages
English (en)
Other versions
CN108829722B (zh
Inventor
贺敏
毛乾任
王丽宏
李晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201810432079.3A priority Critical patent/CN108829722B/zh
Publication of CN108829722A publication Critical patent/CN108829722A/zh
Application granted granted Critical
Publication of CN108829722B publication Critical patent/CN108829722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种远程监督的Dual‑Attention关系分类方法及***，包括：通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；基于词级别注意力机制的Bi‑LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；基于句子级别注意力机制的Bi‑LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。本发明提供的技术方案降低了模型训练的噪声数据，避免人工标注数据及其造成的错误传递。运用开放域文本与大规模知识库进行实体对齐，有效解决了关系抽取的标注数据规模问题。

Description

一种远程监督的Dual-Attention关系分类方法及***
技术领域
本发明属于关系分类领域，尤其涉及一种远程监督的Dual-Attention关系分类方法及***。
背景技术
随着互联网技术的发展，万维网上大量的文本信息飞速增长，从文本信息中自动抽取知识的技术越来越受到关注，并成为当下的热点。目前主流的关系抽取方法是基于神经网络学习的关系分类方法，主要面临三大问题：语义特征的表示与挖掘的困难、人工标注造成的错误传递、模型训练的噪声影响。目前，基于神经网络学习的关系分类方法中，取得最优效果的关系分类方法出现在有监督学习和远程监督两种方法中。以这两种学习方法为途径，针对三大问题出现了相应的改进模型，其中主要包括：有监督学习关系抽取双向长短记忆网络(Bi-LSTM)方法；卷积神经网络(CNN)的远程监督关系分类方法；基于卷积网络(CNN)的句子集级别注意力机制的关系分类方法。
面对关系分类的三大问题，上述主流的神经网络关系分类方法，在某一特定问题上都做出了比较好的改进效果。但都存在一定的问题，比较依赖于特定领域知识，模型的鲁棒性和应用场景比较局限。
首先，单独通过Bi-LSTM进行关系分类方法，虽然实现了对文本中存在的远距离语义特征有效编码。但是该方法仍旧依赖于人工标注的数据集，并且模型只选用一个句子进行学习与预测，并未考虑噪声的句子，模型局限特定领域知识。
其次，弱监督的远程监督方法前提是：假设两个实体在知识库中存在某一关系，那么知识中所有包含这两个实体的句子中都会表达这一关系。这样的假设是不完全正确的，所以在这个过程中自动生成训练数据存在错误的标注数据，给训练过程带来噪音。并且，模型在训练时，选取实体对存在关系的句子的概率最大的那条句子作为训练。这种选取最大概率的方法没有充分利用所有包含这两个实体的句子作为训练语料，丢失了大量了信息。
此外，基于卷积神经网络(CNNs)的注意力机制的远程监督关系分类方法，虽然降低了错误标注的影响，能够有效地做文本的局部语义特征的分类。但该方法中采用的CNNs模型中每一层固定了跨度，自然地这一层只能建模有限距离的语义信息，只对一些短文本中的关系提取任务适用。有部分改进的卷积网络模型虽然有通过叠加K段最大池化等结构实现更大跨度信息的建模，如通过PCNNs(Piecewise CNNs)进行三段池化的实验，但最大池化方法相对于Bi-LSTM来说，在提取如长文本中具有长依赖关系的语义特征时，代价比较高，性能相对较弱。
因此，需要提供一种远程监督的Dual-Attention关系分类方法及***来解决现有技术的不足。
发明内容
为了解决现有技术存在的问题，本发明提供了一种远程监督的Dual-Attention关系分类方法及***，从知识库WikiData中自动获取标注语料，再从开放域找到该实体对共同出现的句子作为训练语料。运用神经网络学习模型是以预定义关系的分类为目标，完成关系抽取的任务。
一种远程监督的Dual-Attention关系分类方法，包括：
通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
进一步的，基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量，包括：
对所述句子采用文本深度表示模型进行处理，得到句子中每个词的词向量；
将所述词向量输入到Bi-LSTM模型中，得到所述词向量的编码向量；
将词级别注意力机制加入到所述词向量的编码向量中，得到每个句子的语义特征编码向量。
进一步的，将所述词向量输入到Bi-LSTM模型中，得到所述词向量的编码向量，包括：
将所述词向量输入到Bi-LSTM模型中；
所述模型的正向LSTM获取所述词向量的上文特征信息，所述模型的反向LSTM获取所述词向量的下文特征信息；
最后得到所述词向量的上下文编码向量。
进一步的，将词级别注意力机制加入到所述词向量的编码向量中，得到每个句子的语义特征编码向量，包括：
所述将词级别注意力机制加入到所述编码向量中；
通过计算注意力概率分布，将LSTM中的每个时间节点通过权重向量联结起来；
得到每个句子的语义特征编码向量。
进一步的，基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量，包括：
将所述句子的语义特征编码向量输入到Bi-LSTM模型中，得到句子集的特征编码向量；
将句子级别注意力机制加入到所述句子集的特征编码向量中，得到降噪后的句子集特征编码向量。
进一步的，将句子级别注意力机制加入到所述句子集的特征编码向量中，得到降噪后的句子集特征编码向量，包括：
将句子级别注意力机制权重加入到每个句子，使得有效句子的权重大，噪音句子的权重小；
得到降噪后的句子集特征编码向量。
进一步的，将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类，包括：
引入实体对翻译模型的翻译向量，对不同置信度的句子赋予不同的权重，降低句子集的噪声；
把实体对向量的差值作为相似度衡量句子的又一特征引入句子集中，得到包特征；
使用多示例学习法对所述包特征进行关系分类。
进一步的，使用多示例学习法对所述包特征进行关系分类，包括：
如果一个包里面存在至少一个句子被分类器判定标签为正的示例，则该包中的句子为正例数据；如果一个包里面所有的句子都被分类器判定标签为负，则该包中的句子为负例数据；
把带标签的句子进行多示例学习得到包含多种特征关系信息的特征表示；
通过Softmax关系分类方法预测实体对是给定多种特征关系的哪一种关系，得到每一种关系的概率排序。
一种远程监督的Dual-Attention关系分类***，包括：
构建模块，用于通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
第一向量模块，用于基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
第二向量模块，用于基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
关系分类模块，用于将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
本发明提供的技术方案与最接近的现有技术相比具有如下优点：
本发明提供的技术方案降低了模型训练的噪声数据，避免人工标注数据及其造成的错误传递。运用开放域文本与大规模知识库进行实体对齐，有效解决了关系抽取的标注数据规模问题。
本发明提供的技术方案结合Bi-LSTM的词与句子级别的特征编码，构造了包特征训练方法，加入句子集的注意力权重机制与实体对翻译向量Rrelation，降低无效句子权重，构造了可能关系的包特征编码进行多示例学习。句子的注意力权重结合翻译向量的包特征多示例学习训练实现了对关系语义信息的有效向量表示，提升了关系抽取任务的准确性。
本发明提供的技术方案构造了端到端的关系抽取任务，不借助人工标注的词性、依存句法等复杂标注特征，从模型输入为句子的词向量到模型输出为实体对的关系与对应关系的概率值。整个过程是一个端到端的过程，Dual-Attention机制的编码方法在句子层面有效地编码了一个句子的重要词特征；在句子集层面降低了远程监督方法带来的噪声问题对模型训练的影响，训练的模型准确率更高。
附图说明
图1是本发明方法流程图；
图2是本发明实施例的具体流程图；
图3是本发明实施例中Dual-Attention关系分类模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1、
如图1所示，本发明实施例提供了一种远程监督的Dual-Attention关系分类方法，包括：
通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
如图2所示为本发明实施例的具体流程图。
优选的，通过远程监督将知识库中的实体对对齐到语料库，构建实体对句子集合包括：
远程监督方法前提假设是：两个实体如果在知识库中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系。例如，“Jack Ma”,“Alibaba”在WikiData中存在“founder”的关系，则包含这两个实体的非结构文本“Jack Ma is the founder ofAlibaba.”可以作为一个训练正例来训练模型。这类数据构造方法的具体实现步骤是：
步骤一：从知识库中抽取存在关系的实体对，如这里的“Jack Ma”,“Alibaba”。并已知在知识库中的关系有{R1＝“founder”,R2＝“CEO”,R3＝“Boss”,R4…Rp}等。
步骤二：从非结构化文本中抽取含有实体对的句子作为训练样例，在新闻文本中爬取包含实体对的句子集{S1,S2…Sn-1,Sn}。形成最初的训练语料。
优选的，基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量，包括：
在关系分类的主要语料如非结构化新闻文本中，句子一般都比较长，其中实体对及其关系从词的位置上看，存在相隔比较远的情况，即语义关系表现出远距离依赖特征。因此选用Bi-LSTM模型可以有效对句子强特征语义的挖掘，实现对句子集中包含实体的句子进行语义特征编码，模型结构如图3所示。其中，表示第n句话的第1个词的embedding的特征，表示第n句话的第1个词的上下文文特征隐向量编码，表示加入Attention权重后并联合隐向量编码得到第n句话的第1个词的上下文编码向量。详细的处理步骤如下：
步骤一：用实体共现的句子作为输入。选用word2vec的word embedding处理方式先将句子中每个单词映射为低维向量，即得到每一个词的character embedding向量。
步骤二：将步骤一得到的词的向量作为输入，利用Bi-LSTM模型从输入的向量得到句子的语义强特征，这里的强特征指一些长文本中的远距离依赖的语义特征。而双向长短期记忆网络就是在隐层同时有一个正向LSTM和反向LSTM，正向LSTM捕获了上文的特征信息，而反向LSTM捕获了下文的特征信息，得到上下文编码向量其中ln表示句子的长度下的词向量个数。
步骤三：给步骤二得到的上下文编码向量加入Attention机制，通过计算注意力概率分布，将LSTM中的每一个时间节点通过这个权重向量联结起来。这个步骤主要是突出某个关键性输入对于输出的影响，捕捉一个句子中重要特征的词，根据注意力概率获取双向LSTM的输出特征。
步骤四：得到每一个句子的语义特征向量编码[S′1,S′2...S'n]。
优选的，基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量，包括：
对于训练的句子语料，假设每个实体对的所有句子中至少存在一个句子反映该实体对的关系，我们选取包含实体对的这些句子并进行打包处理，但需要在训练的时候把实体对对应的有噪音的句子过滤掉，比如我们要抽取“founder”这个关系，但是训练语料句子中“Jack Ma outlines new strategy to develop Alibaba economy.”虽然出现了实体对的共现，但是该句子中并没有表示出“Jack Ma”和“Alibaba”的关系是“founder”，对关系“founder”来说是噪声句子。基于句子集级别注意力机制的神经网络模型来解决这个问题，该方法能够根据特定关系为实体对的每个句子分配权重，通过不断学习能够使有效句子获得较高的权重，而有噪音的句子获得较小的权重。
模型如图3上半部分所示，其中，Si'为第一个模型输出的句子Si的句子表示，Bi-LSTM训练模型中不同句子可能关系的特征编码向量hi，向量Rrelation＝e1–e2包含了关系R的特征。如果一个句子实例表达了关系R，就应该与向量Rrelation有比较高的相似度，可以作为训练正例的相似性约束。Ai表示不同句子的对应权重。具体的步骤如下：
步骤一：把所有包含实体对的句子特征向量[S′1,S'2...S'n]作为Bi-LSTM模型输入，得到句子集级别的特征编码。比如训练founder关系分类模型时，在关系库中存在关系三元组“(Jack Ma，founder，Alibaba)”，根据远程监督的假设，(Si，Jack Ma，founder，Alibaba)就是正例关系示例，这个句子向量权重应该高，通过不断学习正例的句子，获得在句子集级别的特征编码。
步骤二：为每一个句子分配Sentence-level Attention权重，通过不断地学习，使有效句子获得较高权重，而有噪音的句子获得较小的权重。因为远程监督的核心假设存在错误，会把没有表述实体之间关系的句子错误地标注出来，因此在获得实体对句子的特征后，再用选择性的Attention机制对这些句子添加不同的权重，降低无效句子影响。
优选的，将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类，包括：
引入翻译向量Rrelation，上一个模型得到的句子向量Si包含了实体对蕴含关系R的语义信息即一个句子的特征编码。对于每一个根据实体对(e1,e2)打包的句子集中每一个实例句子可能表达了关系R或者其他关系。那么在模型训练时候，对包含了这种关系的特征编码的句子向量应该有一个与翻译向量Rrelation非常高的相似度。在这里，Sentence-levelAttention权重与翻译向量Rrelation一起作用于每一个句子，来降低无效句子的编码影响。
包特征的多示例学习训练方法，将以上步骤所有编码得到的语义特征进行打包，作为一个包特征的多示例学习方法通过不断学习，将每个标记包B中的样本初始化为包的标记，初始化集合U为空，将所有样本加入样本集U。重复下面的过程，取样本数据以及标记训练得到一个分类函数fB；利用f预测所有样本的标记，再清空U；对于每个正标记包，选取fB预测得分最高的样本加入集合U；对于每个负标记包，选取fB预测得分最高的样本加入集合U；直到满足结束条件；返回fB。多示例学习得到的包特征含有可能关系R的语义编码信息即可能关系的语义特征隐含表示。
得到的包特征做Softmax分类，不断的学习后，含有句子集级别特征的bag中应该会有几个候选的关系类别对应了Softmax。这里训练的目标是使分类的准确率最大化。
模型训练,包括了关系种类(relation.txt),训练数据(train.txt),测试数据(test.txt)和词向量(vec.txt)。训练数据和测试数据可以是将原始数据随机排序，按80％做训练，20％做测试的方法分开。通过超参数调节，直到最后得到相同实体对的不同关系的不同概率值，实现对预定义关系的最佳预测。
实施例2、
基于相同的发明构思本发明还提供了一种远程监督的Dual-Attention关系分类***，包括：
构建模块，用于通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
第一向量模块，用于基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
第二向量模块，用于基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
关系分类模块，用于将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
优选的，构建模块包括：
对所述句子采用文本深度表示模型进行处理，得到句子中每个词的词向量。
将所述词向量输入到Bi-LSTM模型中，得到所述词向量的编码向量，用于，将所述词向量输入到Bi-LSTM模型中；
所述模型的正向LSTM获取所述词向量的上文特征信息，所述模型的反向LSTM获取所述词向量的下文特征信息；
最后得到所述词向量的上下文编码向量。
将词级别注意力机制加入到所述词向量的编码向量中，得到每个句子的语义特征编码向量，用于，所述将词级别注意力机制加入到所述编码向量中；
通过计算注意力概率分布，将LSTM中的每个时间节点通过权重向量联结起来；
得到每个句子的语义特征编码向量。
优选的，第一向量模块包括：
将所述句子的语义特征编码向量输入到Bi-LSTM模型中，得到句子集的特征编码向量；
将句子级别注意力机制加入到所述句子集的特征编码向量中，得到降噪后的句子集特征编码向量，用于，将句子级别注意力机制权重加入到每个句子，使得有效句子的权重大，噪音句子的权重小；
得到降噪后的句子集特征编码向量。
第二向量模块包括：
引入实体对翻译模型的翻译向量，对不同置信度的句子赋予不同的权重，降低句子集的噪声；
把实体对向量的差值作为相似度衡量句子的又一特征引入句子集中，得到包特征；
使用多示例学习法对所述包特征进行关系分类，用于，如果一个包里面存在至少一个句子被分类器判定标签为正的示例，则该包中的句子为正例数据；如果一个包里面所有的句子都被分类器判定标签为负，则该包中的句子为负例数据；
把带标签的句子进行多示例学习得到包含多种特征关系信息的特征表示；
通过Softmax关系分类方法预测实体对是给定多种特征关系的哪一种关系，得到每一种关系的概率排序。
实施例3、
在知识库WikiData中已知实体对“Jack Ma”，“Alibaba”与对应关系集“founder”、“CEO”等其他关系，从互联网数据中分类到含有实体对“Jack Ma”与“Alibaba”的若干句子,这里例举四个实体共现的句子。
句子1：“Female executives are Alibaba’s secret sauce,founder Jack Masays.”
句子2：“At a conference hosted by All Things D last week,Alibaba CEOJack Ma said that he was interested in Yahoo.”
句子3：“Internet entrepreneur Jack Ma started a Chinese version of theYellow Pages that was Alibaba’s precursor in Hanzhou,China.”
句子4：“Alibaba has brought more small U.S.businesses onto thecompany's sites,but this is the first time Ma has discussed specifictargets.”
句子3、4并没有表达出知识库预定义的关系。本发明的目的之一就是通过模型进行大量实体共现的句子的训练，实现对句子中共现实体对相应关系分类与概率计算。模型输出结果，对句子1抽取到的关系结果“founder”概率最大，其他关系次之。对于句子2的关系分类结果“CEO”的概率肯定最大，其他关系的概率次之。在训练语料足够充分，模型对于句子3、4，可以用得到可能关系的概率最大值来判断是哪一种关系，实现对句子3，4中共现实体对的关系分类。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种远程监督的Dual-Attention关系分类方法，其特征在于，包括：
通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
2.根据权利要求1所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量，包括：
对所述句子采用文本深度表示模型进行处理，得到句子中每个词的词向量；
将所述词向量输入到Bi-LSTM模型中，得到所述词向量的编码向量；
将词级别注意力机制加入到所述词向量的编码向量中，得到每个句子的语义特征编码向量。
3.根据权利要求2所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，将所述词向量输入到Bi-LSTM模型中，得到所述词向量的编码向量，包括：
将所述词向量输入到Bi-LSTM模型中；
所述模型的正向LSTM获取所述词向量的上文特征信息，所述模型的反向LSTM获取所述词向量的下文特征信息；
最后得到所述词向量的上下文编码向量。
4.根据权利要求2所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，将词级别注意力机制加入到所述词向量的编码向量中，得到每个句子的语义特征编码向量，包括：
所述将词级别注意力机制加入到所述编码向量中；
通过计算注意力概率分布，将LSTM中的每个时间节点通过权重向量联结起来；
得到每个句子的语义特征编码向量。
5.根据权利要求1所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量，包括：
将所述句子的语义特征编码向量输入到Bi-LSTM模型中，得到句子集的特征编码向量；
将句子级别注意力机制加入到所述句子集的特征编码向量中，得到降噪后的句子集特征编码向量。
6.根据权利要求5所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，将句子级别注意力机制加入到所述句子集的特征编码向量中，得到降噪后的句子集特征编码向量，包括：
将句子级别注意力机制权重加入到每个句子，使得有效句子的权重大，噪音句子的权重小；
得到降噪后的句子集特征编码向量。
7.根据权利要求1所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类，包括：
引入实体对翻译模型的翻译向量，对不同置信度的句子赋予不同的权重，降低句子集的噪声；
把实体对向量的差值作为相似度衡量句子的又一特征引入句子集中，得到包特征；
使用多示例学习法对所述包特征进行关系分类。
8.根据权利要求7所述的一种远程监督的Dual-Attention关系分类方法，其特征在于，使用多示例学习法对所述包特征进行关系分类，包括：
如果一个包里面存在至少一个句子被分类器判定标签为正的示例，则该包中的句子为正例数据；如果一个包里面所有的句子都被分类器判定标签为负，则该包中的句子为负例数据；
把带标签的句子进行多示例学习得到包含多种特征关系信息的特征表示；
通过Softmax关系分类方法预测实体对是给定多种特征关系的哪一种关系，得到每一种关系的概率排序。
9.一种远程监督的Dual-Attention关系分类***，其特征在于，包括：
构建模块，用于通过远程监督将知识库中的实体对对齐到新闻语料，构建实体对句子集合；
第一向量模块，用于基于词级别注意力机制的Bi-LSTM模型将所述句子进行词级别的向量编码，得到所述句子的语义特征编码向量；
第二向量模块，用于基于句子级别注意力机制的Bi-LSTM模型将所述句子的语义特征进行编码与去噪，得到句子集特征编码向量；
关系分类模块，用于将所述句子集特征编码向量与实体对翻译向量进行打包，对得到的包特征进行实体对的关系分类。
CN201810432079.3A 2018-05-08 2018-05-08 一种远程监督的Dual-Attention关系分类方法及*** Active CN108829722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810432079.3A CN108829722B (zh) 2018-05-08 2018-05-08 一种远程监督的Dual-Attention关系分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810432079.3A CN108829722B (zh) 2018-05-08 2018-05-08 一种远程监督的Dual-Attention关系分类方法及***

Publications (2)

Publication Number Publication Date
CN108829722A true CN108829722A (zh) 2018-11-16
CN108829722B CN108829722B (zh) 2020-10-02

Family

ID=64148408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810432079.3A Active CN108829722B (zh) 2018-05-08 2018-05-08 一种远程监督的Dual-Attention关系分类方法及***

Country Status (1)

Country Link
CN (1) CN108829722B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543047A (zh) * 2018-11-21 2019-03-29 焦点科技股份有限公司 一种基于医疗领域网站的知识图谱构建方法
CN109635124A (zh) * 2018-11-30 2019-04-16 北京大学 一种结合背景知识的远程监督关系抽取方法
CN109871533A (zh) * 2019-01-04 2019-06-11 北京车慧科技有限公司 一种基于语料领域的语料处理***
CN109933809A (zh) * 2019-03-15 2019-06-25 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN110070093A (zh) * 2019-04-08 2019-07-30 东南大学 一种基于对抗学习的远监督关系抽取去噪方法
CN110175469A (zh) * 2019-05-16 2019-08-27 山东大学 一种社交媒体用户隐私泄漏检测方法、***、设备及介质
CN110209836A (zh) * 2019-05-17 2019-09-06 北京邮电大学 远程监督关系抽取方法及装置
CN110298036A (zh) * 2019-06-06 2019-10-01 昆明理工大学 一种基于词性增量迭代的在线医疗文本症状识别方法
CN110555084A (zh) * 2019-08-26 2019-12-10 电子科技大学 基于pcnn和多层注意力的远程监督关系分类方法
CN110597948A (zh) * 2019-07-11 2019-12-20 东华大学 一种基于深度学习的实体关系抽取方法
CN110619121A (zh) * 2019-09-18 2019-12-27 江南大学 基于改进深度残差网络和注意力机制的实体关系抽取方法
CN110647620A (zh) * 2019-09-23 2020-01-03 中国农业大学 一种基于置信超平面和词典信息的知识图谱表示学习方法
CN111091007A (zh) * 2020-03-23 2020-05-01 杭州有数金融信息服务有限公司 一种基于舆情及企业画像识别多个企业之间关系的方法
CN111125364A (zh) * 2019-12-24 2020-05-08 华南理工大学 一种基于ernie的远程监督关系抽取的降噪方法
CN111159407A (zh) * 2019-12-30 2020-05-15 北京明朝万达科技股份有限公司 训练实体识别和关系分类模型的方法、装置、设备及介质
CN111241303A (zh) * 2020-01-16 2020-06-05 东方红卫星移动通信有限公司 一种大规模非结构化文本数据的远程监督关系抽取方法
CN111324743A (zh) * 2020-02-14 2020-06-23 平安科技（深圳）有限公司 文本关系抽取的方法、装置、计算机设备及存储介质
CN111368026A (zh) * 2020-02-25 2020-07-03 杭州电子科技大学 基于词语义关系与动态卷积神经网络的文本蕴含分析方法
CN111737440A (zh) * 2020-07-31 2020-10-02 支付宝(杭州)信息技术有限公司 一种问题生成方法及装置
WO2020217121A1 (en) * 2019-04-22 2020-10-29 International Business Machines Corporation Intent recognition model creation from randomized intent vector proximities
CN112307130A (zh) * 2020-10-21 2021-02-02 清华大学 一种文档级远程监督关系抽取方法及***
CN112329463A (zh) * 2020-11-27 2021-02-05 上海汽车集团股份有限公司 遥监督关系抽取模型的训练方法及相关装置
CN112487203A (zh) * 2019-01-25 2021-03-12 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
CN112507137A (zh) * 2020-12-17 2021-03-16 华南理工大学 开放环境下基于粒度感知的少样本关系抽取方法及应用
WO2021051503A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于语义表征模型的文本分类方法、装置和计算机设备
CN112579792A (zh) * 2020-12-22 2021-03-30 东北大学 一种基于pgat和ftatt的远程监督关系抽取方法
CN113268985A (zh) * 2021-04-26 2021-08-17 华南理工大学 基于关系路径的远程监督关系抽取方法、装置及介质
CN113591478A (zh) * 2021-06-08 2021-11-02 电子科技大学 一种基于深度强化学习的远程监督文本实体关系抽取方法
CN113947092A (zh) * 2020-07-16 2022-01-18 阿里巴巴集团控股有限公司 一种翻译方法及装置
CN114218956A (zh) * 2022-01-24 2022-03-22 平安科技（深圳）有限公司 基于神经网络和远程监督的关系抽取方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311874B2 (en) * 2005-03-31 2012-11-13 Oracle Financial Services Software Limited Systems and methods for customer relationship evaluation and resource allocation
CN106294593A (zh) * 2016-07-28 2017-01-04 浙江大学 结合从句级远程监督和半监督集成学习的关系抽取方法
CN106407211A (zh) * 2015-07-30 2017-02-15 富士通株式会社 对实体词的语义关系进行分类的方法和装置
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107562752A (zh) * 2016-06-30 2018-01-09 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN107578106A (zh) * 2017-09-18 2018-01-12 中国科学技术大学 一种融合单词语义知识的神经网络自然语言推理方法
CN107978373A (zh) * 2017-11-23 2018-05-01 吉林大学 一种基于共训练的半监督生物医学事件抽取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311874B2 (en) * 2005-03-31 2012-11-13 Oracle Financial Services Software Limited Systems and methods for customer relationship evaluation and resource allocation
CN106407211A (zh) * 2015-07-30 2017-02-15 富士通株式会社 对实体词的语义关系进行分类的方法和装置
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN107562752A (zh) * 2016-06-30 2018-01-09 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN106294593A (zh) * 2016-07-28 2017-01-04 浙江大学 结合从句级远程监督和半监督集成学习的关系抽取方法
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107578106A (zh) * 2017-09-18 2018-01-12 中国科学技术大学 一种融合单词语义知识的神经网络自然语言推理方法
CN107978373A (zh) * 2017-11-23 2018-05-01 吉林大学 一种基于共训练的半监督生物医学事件抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白静等: ""基于注意力的BiLSTM-CNN中文微博立场检测模型"", 《计算机应用与软件》 *

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543047A (zh) * 2018-11-21 2019-03-29 焦点科技股份有限公司 一种基于医疗领域网站的知识图谱构建方法
CN109635124A (zh) * 2018-11-30 2019-04-16 北京大学 一种结合背景知识的远程监督关系抽取方法
CN109871533A (zh) * 2019-01-04 2019-06-11 北京车慧科技有限公司 一种基于语料领域的语料处理***
CN112487203A (zh) * 2019-01-25 2021-03-12 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
CN112487203B (zh) * 2019-01-25 2024-01-16 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
CN109933809B (zh) * 2019-03-15 2023-09-15 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN109933809A (zh) * 2019-03-15 2019-06-25 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN110070093A (zh) * 2019-04-08 2019-07-30 东南大学 一种基于对抗学习的远监督关系抽取去噪方法
US11069346B2 (en) 2019-04-22 2021-07-20 International Business Machines Corporation Intent recognition model creation from randomized intent vector proximities
US11521602B2 (en) 2019-04-22 2022-12-06 International Business Machines Corporation Intent recognition model creation from randomized intent vector proximities
GB2597166A (en) * 2019-04-22 2022-01-19 Ibm Intent recognition model creation from randomized intent vector proximities
WO2020217121A1 (en) * 2019-04-22 2020-10-29 International Business Machines Corporation Intent recognition model creation from randomized intent vector proximities
CN110175469A (zh) * 2019-05-16 2019-08-27 山东大学 一种社交媒体用户隐私泄漏检测方法、***、设备及介质
CN110209836B (zh) * 2019-05-17 2022-04-26 北京邮电大学 远程监督关系抽取方法及装置
CN110209836A (zh) * 2019-05-17 2019-09-06 北京邮电大学 远程监督关系抽取方法及装置
CN110298036B (zh) * 2019-06-06 2022-07-22 昆明理工大学 一种基于词性增量迭代的在线医疗文本症状识别方法
CN110298036A (zh) * 2019-06-06 2019-10-01 昆明理工大学 一种基于词性增量迭代的在线医疗文本症状识别方法
CN110597948A (zh) * 2019-07-11 2019-12-20 东华大学 一种基于深度学习的实体关系抽取方法
CN110555084B (zh) * 2019-08-26 2023-01-24 电子科技大学 基于pcnn和多层注意力的远程监督关系分类方法
CN110555084A (zh) * 2019-08-26 2019-12-10 电子科技大学 基于pcnn和多层注意力的远程监督关系分类方法
CN110619121A (zh) * 2019-09-18 2019-12-27 江南大学 基于改进深度残差网络和注意力机制的实体关系抽取方法
WO2021051503A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于语义表征模型的文本分类方法、装置和计算机设备
CN110647620B (zh) * 2019-09-23 2022-07-01 中国农业大学 一种基于置信超平面和词典信息的知识图谱表示学习方法
CN110647620A (zh) * 2019-09-23 2020-01-03 中国农业大学 一种基于置信超平面和词典信息的知识图谱表示学习方法
CN111125364A (zh) * 2019-12-24 2020-05-08 华南理工大学 一种基于ernie的远程监督关系抽取的降噪方法
CN111125364B (zh) * 2019-12-24 2023-04-25 华南理工大学 一种基于ernie的远程监督关系抽取的降噪方法
CN111159407B (zh) * 2019-12-30 2022-01-28 北京明朝万达科技股份有限公司 训练实体识别和关系分类模型的方法、装置、设备及介质
CN111159407A (zh) * 2019-12-30 2020-05-15 北京明朝万达科技股份有限公司 训练实体识别和关系分类模型的方法、装置、设备及介质
CN111241303A (zh) * 2020-01-16 2020-06-05 东方红卫星移动通信有限公司 一种大规模非结构化文本数据的远程监督关系抽取方法
CN111324743A (zh) * 2020-02-14 2020-06-23 平安科技（深圳）有限公司 文本关系抽取的方法、装置、计算机设备及存储介质
CN111368026B (zh) * 2020-02-25 2020-11-24 杭州电子科技大学 基于词语义关系与动态卷积神经网络的文本蕴含分析方法
CN111368026A (zh) * 2020-02-25 2020-07-03 杭州电子科技大学 基于词语义关系与动态卷积神经网络的文本蕴含分析方法
CN111091007A (zh) * 2020-03-23 2020-05-01 杭州有数金融信息服务有限公司 一种基于舆情及企业画像识别多个企业之间关系的方法
CN113947092A (zh) * 2020-07-16 2022-01-18 阿里巴巴集团控股有限公司 一种翻译方法及装置
CN111737440A (zh) * 2020-07-31 2020-10-02 支付宝(杭州)信息技术有限公司 一种问题生成方法及装置
CN112307130A (zh) * 2020-10-21 2021-02-02 清华大学 一种文档级远程监督关系抽取方法及***
CN112307130B (zh) * 2020-10-21 2022-07-05 清华大学 一种文档级远程监督关系抽取方法及***
CN112329463A (zh) * 2020-11-27 2021-02-05 上海汽车集团股份有限公司 遥监督关系抽取模型的训练方法及相关装置
CN112507137B (zh) * 2020-12-17 2022-04-22 华南理工大学 开放环境下基于粒度感知的少样本关系抽取方法及应用
CN112507137A (zh) * 2020-12-17 2021-03-16 华南理工大学 开放环境下基于粒度感知的少样本关系抽取方法及应用
CN112579792B (zh) * 2020-12-22 2023-08-04 东北大学 一种基于pgat和ftatt的远程监督关系抽取方法
CN112579792A (zh) * 2020-12-22 2021-03-30 东北大学 一种基于pgat和ftatt的远程监督关系抽取方法
CN113268985A (zh) * 2021-04-26 2021-08-17 华南理工大学 基于关系路径的远程监督关系抽取方法、装置及介质
CN113268985B (zh) * 2021-04-26 2023-06-20 华南理工大学 基于关系路径的远程监督关系抽取方法、装置及介质
CN113591478A (zh) * 2021-06-08 2021-11-02 电子科技大学 一种基于深度强化学习的远程监督文本实体关系抽取方法
CN113591478B (zh) * 2021-06-08 2023-04-18 电子科技大学 一种基于深度强化学习的远程监督文本实体关系抽取方法
CN114218956A (zh) * 2022-01-24 2022-03-22 平安科技（深圳）有限公司 基于神经网络和远程监督的关系抽取方法及***

Also Published As

Publication number Publication date
CN108829722B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108829722A (zh) 一种远程监督的Dual-Attention关系分类方法及***
CN107357789B (zh) 融合多语编码信息的神经机器翻译方法
CN107133211B (zh) 一种基于注意力机制的作文评分方法
CN107330032B (zh) 一种基于递归神经网络的隐式篇章关系分析方法
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
CN110110054A (zh) 一种基于深度学习的从非结构化文本中获取问答对的方法
Lin et al. Automatic translation of spoken English based on improved machine learning algorithm
CN107577662A (zh) 面向中文文本的语义理解***及方法
CN110020438A (zh) 基于序列识别的企业或组织中文名称实体消歧方法和装置
CN112183064B (zh) 基于多任务联合学习的文本情绪原因识别***
CN110516244A (zh) 一种基于bert的句子自动填充方法
CN114881042B (zh) 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN113657123A (zh) 基于目标模板指导和关系头编码的蒙语方面级情感分析方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及***
CN113988075A (zh) 基于多任务学习的网络安全领域文本数据实体关系抽取法
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN109977372B (zh) 中文篇章树的构建方法
CN116562291A (zh) 一种基于边界检测的中文嵌套命名实体识别方法
CN115906818A (zh) 语法知识预测方法、装置、电子设备和存储介质
CN112464673B (zh) 融合义原信息的语言含义理解方法
Wu A computational neural network model for college English grammar correction
CN114970557A (zh) 基于知识增强的跨语言结构化情感分析方法
CN114238649A (zh) 一种常识概念增强的语言模型预训练方法
CN114611487B (zh) 基于动态词嵌入对齐的无监督泰语依存句法分析方法
CN113869054B (zh) 一种基于深度学习的电力领域项目特征识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant