CN113297838A - 一种基于图神经网络的关系抽取方法 - Google Patents

一种基于图神经网络的关系抽取方法 Download PDF

Info

Publication number
CN113297838A
CN113297838A CN202110563551.9A CN202110563551A CN113297838A CN 113297838 A CN113297838 A CN 113297838A CN 202110563551 A CN202110563551 A CN 202110563551A CN 113297838 A CN113297838 A CN 113297838A
Authority
CN
China
Prior art keywords
expression
sentence
obtaining
pooling
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110563551.9A
Other languages
English (en)
Inventor
莫益军
姚盛楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110563551.9A priority Critical patent/CN113297838A/zh
Publication of CN113297838A publication Critical patent/CN113297838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于图神经网络的关系抽取方法，所述方法包括步骤：对待抽取文档进行数据处理；构建所述文档中句子的模型数据集；获取所述句子的语义特征向量；根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达；根据所述实体间邻域信息表达强化所述句子的句子表达；根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达；将所述句子池化表达和所述主客体池化表达进行级联表示；根据所述级联表示获取所述句子的关系类别表示。本申请通过改进权重矩阵获取多阶单词的关联关系同时融合注意力机制对文本内容进行建模，以获取语义间完整的依赖关系，达到更好的关系分类效果。

Description

一种基于图神经网络的关系抽取方法
技术领域
本发明属于关系抽取技术领域，具体涉及一种基于图神经网络的关系抽取方法。
背景技术
关系抽取意在捕获非结构化句子中标记实体对之间的语义关系，在自然语言处理任务中发挥着重要作用，例如创建新的结构化知识库并且增强现有知识库和构建垂直领域知识图谱，同时在支持上层应用中也有着重要的作用，例如：问答***、关系推理、搜索等。关系抽取任务通常发生在特定的两个或多个实体之间，最终将关系定义到已有的某个关系类别中。一个好的关系抽取模型可以帮助对文本内容进行深入理解。
现有的关系抽取模型大多是基于深度学习的，如RNN、CNN及其改进模型。关系抽取模型以文本序列为输入，通过特征提取器获取句子表示和词级表示，最后通过分类器获得实体间的关系类别。在提取关系的过程中句子中的谓语通常非常重要，这也意味着如果实体和谓语的距离太远可能导致关键信息的丢失。为解决这一问题，往往采用依赖树来获取句子远距离信息依赖，并简化复杂句子，完成核心信息提取。早期往往使用LSTM应用于最短路径的单词序列，有学者提出DepNN应用RNN提取子树特征，CNN提取最短路径特征，但这些模型直接运行在依赖树，由于依赖树往往难以对齐来实行批处理训练，故而并行训练困难，计算效率低。
发明内容
鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种基于图神经网络的关系抽取方法。
为解决上述技术问题，本发明提供了一种基于图神经网络的关系抽取方法，所述方法包括步骤：
对待抽取文档进行数据处理；
构建所述文档中句子的模型数据集；
获取所述句子的语义特征向量；
根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达；
根据所述实体间邻域信息表达强化所述句子的句子表达；
根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达；
将所述句子池化表达和所述主客体池化表达进行级联表示；
根据所述级联表示获取所述句子的关系类别表示。
优选地，所述对待抽取文档进行数据处理包括步骤：
获取所述待抽取文档；
对所述待抽取文档中的句子进行数据清洗操作；
对所述句子进行分词操作；
提取所述句子的依存句法关系信息；
获取所述句子的主客***置信息。
优选地，所述对所述待抽取文档中的句子进行数据清洗操作包括步骤：
将所有所述句子统一为同一预设格式；
删除所有所述句子中的无用段落；
删除所有所述句子中的异样字符；
删除所有所述句子中的重复内容；
删除所有所述句子中的无用内容。
优选地，所述构建所述文档中句子的模型数据集包括步骤：
获取条件随机场模型和图的依存句法分析；
基于所述条件随机场模型构建所述句子的句子模型；
基于所述图的依存句法分析生成每个待分析句子对应的有向图；
根据所述有向图确定所述句子中实体的位置信息和关系类别信息；
整合所述句子的相关数据信息；
将所述相关数据信息存入字典中。
优选地，所述获取所述句子的语义特征向量包括步骤：
获取所述模型数据集；
获取所述模型数据集中所述句子的词向量；
将所述词向量输入RNN，
获取所述RNN输出的句子向量表达；
在所述句子向量表达中增加位置特征维度；
获取图卷积神经网络模型的输入特征向量。
优选地，所述根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达包括步骤：
获取所述数据处理结果中的依存句法关系信息；
将所述依存句法关系信息转换为邻接矩阵；
获取图卷积神经网络模型的输入特征向量；
将所述邻接矩阵和所述输入特征向量输入所述图卷积神经网络模型中；
计算所述图卷积神经网络模型对应的一阶邻域依赖；
获取加权图卷积网络模型；
在所述加权图卷积网络模型中添加依赖树的虚拟边；
构造所述依赖树的逻辑邻接矩阵；
将所述逻辑邻接矩阵输入所述加权图卷积网络模型中；
计算所述加权图卷积网络模型对应的k阶邻域依赖。
优选地，所述根据所述实体间邻域信息表达强化所述句子的句子表达包括步骤：
获取关系注意力模块和位置注意力模块；
获取所述实体间邻域信息表达；
将所述实体间邻域信息表达作为所述位置注意力模块的原始特征表达；
计算所述句子的位置注意矩阵；
计算所述句子的关系注意矩阵；
将所述关系注意矩阵作为邻接矩阵输入图神经网络模型中；
获取所述图神经网络模型输出的图卷积特征表达结果。
优选地，所述根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达包括步骤：
获取图卷积特征表达结果；
对所述图卷积特征表达结果进行句子池化；
获取句子池化表达；
对所述图卷积特征表达结果进行主客体池化；
获取主客体池化表达。
优选地，所述将所述句子池化表达和所述主客体池化表达进行级联表示包括步骤：
获取所述句子池化表达；
获取所述主客体池化表达；
获取所述主客体池化表达中的主体池化表达；
获取所述主客体池化表达中的客体池化表达；
将所述句子池化表达、所述主体池化表达和所述客体池化表达依次拼接；
获得最终的级联表达。
优选地，所述根据所述级联表示获取所述句子的关系类别表示包括步骤：
利用分配强化学习优化所述句子的关系表示；
获取所述级联表示；
将所述级联表示输入前馈神经网络模型；
获取所述前馈神经网络模型输出的关系特征表示；
获取所述句子池化表达；
根据所述关系特征表示和所述句子池化表达对所述关系特征表示进行概率预测；
利用分布强化学习估计所述关系表示的分布函数。
本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：本申请提供的一种基于图神经网络的关系抽取方法可以有效地应用于任意依赖树结构，同时考虑到基础的GCN网络仅限于建立一阶单词之间的依赖关系，多阶单词之间的联系需要多层GCN，但同时可能导致过平滑问题，因此通过改进权重矩阵获取多阶单词的关联关系同时融合注意力机制对文本内容进行建模，以获取语义间完整的依赖关系，达到更好的关系分类效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于图神经网络的关系抽取方法的流程示意图。
具体实施方式
下文将结合具体实施方式和实施例，具体阐述本发明，本发明的优点和各种效果将由此更加清楚地呈现。本领域技术人员应理解，这些具体实施方式和实施例是用于说明本发明，而非限制本发明。
在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。
除非另有特别说明，本发明中用到的各种原材料、试剂、仪器和设备等，均可通过市场购买得到或者可通过现有方法制备得到。
如图1，在本申请实施例中，本发明提供了一种基于图神经网络的关系抽取方法，所述方法包括步骤：
S1：对待抽取文档进行数据处理；
在本申请实施例中，步骤S1中的对待抽取文档进行数据处理包括步骤：
获取所述待抽取文档；
对所述待抽取文档中的句子进行数据清洗操作；
对所述句子进行分词操作；
提取所述句子的依存句法关系信息；
获取所述句子的主客***置信息。
在本申请实施例中，当对待抽取文档进行数据处理时，具体地，对待抽取文档按照预设标准进行数据清洗，然后对句子进行分词操作，从而将句子分解为多个词组，接着提取句子中各词组之间的依存句法关系信息，并可以获取句子的主客***置信息。
在本申请实施例中，所述对所述待抽取文档中的句子进行数据清洗操作包括步骤：
将所有所述句子统一为同一预设格式；
删除所有所述句子中的无用段落；
删除所有所述句子中的异样字符；
删除所有所述句子中的重复内容；
删除所有所述句子中的无用内容。
在本申请实施例中，当对所述待抽取文档中的句子进行数据清洗操作时，具体地，将文档中所有的句子统一为同一预设格式，然后按照预设标准删除句子中的无用段落、异样字符、重复内容和无用内容。
S2：构建所述文档中句子的模型数据集；
在本申请实施例中，步骤S2中的构建所述文档中句子的模型数据集包括步骤：
获取条件随机场模型和图的依存句法分析；
基于所述条件随机场模型构建所述句子的句子模型；
基于所述图的依存句法分析生成每个待分析句子对应的有向图；
根据所述有向图确定所述句子中实体的位置信息和关系类别信息；
整合所述句子的相关数据信息；
将所述相关数据信息存入字典中。
在本申请实施例中，当构建所述文档中句子的模型数据集时，首先基于条件随机场模型构建所述句子的句子模型，也即，使用基于条件随机场模型的统计序列构建句子的句子模型，将其视为二元决策任务，即每个字符被标记为一个单词的开始或一个单词的延续，然后利用高斯先验防止过拟合，利用拟牛顿方法进行参数优化。进一步地，对于特定字符序列，条件随机场模型赋值给标签序列的概率如下式所示：
Figure BDA0003078692270000071
其中，Y为句子的标号序列，X为未分割字符序列，Z(X)为归一化项，fk为特征函数，c为被标号序列中的字符。
然后使用基于图的依存句法分析为每个要分析的句子生成一个有向图，其中，有向图的节点是句子中的单词，有向图的边是单词之间的依存关系，并通过基于BiLST和Attention的模型得到实体分类以及实体间是否存在关联，最终获得句子中各个实体间的依存句法关系信息，包括词性、实体间的句法关系等。然后基于有向图确定句子中实体的位置和关系类别，并整合句子的相关数据信息，包括分词、词性、实体间的句法关系、实***置、关系类别，最后将其存入json字典，以完成模型数据集的构建。
S3：获取所述句子的语义特征向量；
在本申请实施例中，步骤S3中的获取所述句子的语义特征向量包括步骤：
获取所述模型数据集；
获取所述模型数据集中所述句子的词向量；
将所述词向量输入RNN，
获取所述RNN输出的句子向量表达；
在所述句子向量表达中增加位置特征维度；
获取图卷积神经网络模型的输入特征向量。
在本申请实施例中，当获取所述句子的语义特征向量时，首先使用基于GloVe的模型获取模型数据集中的待测句子的词向量，其代价函数如下：
Figure BDA0003078692270000081
其中，vi，vj是单词i和单词j的词向量，bi，bj是两个标量，为偏差项，f是权重函数，N是词汇表的大小，共现矩阵维度为N×N。同时为了考虑上下文信息，将词向量融入RNN表达，从而获取带有上下文的句子向量表达。基于得到的向量表达，考虑到位置特征的重要性，增加位置特征维度，获得图卷积神经网络模型的输入特征向量X。基于步骤S1中数据处理结果的依存句法信关系息获取改进的邻接矩阵，并将步骤S2中的语义特征向量送入到GCN中训练，从而生成实体间邻域信息表达。
S4：根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达；
在本申请实施例中，步骤S4中的根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达包括步骤：
获取所述数据处理结果中的依存句法关系信息；
将所述依存句法关系信息转换为邻接矩阵；
获取图卷积神经网络模型的输入特征向量；
将所述邻接矩阵和所述输入特征向量输入所述图卷积神经网络模型中；
计算所述图卷积神经网络模型对应的一阶邻域依赖；
获取加权图卷积网络模型；
在所述加权图卷积网络模型中添加依赖树的虚拟边；
构造所述依赖树的逻辑邻接矩阵；
将所述逻辑邻接矩阵输入所述加权图卷积网络模型中；
计算所述加权图卷积网络模型对应的k阶邻域依赖。
在本申请实施例中，当根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达时，首先将步骤1中获得的依存句法关系信息转换为邻接矩阵，如一句话为a1，a2，a3，...，an，其邻接矩阵为A，其维度为n×n，如果实体ai与实体aj中有关联，那对应的aij为1，否则aij为0。接着将邻接矩阵A和步骤S3生成的输入特征向量X送入GCN模型中。G＝(V，E)，GCN的输入为特征矩阵X，其形状为N×d，其中N表示图中的节点数，d为每个节点的输入特征维数，特征矩阵X的表达式为：
Figure BDA0003078692270000091
其中，H(0)表示特征矩阵X，W(l)是一个线性变换，b(l)是一个有偏见的术语，σ是一个非线性函数，这里使用RELU激活函数。由于一层GCN上的特征融合仅代表一阶邻域依赖，为进一步需要k阶邻域特征时，实现多跳特征融合，此时使用加权图卷积网络(WGCN)。在该模型中，为依赖树添加虚拟边，构造逻辑邻接矩阵(logical adjacency matrix，LAM)，该矩阵可通过1层WGCN就可以直接求出k阶邻域依赖，其公式为：
Figure BDA0003078692270000092
其中，Weight(d)用于计算节点间特征融合的权重系数。节点间距离越短，权值越大，反之亦然。相邻节点间的融合权系数为1，即最大的信息融合权重。
因此更新，GCN表达的计算公式为：
Figure BDA0003078692270000101
S5：根据所述实体间邻域信息表达强化所述句子的句子表达；
在本申请实施例中，步骤S5中的根据所述实体间邻域信息表达强化所述句子的句子表达包括步骤：
获取关系注意力模块和位置注意力模块；
获取所述实体间邻域信息表达；
将所述实体间邻域信息表达作为所述位置注意力模块的原始特征表达；
计算所述句子的位置注意矩阵；
计算所述句子的关系注意矩阵；
将所述关系注意矩阵作为邻接矩阵输入图神经网络模型中；
获取所述图神经网络模型输出的图卷积特征表达结果。
在本申请实施例中，当根据所述实体间邻域信息表达强化所述句子的句子表达时，为更好地关注实体间依赖信息和节点表示的确定性，使节点在表达依赖关系的同时提高辨识率，此时需要增加关系注意力制模块和位置注意力模块。位置注意力模块是对任意两个位置之间的空间关系建模，首先将步骤S4中获得的实体间邻域信息表达分别作为位置注意力模块的原始特征表达C、原始特征表达D以及原始特征表达E。在D矩阵表达和C的转置之间进行一个矩阵乘法运算，位置注意矩阵使用softmax层计算。
Figure BDA0003078692270000102
其中，C、D、E为第一层GCN输出h的特征变换。
其中qij表示第j个位置对第i个位置的影响。两个位置的特征越相似它们之间的相关性越大。同时，对E和q进行矩阵乘法运算。最后，将结果与学习因子α相乘，逐渐学习分配更多的权重，并将其结果作为第一层GCN的最终结果，具体如下：
Figure BDA0003078692270000111
进一步地，关系注意矩阵由节点的依赖性生成，如：i与j最初两个相关就是1否则为0，关系特征由自注意力机制产生，是通过softmax层计算出来的，具体如下：
Figure BDA0003078692270000112
两个节点之间的关系越紧密，对该值的影响越大。然后，将注意矩阵与原始节点特征A相乘。最后，将结果乘以一个学习因子β，然后与原始特征进行元素求和得到如下所示公式：
Figure BDA0003078692270000113
将获得的关系注意力表达
Figure BDA0003078692270000114
作为新的特征矩阵替换原来的邻接矩阵，送入至下一层GCN中，得到最终的图卷积特征表达结果hr，公式如下：
Figure BDA0003078692270000115
S6：根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达；
在本申请实施例中，步骤S6中的根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达包括步骤：
获取图卷积特征表达结果；
对所述图卷积特征表达结果进行句子池化；
获取句子池化表达；
对所述图卷积特征表达结果进行主客体池化；
获取主客体池化表达。
在本申请实施例中，为了获得样本的重要特征，同时提高运算速度，对步骤S5中得到的图卷积特征表达结果hr进行池化操作，具体的池化操作分为两种，前者是句子池化，后者是主客体池化。在句子池化过程中，首先获得对邻接矩阵的mask操作，将所有实体间有关联的实体置为0，然后使用最大池化，获得池化表示pool_sentence，即是获得句子中所有非相关联实体的特征表达，具体公式如下：
Figure BDA0003078692270000121
主客体池化使用位置的mask方式，将除主体和客体对应的位置分别置0，获得主体和客体的mask_object和mask_subject，随后使用最大池化，获得最终的主体池化表达pool_subject和客体池化表达pool_object，具体公式如下：
Figure BDA0003078692270000122
Figure BDA0003078692270000123
S7：将所述句子池化表达和所述主客体池化表达进行级联表示；
在本申请实施例中，步骤S7中的将所述句子池化表达和所述主客体池化表达进行级联表示包括步骤：
获取所述句子池化表达；
获取所述主客体池化表达；
获取所述主客体池化表达中的主体池化表达；
获取所述主客体池化表达中的客体池化表达；
将所述句子池化表达、所述主体池化表达和所述客体池化表达依次拼接；
获得最终的级联表达。
在本申请实施例中，当将所述句子池化表达和所述主客体池化表达进行级联表示时，具体地，基于步骤S6中获得句子池化表达pool_sentence、主体池化表达pool_subject和客体池化表达pool_object，将其进行拼接，获得最终的级联表达，具体如下：
hout＝cat[pool_sentence；，pool_subject；pool_object]。
S8：根据所述级联表示获取所述句子的关系类别表示。
在本申请实施例中，步骤S8中的根据所述级联表示获取所述句子的关系类别表示包括步骤：
利用分配强化学习优化所述句子的关系表示；
获取所述级联表示；
将所述级联表示输入前馈神经网络模型；
获取所述前馈神经网络模型输出的关系特征表示；
获取所述句子池化表达；
根据所述关系特征表示和所述句子池化表达对所述关系特征表示进行概率预测；
利用分布强化学习估计所述关系表示的分布函数。
在本申请实施例中，当根据所述级联表示获取所述句子的关系类别表示时，首先利用分配强化学习优化句子的关系表示，将待分类实体作为状态，将关系分类作为行为，将期望与预测之间的偏差作为奖励，从而通过奖励强化正确的行为；然后将步骤S7得到的级联表示通过一层前馈神经网络(FFNN)得到关系特征表示，具体如下：
rij＝FFNN(hout),
其中，rij表示实体i和实体j的关系表达。
基于得到的关系特征表示rij和步骤S7获得的句子池化表达pool_sentence，利用softmax函数对输出的关系特征进行概率预测，具体公式如下：
P(rij|hobject，hsubject，hsentence)＝softmax(MLP(rij))，
其中，MLP(.)是一个多层感知器。
接下来将概率预测值转化为状态值矩阵Q，并通过迭代得到最优期望值，可由Bellman优化公式得到：
Figure BDA0003078692270000141
其中，h和r表示待分类实体及其对应关系，Q(h，r)表示在h状态下执行动作r时得到的累积回报，γ为惩罚因子。
由于强化学习关注的是对未来奖励价值的期望，评估的本质是预测没有发生的事情，这必然涉及到不确定性，不确定性的大小对决策有非常重要的影响。因此，使用分布强化学习，用学习返回值的概率分布来代替学习返回值的期望值，不仅可以估计期望值，而且可以估计整个分布函数。
分布Bellman算子公式为：
Figure BDA0003078692270000142
其中，Z为随机变量，表示状态h下执行行为r后的回报所产生的随机变量。损失可以通过交叉熵计算，具体公式如下：
Figure BDA0003078692270000143
其中，S代表一组句子，s代表集合中的一个句子。
本申请提供的一种基于图神经网络的关系抽取方法可以有效地应用于任意依赖树结构，同时考虑到基础的GCN网络仅限于建立一阶单词之间的依赖关系，多阶单词之间的联系需要多层GCN，但同时可能导致过平滑问题，因此通过改进权重矩阵获取多阶单词的关联关系同时融合注意力机制对文本内容进行建模，以获取语义间完整的依赖关系，达到更好的关系分类效果。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图神经网络的关系抽取方法，其特征在于，所述方法包括步骤：
对待抽取文档进行数据处理；
构建所述文档中句子的模型数据集；
获取所述句子的语义特征向量；
根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达；
根据所述实体间邻域信息表达强化所述句子的句子表达；
根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达；
将所述句子池化表达和所述主客体池化表达进行级联表示；
根据所述级联表示获取所述句子的关系类别表示。
2.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述对待抽取文档进行数据处理包括步骤：
获取所述待抽取文档；
对所述待抽取文档中的句子进行数据清洗操作；
对所述句子进行分词操作；
提取所述句子的依存句法关系信息；
获取所述句子的主客***置信息。
3.根据权利要求2所述的基于图神经网络的关系抽取方法，其特征在于，所述对所述待抽取文档中的句子进行数据清洗操作包括步骤：
将所有所述句子统一为同一预设格式；
删除所有所述句子中的无用段落；
删除所有所述句子中的异样字符；
删除所有所述句子中的重复内容；
删除所有所述句子中的无用内容。
4.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述构建所述文档中句子的模型数据集包括步骤：
获取条件随机场模型和图的依存句法分析；
基于所述条件随机场模型构建所述句子的句子模型；
基于所述图的依存句法分析生成每个待分析句子对应的有向图；
根据所述有向图确定所述句子中实体的位置信息和关系类别信息；
整合所述句子的相关数据信息；
将所述相关数据信息存入字典中。
5.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述获取所述句子的语义特征向量包括步骤：
获取所述模型数据集；
获取所述模型数据集中所述句子的词向量；
将所述词向量输入RNN，
获取所述RNN输出的句子向量表达；
在所述句子向量表达中增加位置特征维度；
获取图卷积神经网络模型的输入特征向量。
6.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述根据所述数据处理结果和所述语义特征向量生成所述句子的实体间邻域信息表达包括步骤：
获取所述数据处理结果中的依存句法关系信息；
将所述依存句法关系信息转换为邻接矩阵；
获取图卷积神经网络模型的输入特征向量；
将所述邻接矩阵和所述输入特征向量输入所述图卷积神经网络模型中；
计算所述图卷积神经网络模型对应的一阶邻域依赖；
获取加权图卷积网络模型；
在所述加权图卷积网络模型中添加依赖树的虚拟边；
构造所述依赖树的逻辑邻接矩阵；
将所述逻辑邻接矩阵输入所述加权图卷积网络模型中；
计算所述加权图卷积网络模型对应的k阶邻域依赖。
7.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述根据所述实体间邻域信息表达强化所述句子的句子表达包括步骤：
获取关系注意力模块和位置注意力模块；
获取所述实体间邻域信息表达；
将所述实体间邻域信息表达作为所述位置注意力模块的原始特征表达；
计算所述句子的位置注意矩阵；
计算所述句子的关系注意矩阵；
将所述关系注意矩阵作为邻接矩阵输入图神经网络模型中；
获取所述图神经网络模型输出的图卷积特征表达结果。
8.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述根据所述数据处理结果和所述句子表达获取所述句子的句子池化表达和主客体池化表达包括步骤：
获取图卷积特征表达结果；
对所述图卷积特征表达结果进行句子池化；
获取句子池化表达；
对所述图卷积特征表达结果进行主客体池化；
获取主客体池化表达。
9.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述将所述句子池化表达和所述主客体池化表达进行级联表示包括步骤：
获取所述句子池化表达；
获取所述主客体池化表达；
获取所述主客体池化表达中的主体池化表达；
获取所述主客体池化表达中的客体池化表达；
将所述句子池化表达、所述主体池化表达和所述客体池化表达依次拼接；
获得最终的级联表达。
10.根据权利要求1所述的基于图神经网络的关系抽取方法，其特征在于，所述根据所述级联表示获取所述句子的关系类别表示包括步骤：
利用分配强化学习优化所述句子的关系表示；
获取所述级联表示；
将所述级联表示输入前馈神经网络模型；
获取所述前馈神经网络模型输出的关系特征表示；
获取所述句子池化表达；
根据所述关系特征表示和所述句子池化表达对所述关系特征表示进行概率预测；
利用分布强化学习估计所述关系表示的分布函数。
CN202110563551.9A 2021-05-21 2021-05-21 一种基于图神经网络的关系抽取方法 Pending CN113297838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563551.9A CN113297838A (zh) 2021-05-21 2021-05-21 一种基于图神经网络的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563551.9A CN113297838A (zh) 2021-05-21 2021-05-21 一种基于图神经网络的关系抽取方法

Publications (1)

Publication Number Publication Date
CN113297838A true CN113297838A (zh) 2021-08-24

Family

ID=77324139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563551.9A Pending CN113297838A (zh) 2021-05-21 2021-05-21 一种基于图神经网络的关系抽取方法

Country Status (1)

Country Link
CN (1) CN113297838A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449084A (zh) * 2021-09-01 2021-09-28 中国科学院自动化研究所 基于图卷积的关系抽取方法
CN116521899A (zh) * 2023-05-08 2023-08-01 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取算法及***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430600A (zh) * 2014-12-12 2017-12-01 慧与发展有限责任合伙企业 可扩展的web数据提取
CN108363753A (zh) * 2018-01-30 2018-08-03 南京邮电大学 评论文本情感分类模型训练与情感分类方法、装置及设备
CN109165737A (zh) * 2018-08-29 2019-01-08 电子科技大学 基于条件随机场和bp神经网络的孔隙度预测方法
CN111241295A (zh) * 2020-01-03 2020-06-05 浙江大学 基于语义句法交互网络的知识图谱关系数据抽取方法
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111651974A (zh) * 2020-06-23 2020-09-11 北京理工大学 一种隐式篇章关系分析方法和***
CN111831783A (zh) * 2020-07-07 2020-10-27 北京北大软件工程股份有限公司 一种篇章级关系抽取方法
CN111985245A (zh) * 2020-08-21 2020-11-24 江南大学 基于注意力循环门控图卷积网络的关系提取方法及***
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法
CN112001187A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种基于中文句法和图卷积神经网络的情感分类***
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法
CN112487807A (zh) * 2020-12-09 2021-03-12 重庆邮电大学 一种基于膨胀门卷积神经网络的文本关系抽取方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430600A (zh) * 2014-12-12 2017-12-01 慧与发展有限责任合伙企业 可扩展的web数据提取
CN108363753A (zh) * 2018-01-30 2018-08-03 南京邮电大学 评论文本情感分类模型训练与情感分类方法、装置及设备
CN109165737A (zh) * 2018-08-29 2019-01-08 电子科技大学 基于条件随机场和bp神经网络的孔隙度预测方法
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111241295A (zh) * 2020-01-03 2020-06-05 浙江大学 基于语义句法交互网络的知识图谱关系数据抽取方法
CN111651974A (zh) * 2020-06-23 2020-09-11 北京理工大学 一种隐式篇章关系分析方法和***
CN111831783A (zh) * 2020-07-07 2020-10-27 北京北大软件工程股份有限公司 一种篇章级关系抽取方法
CN111985245A (zh) * 2020-08-21 2020-11-24 江南大学 基于注意力循环门控图卷积网络的关系提取方法及***
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法
CN112001187A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种基于中文句法和图卷积神经网络的情感分类***
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法
CN112487807A (zh) * 2020-12-09 2021-03-12 重庆邮电大学 一种基于膨胀门卷积神经网络的文本关系抽取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIJIANG GUO 等: "Attention Guided Graph Convolutional Networks for Relation Extraction", 《HTTPS://ARXIV.ORG/ABS/1906.07510V8》, pages 1 - 13 *
买合木提·买买提 等: "基于条件随机场的维吾尔文机构名识别", 《计算机工程与设计》, vol. 40, no. 01, pages 273 - 278 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449084A (zh) * 2021-09-01 2021-09-28 中国科学院自动化研究所 基于图卷积的关系抽取方法
CN116521899A (zh) * 2023-05-08 2023-08-01 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取算法及***
CN116521899B (zh) * 2023-05-08 2024-03-26 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取方法及***

Similar Documents

Publication Publication Date Title
CN108388651B (zh) 一种基于图核和卷积神经网络的文本分类方法
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN111651974B (zh) 一种隐式篇章关系分析方法和***
JP6291443B2 (ja) 接続関係推定装置、方法、及びプログラム
CN110298044B (zh) 一种实体关系识别方法
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN113297838A (zh) 一种基于图神经网络的关系抽取方法
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
Mattioli et al. An experiment on the use of genetic algorithms for topology selection in deep learning
CN114327483A (zh) 图张量神经网络模型建立方法及源代码语义识别方法
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及***
CN113705196A (zh) 基于图神经网络的中文开放信息抽取方法和装置
CN112818121A (zh) 一种文本分类方法、装置、计算机设备及存储介质
CN115757773A (zh) 一种多价值链问题文本分类方法和装置
CN116861269A (zh) 工程领域的多源异构数据融合及分析方法
Remya et al. Performance evaluation of optimized and adaptive neuro fuzzy inference system for predictive modeling in agriculture
CN113239694B (zh) 一种基于论元短语的论元角色识别的方法
CN114239828A (zh) 一种基于因果关系的供应链事理图谱构建方法
CN112148879B (zh) 一种自动给代码打数据结构标签的计算机可读存储介质
CN117271701A (zh) 一种基于tggat和cnn的***运行异常事件关系抽取方法及***
JP2016197289A (ja) パラメタ学習装置、類似度算出装置、方法、及びプログラム
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN115599918A (zh) 一种基于图增强的互学习文本分类方法及***
CN112131363B (zh) 自动问答方法、装置、设备及存储介质
CN114386425A (zh) 用于对自然语言文本内容进行处理的大数据体系建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination