CN112818678B - 基于依赖关系图的关系推理方法及*** - Google Patents

Abstract

本发明提供了一种基于依赖关系图的关系推理方法及***，利用词义特征对给定句对进行词语划分和词语特征构造；通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树；将依赖关系作为词语特征更新的依据，结合深度学习网络，对给定句对中词语特征进行学习和更新；将的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合获得全局特征；将全局特征作为句义特征，进行两句间的交互，输入到输出层中获得输出，将输出与真实标签进行比较，进行学习模型的损失函数的计算；根据学习模型的损失函数计算结果，对学习模型进行修正，确定学习模型对应的目标参数。有效提升句法依赖树在自然语言推理上的表现。

Description

基于依赖关系图的关系推理方法及***

技术领域

本发明涉及计算机领域，具体地，涉及一种基于依赖关系图的关系推理方法及***。

背景技术

随着深度学习模型的不断发展，自然语言推理任务的主要趋势成为了使用更复杂的网络模型获取句子的语义信息，并以此来确定它们之间的关系。但在传统的网络中，位置信息来源于长短期网络对结构的直接抓取，其只能获取到空间上的位置信息，无法捕获深层的句义上的相对位置信息。而直接在句法依赖树上进行操作的深度学习网络通常基于复杂的树神经网络，其训练过程缓慢，且通常无法结合子节点以外的信息。

因此，现有专利文献CN109902301A的中国专利，公开了基于深度神经网络的关系推理方法，这种方法中使用的基于语法依赖树的特征，只利用了其中的路径上的依赖特征，没有有效的结合语法依赖树中的依赖关系类型，提取特征不充分，不具体。虽然使用了LSTM和CNN来捕捉路径上特征，但是无法捕获其中的一部分路径外信息，不够准确。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于依赖关系图的关系推理方法及***。

根据本发明提供的一种基于依赖关系图的关系推理方法，包括：

划分构造步骤：获取给定句对，利用词义特征对所述给定句对进行词语划分和词语特征构造；

依赖提取步骤：通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树；

特征更新步骤：将所述依赖关系树中的依赖关系作为词语特征更新的依据，结合深度学习网络，对所述给定句对中词语特征进行学习和更新；

特征融合步骤：将所述的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合，获得全局特征；

损失函数计算步骤：将所述全局特征作为句义特征，进行句对间的交互，输入到深度学习网络的输出层中获得输出，将输出与真实标签进行比较，进行学习模型的损失函数的计算；

学习模型修正步骤：根据所述学习模型的损失函数计算结果，对所述学习模型进行修正，确定所述学习模型对应的目标参数。

优选地，所述特征更新步骤包括：

对依赖关系树中的每个三元组进行编码，所述三元组包括头词语、尾词语和依赖关系；

根据依赖关系，使用依赖关系矩阵处理头词语和尾词语，得到关系三元组；

将处理后得到的关系三元组聚合回头词语和尾词语中。

优选地，所述关系三元组中的头词语对应依赖关系树中的头节点，尾词语对应依赖关系树中的尾节点，依赖关系对应依赖关系树中的不同关系，使用一个序号标示，序号为对应关系在关系字典中的序号。

优选地，使用全连接层线性映射编码头词语和尾词语的顺序。

优选地，通过消息传递的过程，来完成关系三元组的聚合过程：

xi＝γ(xi,Σl)

其中xi表示第i个节点，γ表示的是聚合操作，Σ表示的是聚合与i节点有关的所有三元组的操作，l是三元组的信息。

根据本发明提供的一种基于依赖关系图的关系推理***，包括：

划分构造模块：获取给定句对，利用词义特征对所述给定句对进行词语划分和词语特征构造；

依赖提取模块：通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树；

特征更新模块：将所述依赖关系树中的依赖关系作为词语特征更新的依据，结合深度学习网络，对所述给定句对中词语特征进行学习和更新；

特征融合模块：将所述的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合，获得全局特征；

损失函数计算模块：将所述全局特征作为句义特征，进行句对间的交互，输入到深度学习网络的输出层中获得输出，将输出与真实标签进行比较，进行学习模型的损失函数的计算；

学习模型修正模块：根据所述学习模型的损失函数计算结果，对所述学习模型进行修正，确定所述学习模型对应的目标参数。

优选地，所述特征更新模块包括：

对依赖关系树中的每个三元组进行编码，所述三元组包括头词语、尾词语和依赖关系；

根据依赖关系，使用依赖关系矩阵处理头词语和尾词语，得到关系三元组；

将处理后得到的关系三元组聚合回头词语和尾词语中。

优选地，所述关系三元组中的头词语对应依赖关系树中的头节点，尾词语对应依赖关系树中的尾节点，依赖关系对应依赖关系树中的不同关系，使用一个序号标示，序号为对应关系在关系字典中的序号。

优选地，使用全连接层线性映射编码头词语和尾词语的顺序。

优选地，通过消息传递的过程，来完成关系三元组的聚合过程：

xi＝γ(xi,Σl)

其中xi表示第i个节点，γ表示的是聚合操作，Σ表示的是聚合与i节点有关的所有三元组的操作，l是三元组的信息。

与现有技术相比，本发明具有如下的有益效果：

本发明通过使用三元组的形式来表示句法依赖树中的关系信息、使用图网络改进算法来更好的结合句法依赖树中的结构信息，有效提升句法依赖树在自然语言推理上的表现，解决现有的基于深度网络的关系推理办法没有合理的运用依赖关系树中的信息，导致关系推理结果较差的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于依赖关系图的关系推理方法流程图；

图2为词语特征更新方法详细流程图；

图3为句法依赖关系示意图；

图4为特征更新聚合原理图；

图5为关系推理装置图；

图6为关系推理流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种基于依赖关系图的关系推理方法，如图1所示，包括：

步骤1：获取给定句对，利用词义特征对所述给定句对进行词语划分和划分后词语特征的构造。

步骤2：通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树。

步骤3：将所述依赖关系树中的依赖关系作为词语特征更新的依据，结合深度学习网络，对所述给定句对中词语的特征进行学习和更新。

步骤4:将所述的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合，获得全局特征。融合方式可以采取包括最大值池化，平均值池化，RNN序列处理等方式，在本实施例中以RNN序列处理为例。

步骤5:将所述全局特征作为句义特征，进行两句间的交互，输入到输出层中获得输出，将输出与真实标签进行比较，进行模型的损失函数的计算。

步骤6:根据所述学习模型的损失函数计算情况，对所述学习模型进行修正，确定所述学习模型对应的目标参数，以生成所述学习模型。

所述步骤3为词语特征更新的主要步骤，如图2中所示，包括以下步骤：

步骤3.1:对依赖关系图中的每个三元组进行编码，包括其头词语、尾词语、依赖关系。

如图3所示，给定句对中的句子都可以划分为依赖关系图，其中每个词语作为图中的一个节点，节点之间的连接表示其之间的依赖关系。本实施例中，对于依赖关系图中的每条边与边上相邻的两节点，其都可以被编码为一个关系三元组，关系三元组的组成主要是头词语、尾词语、依赖关系。其中头词语对应关系依赖树中的头节点，即关系的出发点。尾词语对应关系依赖树中的尾节点，即关系的指向点。依赖关系对应关系依赖树中的不同关系，可以使用一个序号标示，对应序号即为对应关系在关系字典中的序号。具体的，在图3中，与词语“自然语言处理”有关的一个关系三元组是(自然语言处理，解决，SBV)，其中头词语是自然语言处理，尾词语是解决，二者间关系是SBV，其在关系字典中对应一个序号。

步骤3.2:根据依赖关系，使用依赖关系矩阵处理头词语和尾词语。

具体的，依赖关系图中的每个三元组中都包括了其头词语和尾词语，其中头词语和尾词语表示了不同的顺序信息，头词语在位于有向边的起点，而尾词语则应位于有向关系边的终点，编码两个词语的顺序可以使用卷积神经网络、长短期记忆网络等，本申请中更偏向于使用全连接层线性映射(FC)，一个全连接层包含更少的参数，同时对于拼接后的词语向量可以包含其相对位置信息，更加平滑的表示整个三元组的信息，如公式(1)所示，其中Wr和br分别是全连接层中对应不同关系t的权重和偏置参数，h代表头词语，t代表尾词语，l是网络输出的代表三元组信息的特征向量。

l＝Wr(h,t)+br (1)

步骤3.3:将处理后得到的关系三元组聚合回头词语和尾词语当中。

具体的，获得关系的三元组可以作为依赖关系图中一条边的信息表示，图中每个节点及与其相邻的边在图中都具有联系，将关系三元组的内容聚合到其头节点和尾节点当中，能够帮助头节点和尾节点更好的表示在图中包含的信息。在图卷积网络中，可以通过消息传递的过程，来完成关系三元组的聚合过程，如公式(2)所示，其中xi表示第i个节点，γ表示的是聚合操作，Σ表示的是聚合与i节点有关的所有三元组的操作，l是三元组的信息。

xi＝γ(xi,Σl) (2)

值得说明的是，依赖关系图中的每条边不仅与其中的出发点有联系，与其结束点也有联系，所以在聚合时，对于图中每个节点，只要与其相连的关系边，不管该节点是边的出发节点或结束节点，都应该考虑关系边对其影响，进行聚合操作。聚合操作可以使用简单的平均值、最大值或加合等操作，但本申请中偏向于使用序列网络来进行处理，因为其有门控单元，可以更好的决定每个三元组中哪部分信息对于词语表示有更好控制。门循环控制单元(GRU)在包含了序列网络的门控能力的同时，使用更少的参数，使得其可以更快的拟合数据，并得到较好的效果，故选用GRU来完成单个词语上连接的关系三元组的聚合。

如图4所示，GRU实际的聚合操作如下：

对每个依赖关系三元组的特征向量l，将其视为与三元组关系中头词语尾词语都有连接的内容，如与“是”有关的三元组包括：(是，解决,VOB)，(问题，是，SBV)，(核心，是，VOB)。将其作为GRU序列中的一个输入，其先后顺序可以视作对聚合操作无影响，初始输入为“是”的特征表示，经过输入处理后，可以获得聚合了所有与之相关的三元组表示的新表示“是`”。

如图5所示，一种关系推理装置，包括：

嵌入模块，用于获取样本词语特征集，对所述样本集中的每个样本采用选定的词语划分器和词语特征构造，以确定每个样本文本对应的不同的词语特征；

编码模块，用于建立语句的依赖关系图，将对应的词语特征与其有关联的依赖关系三元组相结合，得到相对应的关系特征，聚合后得到对应的更新后的词语特征；

融合模块，用于将样本的对应的不同词语的局部词语特征进行融合，得到相应的样本句的全局特征；

交互模块，用于结合两个样本句所对应的不同的全局特征，获得交互向量；

生成模块，用于针对交互后获得的交互向量，确定所述两个样本句在局部特征与全局特征上的不同，根据所确定的两个样本句局部特征与全局特征之间的不同关系与实际两个样本句局部特征与全局特征之间的不同关系之间的差异，构建所述学习模型的损失函数。

其中具体操作如图6所示：

初始阶段给定了一对样本句对，句一为“科研人员正在研究自然语言处理究竟可以处理什么”，句二为“自然语言处理能解决什么问题是科研人员关注的核心”，因为样本句对处理的方法是完全相同的，以句一的处理方法为示例。通过分词器和依赖关系分析器可以获得句一的依赖关系树，将树中的每个节点转化为图中的一个节点，然后将树中的依赖关系边转化为有向图的有向边，可将一颗依赖关系树转化为依赖关系图。如图3所示，依赖关系图中的每个依赖关系都可以表示为一个依赖关系三元组，其三元组包括头节点、尾节点、依赖关系，对依赖关系三元组的构建方式采用了线形转换的方式，将头节点和尾节点拼接后，根据依赖关系的类别，使用不同的依赖关系矩阵来进行转换。转换后得到的依赖关系三元组包括了每条边所表示的隐含信息，对于每个节点，与之有关的隐含信息都可以帮助其更好的体现在序列中的新语义，故使用聚合操作将与之相连的每个依赖关系都聚合到节点上，作为新的特征表示。如图4中所示，每一个关系三元组的信息都可以作为一个序列中的一个单元，使用门控循环单元来完成聚合操作，用最终的状态量作为其新的特征表示。每个节点的新特征表示作为序列的局部特征，使用循环网络进行局部特征的特征提取，再利用注意力机制加强整个序列中信息的融合，来获得包含整个语句内容的句义向量。通过交互模块，可以更好地将给定的样本句对的句义向量中内容进行交互，将句义向量映射到高维的交互空间，获得包含交互信息的交互向量。使用交互向量作为生成模块的输入，通过多层感知器全方位的捕捉其中的关键信息，输出对应关系类别的关系向量，取其中最大值为最终预测的类别。通过选取的损失函数，与正确类别的独热向量进行损失计算，然后通过反向传递顺着网络的传输路径向后传播，并更新模型的参数，从而完成对图5中模型参数的训练，提升模型的预测能力，使其能够更好的完成预测任务。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种基于依赖关系图的关系推理方法，其特征在于，包括：

划分构造步骤：获取给定句对，利用词义特征对所述给定句对进行词语划分和词语特征构造；

依赖提取步骤：通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树；

特征更新步骤：将所述依赖关系树中的依赖关系作为词语特征更新的依据，结合深度学习网络，对所述给定句对中词语特征进行学习和更新；

特征融合步骤：将所述的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合，获得全局特征；

损失函数计算步骤：将所述全局特征作为句义特征，进行句对间的交互，输入到深度学习网络的输出层中获得输出，将输出与真实标签进行比较，进行学习模型的损失函数的计算；

学习模型修正步骤：根据所述学习模型的损失函数计算结果，对所述学习模型进行修正，确定所述学习模型对应的目标参数；

所述特征更新步骤包括：

对依赖关系树中的每个三元组进行编码，所述三元组包括头词语、尾词语和依赖关系；

根据依赖关系，使用依赖关系矩阵处理头词语和尾词语，得到关系三元组；

将处理后得到的关系三元组聚合回头词语和尾词语中；

所述关系三元组中的头词语对应依赖关系树中的头节点，尾词语对应依赖关系树中的尾节点，依赖关系对应依赖关系树中的不同关系，使用一个序号标示，序号为对应关系在关系字典中的序号；

使用全连接层线性映射编码头词语和尾词语的顺序；

通过消息传递的过程，来完成关系三元组的聚合过程：

xi＝γ(xi,Σl)

其中xi表示第i个节点，γ表示的是聚合操作，Σ表示的是聚合与i节点有关的所有三元组的操作，l是三元组的信息。

2.一种基于依赖关系图的关系推理***，其特征在于，包括：

划分构造模块：获取给定句对，利用词义特征对所述给定句对进行词语划分和词语特征构造；

依赖提取模块：通过依赖提取器获得从词语划分后的文本中提取出词语之间的依赖关系树；

特征更新模块：将所述依赖关系树中的依赖关系作为词语特征更新的依据，结合深度学习网络，对所述给定句对中词语特征进行学习和更新；

特征融合模块：将所述的给定句对获得的多个更新后的词语特征作为局部特征，进行特征的融合，获得全局特征；

损失函数计算模块：将所述全局特征作为句义特征，进行句对间的交互，输入到深度学习网络的输出层中获得输出，将输出与真实标签进行比较，进行学习模型的损失函数的计算；

学习模型修正模块：根据所述学习模型的损失函数计算结果，对所述学习模型进行修正，确定所述学习模型对应的目标参数；

所述特征更新模块包括：

对依赖关系树中的每个三元组进行编码，所述三元组包括头词语、尾词语和依赖关系；

根据依赖关系，使用依赖关系矩阵处理头词语和尾词语，得到关系三元组；

将处理后得到的关系三元组聚合回头词语和尾词语中；

所述关系三元组中的头词语对应依赖关系树中的头节点，尾词语对应依赖关系树中的尾节点，依赖关系对应依赖关系树中的不同关系，使用一个序号标示，序号为对应关系在关系字典中的序号；

使用全连接层线性映射编码头词语和尾词语的顺序；

通过消息传递的过程，来完成关系三元组的聚合过程：

xi＝γ(xi,Σl)

其中xi表示第i个节点，γ表示的是聚合操作，Σ表示的是聚合与i节点有关的所有三元组的操作，l是三元组的信息。

Images