CN109902301A

CN109902301A - 基于深度神经网络的关系推理方法、装置及设备

Info

Publication number: CN109902301A
Application number: CN201910141460.9A
Authority: CN
Inventors: 黄国恒; 卢增; 张凡龙; 程良伦
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2019-06-18
Anticipated expiration: 2039-02-26
Also published as: CN109902301B

Abstract

本申请公开了一种基于深度神经网络的关系推理方法，能够在获取样本句后，构建由多个词语组成的句法依赖树，进而分别提取句法依赖树在最短依赖路径上的主干特征，以及在非最短依赖路径上的辅助特征，最终根据预设融合规则对主干特征和辅助特征进行特征融合，并根据融合结果得到关系推理结果。可见，该方法分别提取句法依赖树在最短依赖路径和非最短依赖路径上的特征，并对二者进行特征融合，由于辅助特征对推理结果具有一定辅助作用，因此通过有效利用句法依赖树的主干特征和辅助特征，显著提升了关系推理的准确度。此外，本申请还提供了一种基于深度神经网络的关系推理装置、设备及计算机可读存储介质，其作用与上述方法相对应。

Description

基于深度神经网络的关系推理方法、装置及设备

技术领域

本申请涉及计算机领域，特别涉及一种基于深度神经网络的关系推理方法、装置、设备及计算机可读存储介质。

背景技术

知识图谱是一种新兴的技术，搜索引擎一般用它来增强其搜索引擎功能的知识数据库，其本质为语义网络，是一种从图泛化出来的数据结构。知识图谱由节点和边构成，节点主要表示实体或者概念，边表示属性和关联关系。知识图谱是关系非常有效的表示方式，它将庞大的不同种类的各种信息都连接在了一个空间结构的图中，形成了一个关系网络。其中，知识的关联是非常重要的信息，一般采用知识关联推理模型来预测实体之间的关系。

目前，现有的构建知识关联推理模型的方法一般采用监督的形式来构建生成，采用样本去训练网络。传统的监督方法有基于特征的方法和核函数方法，但是基于特征的方法需要人工提取出大量的特征，工作量大也很难找到最佳的特征集，这样模型很难得到好的结果。而核函数的方法在很大的程度上取决于内核的设计，需要其采集所有的信息。

最近提出的神经网络，有着自动学***等输入网络中，使得无关系对对有关系对的影响较大，导致关系推理的准确率较低；而基于最短依赖路径的关系推理网络(SDP-LSTM)只是利用了句法依赖树中的两个实体之间的最短路径(SDP)解析出来的信息，并没有充分利用整棵树的信息，网络采用了两条长短记忆网络为了提取最短依赖路径的方向属性，在之后两条路径融合的时候一定程度上又破坏了原本的方向性，导致关系推理的准确度较低。

综上，现有的基于深度神经网络的知识关联推理模型没有合理的利用输入的实体信息，导致关系推理准确度较低。

发明内容

本申请的目的是提供一种基于深度神经网络的关系推理方法、装置、设备及计算机可读存储介质，用以解决目前基于深度神经网络的关系推理模型没有合理的利用输入的实体信息，导致关系推理准确度较低的问题。

为解决上述技术问题，本申请提供了一种基于深度神经网络的关系推理方法，包括：

获取样本句，根据所述样本句构建由多个词语组成的句法依赖树；

提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征，其中，所述最短依赖路径为所述句法依赖树中待进行关系推理的两个词语之间的路径；

根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，并根据融合结果得到关系推理结果。

可选的，所述提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征，具体包括：

利用长短期记忆网络提取所述句法依赖树在最短依赖路径上的主干特征，并利用多尺寸卷积核的卷积神经网络提取所述句法依赖树在非最短依赖路径上的辅助特征。

可选的，所述根据所述样本句构建由多个词语组成的句法依赖树，具体包括：

利用斯坦福句法解析器对所述样本句进行解析，得到由多个词语组成的句法依赖树。

可选的，在所述获取样本句，根据所述样本句构建由多个词语组成的句法依赖树之后，且在所述提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征之前，还包括：

根据所述句法依赖树的结构，为所述句法依赖树中的各个词语增加位置信息，其中，所述位置信息包括第一位置信息和第二位置信息，所述第一位置信息为当前词语到目标词语的路径向量，所述第二位置信息为由当前词语到目标词语的正向路径长度和逆向路径长度组成的二元数组，所述目标词语为所述待进行关系推理的两个词语中预先指定的一个词语。

可选的，所述根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，具体包括：

预先为主干特征和辅助特征设置第一自适应加权参数和第二自适应加权参数，根据所述第一自适应加权参数和所述第二自适应加权参数，对所述主干特征和所述辅助特征进行特征融合。

本申请还提供了一种基于深度神经网络的关系推理装置，包括：

句法依赖树构建模块：用于获取样本句，根据所述样本句构建由多个词语组成的句法依赖树；

特征提取模块：用于提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征，其中，所述最短依赖路径为所述句法依赖树中待进行关系推理的两个词语之间的路径；

关系推理模块：用于根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，并根据融合结果得到关系推理结果。

可选的，所述装置还包括：

位置信息增加模块：用于根据所述句法依赖树的结构，为所述句法依赖树中的各个词语增加位置信息，其中，所述位置信息包括第一位置信息和第二位置信息，所述第一位置信息为当前词语到目标词语的路径向量，所述第二位置信息为由当前词语到目标词语的正向路径长度和逆向路径长度组成的二元数组，所述目标词语为所述待进行关系推理的两个词语中预先指定的一个词语。

可选的，所述关系推理模块具体用于：

此外，本申请还提供了一种基于深度神经网络的关系推理设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种基于深度神经网络的关系推理方法的步骤。

最后，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于深度神经网络的关系推理方法的步骤。

本申请所提供的一种基于深度神经网络的关系推理方法，能够在获取样本句后，构建由多个词语组成的句法依赖树，进而分别提取句法依赖树在最短依赖路径上的主干特征，以及在非最短依赖路径上的辅助特征，最终根据预设融合规则对主干特征和辅助特征进行特征融合，并根据融合结果得到关系推理结果。可见，该方法分别提取句法依赖树在最短依赖路径和非最短依赖路径上的特征，并对二者进行特征融合，由于辅助特征对推理结果具有一定辅助作用，因此该方法通过有效利用句法依赖树的主干特征和辅助特征，提升了关系推理的准确度。

此外，本申请还提供了一种基于深度神经网络的关系推理装置、设备及计算机可读存储介质，其作用与上述方法相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于深度神经网络的关系推理方法实施例一的实现流程图；

图2为本申请所提供的一种基于深度神经网络的关系推理方法实施例二的实现流程图；

图3为本申请所提供的一种基于深度神经网络的关系推理方法实施例二的句法依赖树示意图；

图4为本申请所提供的长短期记忆网络结构示意图；

图5为本申请所提供的一种基于深度神经网络的关系推理方法实施例二的长短期网络结构示意图；

图6为本申请所提供的一种基于深度神经网络的关系推理方法实施例二的多尺寸卷积核网络的结构示意图；

图7为本申请所提供的一种基于深度神经网络的关系推理方法实施例二的特征融合网络结构示意图；

图8为本申请所提供的一种基于深度神经网络的关系推理方法实施例二整体的网络结构示意图；

图9为本申请所提供的一种基于深度神经网络的关系推理装置的功能框图；

图10为本申请所提供的一种基于深度神经网络的关系推理设备的结构示意图。

具体实施方式

本申请的核心是提供一种基于深度神经网络的关系推理方法、装置、设备及计算机可读存储介质，实现了通过有效利用句法依赖树的最短依赖路径和非最短依赖路径上的特征，并对二者进行合理的融合，从而提升关系推理准确度的目的。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请主要涉及的方面为知识图谱中的关系推理方法，属于自然语言处理的领域。关系推理是知识图谱中极为重要的一个模块，在知识图谱中，句子中的每个词语都被当做了一个实体，关系推理主要用于实现将实体中包含的信息和实体之间的关联信息提取出来，通过对信息进行预处理得到结构化的数据，再作为样本输入到网络模型中，预测出预设关系类型结果，选取其中置信度最高的作为最终推理结果。

下面对本申请提供的一种基于深度神经网络的关系推理方法实施例一进行介绍，参见图1，实施例一包括：

步骤S101：获取样本句，根据样本句构建由多个词语组成的句法依赖树。

上述样本句，具体可以为单词序列，本实施例通过对样本句进行解析，实现对样本句的分词，然后对分词结果进行词性的分析，并分析分词结果之间依存关系，最终得到样本句的分词结果、词性结果、句法分析树以及句法依存树(即上述句法依赖树)。具体可以利用开源的解析器实现上述过程，例如斯坦福解析器(Stanford parser)，需要说明的是，本实施对选取何种解析器不做具体限定。

步骤S102：提取句法依赖树在最短依赖路径上的主干特征，并提取句法依赖树在非最短依赖路径上的辅助特征，其中，最短依赖路径为句法依赖树中待进行关系推理的两个词语之间的路径。

在本实施例中，需要指定需要进行关系推理的两个词语，即指定句法依赖树中的两个实体作为待进行关系推理的对象，在句法依赖树中这两个实体之间的路径即为上述最短依赖路径。本实施例在提取句法依赖树中的信息的时候，分别对最短依赖路径和非最短依赖路径上的特征进行提取，由于卷积神经网络(CNN)长短期记忆网络(LSTM)和分别有着自适应提取空间信息和连续序列信息的特点，因此，在特征提取时具体可以选用长短期记忆网络提取句法依赖树在最短依赖路径上的特征，并选用卷积神经网络提取句法依赖树在非最短依赖路径上的特征，我们将提取到的两个特征分别称为主干特征和辅助特征。

步骤S103：根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，并根据融合结果得到关系推理结果。

具体的，上述预设融合规则可以为按照一定的权重比例对主干特征和辅助特征进行融合。作为一种优选的实施方式，由于最短依赖路径上的信息是主干信息，而非最短路径上的信息只是辅助信息，因此两条路径的重要性是有区别的，单纯的相加融合不能取得很好的效果，本实施采取为两条路径的特征乘上一个权重参数，让它们加权融合，但是，因为我们并不清楚这个辅助信息对主关系的推理的贡献能达到怎么一个程度，所以这个权重参数不设置为固定值，本实施例将其设置为自适应加权参数。得到融合结果之后，最终经过全连接层预测得到关系推理结果。

综上，本实施例所提供一种基于深度神经网络的关系推理方法，能够在获取样本句后，构建由多个词语组成的句法依赖树，进而分别提取句法依赖树在最短依赖路径上的主干特征，以及在非最短依赖路径上的辅助特征，最终根据预设融合规则对主干特征和辅助特征进行特征融合，并根据融合结果得到关系推理结果。可见，该方法分别提取句法依赖树在最短依赖路径和非最短依赖路径上的特征，并对二者进行合理的特征融合，由于非最短依赖路径上的信息对预测结果具有一定的辅助作用，因此该实施例通过有效利用句法依赖树的主干特征和辅助特征，提升了关系推理的准确度。

下面开始详细介绍本申请提供的一种基于深度神经网络的关系推理方法实施例二，实施例二基于上述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。具体的，参见图2，实施例二包括：

步骤S201：获取样本句，利用斯坦福句法解析器对样本句进行解析，得到由多个词语组成的句法依赖树。

本实施例通过对样本句进行解析，判断样本句的构成是否合乎给定的语法，并通过构造句法依赖树来分析句子的结构以及各层次句法成分之间的关系，即确定一个句子中的哪些词构成一个短语，哪些词是动词的主语或宾语等问题。通过解析对句子进行分词操作，输出分词结果和词性结果，并输出句法分析树和句法依存树(即句法依赖树)，其中，前两组输出主要表达词语的特征，后两组输出主要表达词间关系也就是句子结构特征。

步骤S202：根据句法依赖树的结构，为句法依赖树中的各个词语增加位置信息。

本实施例预先指定了需要进行关系推理的两个词语，在获得句法依赖树之后，本实施例随机选取其中一个词语为目标词语，以他们的共同祖先将其最短路径划分为两个部分，并为句法依赖树中的词语实体标记上述位置信息。上述位置信息具体包括第一位置信息和第二位置信息，我们将当前增加位置信息的词语称为当前词语，那么，上述第一位置信息为当前词语到目标词语的路径向量，而第二位置信息为由当前词语到目标词语的正向路径长度和逆向路径长度组成的二元数组。

更具体的，上述标记位置信息的实施方法为：第一位置信息，目标词语的子孙节点到目标词语的路径长度的负数，其余的词语为到目标词语的路径长度，这个位置信息可以表达句法依赖树上的词语和目标词语的关联程度，正、负的路径数又能表达实体和主实体是否为父子关系；第二位置信息，定义一个具有两个元素的二元组(x，y)，x表示当前词语到目标词语所通过的顺箭头路径，y表示通过的逆箭头路径。举例来说，我们用“高校科研人员设计深度卷积神经网络模型”这一个句子作为例子来说明上述方法，具体的结构如图3所示：这里确定了两个需要进行关系推理的词语，即“科研人员”和“神经网络”，“设计”是它们共同的祖先实体节点，因此它们之间的最短依赖路径也确定下来了，选取“科研人员”为目标词语，为树上的每一个实体添加如上所述的两种位置信息，在实体的左右两边，这样便完成了对句法依赖树中节点位置信息的构造，将其作为实体的一个特征，之后输入到特征提取网络。

综上，本实施例对句子解析出来的信息，词语、词语的词性、语法关系、上位词、标记的两种位置这五种词语的特征都连接起来，再统一嵌入映射到一个特征中，作为特征提取网络的输入。

步骤S203：利用长短期记忆网络提取句法依赖树在最短依赖路径上的主干特征。

长短期记忆网络(Long Short-Term Memory)是递归神经网络(Recurrent NeuralNetwork)的一种特殊结构，它在算法中加入了判断信息多有用的处理器(cell)，一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。当一个信息进入LSTM的网络当中，可以根据规则来判断是否有用，只有符合网络中需要的信息才会留下，不符的信息则通过遗忘门被遗忘，最后输出的就是筛选过后的有用信息，长短期记忆网络(LSTM)的具体流程如图4所示：

C_i-1和h_i-1分别代表上一个时序的控制信息和特征信息，y_i-1是当前时序新的信息输入，再经过网络中的输入门、遗忘门和输出门最后输出当前时序的信息整合之前时序信息之后的特征信息输出h_i。非常明显长短记忆网络(LSTM)可以将实体对之间的最短依赖路径按照路径的顺序连接起来，形成一个时序序列，背景技术中提及的SDP-LSTM网络采用共同祖先节点将最短依赖路径划分为两条不同方向的路径，再输入到两个长短记忆网络中之后再进行特征的融合。本实施例在SDP-LSTM网络的基础上进行了改进，鉴于本实施例输入到长短期记忆网络中的数据特征带有实体的两种位置信息，而这两种位置信息很清楚的标记了依赖树中的方向性和实体之间的位置关系，所以只要对最短依赖路径中的词语按照在原句中的相对的顺序输入到长短期记忆网络中就能提取出依赖树中的结构信息，方向、位置性，具体的流程如下图5所示：

将每一个实体的本身信息和其相关信息按照最短依赖路径树的中序遍历的顺序输入到长短记忆网络(LSTM)中去，并且将每一个时序的输出都送入到流程最后的融合按照顺序连接成一组特征向量l，如公式(1)所示，其中k表示实体的数量，Concat{}是连接操作：

l＝Concat{l₁,l₂,...,l_k} (1)

然后经过两次全连接层(FC)的线性映射，将向量映射到一个固定的维度，也使得连接之后的特征向量更加的平滑，如公式(2)和公式(3)所示，其中W和b分别是全连接层的权重和偏置参数，l″是网络输出的特征向量：

l′＝W′l+b′ (2)

l″＝W″l+b″ (3)

本实施例中，对最短依赖路径进行特征提取的时候我们只采用了一组长短记忆网络，而不是采用两组分别提取以实体对之间共同祖先为分界的两个不同方向的路径，该网络省去了对两条不同方向的路径的特征提取操作和期间的融合操作，直接采用读取完整的最短依赖路径输入到一个长短记忆网络(LSTM)即可，简化了参数的计算，加速了网络的收敛。

步骤S204：利用多尺寸卷积核的卷积神经网络提取句法依赖树在非最短依赖路径上的辅助特征。

由于本实施例中整棵句法依赖树的路径非常多，将所有路径都输入到一条长短期记忆网络之中是不可行的，这样会导致没有一个标准的时序，还会导致很多噪音数据的输入，影响推理的结果，产生严重误差。只是采用最短依赖路径(SDP)上的信息是没有充分利用句法依赖树上的信息的，因为非最短依赖路径上的实体上的信息对关系的推理是可以起到一定的辅助作用的，因此为了避免非最短依赖路径上的信息对最短依赖路径实体关系的推理产生实质上的干扰，但是又要充分利用它，我们将非最短依赖路径上的信息采用多种尺寸的卷积核单独提取特征，而不是连同最短依赖路径上的实体输入到长短期记忆网络(LSTM)中去打乱最短依赖路径的结构。具体的，本实施例将每个非最短依赖路径上的实体嵌入映射之后的特征向量组成矩阵，最为卷积层的输入，具体的流程如图6所示：

这里采用3种不同的并列卷积层，有三种不同的卷积核，卷积核的宽都为W，高分别为2、3、4,步长为(1，W)，在经过不同卷积层的特征提取之后再经过一个池化层转化为统一长度的向量，进入融合层将每一个卷积层提取的特征连接起来，方法依旧是采用Concat{}操作，然后再进过两次全连接层(FC)的线性映射，映射到一个和从最短依赖路径提取出来的特征向量一样的向量长度，方便之后的融合操作。值得一提的是，本实施例中输入卷积神经网络的实体顺序可以随意排列，因为之前已经为每一个实体都标注了两个位置信息，它们分别可以体现树的方向性和实体之间的位置关系性。

步骤S205:根据第一自适应加权参数和第二自适应加权参数，对主干特征和辅助特征进行特征融合，并根据融合结果得到关系推理结果。

至此，已经获得了最短依赖路径特征和非最短路径两个路径上的特征，接下来就是对它们进行融合。最短依赖路径上的信息是主干信息，而非最短路径上的信息只是辅助信息，因为两条路径的重要性是有区别的，单纯的相加融合不能达到很好的效果，此外由于我们并不清楚这个辅助信息对主关系的推理的贡献能达到怎么一个程度，所以本实施例选用两个动态可学习的权重参数，即第一自适应加权参数W₁和第二自适应加权参数W₂，分别作为最短依赖路径和非最短依赖路径最短特征的权重参数，如公式(4)所示，其中，q为辅助特征：

f＝W₁l″+W₂q (4)

是相加融合之后的总的特征向量，具体的流程如图7所示，融合的特征之后经过一层全连接层将特征向量映射到一个固定的长度，这个长度数就是关系的类别数，之后送入到softmax函数中输出对关系类别的预测向量。采用的损失函数可以为多类别的交叉熵损失函数，n表示关系类别数，是样本中的第i个类别所对应的数值，采用one-hot编码，属于该类别的p_i＝1，剩余的p_t＝1，是预测出来的第i个类别的预测值，如公式(5)所示：

需要说明的是，训练的样本中标签的源数据并不是one-hot类型的数据，而是纯文本的格式，需要将转化为序号的形式，然后再按照序号将其编写成n维的one-hot编码，当作之后的训练样本。

综上所述，本实施例提供的一种基于深度神经网络的关系推理方法，整体的网络结构如图8所示，关系推理的流程包括：将样本句通过斯坦福解析器解析成句法依赖树，获得句子中的分词、标注了词性的结果、句法分析树结果和依存句法树的结果，再为树中的词语添加上两个表示位置的信息，将其作为特征输入到特征提取网络中去。然后，再将输入分为两个部分，在最短依赖路径上的实体及其相关信息输入到长短期记忆网络(LSTM)中去提取信息，不在最短路径上的实体及其相关信息输入到卷积神经网络(CNN)中提取信息，得到主干特征和辅助特征。最后，将两个部分的输出加权融合之后经过全连接层输出关系推理结果。

可见，本实施例至少具备以下三个优点：第一，创新性的采用了最短依赖路径和非最短依赖路径的非对等结合的特征提取，分别采用了长短期记忆网络按照中序遍历最短依赖路径树的顺序提取其特征，这个阶段不会相互干扰影响，用多尺寸卷积核乱序提取非最短路径上的特征；第二，为句法依赖树中的词语标记了两个位置信息，采用句法依赖树上实体隐含的位置结构信息和其相对位置信息，将它们显化出来作为实体的特征输入网络；第三，在对这主干特征和辅助特征的相加融合上使用了动态的加权，让网络自适应的学习，这两条路径对最后关系推理的贡献比例。总的来说，这个网络可以更加清晰和更加具有目的性的提取句子中包含的信息，提高了准确率，在一些步骤的简化设计也加快了网络的计算，在训练方面加速网络的收敛，在测试方面，加速了预测结果的产生。

本实施例可应用于多个场景，例如，本实施例可应用于精准营销平台，可以对用户的留言，评论和空间的动态上的语句上面的实体词进行关系推理，再可以对商品的特征产品参数描述语句进行关系推理。最后综合有关用户语句的关系推理结果和商品描述的关系推理结果，根据知识图谱的相关知识，将用户群体和商品群体连接成一个关系网络，找出用户真正想要的商品，挖掘出用户可能需要的商品，对用户的商品推荐模块和广告模块实施商品的精准投放。本实施例还可以用于搜索引擎，当用户输入搜索词，可以推测出搜索词在被搜索的语料库中的句子甚至是段落中的关系，通过这个关系，判断这个页面是否能被作为搜索结果，进而提供更加准确，延展性高的搜索结果。

下面对本申请实施例提供的一种基于深度神经网络的关系推理装置进行介绍，下文描述的一种基于深度神经网络的关系推理装置与上文描述的一种基于深度神经网络的关系推理方法可相互对应参照。如图9所示，该装置具体包括：

句法依赖树构建模块901：用于获取样本句，根据所述样本句构建由多个词语组成的句法依赖树。

特征提取模块902：用于提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征，其中，所述最短依赖路径为所述句法依赖树中待进行关系推理的两个词语之间的路径。

关系推理模块903：用于根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，并根据融合结果得到关系推理结果。

作为一种可选的实施方式，所述装置还包括：

位置信息增加模块904：用于根据所述句法依赖树的结构，为所述句法依赖树中的各个词语增加位置信息，其中，所述位置信息包括第一位置信息和第二位置信息，所述第一位置信息为当前词语到目标词语的路径向量，所述第二位置信息为由当前词语到目标词语的正向路径长度和逆向路径长度组成的二元数组，所述目标词语为所述待进行关系推理的两个词语中预先指定的一个词语。

作为一种可选的实施方式，所述关系推理模块903具体用于：

本实施例的一种基于深度神经网络的关系推理装置用于实现前述的基于深度神经网络的关系推理方法，因此该装置中的具体实施方式可见前文中的基于深度神经网络的关系推理方法的实施例部分，例如，句法依赖树构建模块901、特征提取模块902、关系推理模块903，分别用于实现上述一种基于深度神经网络的关系推理方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的一种基于深度神经网络的关系推理装置用于实现前述的基于深度神经网络的关系推理方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种基于深度神经网络的关系推理设备，如图10所示，该设备包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现如上所述的一种基于深度神经网络的关系推理方法的步骤。

本实施例的一种基于深度神经网络的关系推理设备、计算机可读存储介质用于实现前述的基于深度神经网络的关系推理方法，因此该设备、计算机可读存储介质的具体实施方式可见前文中的基于深度神经网络的关系推理方法的实施例部分，且二者作用与上述方法实施例相对应，这里不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种基于深度神经网络的关系推理方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种基于深度神经网络的关系推理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征，具体包括：

3.如权利要求1所述的方法，其特征在于，所述根据所述样本句构建由多个词语组成的句法依赖树，具体包括：

4.如权利要求1-3任意一项所述的方法，其特征在于，在所述获取样本句，根据所述样本句构建由多个词语组成的句法依赖树之后，且在所述提取所述句法依赖树在最短依赖路径上的主干特征，并提取所述句法依赖树在非最短依赖路径上的辅助特征之前，还包括：

5.如权利要求4所述的方法，其特征在于，所述根据预设融合规则对所述主干特征和所述辅助特征进行特征融合，具体包括：

6.一种基于深度神经网络的关系推理装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

8.如权利要求7所述的装置，其特征在于，所述关系推理模块具体用于：

9.一种基于深度神经网络的关系推理设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-5任意一项所述的一种基于深度神经网络的关系推理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的一种基于深度神经网络的关系推理方法的步骤。