CN111159425A - 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 - Google Patents

Abstract

本发明公开了一种基于历史关系和双图卷积网络的时态知识图谱表示方法，包括：1)对时态知识图谱中的数据进行预处理，提取事件和历史关系；2)构建原图和边图分别表示实体之间和历史关系之间的交互；3)利用参数确定的基于时间自注意力机制的历史关系编码器对原图构建多范围时间依赖关系，获得历史关系表示；4)利用参数确定的双图卷积网络根据历史关系表示、原图和边图获得实体表示；5)利用参数确定的语义匹配模型根据实体表示和历史关系预测实体间未来一段时间发生的关系，根据该未来一段时间可能发生的关系可以构建新时态知识图谱。该时态知识图谱表示方法提升了模型性能，在国际关系预测、社会网络分析等领域具有广阔的应用前景。

Description

一种基于历史关系和双图卷积网络的时态知识图谱表示方法

技术领域

本发明涉及时态知识图谱表示领域，具体涉及一种基于历史关系和双图卷积网络的时态知识图谱表示方法。

背景技术

时态知识图谱包含大量具有时间标记的知识，可以被看作一个多关系图，被广泛应用于国际关系预测、社交网络分析等领域。全球事件知识图谱(Global Database ofEvents,Language,and Tone,GDELT)和冲突事件知识图谱(Integrated Crisis EarlyWarning System,ICEWS)是典型的基于事件的时态知识图谱，以事件四元组(头实体、关系、尾实体、时间戳)的形式表示随着时间变化的知识。时态知识图谱表示学习通过引入时间信息，将知识图谱中的实体和关系映射成低维、连续的向量表示，对于时态知识图谱补全有着重要意义。

传统的时态知识图谱表示学***面、向量表示或固定格式的编码。这些方法只是将对应的时间戳嵌入到低维向量空间，忽略了时间依赖。为了解决这一问题，研究人员提出基于序列学习模型的时态知识图谱表示学习方法来建模时间依赖。

基于序列学习模型的时态知识图谱表示学习方法利用序列学习模型建模时间依赖，具体可以分为两小类。第一类是利用循环神经网络(Recurrent Neural Network,RNN)建模给定实体对的关系序列，可以得到到实体的表示。然而，这类方法忽略了不同实体之间同时发生的交互。第二类是利用门控循环单元(Gated Recurrent Unit,GRU)建模给定头实体和关系的尾实体序列，并设计了三种不同的聚合方式得到实体基于邻居的表示。然而，这类方法不能考虑不同关系的影响。另外，现有时态知识图谱表示学习方法忽略了关系之间的交互，尤其是历史关系(即实体对之间带有时间戳的关系序列)之间的交互。

发明内容

本发明要解决的技术问题是如何同时考虑实体之间和历史关系之间的交互获得时态知识图谱表示。

为解决上述问题，本发明提供了一种基于历史关系和双图卷积网络的时态知识图谱表示方法，包括以下步骤：

1)对时态知识图谱中的数据进行预处理，提取事件和历史关系；

2)构建原图和边图分别表示实体之间和历史关系之间的交互，其中，将实体作为节点，将实体之间的历史关系作为边，构造原图；将原图的边看作节点，将历史关系之间的相互影响作为边，构造边图；

3)利用参数确定的基于时间自注意力机制的历史关系编码器对原图构建多范围时间依赖关系，获得历史关系表示；

4)利用参数确定的双图卷积网络根据历史关系表示、原图和边图获得实体表示；

5)利用参数确定的语义匹配模型根据实体表示和历史关系预测实体间未来一段时间发生的关系，根据该未来一段时间可能发生的关系可以构建新时态知识图谱。

本发明通过构造原图和边图，并引入双图卷积网络进行表示学习，可以同时捕捉实体之间和历史关系的交互，提升模型的性能。与现有方法相比，其优点在于：

1)引入基于时间自注意力机制的历史关系编码器以建模多范围时间依赖关系。

2)根据历史关系构造原图，根据边之间的相互影响构造边图，引入双图卷积网络以建模实体之间和历史关系之间的交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为实施例提供的基于历史关系和双图卷积网络的时态知识图谱表示方法的流程图；

图2为实施例提供的基于时间自注意力机制的历史关系编码器结构示意图；

图3为实施例提供的双图卷积网络的框架图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1为实施例提供的基于历史关系和双图卷积网络的时态知识图谱表示方法的流程图。参见图1，该时态知识图谱表示方法包括数据预处理、原图和边图构建、时态知识图谱表示学习以及应用阶段，应用阶段与数据预处理、原图和边图构建、时态知识图谱表示学习类似，因此图1中未显示，下面针对每个阶段进行详细说明。

数据预处理阶段

数据预处理的具体流程如下：

步骤1-1，输入时态知识图谱TKB，提取事件，得到事件集合。

时态知识图谱TKB中包含大量具有时间标注的知识，对时态知识图谱TKB进行事件提取组成事件集合。事件以四元组(s,r,o,t)的形式表示，其中，s表示头实体，r表示关系，o表示尾实体，t表示时间戳。

代表实体集合，且

代表关系集合，且

T代表时间戳集合，且t∈T。

步骤1-2，通过头尾实体组成的实体对遍历事件集合提取历史关系，得到完整训练数据集。

历史关系是实体对之间带有时间戳的关系序列。在此步骤中，通过实体对(s,o)遍历事件集合，提取历史关系h，其形式化表示为h＝{(r₁,t₁),…(r_i,t_i),(r_j,t_j)}，其中，t_i<t_j，表示关系r_i比关系r_j先发生。

原图和边图构建阶段

原图和边图构建的具体流程如下：

步骤2-1，将实体看作节点，将历史关系作为边，根据历史关系构造原图G＝(V,E,A)。

其中，V表示节点集合(即实体集合)，E表示边集合(即历史关系集合)，A表示原图的邻接矩阵。如果两个实体之间存在历史关系，则认为它们之间存在一条边，原图的邻接矩阵A计算公式如下：

其中，A_i,j表示了实体之间的连通性。

步骤2-2，将原图中的边看作节点，将根据原图的边之间是否连通来定义边，构造边图G^edge＝(V^edge,E^edge,A^edge)。V^edge表示节点集合(即历史关系集合)，E^edge表示边集合，边图的边根据原图的边之间是否连通来定义(即根据历史关系之间是否连通来定义)，A^edge表示边图的邻接矩阵。

在此步骤中，边图是原图通过转换得到的，边图的节点为原图的边，边图中边根据原图的边之间是否连通来定义，定义规则为：如果原图中的两条边共享一个顶点，即表示原图中的两个边之间连通，那么边图中的两个节点之间存在一条边。边图的邻接矩阵A^edge计算公式如下：

其中，A^edge _i→j,u→v≠0表示历史关系i→j和u→v之间连通，权重w_i→j,u→v表示历史关系(即原图中的两条边)之间的影响程度，影响程度由共享顶点在原图中的度决定，共享顶点的度数越大，边i→j对边u→v的影响就越小，反之，越大。权重w_i→j,u→v的计算公式如下：

其中，α为超参数，且0<α<0.5。

时态知识图谱表示学习阶段

时态知识图谱表示学习阶段的具体流程如下：

步骤3-1，对训练数据集按照固定的大小采样Z次，每次采样一个子图，包含P个表示实体的节点、和节点之间表示历史关系的所有边，对于每个子图，执行步骤3-2～步骤3-5。

步骤3-2，对于子图中的历史关系h，利用基于时间自注意力机制的历史关系编码器建模多范围时间依赖关系，得到历史关系的表示h。

自注意力机制可以建模序列中各部分的上下文关系，为不同部分分配权重。如图2所示，基于时间自注意力机制的历史关系编码器以自注意力机制为组件，由基于时间的块内自注意力机制和基于时间的块间自注意力机制组成，可以同时建模局部时间依赖关系和全局时间依赖关系。

在此步骤中，将历史关系h＝{(r₁,t₁),…(r_i,t_i),(r_j,t_j)}拆分成M块，其形式化定义为h＝[z₁,z₂,…,z_M]。每块包含N个关系，例如，第一块形式化定义为z₁＝{(r₁,t₁),…(r_N-1,t_N-1),(r_N,t_N)}。基于时间的块内自注意力机制为块内每个关系分配权重

以第一块为例，计算公式如下：

其中，W^intra、

为可学习的参数，σ(·)为激活函数，

b^intra为偏置量，p_i为第一块中每个关系和关系r_i之间的相对时间，p_i＝{(t₁-t_i),…(t_N-1-t_i),(t_N-t_i)}，r_i是关系r_i的表示，通过随机初始化得到，将块内每个关系加权求和，可以得到每个块的表示z_k，以第一块为例，计算公式如下：

基于时间的块间自注意力机制为每个块分配权重

计算公式如下：

其中，W^inter、

为可学习的参数，σ(·)为激活函数，

b^inter为偏置量，q_k为每个块中第一个关系和块z_k中第一个关系的相对时间，

为块z_k中第一个关系的时间，

为块z_M中第一个关系的时间，将每个块的表示加权求和可以得到每个历史关系的表示h：

步骤3-3，将所有历史关系表示h的集合、原图和边图的邻接矩阵A和A^edge一起输入双图卷积网络，通过建模实体之间和历史关系之间的交互，得到每个节点的表示(即实体的表示)。

图卷积网络(GCN)是一种在图上进行卷积操作的深度神经网络，可以建模节点间的消息传递，被广泛用于交通预测、图像分类等领域。使用的图卷积网络计算公式如下：

其中，gc(·)表示图卷积操作，X为输入的节点表示，

为归一化图拉普拉斯矩阵，

I为单位矩阵，D为节点的对角化度矩阵，即D_ii＝∑_jA_ij。

表示激活函数，这里采用ReLU作为激活函数，θ为图卷积网络的参数。一层图卷积网络可以为每个节点聚合1跳邻居的消息，通过堆叠多层图卷积网络可以扩大消息传递的邻居范围。如图3所示，双图卷积网络以图卷积网络为组件，包含了k层原图卷积网络和k-1层边图卷积网络，可以同时建模实体之间和历史关系之间的交互。

在此步骤中，首先构建节点-边指示矩阵M^ne来表示原图和边图融合时原图节点和边的对应关系。节点-边指示矩阵M^ne计算公式如下：

然后将历史关系表示h的集合、原图的邻接矩阵A、边图的邻接矩阵A^edge、节点-边指示矩阵M^ne输入到双图卷积网络中，得到节点的表示(即实体的表示)。

在原图卷积网络中，k层的输入是k-1层的原图卷积网络的输出X^(k-1)和k-1层的边图卷积网络的输出Y^(k-1)，第一层除外。计算公式如下：

其中，X⁽⁰⁾为原图节点的初始表示，通过随机初始化得到，

为原图的拉普拉斯矩阵。θ_node ^(k-1)为第k-1层原图卷积的参数，θ_en ^(k-1)为第k-1层边图-原图融合卷积的参数，[·,·]表示拼接操作，

表示对拼接结果进行激活；

在边图卷积网络中，k-1层的输入是k-2层的边图卷积网络的输出Y^(k-2)和k-1层的原图卷积网络的输出X^(k-1)，第一层除外。计算公式如下：

其中，Y⁽⁰⁾为边图节点的初始表示，

为边图的归一化拉普拉斯矩阵，Y⁽⁰⁾由历史关系表示h经过线性转换得到，θ_edge ^(k-2)为第k-2层边图卷积的参数，θ_en ^(k-1)为第k-1层原图-边图融合卷积的参数。

步骤3-4，根据步骤3-3输出的实体表示，利用基于语义匹配模型预测实体对在未来一段时间内可能存在的关系。

语义匹配模型采用DistMult模型，DistMult模型是一个知识图谱表示学习模型，通过双线性函数衡量实体对和每个关系的匹配程度。即利用DistMult模型获得匹配得分，DistMult模型得分函数定义如下：

f(s,r,o)＝(s^TM_ro) (16)

其中，s和o代表头实体和尾实体的表示，由双图卷积网络输出得到；M_r为每个关系对应的对角矩阵，M_r＝diag(m_r)，diag()将向量m_r转换为对角矩阵M_r，其中，m_r＝Mh_r，h_r为实体对(s,o)的历史关系表示，M为可学习的权重矩阵。利用DistMult模型进行语义匹配，可以预测出实体对之间在未来一段时间可能发生的关系r，且

步骤3-5，对于该子图中所有训练样本，用随机替换头尾实体的方法生成负样本，并计算该子图中所有样本的预测损失，然后根据损失函数，对基于时间自注意力机制的历史关系编码器、双图卷积网络以及语义匹配模型的网络参数进行调整。

在此步骤中，根据预测结果，计算子图中所有样本的交叉熵损失，计算公式如下：

其中，D为正负样本的集合，对于正样本(s,r,o)，负样本通过随机替换s和o得到。Sig(·)为sigmoid函数，y取值为{0，1}，正样本的y取值为1，负样本为0。

应用阶段

在确定基于时间自注意力机制的历史关系编码器、双图卷积网络以及语义匹配模型的网络参数后，即构建好包含网络参数确定的基于时间自注意力机制的历史关系编码器、双图卷积网络以及语义匹配模型的模型后，即可进行实体之间未来关系的预测，具体过程为：

(a)对时态知识图谱中的数据进行预处理，提取事件和历史关系；

(b)按照步骤2-1和2-2构建原图和边图；

(c)利用参数确定的基于时间自注意力机制的历史关系编码器对原图构建多范围时间依赖关系，获得历史关系表示；

(d)利用参数确定的双图卷积网络根据历史关系表示、原图和边图获得实体表示；

(e)利用参数确定的语义匹配模型根据实体表示和历史关系预测实体间未来一段时间发生的关系，根据该未来一段时间可能发生的关系可以构建新时态知识图谱。

具体地，利用参数确定的语义匹配模型根据实体表示和历史关系表示计算匹配得分，根据匹配得分预测未来一段时间可能发生的关系，即可以选取匹配得分较大的一部分对应的关系为未来一段时间可能发生的关系；根据该未来一段时间可能发生的关系可以构建新时态知识图谱。

上述时态知识图谱表示方法通过构造原图和边图，并引入双图卷积网络进行表示学习，可以利用实体之间和历史关系之间的相关性，提升了模型性能，即提升了未来一段时间可能发生的关系的预测准确性，在国际关系预测、社会网络分析等领域具有广阔的应用前景。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于历史关系和双图卷积网络的时态知识图谱表示方法，包括以下步骤：

1)对时态知识图谱中的数据进行预处理，提取事件和历史关系；

2)构建原图和边图分别表示实体之间和历史关系之间的交互，其中，将实体作为节点，将实体之间的历史关系作为边，构造原图；将原图的边看作节点，将历史关系之间的相互影响作为边，构造边图；

3)利用参数确定的基于时间自注意力机制的历史关系编码器对原图构建多范围时间依赖关系，获得历史关系表示；

4)利用参数确定的双图卷积网络根据历史关系表示、原图和边图获得实体表示；

5)利用参数确定的语义匹配模型根据实体表示和历史关系预测实体间未来一段时间发生的关系，根据该未来一段时间可能发生的关系可以构建新时态知识图谱。

2.如权利要求1所述的基于历史关系和双图卷积网络的时态知识图谱表示方法，其特征在于，步骤3)中，基于时间自注意力机制的历史关系编码器以自注意力机制为组件，由基于时间的块内自注意力机制和基于时间的块间自注意力机制组成，可以同时建模局部时间依赖关系和全局时间依赖关系；

将历史关系h＝{(r₁,t₁),…(r_i,t_i),(r_j,t_j)}拆分成M块，其形式化定义为h＝[z₁,z₂,…,z_M]。每块包含N个关系，例如，第一块形式化定义为z₁＝{(r₁,t₁),…(r_N-1,t_N-1),(r_N,t_N)}。基于时间的块内自注意力机制为块内每个关系分配权重

以第一块为例，计算公式如下：

其中，W^intra、

为可学习的参数，σ(·)为激活函数，

b^intra为偏置量，p_i为第一块中每个关系和关系r_i之间的相对时间，p_i＝{(t₁-t_i),…(t_N-1-t_i),(t_N-t_i)}，r_i是关系r_i的表示，通过随机初始化得到，将块内每个关系加权求和，可以得到每个块的表示z_k，以第一块为例，计算公式如下：

基于时间的块间自注意力机制为每个块分配权重

计算公式如下：

其中，W^inter、

为可学习的参数，σ(·)为激活函数，

b^inter为偏置量，q_k为每个块中第一个关系和块z_k中第一个关系的相对时间，

为块z_k中第一个关系的时间，

为块z_M中第一个关系的时间，将每个块的表示加权求和可以得到每个历史关系的表示h：

3.如权利要求1所述的基于历史关系和双图卷积网络的时态知识图谱表示方法，其特征在于，步骤4)中，首先构建节点-边指示矩阵M^ne来表示原图和边图融合时原图节点和边的对应关系，节点-边指示矩阵M^ne计算公式如下：

然后将历史关系表示h的集合、原图的邻接矩阵A、边图的邻接矩阵A^edge、节点-边指示矩阵M^ne输入到双图卷积网络中，得到节点的表示；

在原图卷积网络中，k层的输入是k-1层的原图卷积网络的输出X^(k-1)和k-1层的边图卷积网络的输出Y^(k-1)，第一层除外；计算公式如下：

其中，X⁽⁰⁾为原图节点的初始表示，通过随机初始化得到，

为原图的拉普拉斯矩阵，θ_node ^(k-1)为第k-1层原图卷积的参数，θ_en ^(k-1)为第k-1层边图-原图融合卷积的参数，[·,·]表示拼接操作，

表示对拼接结果进行激活；

在边图卷积网络中，k-1层的输入是k-2层的边图卷积网络的输出Y^(k-2)和k-1层的原图卷积网络的输出X^(k-1)，第一层除外，计算公式如下：

其中，Y⁽⁰⁾为边图节点的初始表示，

为边图的归一化拉普拉斯矩阵，Y⁽⁰⁾由历史关系表示h经过线性转换得到，θ_edge ^(k-2)为第k-2层边图卷积的参数，θ_en ^(k-1)为第k-1层原图-边图融合卷积的参数。

4.如权利要求1所述的基于历史关系和双图卷积网络的时态知识图谱表示方法，其特征在于，步骤5)中，利用参数确定的语义匹配模型根据实体表示和历史关系表示计算匹配得分，根据匹配得分预测未来一段时间可能发生的关系。

5.如权利要求4所述的基于历史关系和双图卷积网络的时态知识图谱表示方法，其特征在于，语义匹配模型采用DistMult模型，利用利用DistMult模型获得匹配得分，DistMult模型得分函数定义如下：

f(s,r,o)＝(s^TM_ro)

其中，s和o代表头实体和尾实体的表示，由双图卷积网络输出得到；M_r为每个关系对应的对角矩阵，M_r＝diag(m_r)，diag()将向量m_r转换为对角矩阵M_r，其中，m_r＝Mh_r，h_r为实体对(s,o)的历史关系表示，M为权重矩阵。

6.如权利要求4所述的基于历史关系和双图卷积网络的时态知识图谱表示方法，其特征在于，训练时，计算子图中所有样本的交叉熵损失，计算公式如下：

其中，D为正负样本的集合，对于正样本(s,r,o)，负样本通过随机替换s和o得到。Sig(·)为sigmoid函数，y取值为{0，1}，正样本的y取值为1，负样本为0；

根据损失函数，对基于时间自注意力机制的历史关系编码器、双图卷积网络以及语义匹配模型的网络参数进行调整，确定参数。

Images