CN113553437A - 基于多尺度空洞卷积的时间知识图谱补全方法 - Google Patents

Abstract

本发明涉及种基于多尺度空洞卷积的时间知识图谱补全方法，包括以下步骤：步骤S1:对待处理四元组数据进行处理后，使用LSTM建模时间序列和关系之间的特征表示；步骤S2:根据得到的特征表示，基于多尺度空洞卷积神经网络，获取多尺度特征映射；步骤S3:引入注意力机制帮助模型自适应地调整多尺度特征映射的权重，并得到加权后的特征映射；步骤S4:将得到的特征映射经过拉平操作变成向量，然后经过一个全连接层，将拉平后的向量映射到指定维度，最后与尾实体嵌入进行点积得到四元组的得分。本发明解决了传统卷积神经网络模型实体与关系间交互性差、参数量和计算量大的问题。

Description

基于多尺度空洞卷积的时间知识图谱补全方法

技术领域

本发明涉及知识图谱补全领域，具体涉及一种基于多尺度空洞卷积 的时间知识图谱补全方法。

背景技术

现有的静态知识图谱嵌入模型虽然在知识图谱补全任务中取得 了一定的成效，但是由于模型不考虑时间信息，无法建模随时间变化 的知识。比如(X，presidentOf，USA，2010)这个四元组，由于这 类模型不使用时间，会得到多个答案，比如“Obama”、“Clinton”等， 但实际上该四元组只有一个有效的答案“Obama”。近几年来，卷积神 经网络受到了广大研究学者的关注，它学习非线性特征来捕捉复杂的 关系。受CNN的启发，国内外学者提出了ConvE、InteractE等一系 列将卷积神经网络应用于KGC的模型，它们将卷积核作用于关系和实 体拼接的矩阵中获取特征信息，在静态知识图谱补全任务中取得了较 好的效果。但是这类模型使用单个尺度卷积核不能从不同感受野(即 特征映射上的一个点对应输入图上的区域大小)中获取信息，只能提 取局部特征，这不可避免地丢失了一些重要信息，导致模型不能获取 丰富的特征信息，实体与关系之间的交互性也较差。

发明内容

有鉴于此，本发明的目的在于提供一种基于多尺度空洞卷积的时 间知识图谱补全方法，解决了传统卷积神经网络模型实体与关系间交 互性差、参数量和计算量大的问题

为实现上述目的，本发明采用如下技术方案：

一种基于多尺度空洞卷积的时间知识图谱补全方法，包括以下步 骤：

步骤S1:对待处理四元组数据进行处理后，使用LSTM建模时间 序列和关系之间的特征表示；

步骤S2:根据得到的特征表示，基于多尺度空洞卷积神经网络， 获取多尺度特征映射；

步骤S3:引入注意力机制帮助模型自适应地调整多尺度特征映射 的权重，并得到加权后的特征映射；

步骤S4:将得到的特征映射经过拉平操作变成向量，然后经过一 个全连接层，将拉平后的向量映射到指定维度，最后与尾实体嵌入进 行点积得到四元组的得分。

进一步的，所述步骤S1具体为：

对于输入的四元组(s,r,o,t)，时间戳t将根据年月日划分成时间序 列，时间序列的向量表示为

其中m表示时间序列的长度，d是时间序列的嵌入维度；

将关系表示和时间序列的向量表示组合成LSTM的输入序列，即 X＝{r,τ₁,τ₂,…τ_m}

将X输入到LSTM中得到融合时间信息的关系表示r_t；

将融合时间信息的关系嵌入r_t与头实体嵌入e_s进行形状变换操 作得到他们的2D嵌入表示

和

其中d＝d₁×d₂；

将

和

进行简单的拼接，得到矩阵A，即

进一步的，所述LSTM具体为：

i_n＝σ(h_n-1U_i+x_nW_i)

f_n＝σ(h_n-1U_f+x_nW_f)

o_n＝σ(h_n-1U_o+x_nW_o)

g_n＝tanh(h_n-1U_g+x_nW_g)

其中，x_n是输入序列X的第n个元素的表示，i_n，f_n，o_n分别是第 n个元素的输入门，遗忘门，输出门，g_n是一个中间变量， U_i、U_f、U_o、W_i、W_f、W_o是变换矩阵，c_n和h_n分别是第n个元素的单 元表示和隐藏状态表示，c₀和h₀的值初始化为0；σ是激活函数；将 LSTM最后一层的隐藏状态表示作为最终关系的表示，即r_t＝h_m+1。

进一步的，所述步骤S2具体为：将特征表示A输入到多尺度空 洞卷积神经网络中，通过调整卷积核的空洞率获取不同尺度的卷积核， 然后将不同尺度的卷积核作用于输入特征表示A得到多尺度特征映 射V₁，V₂，……，V_l。

进一步的，所述步骤S3具体为：将步骤S2得到的特征映射 V₁，V₂，……，V_l输入到多尺度注意力模块中，计算特征映射 V₁，V₂，……，V_l对应的权重α₁，α₂，……，α_l，将得到的权重α₁，α₂，……，α_l与输入的特征映射V₁，V₂，……，V_l按元素相乘得到特征映射L₁，L₂，……，L_l，然后将L₁，L₂，……，L_l进行拼接并经过一个变换矩阵 进行降维操作得到最终的特征映射P。

进一步的，所述多尺度注意力模块包括特征聚合子模块和特征选 择子模块。

进一步的，所述特征聚合子模块输入有l个分支，代表l种不同 尺度的卷积核提取的特征映射，将l个分支上的特征映射按位相加， 得到聚合后的特征映射U，即U＝V₁ V₂…… V_l；

在每一个通道使用全局平均池化F_gap获取全局信息

C表 示特征映射的通道个数。q的第c(c∈{1,2,3,.....,C})个元素q_c的计算过程 表示为：

其中，U_c表示特征映射U的第c个通道的表示。

将获取的全局信息q通过一个全连接层F_fc，得到一个压缩的特 征表示

其中C₁是压缩后的维度

z＝F_fc(q)＝W_c(reshape(q))+b_c (5)

其中reshape(·)是形状变换函数，它将q变为C×1大小以便于乘法 操作；

分别表示全连接层的权重矩阵和偏置。

进一步的，所述特征选择子模块将压缩后的特征表示z经过全连 接层FC映射到压缩前的维度：

μ_i＝W_iz+b_i，i∈{1,2,3,……,l} (6)

其中

是全连接层的权重矩阵，

是全连接层的偏 置；

将μ₁，μ₂，……，μ_l经过Softmax函数，得到特征映射V₁，V₂，……，V_l对 应的权重

其中reshape(·)函数将归一化后形状为C×1的权重变为C×1×1大 小；

将得到的权重与对应的特征映射进行元素乘法操作，得到特征映 射L₁，L₂，……，L_l：

L_i＝V_i α_i，i {1,2,3,……,l} (8)

加权后的特征映射通过简单的拼接，然后经过一个变换矩阵映射 到指定维度，得到最终的多尺度融合特征

P＝σ(W[L₁；L₂；……；L_l]+b) (9)

其中σ是激活函数，W，b是变换矩阵和偏置。

进一步的，所述步骤S4具体为：

步骤S41:将多尺度注意力模块计算得到的特征映射P经过拉平 操作变成向量

步骤S42:经过一个全连接层，将拉平后的向量映射到指定维度；

步骤S43:最后与尾实体嵌入进行点积得到四元组的得分。

进一步的，所述步骤S43具体为：

MSDCA的得分函数定义为：

F(s,r,o,t)＝f(IW_fc+b_fc)e_o (10)

其中f(·)表示激活函数Relu，

表示全连接层的变换 矩阵，b_fc是偏置，然后利用Sigmoid函数得到候选实体的概率分布：

p(o|s,r,t)＝sigmoid(F(s,r,o,t)) (11)

使用交叉熵损失函数训练模型，损失函数定义如下：

其中，N是实体个数，G是正确的四元组的集合，G'是通过随机 替换头尾实体得到的不正确的四元组的集合。

本发明与现有技术相比具有以下有益效果：

1、本发明利用LSTM将时间信息融入到模型中，使模型可以建 模动态知识；

2、本发明利用多尺度空洞卷积神经网络获取多尺度信息，不仅 增强了实体、关系和时间三者之间的交互性，帮助模型提取出深层次 语义特征，而且还解决了多尺度卷积神经网络中参数量和计算量过多 的问题，使模型以较少的参数获得了更好的结果。

附图说明

图1是本发明整体框架图；

图2是本发明一实施例中LSTM结构图；

图3是本发明一实施例中关系-时间融合模块；

图4是本发明一实施例中不同空洞率的卷积核；

图5是本发明一实施例中多尺度注意力模块框架图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于多尺度空洞卷积的时间知识图 谱补全方法，由四个部分组成：

(1)关系-时间融合模块：对于输入的四元组(s,r,o,t)，将r的初始 化特征向量r和时间戳t的时间序列向量(τ₁,τ₂，……,τ_m)输入到LSTM中， 学习时间感知的关系表示r_t，将r_t与头实体的向量表示e_s进行2D重塑， 然后拼接得到矩阵A。

(2)多尺度空洞卷积神经网络模块：将矩阵A输入到多尺度空 洞卷积神经网络中，通过调整卷积核的空洞率获取不同尺度的卷积核， 然后将不同尺度的卷积核作用于输入矩阵A得到多尺度特征映射 V₁，V₂，V₃。

(3)多尺度注意力模块：将多尺度特征映射输入到多尺度注意 力模块中，计算不同尺度卷积核提取的特征映射的权重，经过一系列 操作后得到加权后的特征映射P。

(4)输出四元组评分：将得到的带有权重的特征映射P拉平成向 量I，之后经过全连接层将其映射到实体嵌入维度，最后与尾实体矩 阵进行点积并经过Sigmoid函数进行归一化得到四元组的评分。

在本实施例中，给出预设定义：

时间知识图谱G，G＝{E,R,T,F}，其中E是实体的集合，R是关 系的集合，T是时间戳的集合，F为知识的集合。

四元组quaternion，quaternion＝(s,r,o,t)表示一个四元组，s表示头 实体，r表示关系，o表示尾实体，t表示时间戳，其中 s，o E，r R，t T。一个四元组也称为一个事实或一个知识。

实体嵌入表示e_s，

表示头实体s和尾实体o的嵌入表示。 其中N_e，d分别表示实体数量和嵌入维度。

关系嵌入表示，本实施例关系涉及两种嵌入表示：关系r的结构 嵌入表示

关系r融合了时间信息的关系嵌入表示r_t，其中N_r表 示关系数量。

在本实施例中，使用LSTM建模时间序列和关系之间的特征表 示

给定四元组(s,r,o,t)，时间戳t将根据年月日划分成时间序列。时 间戳t有时间点和时间段两种形式。如果t是一个时间点，如 “2020-12-29”，则t被划分成长度为3的时间序列，即seq＝{2020,12,29}； 如果时间戳t是一个时间段，如“[2010-05-12，2020-##-##]”，则t被 划分成长度为6的时间序列，即seq＝{2010,05,12,2020,##,##}。

时间序列的向量表示为

其中m表示时 间序列的长度，d是时间序列的嵌入维度。将关系表示和时间序列的 向量表示组合成LSTM的输入序列，即X＝{r,τ₁,τ₂,…τ_m}。

将X输入到LSTM中得到融合时间信息的关系表示r_t，LSTM结 构图如图2所示，公式为：

其中，x_n是输入序列X的第n个元素的表示，i_n，f_n，o_n分别是第 n个元素的输入门，遗忘门，输出门，g_n是一个中间变量， U_i、U_f、U_o、W_i、W_f、W_o是变换矩阵，c_n和h_n分别是第n个元素的单 元表示和隐藏状态表示，c₀和h₀的值初始化为0。σ是激活函数。我 们将LSTM最后一层的隐藏状态表示作为最终关系的表示，即r_t＝h_m+1。

将融合时间信息的关系嵌入r_t与头实体嵌入e_s进行形状变换操 作(reshape)得到他们的2D嵌入表示

和

其中 d＝d₁×d₂。最后将

和

进行简单的拼接，得到矩阵A，即

关系-时间融合模块的框架图如图3所示。

在本实施例中，本实施例使用空洞卷积来获取多尺度信息：

空洞卷积通过设置空洞率(即卷积核中填充的空格数)来增大卷 积核的大小。如图4所示，对于一个2×2的卷积核，(a)是空洞率a＝1 的空洞卷积，即标准卷积，标准卷积是空洞卷积的一个特例；(b)是空 洞率a＝2的空洞卷积，此时卷积核大小放大为3×3，图中白色部分为 填充的空洞部分，填充内容为0。同理，(c)的卷积核扩大为4×4。定 义空洞卷积的等效卷积核大小k'为：

k'＝k+(k-1)×(a-1) 公式(2)

其中k是标准卷积核的大小，a是空洞率。

空洞卷积虽然通过设置空洞率改变了卷积核的大小，但是由于填 充部分数值为0，实际参与计算的仍然是图5中的蓝色部分，因此计 算量和参数量没有增大，但是感受野会随着空洞率的变化而变化，通 过改变空洞率可以获取不同感受野的信息。

给定四元组(s,r,o,t)，得到融合了时间信息的矩阵

我们通 过对卷积核设置三个不同的空洞率，得到了三个不同尺度的卷积核 ω₁，ω₂，ω₃，每种尺度的卷积核数量为C。定义第i(i＝1,2,3)种尺度的 第j(j∈{1,2,3,.....,C})个卷积核

产生的特征映射

为：

其中*表示卷积操作，f(·)是激活函数，如Relu等，b_i是偏置。 由此我们得到了输入A经过不同尺度卷积核提取的特征映射

在本实施例中，引入注意力机制帮助模型自适应地调整多尺度 特征信息的权重。基于SKNet的多尺度注意力模块框架图如图5所 示；将节得到的特征映射V₁，V₂，V₃输入到多尺度注意力模块中，计 算特征映射V₁，V₂，V₃对应的权重α₁，α₂，α₃，将得到的权重α₁，α₂，α₃与输入的特征映射V₁，V₂，V₃按元素相乘得到特征映射L₁，L₂，L₃，然 后将L₁，L₂，L₃进行拼接并经过一个变换矩阵进行降维操作得到最终 的特征映射P。多尺度注意力模块主要包括两个部分——特征聚合和 特征选择。

优选的，在本实施例中，特征聚合如图5所示，输入有三个分支， 代表三种不同尺度的卷积核提取的特征映射，我们将三个分支上的特 征映射按位相加，得到聚合后的特征映射U，即U＝V₁ V₂ V₃。然后 在每一个通道使用全局平均池化F_gap获取全局信息

C表示特 征映射的通道个数。q的第c(c∈{1,2,3,.....,C})个元素q_c的计算过程表示 为：

其中，U_c表示特征映射U的第c个通道的表示。

将获取的全局信息q通过一个全连接层F_fc，得到一个压缩的特 征表示

其中C₁是压缩后的维度。

z＝F_fc(q)＝W_c(reshape(q))+b_c 公式(5)

其中reshape(·)是形状变换函数，它将q变为C×1大小以便于乘法 操作。

分别表示全连接层的权重矩阵和偏置。

优选的的，在本实施例中，特征选择将压缩后的特征表示z经过 全连接层FC映射到压缩前的维度：

μ₁＝W₁z+b₁，μ₂＝W₂z+b₂，μ₃＝W₃z+b₃ 公式 (6)

其中W₁，W₂，

是全连接层的权重矩阵，b₁，b₂，

是 全连接层的偏置。使用两个全连接层对q先降维再升维，可以让模型 更具有非线性，能够更好地拟合不同尺度的卷积核提取的特征映射之 间的复杂关系。此外，与只使用一个全连接层相比，大大地减少了模 型的参数量和计算量。

将μ₁，μ₂，μ₃经过Softmax函数，得到特征映射V₁，V₂，V₃对应的权 重

其中reshape(·)函数将归一化后形状为C×1的权重变为C×1×1大 小。将得到的权重与对应的特征映射进行元素乘法操作，得到特征映 射L₁，L₂，L₃：

加权后的特征映射通过简单的拼接，然后经过一个变换矩阵映射 到指定维度，得到最终的多尺度融合特征

P＝σ(W[L₁；L₂；L₃]+b) 公式(9)

其中σ是激活函数，W，b是变换矩阵和偏置。

在本实施例中，将多尺度注意力模块计算得到的特征映射P经过 拉平操作变成向量

然后经过一个全连接层，将拉平后 的向量映射到指定维度。最后与尾实体嵌入进行点积得到四元组的得 分。

优选的，MSDCA的得分函数定义为：

F(s,r,o,t)＝f(IW_fc+b_fc)e_o 公式(10)

其中f(·)表示激活函数Relu，

表示全连接层的变换矩阵，b_fc是偏置，然后利用Sigmoid函数(它将得分映射到0-1区间)得到候 选实体的概率分布：

p(o|s,r,t)＝sigmoid(F(s,r,o,t)) 公式(11)

使用交叉熵损失函数训练模型，损失函数定义如下：

其中，N是实体个数，G是正确的四元组的集合，G'是通过随机替换 头尾实体得到的不正确的四元组的集合。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所 做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，包括以下步骤：

步骤S1:对待处理四元组数据进行处理后，使用LSTM建模时间序列和关系之间的特征表示；

步骤S2:根据得到的特征表示，基于多尺度空洞卷积神经网络，获取多尺度特征映射；

步骤S3:引入注意力机制帮助模型自适应地调整多尺度特征映射的权重，并得到加权后的特征映射；

步骤S4:将得到的特征映射经过拉平操作变成向量，然后经过一个全连接层，将拉平后的向量映射到指定维度，最后与尾实体嵌入进行点积得到四元组的得分。

2.根据权利要求1所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述步骤S1具体为：

对于输入的四元组(s,r,o,t)，时间戳t将根据年月日划分成时间序列，时间序列的向量表示为

其中m表示时间序列的长度，d是时间序列的嵌入维度；

将关系表示和时间序列的向量表示组合成LSTM的输入序列，即X＝{r,τ₁,τ₂,…τ_m}

将X输入到LSTM中得到融合时间信息的关系表示r_t；

将融合时间信息的关系嵌入r_t与头实体嵌入e_s进行形状变换操作得到他们的2D嵌入表示

和

其中d＝d₁×d₂；

将

和

进行简单的拼接，得到矩阵A，即

3.根据权利要求1所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述LSTM具体为：

i_n＝σ(h_n-1U_i+x_nW_i)

f_n＝σ(h_n-1U_f+x_nW_f)

o_n＝σ(h_n-1U_o+x_nW_o)

g_n＝tanh(h_n-1U_g+x_nW_g)

其中，x_n是输入序列X的第n个元素的表示，i_n，f_n，o_n分别是第n个元素的输入门，遗忘门，输出门，g_n是一个中间变量，U_i、U_f、U_o、W_i、W_f、W_o是变换矩阵，c_n和h_n分别是第n个元素的单元表示和隐藏状态表示，c₀和h₀的值初始化为0；σ是激活函数；将LSTM最后一层的隐藏状态表示作为最终关系的表示，即r_t＝h_m+1。

4.根据权利要求1所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述步骤S2具体为：将特征表示A输入到多尺度空洞卷积神经网络中，通过调整卷积核的空洞率获取不同尺度的卷积核，然后将不同尺度的卷积核作用于输入特征表示A得到多尺度特征映射V₁，V₂，……，V_l。

5.根据权利要求1所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述步骤S3具体为：将步骤S2得到的特征映射V₁，V₂，……，V_l输入到多尺度注意力模块中，计算特征映射V₁，V₂，……，V_l对应的权重α₁，α₂，……，α_l，将得到的权重α₁，α₂，……，α_l与输入的特征映射V₁，V₂，……，V_l按元素相乘得到特征映射L₁，L₂，……，L_l，然后将L₁，L₂，……，L_l进行拼接并经过一个变换矩阵进行降维操作得到最终的特征映射P。

6.根据权利要求5所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述多尺度注意力模块包括特征聚合子模块和特征选择子模块。

7.根据权利要求6所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述特征聚合子模块输入有l个分支，代表l种不同尺度的卷积核提取的特征映射，将l个分支上的特征映射按位相加，得到聚合后的特征映射U，即U＝V₁ V₂ …… V_l；

在每一个通道使用全局平均池化F_gap获取全局信息

C表示特征映射的通道个数；q的第c(c∈{1,2,3,.....,C})个元素q_c的计算过程表示为：

其中，U_c表示特征映射U的第c个通道的表示。

将获取的全局信息q通过一个全连接层F_fc，得到一个压缩的特征表示

其中C₁是压缩后的维度

z＝F_fc(q)＝W_c(reshape(q))+b_c (5)

其中reshape(·)是形状变换函数，它将q变为C×1大小以便于乘法操作；

分别表示全连接层的权重矩阵和偏置。

8.根据权利要求6所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述特征选择子模块将压缩后的特征表示z经过全连接层FC映射到压缩前的维度：

μ_i＝W_iz+b_i，i∈{1,2,3,……,l} (6)

其中

是全连接层的权重矩阵，

是全连接层的偏置；

将μ₁，μ₂，……，μ_l经过Softmax函数，得到特征映射V₁，V₂，……，V_l对应的权重

其中reshape(·)函数将归一化后形状为C×1的权重变为C×1×1大小；

将得到的权重与对应的特征映射进行元素乘法操作，得到特征映射L₁，L₂，……，L_l：

L_i＝V_i α_i，i{1,2,3,……,l} (8)

加权后的特征映射通过简单的拼接，然后经过一个变换矩阵映射到指定维度，得到最终的多尺度融合特征

P＝σ(W[L₁；L₂；……；L_l]+b) (9)

其中σ是激活函数，W，b是变换矩阵和偏置。

9.根据权利要求1所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述步骤S4具体为：

步骤S41:将多尺度注意力模块计算得到的特征映射P经过拉平操作变成向量

步骤S42:经过一个全连接层，将拉平后的向量映射到指定维度；

步骤S43:最后与尾实体嵌入进行点积得到四元组的得分。

10.根据权利要求9所述的基于多尺度空洞卷积的时间知识图谱补全方法，其特征在于，所述步骤S43具体为：

MSDCA的得分函数定义为：

F(s,r,o,t)＝f(IW_fc+b_fc)e_o (10)

其中f(·)表示激活函数Relu，

表示全连接层的变换矩阵，b_fc是偏置，然后利用Sigmoid函数得到候选实体的概率分布：

p(o|s,r,t)＝sigmoid(F(s,r,o,t)) (11)

使用交叉熵损失函数训练模型，损失函数定义如下：

其中，N是实体个数，G是正确的四元组的集合，G'是通过随机替换头尾实体得到的不正确的四元组的集合。

Images