CN113987203A - 一种基于仿射变换与偏置建模的知识图谱推理方法与*** - Google Patents

Abstract

本发明公开了一种基于仿射变换与偏置建模的知识图谱推理方法与***，其获取来自用户的问题(包含实体e和关系r)，输入训练好的知识图谱嵌入模型中，以得到预测结果。本发明给出了实体和关系的具体表示，将实体映射到实域空间，并为每个实体学习一个偏置，用以解决实体不确定性。将关系表示为两个向量，对解决实体不确定性后的头实体进行仿射变换。本发明通过引入偏置和仿射变换来对知识图谱进行建模表示，能够解决当前嵌入模型无法有效地学习和推理知识图谱中各种关系模式的问题，从而能够有效提升实体和关系的表示能力和知识图谱链接预测的准确性。

Description

一种基于仿射变换与偏置建模的知识图谱推理方法与***

技术领域

本发明属于知识图谱嵌入领域，更具体地，涉及一种基于仿射变换与偏置建模的知识图谱推理方法与***。

背景技术

知识图谱(Knowledge Graph,简称KG)是一个由事实三元组组成的多关系有向图。在一个三元组(h,r,t)中，我们分别用h和t表示头实体和尾实体，而r则是头实体和尾实体之间的关系。因此，在一个多关系的有向图中，头实体通过关系指向尾实体。近年来，研究人员构建了许多大规模的知识图谱，如WordNet、YAGO和Freebase，这些图谱捕捉了各个领域的知识。经过预处理，它们可以很好地用于自然语言处理(NLP)的各种下游任务，包括问题回答、推荐和对话***等等。然而，由于现实的复杂性，知识图谱仍然缺乏大量的事实三元组，根据已知的事实三要元组推断实体之间缺失的链接的任务被称为链接预测，它已被广泛用于知识图谱完成(Knowledge Graph Completion,简称KGC)中。

链接预测的一个有效方法是知识图谱嵌入(Knowledge Graph Embedding，简称KGE)。它的关键思想是将KG中的实体和关系映射到一个连续的矢量空间，以简化操作，同时保留知识图谱的固有语义和结构。现有的知识图谱嵌入方法包括浅层语义模型方法和深度学习模型方法；针对基于浅层语义模型的主流方法而言，在初始化实体和向量之后，通过设计一个有效的评分函数，来充分地拟合各种关系模式，保证低复杂度也能得到更好的性能；针对基于深度学习的主流方法而言，通过引入卷积神经网络、注意力机制、图神经网络等优秀的模型，来捕捉实体和关系之间更加丰富的特征，然后使用有效的评分函数进行衡量。

然而，上述知识图谱嵌入方法仍然存在一些不可忽视的缺陷：现有的浅层语义模型虽然开始隐式或显式地对多种关系模式进行建模，但是它们都有局限性，不能将现有的关系模型都进行建模，导致精度偏低；基于深度学习的方法则需要大量的参数和非线性操作，复杂度过大，而且最终评分仍然依赖于浅层语义模型中设计的评分函数。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于仿射变换与偏置建模的知识图谱推理方法与***，其目的在于，解决现有浅层语义模型由于无法将现有的关系模型都进行建模导致精度偏低的技术问题，以及现有基于深度学习的方法由于需要大量的参数和非线性操作，导致复杂度过大，并且最终评分仍然依赖于浅层语义模型中设计的评分函数的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于仿射变换与偏置建模的知识图谱推理方法，包括以下步骤：

(1)获取头实体h和关系r；

(2)将步骤(1)得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表；

(3)将步骤(2)得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与步骤(1)中得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。

优选地，知识图谱嵌入模型是通过以下方法训练得到的：

(2-1)获取知识图谱数据集，并将知识图谱数据集随机划分为训练集、验证集和测试集，每个知识图谱数据是由头实体h、关系r以及尾实体t组成的三元组(h，r，t)构成，所有实体构成实体集合E，所有关系构成关系集合R；

(2-2)对步骤(2-1)得到的训练集中的实体集合E和关系集合R进行随机初始化，以获得每一个实体的嵌入表示和每一个关系的嵌入表示；

(2-3)将步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入模型中，并使用基于自对抗负采样的方法对知识图谱嵌入模型中实体的嵌入表示和关系的嵌入表示进行迭代训练，直到该知识图谱嵌入模型收敛为止，从而得到训练好的知识图谱嵌入模型。

(2-4)根据步骤(2-1)得到的知识图谱验证集对初步训练好的知识图谱嵌入模型进行验证，直到得到的基于自对抗负采样的最小化排名目标达到最优为止，从而得到训练好的知识图谱嵌入模型。

优选地，知识图谱数据集是公开的知识图谱数据集FB15k-237、WN18RR或YAGO3-10。

优选地，步骤(2-2)中，每一个实体和每一个关系的嵌入表示的大小均为2d，d的取值范围为1～1000，每一个嵌入表示均满足均匀分布；其中，实体的前d维嵌入表示为e(h或者t)，后d维嵌入表示为该实体的偏置b_e(b_h或者b_t)；而关系的前d维嵌入表示是该关系的权重w_r，后d维嵌入表示是该关系的偏置b_r；

优选地，步骤(2-3)具体为：

首先，根据步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入构建打分函数：

其中，h表示头实体h的嵌入表示，t表示尾实体t的嵌入表示，b_h表示头实体h的偏置，b_t表示尾实体t的偏置，w_r表示关系r的权重的嵌入表示，b_r表示关系r的偏置的嵌入表示，

表示正则化操作，d_r(h,t)表示头实体h、关系r以及尾实体t组成的三元组对应的分数。

随后，根据步骤(2-1)中得到的训练集中所有三元组构成的三元组集合T构建负三元组集合T′：

其中h′是从实体集合E中随机选择作为头实体、使得其与r、t构成的三元组不属于三元组集合T的一个实体；t′是从E中随机选择作为尾实体、使得其与h、r构成的三元组不属于三元组集合T的一个实体。

然后，根据负三元组集合T′和训练集中的三元组集合T使得基于自对抗负采样的损失函数L最小化，从而得到初步训练好的知识图谱嵌入模型。

优选地，损失函数L具体为：

其中||·||₂表示L₂正则化，[·]表示向量之间的拼接操作，λ是正则项的惩罚因子，其取值范围是0到0.1，γ是边界值，其取值范围是1到24，e表示实体集合E中所有实体的嵌入表示，b_e表示实体集合E中所有实体的偏置的嵌入表示，p(h_j′,r,t_j′)表示第j个(其中j∈[1，num]，num为负三元组集合T′中负三元组的总数)负三元组的采样权重。

优选地，第j个负三元组的采样权重p(h_j′,r,t_j′)的计算公式如下：

其中，α表示自对抗采样温度，当α＝0时，自对抗采样退化为均匀采样，当α>0时，得分越小的负三元组对应的采样权重就越大。

按照本发明的另一方面，提供了一种基于仿射变换与偏置建模的知识图谱推理***，包括：

第一模块，用于获取头实体h和关系r；

第二模块，用于将第一模块得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表。

第三模块，用于将第二模块得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与第一模块得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明由于采用了步骤(2)和(2-2)，其采用浅层语义模型，将加***互的平移属性扩展到仿射变换，同时，为每个实体学习一个偏置向量，以纠正实体的不确定性，使得本发明模型的参数少、复杂度低，可以更好地扩展到大规模的知识图谱，因此能够在保留性能的同时，解决现有基于深度学习的方法由于需要大量的参数和非线性操作，导致复杂度过大，并且最终评分仍然依赖于浅层语义模型中设计的评分函数的技术问题；

(2)本发明由于采用了步骤(2)和(2-3)，其设计了一个有效的评分函数，可以有效地对于对称/反对称、逆、可交换/不可交换组合模式建模，同时对1对1、多对1、1对多和多对多的复杂关系进行建模，从而有效解决现有浅层语义模型由于无法将现有的关系模型都进行建模导致精度偏低的技术问题；

(3)本发明技术方案参数少、复杂度低、性能高，能够充分满足用户的对于知识图谱补全的要求

附图说明

图1是本发明基于仿射变换与偏置建模的知识图谱推理方法的模型示意图；

图2是基线模型的建模能力和本发明模型的建模能力的对比；

图3是本发明在三个经典知识图谱数据集中进行链接预测的示意图；

图4是现有的知识图谱嵌入方法与本发明在三个知识图谱上的来链接预测任务的比较；

图5是现有的经典模型与本发明在复杂关系建模能力上的对比；

图6是本发明基于仿射变换与偏置建模的知识图谱推理方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本思路在于，提供一种高效简单且实用的知识图谱嵌入模型。它将平移模型中的加***互扩展到仿射变换，同时为每个实体学习一个偏置来修正它，通过这些操作，模型可以有效地对现有关系模式进行建模，提高了链接预测的准确性，有效解决知识图谱补全任务，可以更好地应用到下游任务中。

如图1和图6所示，本发明提供了一种基于仿射变换与偏置建模的知识图谱推理方法，具体包括以下步骤：

(1)获取头实体h和关系r；

(2)将步骤(1)得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表；

在本发明得到的分数列表中，体现的是不同分数及其对应的尾实体之间的映射关系。

具体而言，本发明的知识图谱嵌入模型是通过以下方法训练得到的：

(2-1)获取知识图谱数据集，并将知识图谱数据集随机划分为训练集、验证集和测试集，每个知识图谱数据是由头实体h、关系r以及尾实体t组成的三元组(h,r,t)构成，所有实体构成实体集合E，所有关系构成关系集合R；

具体的，本步骤中的知识图谱数据集是公开的知识图谱数据集，如FB15k-237、WN18RR或YAGO3-10。

(2-2)对步骤(2-1)得到的训练集中的实体集合E和关系集合R进行随机初始化，以获得每一个实体的嵌入表示和每一个关系的嵌入表示；

每一个实体和每一个关系的嵌入表示的大小均为2d，d的取值范围为1～1000，优选为500，每一个嵌入表示均满足均匀分布；其中，实体的前d维嵌入表示为e(h或者t)，后d维嵌入表示为该实体的偏置b_e(b_h或者b_t)；而关系的前d维嵌入表示是该关系的权重w_r，后d维嵌入表示是该关系的偏置b_r；

本子步骤的优点在于，将关系初始化为两个向量，如此应用仿射变换能更好地捕捉特征的变化，相较于单个关系向量地普通平移特性，提高了模型预测的准确性；此外，初始化的实体偏置更是有助于解决实体的不确定性问题，用来修正实体潜在的偏差。

(2-3)将步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入模型中，并使用基于自对抗负采样的方法对知识图谱嵌入模型中实体的嵌入表示和关系的嵌入表示进行迭代训练，直到该知识图谱嵌入模型收敛为止，从而得到训练好的知识图谱嵌入模型；

具体而言，自对抗负采样的方法可以参见《ROTATE:KNOWLEDGE GRAPH EMBEDDINGBY RELATIONAL ROTATION IN COMPLEX SPACE》一文。

步骤(2-3)具体为：

首先，根据步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入构建打分函数：

其中，h表示头实体h的嵌入表示，t表示尾实体t的嵌入表示，b_h表示头实体h的偏置，b_t表示尾实体t的偏置，w_r表示关系r的权重的嵌入表示，b_r表示关系r的偏置的嵌入表示，

表示正则化操作，d_r(h,t)表示头实体h、关系r以及尾实体t组成的三元组对应的分数。

随后，根据步骤(2-1)中得到的训练集中所有三元组构成的三元组集合T构建负三元组集合T′：

其中，h′是从实体集合E中随机选择作为头实体，使得其与r、t构成的三元组不属于三元组集合T的一个实体；t′是从E中随机选择作为尾实体，使得其与h、r构成的三元组不属于三元组集合T的一个实体。

知识图谱嵌入模型的神经网络参数都可以通过最小化基于自对抗负采样的损失函数来学习，该目标鼓励正面关系(三元组)的得分高于任何负面关系(三元组)的得分。通常在知识图谱中出现的三元组称为正三元组。因此将步骤(2-1)中获得的训练集中的所有三元组构成的集合视为正三元组集合T，并通过破坏正三元组的头实体或者尾实体来构造负三元组构成的负三元组集合T′。

然后，根据负三元组集合T′和训练集中的三元组集合T使得基于自对抗负采样的损失函数L最小化，从而得到初步训练好的知识图谱嵌入模型，其中损失函数L具体为：

其中||·||₂表示L₂正则化，[·]表示向量之间的拼接操作，λ是正则项的惩罚因子，其取值范围是0到0.1，优选为0.1，将正三元组的分数记为d_r(h,t)，将负三元组的分数记为d_r(h',t')，设置边界值γ，用于判断评分函数的值是否超过边界值γ，若超过表示这个三元组不成立，否则，这个三元组成立，γ的取值范围是1到24，优选为4；e表示实体集合E中所有实体的嵌入表示，b_e表示实体集合E中所有实体的偏置的嵌入表示；

p(h_j′,r,t_j′)表示第j个(其中j∈[1，num]，num为负三元组集合T′中负三元组的总数)负三元组的采样权重，其计算公式如下：

其中，α表示自对抗采样温度，当α＝0时，自对抗采样退化为均匀采样，当α>0时，得分越小的负三元组对应的采样权重就越大。

本子步骤的优点在于，设计了一个扩展性更强的评分函数，它能对现有的各种关系模型进行建模，同时解决复杂关系存在的1对多、多对1和多对多的问题。模型的性能提升在于建模关系模式的能力，本方法因此有效提升了性能。同时为了保证模型的收敛，扩展了自对抗负采样的损失函数，限制实体及其偏置，有效提升了方法稳定性。

(2-4)根据步骤(2-1)得到的知识图谱验证集对初步训练好的知识图谱嵌入模型进行验证，直到得到的基于自对抗负采样的最小化排名目标达到最优为止，从而得到训练好的知识图谱嵌入模型；

(3)将步骤(2)得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与步骤(1)中得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。

本发明在图3所示的三个经典知识图谱数据集中进行链接预测任务，即给定头实体和关系，预测尾实体；或者给定关系和尾实体，预测头实体；或者使用评分函数对测试三元组进行打分排名，评估结果；

本发明评价指标有平均排名(Mean Rank，简称MR)、平均到数排名(MeanReciprocal Rank，简称MRR)和前K个排名的命中率(Hits@K)。更具体而言，MR表示正确三元组在所有预测三元组中的平均排名，MRR表示正确三元组在所有预测三元组中的排名取倒数之后再平均，Hits@K为一个正确三元组在所有预测三元组中前K个的命中率；

一个好的链接预测模型，应该实现更低的MR和更高的MRR和Hits@K。图4显示了本发明和现有模型在过滤设置下的结果。很明显，本模型基本优于现有所有的模型，其证明了本发明能够很好的对知识图谱进行建模。

图5还展示了两个经典模型和本模型在数据集FB15k-237的复杂关系上建模方面的优劣，本模型仅在1对多上稍显逊色，其他方面都得到了不错的提升。

通过对多个先进模型的实验表明，本模型在链接预测上具有较好的性能，能够建模现有的多种关系模式。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，包括以下步骤：

(1)获取头实体h和关系r；

(2)将步骤(1)得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表；

(3)将步骤(2)得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与步骤(1)中得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。

2.根据权利要求1所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，知识图谱嵌入模型是通过以下方法训练得到的：

(2-1)获取知识图谱数据集，并将知识图谱数据集随机划分为训练集、验证集和测试集，每个知识图谱数据是由头实体h、关系r以及尾实体t组成的三元组(h，r，t)构成，所有实体构成实体集合E，所有关系构成关系集合R；

(2-2)对步骤(2-1)得到的训练集中的实体集合E和关系集合R进行随机初始化，以获得每一个实体的嵌入表示和每一个关系的嵌入表示；

(2-3)将步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入模型中，并使用基于自对抗负采样的方法对知识图谱嵌入模型中实体的嵌入表示和关系的嵌入表示进行迭代训练，直到该知识图谱嵌入模型收敛为止，从而得到训练好的知识图谱嵌入模型。

(2-4)根据步骤(2-1)得到的知识图谱验证集对初步训练好的知识图谱嵌入模型进行验证，直到得到的基于自对抗负采样的最小化排名目标达到最优为止，从而得到训练好的知识图谱嵌入模型。

3.根据权利要求1或2所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，知识图谱数据集是公开的知识图谱数据集FB15k-237、WN18RR或YAGO3-10。

4.根据权利要求1至3中任意一项所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，步骤(2-2)中，每一个实体和每一个关系的嵌入表示的大小均为2d，d的取值范围为1～1000，每一个嵌入表示均满足均匀分布；其中，实体的前d维嵌入表示为e(h或者t)，后d维嵌入表示为该实体的偏置b_e(b_h或者b_t)；而关系的前d维嵌入表示是该关系的权重w_r，后d维嵌入表示是该关系的偏置b_r。

5.根据权利要求1或2所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，步骤(2-3)具体为：

首先，根据步骤(2-2)得到的训练集中所有实体的嵌入表示和关系的嵌入构建打分函数：

其中，h表示头实体h的嵌入表示，t表示尾实体t的嵌入表示，b_h表示头实体h的偏置，b_t表示尾实体t的偏置，w_r表示关系r的权重的嵌入表示，b_r表示关系r的偏置的嵌入表示，

表示正则化操作，d_r(h，t)表示头实体h、关系r以及尾实体t组成的三元组对应的分数。

随后，根据步骤(2-1)中得到的训练集中所有三元组构成的三元组集合T构建负三元组集合T′：

其中h′是从实体集合E中随机选择作为头实体、使得其与r、t构成的三元组不属于三元组集合T的一个实体；t′是从E中随机选择作为尾实体、使得其与h、r构成的三元组不属于三元组集合T的一个实体。

然后，根据负三元组集合T′和训练集中的三元组集合T使得基于自对抗负采样的损失函数L最小化，从而得到初步训练好的知识图谱嵌入模型。

6.根据权利要求5所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，其中损失函数L具体为：

其中||·||₂表示L₂正则化，[·]表示向量之间的拼接操作，λ是正则项的惩罚因子，其取值范围是0到0.1，γ是边界值，其取值范围是1到24，e表示实体集合E中所有实体的嵌入表示，b_e表示实体集合E中所有实体的偏置的嵌入表示，p(h′_j,r,t′_j)表示第j个(其中j∈[1，num]，num为负三元组集合T′中负三元组的总数)负三元组的采样权重。

7.根据权利要求5所述的基于仿射变换与偏置建模的知识图谱推理方法，其特征在于，第j个负三元组的采样权重p(h′_j,r,t′_j)的计算公式如下：

其中，α表示自对抗采样温度，当α＝0时，自对抗采样退化为均匀采样，当α>0时，得分越小的负三元组对应的采样权重就越大。

8.一种基于仿射变换与偏置建模的知识图谱推理***，其特征在于，包括：

第一模块，用于获取头实体h和关系r；

第二模块，用于将第一模块得到的头实体h和关系r输入训练好的知识图谱嵌入模型中，以得到对应的分数列表。

第三模块，用于将第二模块得到的分数列表中的所有分数按照从高到低的顺序进行排序之后，取出所有尾实体中的第一个尾实体与第一模块得到的头实体h和关系r一起构成三元组，作为知识图谱推理结果。

Images