CN108052683B - 一种基于余弦度量规则的知识图谱表示学习方法 - Google Patents

Abstract

本发明公开一种基于余弦度量规则的知识图谱表示学习方法，首先将知识图谱中的实体与关系随机嵌入到两个向量空间；其次利用候选实体统计规则，统计相关关系对应的三元组集与候选实体向量集；再次利用余弦相似度构造目标向量与候选实体的评分函数，对候选实体进行评价；最后利用损失函数将所有相关关系的候选实体向量与目标向量进行统一训练，并通过随机梯度下降算法最小化损失函数。当达到优化目标时，即可获得知识图谱中每个实体向量和关系向量的最佳表示，从而更好的表示实体与关系之间的联系，并能够很好的应用于大规模的知识图谱补全当中。

Description

一种基于余弦度量规则的知识图谱表示学习方法

技术领域

本发明涉及知识图谱技术领域，具体涉及一种基于余弦度量规则的知识图谱表示学习方法。

背景技术

随着大数据时代的到来，数据的红利使人工智能技术得到了前所未有飞速发展。以知识图谱为主要代表的知识工程以及表示学习为主要代表的机器学习等相关领域得到了长足进步。一方面，随着表示学习对大数据红利的消耗殆尽，使得表示学习模型效果趋于瓶颈。另一方面，伴随这大量的知识图谱不断涌现，而这些蕴含这大量的人类先验知识宝库却仍未被表示学习有效的利用。融合知识图谱与表示学习成为了进一步提高表示学习模型效果的重要思路之一。以知识图谱为代表的符号主义、以表示学习为代表的联结主义，日益脱离原先各自独立发展的轨道，走上协同并进的新道路。

知识图谱本质上是一种语义网络，表达了各类实体、概念及其之间的语义关系。相对于传统知识表示形式(诸如本体、传统语义网络)，知识图谱具有实体/概念覆盖率高、语义关系多样、结构友好(通常表示为RDF格式)以及质量较高等优势，从而使得知识图谱日益成为大数据时代和人工智能时代最为主要的知识表示方式。

三元组是知识图谱的一种通用的表示形式，三元组的基本形式包括(实体1，关系，实体2)和(概念，属性，属性值)等，实体是知识图谱中最基本的元素，不同实体之间存在不同的关系。概念主要包括集合、对象类型、事物种类，如地理、人物等；属性是指对象具有的属性特征、特性，如国籍出生日期；属性值则是指属性所对应的值，如中国，1993-01-12等。通常使用(head,relation,tail)(简写为(h,r,t))来表示三元组，其中r表示头实体h和尾实体t之间的关系。如巴黎是法国首都这一知识，在知识图谱中可以使用(巴黎，是......首都，法国)这一三元组表示。

知识图谱的表示学习旨在将知识图谱中的实体和关系嵌入到低维向量空间，将其表示为稠密低维实值向量。其关键是合理定义知识图谱中关于事实(三元组(h,r,t))的损失函数f_r(h,t)与三元组的两个实体h、t的向量化表示。通常情况下，当事实(h,r,t)成立时，期望最小化f_r(h,t)。考虑整个知识图谱的事实，则可通过最小化损失函数来学得实体与关系的向量表示。不同的表示学习可以使用不同的原则和方法定义相应的损失函数。当前以TransE模型为代表的翻译模型以其突出的性能与简单的模型参数受到了广泛的关注。然而，现有的翻译模型可以有效的处理1-1的简单关系，但对于1-N、N-1、N-N的复杂关系仍受到限制。这就导致现有知识图谱表示学习方法无法很好地应用于大规模的知识图谱。

发明内容

本发明所要解决的是现有知识图谱表示学习方法无法很好地处理1-N、N-1、N-N的复杂关系的问题，提供一种基于余弦度量规则的知识图谱表示学习方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于余弦度量规则的知识图谱表示学习方法，包括步骤如下：

步骤1、利用向量随机生成方法将知识图谱中的实体集和关系集分别嵌入到实体向量空间和关系向量空间，得到实体向量和关系向量；

步骤2、利用候选实体统计规则，获得随机选择三元组的候选实体向量集，并根据候选实体向量集随机生成错误实体向量集；

步骤3、利用余弦相似度构造目标向量与候选实体向量之间的评分函数，同时规范其函数值的取值范围；

步骤4、利用评分函数构建基于边界的区分候选实体向量集与错误实体向量集的损失函数，然后根据损失函数使得候选实体向量集对目标向量进行统一约束；

步骤5、利用优化算法最优化损失函数值，从而使得候选实体向量集的评分函数值接近于1，错误实体向量集的评分函数值接近于0，以学得实体与关系的最佳向量表示，达到优化目标。

上述步骤2的具体子步骤如下：

步骤2.1、从知识图谱的三元组集中随机选择一个三元组；

步骤2.2、在三元组集中找到同时匹配所选择的三元组的头实体向量和关系向量的所有尾实体向量，并将所找出的尾实体向量形成候选尾实体向量集；同时，在三元组集中找到同时匹配所选择的三元组的尾实体向量和关系向量的所有头实体向量，并将所找出的头实体向量形成候选头实体向量集；

步骤2.3、对候选尾实体向量集进行随机替换操作，生成错误尾实体向量集；同时，对候选头实体向量集进行随机替换操作，生成错误头实体向量集。

上述步骤3中所构造的评分函数如下：

候选尾实体向量的评分函数f_t(g_t,t)为：

候选头实体向量的评分函数f_h(g_h,h)为：

错误尾实体向量的评分函数f_t′(g_t,t′)为：

错误头实体向量的评分函数f′_h(g_h,h′)为：

上述各式中，α是评分函数值范围规范参数；g_t是尾实体的目标向量，g_t＝h₀+r₀；g_h是头实体的目标向量，g_h＝t₀-r₀；h₀是所选择的三元组的头实体向量，t₀是所选择的三元组的尾实体向量，r₀是所选择的三元组的关系向量；t是候选尾实体向量，h是候选头实体向量，t′是错误尾实体向量，h′是错误头实体向量。

上述评分函数值范围规范参数α∈[0,1]。

上述步骤4中所构建的损失函数L为：

式中，γ为设定的边界值；f_t′(g_t,t′)表示错误尾实体向量的评分函数，f_t(g_t,t)表示候选尾实体向量的评分函数，f′_h(g_h,h′)表示错误头实体向量的评分函数，f_h(g_h,h)表示候选头实体向量的评分函数；g_t是尾实体的目标向量，g_t＝h₀+r₀；g_h是头实体的目标向量，g_h＝t₀-r₀；h₀是所选择的三元组的头实体向量，t₀是所选择的三元组的尾实体向量，r₀是所选择的三元组的关系向量；t为候选尾实体向量，t_c为候选尾实体向量集，t′为错误尾实体向量，t′_c为错误尾实体向量集，h为候选头实体向量，h_c为候选头实体向量集，h′为错误头实体向量，h′_c为错误头实体向量集。

上述步骤5中所述优化算法为随机梯度下降算法。

与现有技术相比，本发明具有如下特点：

第一，提出了一种候选实体统计规则，统计获得相关关系的候选实体向量集；

第二，通过引入两个向量之间的余弦相似度，计算目标向量与候选实体向量之间余弦值作为衡量两个个体之间的差异大小，相比欧式距离，不是简单计算两个向量之间的距离，余弦相似度更加注重两个向量在方向上的差异；这样解决了现有模型在处理1-N、N-1、N-N等复杂关系时的不足，丰富了实体与关系的表达能力，整体上提升了模型性能；

第三，通过联合相关关系的所有候选实体与目标向量形成统一约束，提高候选实体向量与目标向量交互性。

附图说明

图1本发明一种基于余弦度量规则的知识图谱表示学习方法的流程图。

图2知识图谱中实体与关系三元组的示例图。

图3本发明一种基于余弦度量规则的知识图谱表示学习方法的训练目标示例图，其中(a)为训练前，(b)为训练后。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

本发明公开了一种基于余弦度量规则的知识图谱表示学习方法，如图1所示，首先将知识图谱中的实体与关系随机嵌入到两个向量空间；其次利用候选实体统计规则，统计相关关系对应的三元组集与候选实体向量集，并根据候选实体向量集随机生成错误实体向量集；再次利用余弦相似度构造目标向量与候选实体的评分函数，对候选实体进行评价；最后利用损失函数将所有相关关系的候选实体向量与目标向量进行统一训练，并通过随机梯度下降算法最小化损失函数。当达到优化目标时，即可获得知识图谱中每个实体向量和关系向量的最佳表示，从而更好的表示实体与关系之间的联系，并能够很好的应用于大规模的知识图谱补全当中。本发明通过余弦相似度与统一训练，很好的克服了现有模型无法很好的处理1-N、N-1、N-N的复杂关系问题，具有较强的可行性与良好的实用性。

本发明对知识图谱中的三元组结构化信息进行了考虑，并采用(head，relation，tail)的典型三元组形式进行知识表示，relation是用来连接实体head、tail，并刻画两个实体之间的关联性。图2是典型的知识图谱三元组结构的示例图。其中，圆圈表示为实体节点(如“唐**”、“伊**”、“蒂**”等)，两个实体之间的连边表示关系(如“国籍”、“总统”、“女儿”等)。另外可以看到实体“唐**”与“美国”之间有多种关系，并且存在“女儿”、“国籍”关系对应了多个实体对。

一种基于余弦度量规则的知识图谱表示学习方法，以图2知识图谱作为训练集，图2中包括5个实体，4个关系，8个三元组。方法的具体实施包括如下步骤：

步骤1、利用向量随机生成方法将知识图谱中的实体和关系分别嵌入到两个向量空间；

步骤11、将图2知识图谱的实体集{“唐**”，“玛*”“蒂**”，“伊**”，“美国”}表示为{e₁,e₂,e₃,e₄,e₅}与关系集{“妻子”，“女儿”，“总统”，“国籍”}表示为{r₁,r₂,r₃,r₄}。图2知识图谱中包括三元组集{(e₁,r₁,e₂)，(e₁,r₂,e₃)，(e₁,r₂,e₄)，(e₁,r₃,e₅)，(e₂,r₂,e₃)，(e₃,r₃,e₅)，(e₄,r₃,e₅)，(e₅,r₄,e₁)}；

步骤12、将他们分别嵌入到实体向量空间与关系向量空间，得到实体向量{e₁,e₂,e₃,e₄,e₅}与关系向量{r₁,r₂,r₃,r₄}。

步骤2、利用候选实体统计规则，获得相关关系的三元组集与候选实体向量集，同时随机生成错误实体向量集。

候选实体统计规则如下：

第一步，从知识图谱中随机抽取一个三元组(如，(h₀,r₀,t₀))；

步骤21、通过随机抽取获得一个三元组(如，(唐**，女儿，蒂**)即(e₁,r₂,e₃))；

第二步，分别匹配出训练集中包含(h₀,r₀,？)与(？,r₀,t₀)的三元组集(h₀,r₀,t_c)与(h_c,r₀,t₀)，其中

是以g_t＝h₀+r₀为目标向量的所有候选尾实体集，包含|t_c|个不同的尾实体数量，

是以g_h＝t₀-r₀目标向量的所有候选头实体集，包含|h_c|个不同的头实体数量；

步骤22、根据((e₁,r₂,？)匹配出三元组集{(e₁,r₂,e₃)，(e₁,r₂,e₄)}，同时获得候选尾实体集{e₃,e₄}；

步骤23、根据(？,r₂,e₃)匹配出三元组集{(e₁,r₂,e₃)，(e₂,r₂,e₃)}，同时获得候选头实体集{e₁,e₂}；

第三步，随机生成候选实体集对应的错误实体集。在错误实体集的生成过程中，会用生成错误尾实体与候选实体集中的候选实体进行比对，仅当不存在于候选实体集中的错误尾实体会归入错误实体集。

步骤24、随机生成错误尾实体集{e₅,e₂}与错误头实体集{e₄,e₅}。

步骤3、利用余弦相似度构造目标向量与候选实体向量之间的评分函数，同时规范其函数值的取值范围，一般为[0,1]。

步骤31、利用余弦值公式，将向量a与向量b的余弦值cos＜a,b＞表示为：

步骤32、基于上述余弦公式，构造评分函数：

根据目标向量与候选尾实体向量的余弦相似度的候选尾实体的评分函数f_t(g_t,t)构造如下：

根据目标向量与候选头实体向量的余弦相似度，构造候选头实体的评分函数f_h(g_h,h)如下：

其中，α∈[0,1]是评分函数值范围规范参数，g_t是尾实体的目标向量，g_t＝h₀+r₀，g_h是头实体的目标向量，g_h＝t₀-r₀，t是候选尾实体向量，h是候选头实体向量。

根据目标向量与错误尾实体向量的余弦相似度，构造错误尾实体的评分函数f_t′(g_t,t′)如下：

根据目标向量与错误头实体向量的余弦相似度，构造错误头实体的评分函数f′_h(g_h,h′)如下：

其中，α∈[0,1]是评分函数值范围规范参数，g_t是尾实体的目标向量，g_t＝h₀+r₀，g_h是头实体的目标向量，g_h＝t₀-r₀，t′是错误尾实体向量，h′是错误头实体向量。

步骤4、利用评分函数构建基于边界的区分候选实体向量集与错误实体向量集的损失函数，然后根据损失函数使得候选实体向量集对目标向量进行统一约束；

步骤41、基于边界的损失函数构造如下：

其中，[γ+f′-f]₊＝max(0,γ+f′-f)；γ为设定的边界值；f_t′(g_t,t′)表示错误尾实体向量的评分函数，f_t(g_t,t)表示候选尾实体向量的评分函数，f′_h(g_h,h′)表示错误头实体向量的评分函数，f_h(g_h,h)表示候选头实体向量的评分函数；g_t是尾实体的目标向量，g_t＝h₀+r₀；g_h是头实体的目标向量，g_h＝t₀-r₀；h₀是所选择的三元组的头实体向量，t₀是所选择的三元组的尾实体向量，r₀是所选择的三元组的关系向量；t为候选尾实体向量，t_c为候选尾实体向量集，t′为错误尾实体向量，t′_c为错误尾实体向量集，h为候选头实体向量，h_c为候选头实体向量集，h′为错误头实体向量，h′_c为错误头实体向量集。

步骤42、将步骤22中获得的三元组集{(e₁,r₂,e₃)，(e₂,r₂,e₃)}与候选尾实体集{e₃,e₄}，分别通过步骤32中的评分函数计算得分；

步骤421、(e₁,r₂,e₃)得分为

其对应的错误三元组(e₁,r₂,e₅)得分为

步骤422、(e₁,r₂,e₄)得分为

其对应的错误三元组(e₁,r₂,e₂)得分为

步骤43、将步骤22中获得的三元组集{(e₁,r₂,e₃)，(e₂,r₂,e₃)}与候选头实体集{e₁,e₂}，分别通过步骤32中的评分函数计算得分；

步骤431、(e₁,r₂,e₃)得分为

其对应的错误三元组(e₄,r₂,e₃)得分为

步骤432、(e₂,r₂,e₃)得分为

其对应的错误三元组(e₅,r₂,e₂)得分为

步骤44、将步骤42与步骤43中计算的得分代入损失函数L中，得到损失函数值。通过基于边界的损失函数将相关关系的所有候选实体向量与目标向量形成统一约束。

步骤5、利用优化算法最优化损失函数值，从而使得候选实体向量集的评分函数值接近于1，错误实体向量集的评分函数值接近于0，以学的实体与关系的最佳向量表示，达到优化目标。

步骤51、优化算法将采用随机梯度下降算法最小化损失函数，获得所有候选实体向量的最佳得分，从而学的实体与关系的最佳向量表示，达到优化目标。

本发明知识图谱表示学习方法所采用的翻译原则，参见图3，其基本思想是：先根据三元组(h,r,t)构造训练目标向量g＝h+r(或g＝t-r)，同时获得候选实体向量集，如图3中的{e₁,e₂,e₃,e₄}；其次利用两个向量间的余弦相似度计算得分；最后，利用随机梯度下降算法根据损失函数得分来改变候选实体向量，同时根据优选实体的整体改变方向来改变目标向量。本发明利用两个向量之间的余弦相似度，能够更好的计算目标向量与候选实体向量之间差异大小，相比欧式距离，不是简单计算两个向量之间的距离，余弦相似度更加注重两个向量在方向上的差异。这样解决了现有模型在处理1-N、N-1、N-N等复杂关系时的不足，丰富了实体与关系的表达能力，整体上提升了模型性能。

本发明利用两个向量之间的余弦相似度，能够更好的计算目标向量与候选实体向量之间的相似性。采用实体向量与关系向量基于嵌入的模型，利用候选实体统计规则，获得相关关系的三元组集与候选实体向量集；并且引入目标向量与候选实体向量的余弦相似度，增强了模型对1-N、N-1、N-N等复杂关系的表达能力，同时构造了目标向量与候选实体向量独有的评分函数。最后构造了新的损失函数，通过随即梯度下降算法优化损失函数，当达到最佳优化目标时，就能够获得知识图谱中每一个最优的实体向量和关系向量，从而更好的将实体和关系进行表示，并保存实体和关系之间的联系，从而能够很好的应用于大规模的知识图谱补全当中。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (4)

1.一种基于余弦度量规则的知识图谱表示学习方法，其特征是，包括步骤如下：

步骤1、利用向量随机生成方法将知识图谱中的实体集和关系集分别嵌入到实体向量空间和关系向量空间，得到实体向量和关系向量；

步骤2、利用候选实体统计规则，获得随机选择三元组的候选实体向量集，并根据候选实体向量集随机生成错误实体向量集；

步骤3、利用余弦相似度构造目标向量与候选实体向量之间的评分函数，同时规范其函数值的取值范围；其中所构造的评分函数如下：

候选尾实体向量的评分函数f_t(g_t,t)为：

候选头实体向量的评分函数f_h(g_h,h)为：

错误尾实体向量的评分函数f_t′(g_t,t′)为：

错误头实体向量的评分函数f′_h(g_h,h′)为：

步骤4、利用评分函数构建基于边界的区分候选实体向量集与错误实体向量集的损失函数，然后根据损失函数使得候选实体向量集对目标向量进行统一约束；其中所构建的损失函数L为：

步骤5、利用优化算法最优化损失函数值，从而使得候选实体向量集的评分函数值接近于1，错误实体向量集的评分函数值接近于0，以学得实体与关系的最佳向量表示，达到优化目标；

上述各式中，α是评分函数值范围规范参数；g_t是尾实体的目标向量，g_t＝h₀+r₀；g_h是头实体的目标向量，g_h＝t₀-r₀；h₀是所选择的三元组的头实体向量，t₀是所选择的三元组的尾实体向量，r₀是所选择的三元组的关系向量；t是候选尾实体向量，h是候选头实体向量，t′是错误尾实体向量，h′是错误头实体向量；γ为设定的边界值；f_t′(g_t,t′)表示错误尾实体向量的评分函数，f_t(g_t,t)表示候选尾实体向量的评分函数，f′_h(g_h,h′)表示错误头实体向量的评分函数，f_h(g_h,h)表示候选头实体向量的评分函数；t_c为候选尾实体向量集，t′_c为错误尾实体向量集，h_c为候选头实体向量集，h′_c为错误头实体向量集。

2.根据权利要求1所述的一种基于余弦度量规则的知识图谱表示学习方法，其特征是，步骤2的具体子步骤如下：

步骤2.1、从知识图谱的三元组集中随机选择一个三元组；

步骤2.2、在三元组集中找到同时匹配所选择的三元组的头实体向量和关系向量的所有尾实体向量，并将所找出的尾实体向量形成候选尾实体向量集；同时，在三元组集中找到同时匹配所选择的三元组的尾实体向量和关系向量的所有头实体向量，并将所找出的头实体向量形成候选头实体向量集；

步骤2.3、对候选尾实体向量集进行随机替换操作，生成错误尾实体向量集；同时，对候选头实体向量集进行随机替换操作，生成错误头实体向量集。

3.根据权利要求1所述的一种基于余弦度量规则的知识图谱表示学习方法，其特征是，评分函数值范围规范参数α∈[0,1]。

4.根据权利要求1所述的一种基于余弦度量规则的知识图谱表示学习方法，其特征是，步骤5中所述优化算法为随机梯度下降算法。

Images