CN111914094A - 一种基于三元交互的知识图谱表示学习方法 - Google Patents

Abstract

本发明涉及一种基于三元交互的知识图谱表示学习方法，其特征在于包括以下步骤：1)在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型；2)对构建的InterTris模型进行训练，得到训练好的InterTris模型；3)利用得到的InterTris模型，可以实现知识图谱的数值化表示，从而奠定知识图谱价值挖掘的基础。本发明从知识图谱构建语义联系的本质出发，基于其基本单位三元组进行建模。无论数据特征如何变化，知识图谱的基本构成单位不会发生变化。因此，由于抽象程度较高，本发明降低了知识图谱表示学习模型对数据集的依赖程度，具有更强的普适性，可以广泛应用于知识图谱表示学习领域。

Description

一种基于三元交互的知识图谱表示学习方法

技术领域

本发明涉及知识图谱表示学习领域，特别是涉及一种基于三元交互的知识图谱表示学习方法。

背景技术

由于大数据时代的到来，现实世界中不同对象(实体或概念)之间的联系日益复杂，相应产生的数据量更是以指数形式增长。使用传统方式对当今世界建模已经不再现实，于是一系列新技术手段应运而生。知识图谱(Knowledge Graph)便是其中之一。它提出的根本目标是为了描述真实世界中的实体或概念及其之间的关系。与传统方式相比，知识图谱提供了一种新的海量数据组织、管理和利用方式，是人工智能和机器学习的重要基础。

知识图谱的基本单位是三元组，即<头实体，关系，尾实体>，如<中国，首都，北京>。知识图谱起源于语义网，因此，可以将其看作特殊的语义网络，其中的结点表示实体，边表示关系或属性，从而完成对现实世界的建模。新技术提出的根本是为了充分发挥其现实作用，知识图谱也不例外。它的生命周期起源于知识图谱构建，并在与机器学习等其他新技术结合的基础上实现自身价值，在智能搜索、知识问答等领域扮演着重要角色。同时，结合新技术的相关应用成果甚至可以回溯给构建过程。但是，从已构建完成的知识图谱到结合以机器学习为代表的新技术应用之间却存在断层。由于建模基础为现实世界，所以，知识图谱多以文字等符号形式表示；而机器学习模型的输入输出往往都是数值化的向量。因此，知识图谱生命周期中缺少了从符号到向量的连接层。知识图谱表示学习相关技术应运而生。

经过近10年的发展，知识图谱表示学习相关领域涌现了很多模型。但现有模型多从数据出发构建而成，导致模型的应用过于依赖数据集本身的特征，从而局限了相关技术在现实生产实践中的推广。比如，微生物领域的栖息地知识图谱中普遍存在多头现象，即多个不同的头实体(这里指为微生物)可以通过相同的关系(这里是“Live_In”关系)到达同一个尾实体(这里指栖息地)。而微生物领域的酶知识图谱中却大量存在多尾现象，即相同的头实体(如酶“enzyme/1.5.1.17”)通过相同的关系(如“product”)可以到达不同的尾实体(如“L-alanine”和“NADH”等)。进一步地，如果将上述两个知识图谱融合为一个，那么该知识图谱就会在部分数据集上表现出多头特征、另一部分上表现为多尾特征。因此，如何构建同时适应多头、多尾和其他一般知识图谱的表示学习模型就成为一个迫切问题。

如上所述，知识图谱的基本单位是三元组，具体包括头实体，关系和尾实体。下文将用h、r和t对三者进行表示，相应加粗的h、r和t则表示三者的向量化表示。其他形式化表示将在使用时进行说明。目前为止，所有知识图谱表示学习的建模过程均为：首先将头尾实体和关系表示为矩阵或向量，然后基于目标函数对这些矩阵或向量进行拟合建模。具体可以分为三类：第一类是以RESCAL(一种基于张量分解的三元关系学习方法)为代表的Composition(组合)模型；第二类是以NTN(Neural Tensor Network，神经张量网络)为代表的Neural Network(神经网络)模型；第三类是以TransE(Translation-based Embedding，基于转换的嵌入式表示学习)为代表的Translation(转换)模型。下面将分别介绍三种模型及其特点。

1.Composition模型

在Composition模型中，经典的RESCAL使用三维张量χ表示三元组。其中，元素χ_ijk＝1表示相应三元组成立；若为0，则不成立。基于此，模型根据关系对张量χ进行切片操作，即将第k个关系对应的张量χ_k分解为AR_kA^T。其中，A是实体向量化的矩阵；非对称矩阵R_k则建模了第k个关系相应的头尾实体交互作用。因此，可以认为RESCAL建模的基本思路是张量分解。

与RESCAL类似，LFM(Latent Factor Model，隐性张量模型)也从张量分解的角度出发实现建模。基于NLP(Natural Language Processing，自然语言处理)中的unigram(一元)、bigram(二元)和trigram(三元)现象，LFM分别考虑了头尾实体和关系三元素的本身建模、对关系和头尾实体之间的联系进行二元建模，以及头尾实体和关系三元素之间的相互依赖性。其首先将头尾实体建模为向量h、t，将关系建模为矩阵M_r；然后在实体embedding(嵌入式表示)过程中引入二阶相关性；最后，根据目标函数f_r(h,t)＝h^TM_rt进行模型调优。因此，它以一种相对简单有效的方式实现了实体之间的交互建模。

通过对包括NTN和TransE在内的已有嵌入式模型进行分析，DistMult(基于对角矩阵的距离模型)提出了可以将这些模型统一起来的模型框架，即

(y_h和y_t是头尾实体的向量化表示函数，M_r则是关系的矩阵表示)。为了提高性能，该模型将M_r定义为对角矩阵，达到参数规模与TransE相同的目的。

HolE(Holographic Embeddings，全息嵌入式表示)主要基于循环相关对头尾实体之间的丰富交互进行建模，即

Complex(基于复数的组合模型)在此基础之上，将所有的实数向量转换为复数向量进行建模求解。ANALOGY(基于类比的组合模型)通过考虑实体和关系的相似属性，综合了DistMult、HolE和Complex三个模型的优势。

因此，Composition的建模基础从张量分解到向量内积，在提高模型表达力的同时，降低了时间和空间复杂度。

2.Neural Network模型

从建模的角度来看，SE(Structured Embedding，结构化的嵌入式表示)更像是Translation模型的基础。但是如果从模型训练的角度来看，则可以将其划归为NeuralNetwork模型。它认为，对于给定的关系类型，可以通过计算相似性来捕获实体之间的关系。因此，该模型首先为每个关系构建两个矩阵M_h和M_t；然后，定义了相似性度量公式S(h,t)＝||M_hh-M_tt||_p，其中h和t分别是头尾实体的向量表示。相似性越低，则对应头尾实体和关系所构成三元组成立的概率就越高。但由于将关系建模为两个矩阵，SE对实体和关系之间相关性的描述能力十分有限。

SME(Semantic Matching Energy，基于能量函数的语义映射模型)主要通过多矩阵相乘和Hadamard(哈达马)乘积实现了实体-关系的交互作用建模。具体而言，它将头尾实体和关系均建模为向量，相应交互作用则通过矩阵乘实现。具体的目标函数有两种定义，即：线性目标函数f(h,t)＝(M₁l_h+M₂l_r+b₁)^T(M₃l_t+M₄l_r+b₂)和双线性目标函数

其中，

表示Hadamard积。

与SE相比，Neural Network模型SLM(Single Layer Model，单层神经网络模型)使用非线性计算对实体-关系之间的语义联系进行了建模。具体而言，其将头尾实体h和t作为神经网络隐藏层的输入，然后由输出层按照目标函数

计算得分。基于SLM，NTN在神经网络的非线性计算中考虑了二阶相关性，从多个维度出发将相应头尾实体的向量联系起来，从而依据目标函数

得到对应三元组成立的概率。虽然NTN可以囊括众多表示学习模型，对应目标函数的表达能力也很强，但其时间复杂度往往难以满足现实需求。

与之前的模型不同，NAM(Neural Association Model,神经关联模型)主要包括DNN(Deep Neural Network，深度神经网络)和RMNN(Relation-Modulated Neural Nets，基于关系调节的神经网络)两种。其中，DNN是标准的深度神经网络，而RMNN的线性激活信号计算综合了前一层z^(l-1)和对应关系的信息c^(k)，即a^(l)＝W^(l)z^(l-1)+B^(l)c^(k)。因此，二者实现的基础都是深度神经网络。具体而言，他们基于神经网络不同隐藏层之间的非线性激活函数，以条件概率的形式完成了实体之间联系的建模。

因此，Neural Network模型在发展中越来越复杂，虽然提高了表达能力，但却往往难以投入实践。

3.Translation模型

虽然SE对关系和头尾实体之间的联系分别进行了建模，但这种建模方式无法体现知识图谱本体层常见的层次关系。作为首个、也是最为经典的Translation模型，TransE将关系建模为translation操作，认为经过向量化的头实体h、关系r和尾实体t满足：h+r≈t。与其他表示学习模型相比，它使用三个低维向量完成了对头尾实体和关系的建模。这种简单性在模型训练过程中的优势表现十分明显。目前为止，由于数据集本身的缺陷，很多模型都没有办法得到充足训练，从而影响实验结果。但TransE却可以在等维度的情况下，更快达到较好的拟合效果。该模型虽然简单，但对1-1关系的建模能力很强，尤其在百科知识图谱Freebase等通用领域的数据集上表现很好。这是因为Freebase等通用数据集中的高频关系以1-1为多，所以，模型可以很好抓取到绝大部分三元组建模的信息，从而在整体数据集上表现出相对较佳的效果。但由于尚未对头尾实体和关系之间的三元交互进行充分建模，TransE在公共数据集Kinship中的表现效果要逊色于其他模型。

这是因为TransE在建模过程中没有考虑关系的具体属性。如，按照连接的头尾实体数目，可以将关系划分为1-1、1-N、N-1和N-N四种。而TransE只对非自反(irreflexive)和1-1关系具有良好建模能力。为了进一步区别不同关系，克服TransE在自反(reflexive)、1-N、N-1和N-N关系中的弱点，TransH(基于超平面的转换模型)以关系为单位，首先通过向量r_p确定对应超平面；然后，在超平面上定位对应的translation(转换)操作d_r；最后，基于超平面得到映射后头实体向量

和映射后尾实体向量

并满足h_⊥+d_r≈t_⊥。因此，TransH通过引入基于关系的超平面，实现了相同实体在不同关系超平面上的不同表示，合理拟合了同一实体在不同关系中的角色变化。

TransR(基于关系的转换模型)认为TransE和TransH的模型弊端在于将实体和关系映射到相同空间。因为知识图谱中的实体往往包括多种含义，而一个关系一般只能体现出其中一个或几个特征。就实体而言，如果两个实体在某个含义上比较相似，那么它们在对应空间中的距离应该更近。反之亦然。所以，其定义了实体和关系空间，并在相应空间中构建实体和关系向量。在此基础之上，该模型首先通过M_rh和M_rt将头尾实体从实体空间映射到对应关系空间中得到h_r和t_r，然后基于关系向量r完成translation操作，即满足h_r+r≈t_r。

TransD(动态转换模型)和TranSparse(基于稀疏矩阵的转换模型)均为TransR的变体。与TransR考虑关系多样性不同，TransD的目标在于解决实体多样性问题。其中，每个头尾实体和关系都有两个对应向量：一个是语义表示向量；另一个则是用于动态构建映射矩阵

和

的映射向量。在TransR定义实体和关系向量的基础之上，TransD在动态构建映射矩阵的时候，考虑了实体的影响，从而实现了实体之间的交互作用建模。同时，与TransR相比，TransD中只有向量乘，不存在矩阵乘，所以，时间复杂度更低。

与已有工作不同，TranSparse发现了知识图谱中普遍存在的关系异质性和不平衡问题。其中，异质性是指不同关系连接的头尾实体数目差距较大；而不平衡指的则是关系连接的头尾实体数目不同。其认为，关系连接的头尾实体数目越多，语义越复杂，那么就应该用更多的参数来表示该关系与对应实体之间的交互作用。具体通过将TransR中的稠密矩阵替换为稀疏矩阵完成建模。

基于已有工作，EMT以微生物领域的酶知识图谱为例，针对多尾现象完成建模。其将头实体和关系表示为question(问题)空间上的向量，通过矩阵M_t完成从question空间到answer(问题)空间的映射。其中，M_t与对应尾实体相关。然后，对映射后的头实体和关系向量进行translation操作，即可得到相应尾实体向量。为了进一步降低模型复杂度，EMT还衍生出了EMT^V和EMT^S。但由于该模型针对具有多尾现象的知识图谱提出，对具有多头现象的知识图谱进行表示学***衡两种模型，亦或如何提出新的模型，就成为现实应用的新问题。

因此，Translation模型往往将头尾实体和关系建模为矩阵或向量，时间和空间复杂度较低。但是，其往往使用向量或者矩阵乘完成交互建模，表达能力有限。

综合以上分析，可以发现：Composition模型均从关系的角度出发对头尾实体进行建模；而Neural Network模型则将建模的重点放在了实体和关系之间的语义联系上；Translation模型则以translation操作为基础完成。但是，知识图谱构建的基础是语义联系，即不同概念或实体及其之间关系的交互作用。上述三类模型中只有一个实现了头尾实体和关系三者之间的充分建模，即NTN。但NTN的时间复杂度却成为现实应用的最大障碍。

发明内容

针对上述问题，本发明的目的是提供一种基于三元交互的知识图谱表示学习方法，该方法基于已有模型的优劣势，从知识图谱描述语义联系的本质出发，实现了对头实体、关系和尾实体三元素之间的相互作用建模。

为实现上述目的，本发明采取以下技术方案：一种基于三元交互的知识图谱表示学习方法，其包括以下步骤：

1)在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型；

2)对构建的InterTris模型进行训练，得到训练好的InterTris模型；

3)利用得到的InterTris模型，实现知识图谱的数值化表示。

进一步的，所述步骤1)中，在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型的方法，包括以下步骤：

1.1)为三元组中头实体、关系和尾实体分别构建对应的语义向量h、r和t；

1.2)构建映射向量，使用映射向量h_p、r_p和t_p分别表示头实体、关系和尾实体对另外两个元素的影响；

1.3)基于广义内积，对三元组进行交互过程建模，得到映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥；

1.4)基于转换思想，对映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥进行转换操作，得到InterTris模型。

进一步的，所述步骤1.4)中，所述InterTris模型为：

式中，h_⊥、r_⊥和t_⊥分别为映射后的头实体、关系和尾实体，其中，h_⊥＝<h,r_p,t_p>，<,,>表示广义向量内积，r_p和t_p分别表示关系和尾实体对头实体的影响；同理，映射后的关系为r_⊥＝<_p,r,t_p>，映射后的尾实体为t_⊥＝<h_p,r_p,t>。

进一步的，所述步骤2)中，对构建的InterTris模型进行训练，得到训练好的InterTris模型的方法，包括以下步骤：

2.1)确定输入参数，包括训练数据集S；验证数据集V；头实体集合H；关系集合R；尾实体集合T；衰减参数offset；头实体、关系和尾实体的语义向量和映射向量，这里假设所有语义向量和映射向量的维度均为n；最大损失函数值max；

2.2)对输入的所有头实体、关系和尾实体的语义向量和映射向量进行随机初始化；

2.3)根据损失函数对初始化后的头实体、关系和尾实体的语义向量和映射向量进行更新，直到满足预设阈值为止，得到训练好的InterTris模型。

进一步的，所述步骤2.3)中，根据损失函数对初始化后的头实体、关系和尾实体的语义向量和映射向量进行更新的方法，包括以下步骤：

2.3.1)从训练数据集S中随机抽样得到对应的mini-batch数据集作为正例集合Δ＝{<h,r,t>}，基于bern采样方法得到相应负例集合Δ′；同时，从验证数据集V中得到正例集合和负例集合；

2.3.2)将验证数据集V的正例集合和负例集合输入损失函数，记录当前损失函数值，并与最大损失函数值max进行比较：若损失函数值小于max，则进入步骤2.3.3)，否则结束迭代，得到训练好的InterTris模型；

2.3.3)根据损失函数进行梯度求解，并按照AdaGrad优化方法，基于正例集合Δ和负例集合Δ′中的头实体、关系和尾实体，完成语义向量和映射向量的更新，并对更新后的语义和映射向量进行正则化，然后返回步骤2.3.2)。

进一步的，所述步骤2.3.2)中，采用的损失函数为：

其中，当i＝1,···,s时，衰减参数offset的值是

式中，S为训练数据集；<h_i,r_i,t_i>(i＝1,…,s)为训练数据集中的第i个三元组；每个三元组都有标签y_i(i＝1,…,s)，若y_i＝1，相应三元组成立；y_i＝0，则不成立；Δ为成立三元组构成的正例集合；Δ′为不成立的三元组构成的负例集合。

进一步的，所述步骤2.3.3)中，对更新后的语义和映射向量进行正则化操作是指判断三元组中各语义向量和映射向量是否满足如下约束条件：

和

本发明由于采取以上技术方案，具有以下优点：1、本发明从知识图谱构建语义联系的本质出发，基于其基本单位三元组进行建模。无论数据特征如何变化，知识图谱的基本构成单位不会发生变化。因此，由于抽象程度较高，本发明降低了知识图谱表示学习模型对数据集的依赖程度，具有更强的普适性。2、实验效果有很大提升。除个别指标外，与传统模型相比，InterTris模型都表现得更好，尤其是在filt情况下。3、复杂度较低。相比于传统知识图谱表示学习模型，本发明的时间和空间复杂度与TransD一致。这样的低复杂度可以更好适应现实生产实践过程中“大规模知识图谱”的要求。因此，该模型具有较高实用价值，可以广泛应用于知识图谱表示学习领域。

附图说明

图1是本发明InterTris模型应用基本流程；

图2是知识图谱的符号化表示示例；

图3是知识图谱的数值化表示示例；

图4是本发明基于三元交互的知识图谱表示学习模型。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式进行详细描述。

如图1所示，本发明的核心为InterTris(一种基于三元交互的知识图谱表示学***凡的世界”作为头实体、“作者”作为关系以及“路遥”作为尾实体都有相应的数值化表示(示例中为向量)。按照TransE的思想，三者满足图3所示的等式关系。因此，InterTris模型以符号化知识图谱为输入，以数值化的知识图谱为输出，从而与机器学习等人工智能技术结合，以服务于搜索引擎等现实应用。

基于上述分析，本发明提出的一种基于三元交互的知识图谱表示学习方法，包括以下步骤：

1)模型构建：在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型。

本发明认为知识图谱的本质是构建语义联系，而语义联系的基本单位是三元组。因此，便围绕三元组中头实体、关系和尾实体三者本身及其之间的交互进行建模。具体的，包括以下步骤：

1.1)为三元组中的头实体、关系和尾实体构建对应的语义向量，分别为h、r和t；

1.2)为三元组中的头实体、关系和尾实体构建对应映射向量h_p、r_p和t_p，分别用于表示三元组中头实体、关系和尾实体对另外两个元素的影响。

1.3)基于广义内积，对三元组进行交互过程建模，得到映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥。

三元组中头实体、关系和尾实体的交互过程主要有两种建模方式，一种是向量相乘；另一种则是向量内积。在向量相乘中，由于两个乘数均为向量，即秩为1的低秩矩阵，所以，最终乘积必然也是低秩矩阵，继而导致模型表达能力有限。而向量内积则是向量中每个元素之间的相乘，即在元素级别实现了两个向量之间的交互。由此，本发明构建了如图4所示的InterTris模型。以头实体为例，其本身的向量表示为h，映射后的头实体为h_⊥＝<h,r_p,t_p>。其中，<,,>表示广义向量内积，r_p和t_p分别表示关系和尾实体对头实体的影响。同理，可以得到映射后的关系r_⊥和尾实体t_⊥，即r_⊥＝<_p,r,t_p>；t_⊥＝<h_p,r_p,t>。

1.4)基于转换思想，对映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥进行转换操作，可得到InterTris模型，即

2)模型训练：采用AdaGrad、SGD、Adam等优化方法对构建的InterTris模型进行训练，得到能够对不同知识图谱进行表示学习的InterTris模型。

由于InterTris模型涉及的参数共有六个，即头实体、关系和尾实体的向量化表示h、r和t，以及三者对应的映射向量h_p、r_p和t_p。为了便于实践应用，这六个向量均随机初始化。本发明实施例中采用的参数优化方法为AdaGrad，损失函数为logistic损失函数。具体应用中也可以采用SGD、Adam等优化方法，以及基于margin的损失函数等。

假设训练数据集S包括s个三元组，第i个三元组是<h_i,r_i,t_i>(i＝1,…,s)。每个三元组都有标签y_i(i＝1,…,s)。若y_i＝1，相应三元组成立；y_i＝0，则不成立。成立的三元组构成正例集合Δ，不成立的构成负例集合Δ′。具体的模型训练方法包括以下步骤：

2.1)确定输入参数：包括训练数据集S；验证数据集V；头实体集合H；关系集合R；尾实体集合T；衰减参数offset；头实体、关系和尾实体的语义向量和映射向量，这里各语义向量和映射向量的维度均为n；最大损失函数值max；

2.2)参数初始化：对输入的所有头实体、关系和尾实体的语义向量和映射向量进行随机初始化；

2.3)模型迭代：根据损失函数对初始化后的头实体、关系和尾实体的语义向量和映射向量进行更新，直到满足预设阈值为止，得到训练好的InterTris模型。

具体的，包括以下步骤：

2.3.1)从训练数据集S中随机抽样得到对应的mini-batch(小批量)数据集作为正例集合Δ＝{<h,r,t>}，采用bern采样方法得到相应负例集合Δ′；同时，从验证数据集V中得到正例集合和负例集合；

2.3.2)将验证数据集V的正例集合和负例集合输入损失函数，记录当前损失函数值，并与最大损失函数值max进行比较：若损失函数值小于max，则进入步骤2.3.3)，否则结束迭代。

本发明采用的损失函数为：

其中，当i＝1,···,s时，衰减参数offset的值是

2.3.3)根据损失函数进行梯度求解，并按照AdaGrad优化方法，基于正例集合Δ和负例集合Δ′中的头实体、关系和尾实体，完成语义向量和映射向量的更新。为加速迭代，需要对更新后的语义和映射向量进行正则化，然后返回步骤2.3.2)；

具体的正则化操作，即判断三元组中各向量是否满足如下约束条件：

和

具体算法流程如下表所示：

算法 InterTris训练过程

3)基于得到的InterTris模型，可以实现知识图谱的数值化表示，从而奠定知识图谱价值挖掘的基础。如：可以进行链接预测，从而实现知识图谱补全，进一步提升原有知识图谱的生产实践价值；同时，该模型也可以判断相应三元组是否成立，从而进行知识图谱中的三元组质量评估等。

实施例

本发明提出的InterTris模型从三元组内三元素之间的交互作用出发进行建模。而传统知识图谱表示学***起见，EMT在实验部分将所有模型的维度都设置为20。为防止维度不同带来偏差，本实施例也在20维基础之上进行调参。

实施例一、链接预测

链接预测是验证知识图谱表示学习结果有效性的常用实验之一。其任务是基于头实体、关系和尾实体之中的两个来预测第三个，具体包括头实体预测、尾实体预测和关系预测。与已有的embedding知识图谱表示学习模型相同，本实施例也采用MeanRank和Hit@k两个指标，并报告raw(过滤前)和filt(过滤后)两种结果。其中，除ES的关系预测为Hit@1外，所有的k＝10，即Hit@10。

基于AdaGrad，本实施例的学习率是0.1，最大训练轮数为1000。调参范围为学习率衰减系数γ∈{0.1,0.01,0.001}，负例个数n∈{3,4,5,6}。通过网格搜索，本实施例得到ES的最优参数为γ＝0.001，n＝6；Kinship的最优参数为γ＝0.001，n＝5。相应实验结果如表1、表2和表3所示。加粗结果表示相同情况下的最佳模型。整体而言，InterTris模型最佳，传统模型的优劣次序为EMT系列模型、组合模型和转换模型。

表1是基于微生物酶知识图谱样本数据ES的链接预测结果。由于酶知识图谱中同一个头实体通过相同关系连接的尾实体可以达到成千上万，所以头实体和尾实体链接预测的raw和filt两种情况差距较大。例如，尾实体链接预测在raw状态下的MeanRank基本都是600以上或者更多，但filt之后的MeanRank最低可以达到个位数。同时，从表1可以看出，InterTris在filt情况下的所有指标均为最优，只有在头尾实体链接预测的raw设置中稍低于最优情况。在链接预测中，filt在获取目标三元组排名的时候，删除了其之前所有正确的三元组，而raw则没有。所以，与raw相比，filt情况下的实验结果往往表现更佳。生产实践中进行链接预测时，并不考虑已知正确三元组，所以filt情况下的实验结果更具有参考价值。

表1基于ES的链接预测结果

表2是基于Kinship数据集的链接预测结果。除了头实体预测raw情况下的Hit@10比ANALOGY模型低了1.9个百分点以外，InterTris在其他所有指标上的表现均为最优。

表2基于Kinship的链接预测结果

如前所述，本发明从知识图谱的本质出发，旨在构建适应不同知识图谱的表示学习模型。为了说明其有效性，本发明在实施例中基于具有多尾现象的知识图谱进行链接预测。EMT模型根据相同头实体通过相同关系连接的尾实体数目，提出了1-1-1和1-1-N的三元组分类方式。基于filt情况下的Hit@10，表3具体展示了InterTris模型在两种三元组上的链接预测结果。除了在raw情况下对ES数据的1-1-1尾实体预测较低，InterTris在其他所有指标上都达到了最佳效果。

表3基于关系分类的链接预测结果

综上，由于从知识图谱构建语义联系的本质出发，InterTris即使在特殊数据集上也能表现出较好的实验结果。

实施例二、三元组分类

在知识图谱表示学习中，三元组分类也是一个检验模型有效性的常用实验。该实验的任务是判断给定三元组是否成立。本实施例的实验细节与传统实验一致。三元组分类的baseline及调参方式，与上述链接预测一致。基于网格搜索，本实施例得到的最佳参数为：ES数据集γ＝0.001，n＝3；Kinship数据集γ＝0.01，n＝5。

表4是三元组分类的实验结果。无论是ES数据集，还是Kinship数据集，InterTris模型的准确率都最高。尤其是Kinship数据集，InterTris模型的准确率比第二名TranSparse高了17.69个百分点。

表4三元组分类实验结果

Models	ES	Kinship
			TransE	87.34	66.77
TransH	89.98	70.95
			TransR	75.89	66.46
TransD	96.29	60.24
			TranSparse	94.64	72.82
DistMult	94.03	67.5
			HolE	96.32	70.12
Complex	93.31	69.97
			ANALOGY	93.8	68.11
EMT	93.36	69.76
			EMT<sup>v</sup>	93.58	71.66
EMT<sup>s</sup>	97.20	64.50
			InterTris	98.85	90.51

结论

本发明认为知识图谱的本质是构建语义联系，所以便从基本语义单位三元组出发对头实体、关系和尾实体三者及其之间的交互作用进行建模，从而提出了InterTris模型。上述实施例说明，即使是面向特殊数据集，理论上适应所有数据特征的InterTris也可以表现出很好效果。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (7)

1.一种基于三元交互的知识图谱表示学习方法，其特征在于包括以下步骤：

1)在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型；

2)对构建的InterTris模型进行训练，得到训练好的InterTris模型；

3)利用得到的InterTris模型，实现知识图谱的数值化表示。

2.如权利要求1所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤1)中，在知识图谱中，以三元组为基本单位，对头实体、关系和尾实体三者本身及其之间的交互进行建模，得到InterTris模型的方法，包括以下步骤：

1.1)为三元组中头实体、关系和尾实体分别构建对应的语义向量h、r和t；

1.2)构建映射向量，使用映射向量h_p、r_p和t_p分别表示头实体、关系和尾实体对另外两个元素的影响；

1.3)基于广义内积，对三元组进行交互过程建模，得到映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥；

1.4)基于转换思想，对映射后的头实体h_⊥、关系r_⊥和尾实体t_⊥进行转换操作，得到InterTris模型。

3.如权利要求2所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤1.4)中，所述InterTris模型为：

f(h，,r,t)＝h_⊥+r_⊥-t_⊥，

式中，h_⊥、r_⊥和t_⊥分别为映射后的头实体、关系和尾实体，其中，h_⊥＝<h,r_p,t_p>，<,,>表示广义向量内积，r_p和t_p分别表示关系和尾实体对头实体的影响；同理，映射后的关系为r_⊥＝<_p,r,t_p>和映射后的尾实体为t_⊥＝<h_p,r_p,t>。

4.如权利要求3所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤2)中，对构建的InterTris模型进行训练，得到训练好的InterTris模型的方法，包括以下步骤：

2.1)确定输入参数，包括训练数据集S；验证数据集V；头实体集合H；关系集合R；尾实体集合T；衰减参数offset；头实体、关系和尾实体的语义向量和映射向量，这里假设所有语义向量和映射向量的维度均为n；最大损失函数值max；

2.2)对输入的所有头实体、关系和尾实体的语义向量和映射向量进行随机初始化；

2.3)根据损失函数对初始化后的头实体、关系和尾实体的语义向量和映射向量进行更新，直到满足预设阈值为止，得到训练好的InterTris模型。

5.如权利要求4所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤2.3)中，根据损失函数对初始化后的头实体、关系和尾实体的语义向量和映射向量进行更新的方法，包括以下步骤：

2.3.1)从训练数据集S中随机抽样得到对应的mini-batch数据集作为正例集合Δ＝{<h,r,t>}，基于bern采样方法得到相应负例集合Δ′；同时，从验证数据集V中得到正例集合和负例集合；

2.3.2)将验证数据集V的正例集合和负例集合输入损失函数，记录当前损失函数值，并与最大损失函数值max进行比较：若损失函数值小于max，则进入步骤2.3.3)，否则结束迭代，得到训练好的InterTris模型；

2.3.3)根据损失函数进行梯度求解，并按照AdaGrad优化方法，基于正例集合Δ和负例集合Δ′中的头实体、关系和尾实体，完成语义向量和映射向量的更新，并对更新后的语义和映射向量进行正则化，然后返回步骤2.3.2)。

6.如权利要求5所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤2.3.2)中，采用的损失函数为：

其中，当i＝1,···,s时，衰减参数offset的值是

式中，S为训练数据集；<h_i,r_i,t_i>(i＝1,…,s)为训练数据集中的第i个三元组；每个三元组都有标签y_i(i＝1,…,s)，若y_i＝1，相应三元组成立；y_i＝0，则不成立；Δ为成立三元组构成的正例集合；Δ′为不成立的三元组构成的负例集合。

7.如权利要求5所述的一种基于三元交互的知识图谱表示学习方法，其特征在于：所述步骤2.3.3)中，对更新后的语义和映射向量进行正则化操作，即判断三元组中各语义向量和映射向量是否满足如下约束条件：

Images