CN111680109A - 知识图谱表示学习模型训练方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种知识图谱表示学习模型训练方法、装置及电子设备，该方法包括：获取知识图谱中的三元组训练数据；根据三元组训练数据构建四元组训练数据，四元组训练数据包括三元组训练数据以及三元组训练数据对应的权重；将四元组训练数据输入到预设模型中，对预设模型进行训练；在预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。可见，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

Description

知识图谱表示学习模型训练方法、装置及电子设备

技术领域

本申请涉及知识图谱和深度学习技术领域，特别是涉及知识图谱表示学习模型训练方法、装置及电子设备。

背景技术

随着科学技术的快速发展，知识图谱的构建和应用得到了快速的发展。知识谱图是由节点和不同类型的边组成的多关系图，其中，每个节点代表一个实体，每条边代表该条边连接的两个节点(称为头结点和尾节点)之间的关系，即表示头实体和尾实体通过特定的关系连接在一起。并且，头实体、尾实体以及关系所组成的三元组训练数据构成了事实。例如，(姚明，出生于，上海)就是一个事实。

虽然由三元组所构成事实在表示结构化数据方面很有效，但是，由于事实是一条条文本数据，因此，在实际应用中，对由三元组所构成的事实较难操作，为此，知识图谱表示学习应用而生，知识图谱的目的是将头实体、尾实体以及关系转化为向量。

发明人在实现本发明的过程中发现：相关技术中，知识图谱表示学习方法在将头实体、尾实体以及关系转化为向量时，对于每个事实或者实体，都是同等对待的。但是，在实际的应用场景中，不同事实或者实体的重要性是不一样。因此，利用相关技术的技术方案，转化所得的头实体对应的向量，尾实体对应的向量，以及关系对应的向量的准确度较低。

发明内容

为了解决相关技术中存在的转化所得的头实体对应的向量，尾实体对应的向量，以及关系对应的向量的准确度较低的技术问题，本申请提供了知识图谱表示学习模型训练方法、装置及电子设备。

第一方面，本申请实施例提供了一种知识图谱表示学习模型训练方法，所述方法包括：

获取知识图谱中的三元组训练数据，所述三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系；

根据所述三元组训练数据构建四元组训练数据，所述四元组训练数据包括所述三元组训练数据以及所述三元组训练数据对应的权重，所述三元组训练数据对应的权重用于表征所述三元组训练数据的重要程度；

将所述四元组训练数据输入到预设模型中，对所述预设模型进行训练，其中，在训练所述预设模型的过程中，所述预设模型提取所述头实体对应的向量，所述尾实体对应的向量，以及所述头实体和尾实体之间的关系对应的向量；

在所述预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

可选地，所述根据所述三元组训练数据构建四元组训练数据，包括：

统计知识图谱中的三元组训练数据中尾实体的数量；

根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组，其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组；

基于数量区间的区间值大小确定对应的尾实体分组的权重，其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大；

对于每一尾实体分组，将所述尾实体分组的权重，确定为所述尾实体分组所包括的各个尾实体的三元组训练数据对应的权重；

将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

可选地，所述预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的；

其中，所述负三元组训练数据为将所述三元组训练数据中的头实体和/或尾实体进行变换得到的，所述负三元组训练数据对应的权重为所述负三元组训练数据的尾实体的数量所在数量区间对应的尾实体分组的权重。

可选地，所述预设模型的预设损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'-new表示负四元组训练数据集合。

可选地，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，所述方法还包括：

在将所述预设模型的损失函数的损失函数值调整为小于所述损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t对应的向量，使得 h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

第二方面，本申请实施例提供了一种知识图谱表示学习模型训练装置，所述装置包括：

三元组训练数据获取模块，用于获取知识图谱中的三元组训练数据，所述三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系；

四元组训练数据构建模块，用于根据所述三元组训练数据构建四元组训练数据，所述四元组训练数据包括所述三元组训练数据以及所述三元组训练数据对应的权重，所述三元组训练数据对应的权重用于表征所述三元组训练数据的重要程度；

预设模型训练模块，用于将所述四元组训练数据输入到预设模型中，对所述预设模型进行训练，其中，在训练所述预设模型的过程中，所述预设模型提取所述头实体对应的向量，所述尾实体对应的向量，以及所述头实体和尾实体之间的关系对应的向量；

知识图谱表示学习模型确定模块，用于在所述预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

可选地，所述四元组训练数据构建模块，具体用于：

统计知识图谱中的三元组训练数据中尾实体的数量；

根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组，其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组；

基于数量区间的区间值大小确定对应的尾实体分组的权重，其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大；

对于每一尾实体分组，将所述尾实体分组的权重，确定为所述尾实体分组所包括的各个尾实体的三元组训练数据对应的权重；

将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

可选地，所述预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的；

其中，所述负三元组训练数据为将所述三元组训练数据中的头实体和/或尾实体进行变换得到的，所述负三元组训练数据对应的权重为所述负三元组训练数据的尾实体的数量所在数量区间对应的尾实体分组的权重。

可选地，所述预设模型的损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据对应的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'-new表示负四元组训练数据集合。

可选地，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，所述装置还包括：

向量调整模块，用于在将所述预设模型的损失函数的损失函数值调整为小于所述损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t 对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现第一方面所述的知识图谱表示学习模型训练方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的知识图谱表示学习模型训练方法的步骤。

本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，获取知识图谱中的三元组训练数据，并根据三元组训练模型构建四元组训练数据，并且，四元组训练数据不仅包括三元组训练数据，还包括三元组训练数据对应的权重；在得到四元组训练数据之后，可以将四元组训练数据输入到预设模型中，对预设模型进行训练，并且，在训练预设模型的过程中，预设模型可以对头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量进行学习；最后，在预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

可见，通过本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

附图说明

图1是本申请实施例提供的一种知识图谱表示学习模型训练方法的步骤流程图；

图2是图1所示实施例中S120的一种实施方式的步骤流程图；

图3是本申请实施例提供的一种知识图谱表示学习模型训练装置的结构框图；

图4是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

为了解决相关技术中存在的知识图谱表示学习方法在将头实体、尾实体以及关系转化为向量时，因对于每个事实或者实体都是同等对待的，而导致转化所得的头实体对应的向量，尾实体对应的向量，以及关系对应的向量的准确度较低的技术问题，本申请提供了一种知识图谱表示学习模型训练方法、装置及电子设备。

第一方面，首先对本申请实施例提供的一种知识图谱表示学习模型训练方法进行详细介绍。

如图1所示，本申请实施例提供的一种知识图谱表示学习模型训练方法，具体可以包括如下步骤：

S110，获取知识图谱中的三元组训练数据。

其中，三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系。

具体的，知识谱图是由节点和不同类型的边组成的多关系图，其中，每个节点代表一个实体，每条边代表该条边连接的两个节点(称为头结点和尾节点)之间的关系，即表示头实体和尾实体通过特定的关系连接在一起。并且，头实体、尾实体，以及头实体和尾实体之间的关系构成了三元组训练数据。

举例而言，知识图谱中，头实体为姚明，尾实体为上海，头实体和尾实体之间的关系为出生于，那么，三元组训练数据即为：(姚明，出生于，上海)。

S120，根据三元组训练数据构建四元组训练数据。

其中，四元组训练数据包括三元组训练数据以及三元组训练数据对应的权重，三元组训练数据对应的权重用于表征三元组训练数据的重要程度。

具体的，发明人在实现本发明的过程中发现：知识图谱中不同事实或者实体的重要性是不一样的，因此，在获取了知识谱图中的三元组训练数据之后，可以判断三元组训练数据的重要程度。

举例而言，一个商家具有很多标签，该商家就是一个头实体，每一个标签为一个尾实体，商家与标签之前的关系为：被打上了标签。在实际应用中，该商家具有的多个标签的重要程度是不同的。例如，“服务好”，“有大桌”这样的标签比较泛，即很多商家均有可能被打上“服务好”，“有大桌”这样的标签，这部分泛标签对于商家来说不是很重要；而“适合遛娃”，“适合情侣”这样的标签相对来说比较有特色，只有少部分商家会被打上适合遛娃”，“适合情侣”这样的标签，这部分标签对于商家相对重要一点。

因此，(商家，被打上了标签，适合遛娃)以及，(商家，被打上了标签，适合情侣)这样的三元组训练数据对于商家的重要程度较高，即这样的三元组训练数据的重要性较高。而(商家，被打上了标签，服务好)以及，(商家，被打上了标签，有大桌)这样的三元组训练数据对于商家的重要程度较低，即这样的三元组训练数据的重要性较低。

通过上述描述可知，对于一个三元组训练数据来说，可以通过知识图谱中，该三元组训练数据所包括的尾实体出现次数的多少来确定该三元组训练数据的重要性。可以理解的是，如果一个三元组训练数据所包括的尾实体在知识图谱中出现的次数较少，说明该尾实体具有代表性，该三元组训练数据的重要程度较高，因此，该三元组训练数据对应的权重较大。相反的，如果一个三元组训练数据所包括的尾实体在知识图谱中出现的次数较多，说明该尾实体不具有代表性，该三元组训练数据的重要程度较低，因此，该三元组训练数据对应的权重较较小。

为了方案描述清楚，将在下面实施例中对S120，根据三元组训练数据构建四元组训练数据的具体实施方式进行详细介绍。

S130，将四元组训练数据输入到预设模型中，对预设模型进行训练。

其中，在训练预设模型的过程中，预设模型提取头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量。

具体的，在得到四元组训练数据之后，可以将四元组训练数据输入到预设模型中，预设模型在得到四元组训练数据后，可以提取头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量，即预设模型对头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量进行学习。

预设模型可以为：TransE模型,TransH模型,TransR&CTransR模型, TransD模型，NTN模型,SSP模型,DKRL模型任意一种模型，本领域技术人员可以理解这些模型，本申请实施例在此不再赘述，并且，本申请实施例对预设模型不做具体限定。

S140，在预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

具体的，在训练预设模型的过程中，调整预设模型的损失函数的损失函数值，并且预设模型的损失函数的损失函数值小于损失函数阈值时，说明预设模型训练好了，此时，可以将训练后的预设模型确定为知识图谱表示学习模型。本申请实施例对损失函数阈值的大小不做具体限定。

为了方案描述清楚，将在下面实施例中对预设模型的损失函数进行详细介绍。

本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，获取知识图谱中的三元组训练数据，并根据三元组训练模型构建四元组训练数据，并且，四元组训练数据不仅包括三元组训练数据，还包括三元组训练数据对应的权重；在得到四元组训练数据之后，可以将四元组训练数据输入到预设模型中，对预设模型进行训练，并且，在训练预设模型的过程中，预设模型可以对头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量进行学习；最后，在预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

可见，通过本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

为了方案描述清楚，将在下面实施例中对S120，根据三元组训练数据构建四元组训练数据的具体实施方式进行详细介绍。

如图2所示，S120，根据三元组训练数据构建四元组训练数据，可以包括如下步骤：

S121，统计知识图谱中的三元组训练数据中尾实体的数量。

具体的，由于知识图谱中具有大量三元组训练数据，每个三元组训练数据包括一个尾实体，有些三元组训练数据对应的尾实体相同，例如，如果商家1和商家2均被打上了“服务好”的标签，那么，(商家1，被打上了标签，服务好)，以及，(商家2，被打上了标签，服务好)这两个三元组训练数据对应的尾实体相同。因此，可以统计三元组训练数据中尾实体的数量，尾实体的数量可以是一个，也可以是多个。

S122，根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组。

其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组。

具体的，在统计得到尾实体的数量之后，可以根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组。例如，可以将尾实体的数量在数量区间(1,100)的尾实体分成一组，将尾实体的数量在数量区间(100,200) 的尾实体分成一组，将尾实体的数量在数量区间(200,300)的尾实体分成一组。当然，这只是按照尾实体的数量所在的数量区间对尾实体进行分组的一个示例，本申请实施例对数量区间不做具体限定。

S123，基于数量区间的区间值大小确定对应的尾实体分组的权重。

其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大。

由图1所示实施例可知，如果一个三元组训练数据所包括的尾实体在知识图谱中出现的次数较少，说明该尾实体具有代表性，该三元组训练数据的重要程度较高，因此，该三元组训练数据对应的权重较大。相反的，如果一个三元组训练数据所包括的尾实体在知识图谱中出现的次数较多，说明该尾实体不具有代表性，该三元组训练数据的重要程度较低，因此，该三元组训练数据对应的权重较较小。综上所述，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大。需要说明的是，本申请实施例对各个尾实体分组的权重的大小不做具体限定。

S124，对于每一尾实体分组，将尾实体分组权重，确定为尾实体分组所包括的各个尾实体的三元组训练数据对应的权重。

在确定了各个尾实体分组对应的权重后，可以将尾实体分组对应的权重，确定为尾实体分组中各个尾实体对应的权重。在确定了各个尾实体对应的权重后，即得到了包括各个尾实体的三元组训练数据对应的权重。

举例而言，某一尾实体分组的权重为权重1，那么，该尾实体分组中各个尾实体对应的权重均为权重1，包括各个尾实体的三元组训练数据对应的权重均为权重1。

S125，将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

在确定了三元组训练数据，以及，三元组训练数据对应的权重后，即可以得到四元组训练数据。具体的，四元组训练数据可以为(头实体，关系，尾实体，三元组训练数据对应的权重)。

可见，本实施方式提供的技术方案，通过统计三元组训练数据中的尾实体的数量，可以准确得到三元组训练数据，从而准确地构建四元组训练数据，有利于后续步骤中，利用四元组训练数据来训练知识图谱表示学习模型。

在上述图2所示实施例的基础上，预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的。

其中，负三元组训练数据为将三元组训练数据中的头实体和/或尾实体进行变换得到的，负三元组训练数据对应的权重为负三元组训练数据的尾实体数量所在数量区间对应的尾实体分组的权重。

具体的，训练预设模型的训练数据可以分为正样本训练数据和负样本训练数据的，其中，正样本训练数据即为三元组训练数据，例如，可以为(姚明，出生于，上海)。负样本训练数据为负三元组训练数据，负三元组训练数据是将三元组训练数据中的头实体和/或尾实体进行变换得到的。例如，在三元组训练数据为(姚明，出生于，上海)时，负三元组训练数据可以为(姚明，出生于，福建)，或者，(吴亦凡，出生于，上海)等。在得到负三元组训练数据后，可以统计负三元组训练数据中尾实体的数量，并确定尾实体的数量所在的数量区间，并将尾实体的数量所在的数量区间对应的尾实体分组的权重，确定为负三元组训练数据对应的权重。

可见，在确定预设模型的损失函数时，考虑了三元组训练数据对应的权重，以及负三元组训练数据对应的权重，即考虑了知识谱图中知识的重要性信息，使得所确定的预设模型的预设损失函数更加准确，有利于使得预设模型所学习的头实体对应的向量，尾实体对应的向量，以及头实体与尾实体之间的关系对应的向量更加准确。

作为本申请实施例的一种实现方式，预设模型的损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'-new表示负四元组训练数据集合。

具体的，在该实现方式中，提出了一个基于自适应权重损失函数L_new，并通过最小化损失函数的损失函数值，学习得到头实体对应的向量、尾实体对应的向量，以及头实体和尾实体之间的关系的向量。具体的，可以采用随机梯度下降方法最小化损失函数的损失函数值，学习得到知识图谱中头实体对应的向量、尾实体对应的向量，头实体和尾实体之间的关系对应的向量，以及这三种向量之间的相互联系。

并且，在一种实施方式中，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，该方法还可以包括如下步骤：

在将预设模型的损失函数的损失函数值调整为小于损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

具体的，最小化损失函数的损失函数值的过程即为最小化得分函数的过程，且最小化损失函数的损失函数值的过程就是达到优化目标的过程。在得分函数中的f用的是TransE模型中的能量函数时，那么，最小化损失函数的损失函数值的过程中，当关系r的类型为简单关系类型1-1或复杂关系类型 1-N，N-1，N-N时，通过不断h对应的向量，r对应的向量，以及t对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量，即使得h对应的向量与r对应的向量尽可能与t对应的向量相等。

本实施方式提供的技术方案，通过控制h对应的向量与r对应的向量尽可能与t对应的向量相等，在r和t相同时，通过一条h对应的向量，r对应的向量，以及t对应的向量之间的关系，可以表示多个三元组训练数据。例如，一条三元组训练数据为(姚明，出生于，上海)，另一条三元组训练数据为(吴亦凡，出生于，上海)，可以通过一条h对应的向量，r对应的向量，以及t对应的向量之间的关系，可以表示姚明和吴亦凡均出生于上海。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本申请所必须的。

第二方面，本申请实施例提供了一种知识图谱表示学习模型训练装置，如图3所示，所述装置包括：

三元组训练数据获取模块310，用于获取知识图谱中的三元组训练数据，所述三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系；

四元组训练数据构建模块320，用于根据所述三元组训练数据构建四元组训练数据，所述四元组训练数据包括所述三元组训练数据以及所述三元组训练数据对应的权重，所述三元组训练数据对应的权重用于表征所述三元组训练数据的重要程度；

预设模型训练模块330，用于将所述四元组训练数据输入到预设模型中，对所述预设模型进行训练，其中，在训练所述预设模型的过程中，所述预设模型提取所述头实体对应的向量，所述尾实体对应的向量，以及所述头实体和尾实体之间的关系对应的向量；

知识图谱表示学习模型确定模块340，用于在所述预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

可见，通过本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

可选地，所述四元组训练数据构建模块，具体用于：

统计知识图谱中的三元组训练数据中尾实体的数量；

根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组，其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组；

基于数量区间的区间值大小确定对应的尾实体分组的权重，其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大；

对于每一尾实体分组，将所述尾实体分组的权重，确定为所述尾实体分组所包括的各个尾实体的三元组训练数据对应的权重；

将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

可选地，所述预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的；

其中，所述负三元组训练数据为将所述三元组训练数据中的头实体和/或尾实体进行变换得到的，所述负三元组训练数据对应的权重为所述负三元组训练数据的尾实体的数量所在数量区间对应的尾实体分组的权重。

可选地，所述预设模型的损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据对应的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'-new表示负四元组训练数据集合。

可选地，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，所述装置还包括：

向量调整模块，用于在将所述预设模型的损失函数的损失函数值调整为小于所述损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t 对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

第三方面，本申请实施例提供了一种电子设备，如图4所示，包括存储器410、处理器420及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现第一方面所述的知识图谱表示学习模型训练方法的步骤。

可见，通过本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的知识图谱表示学习模型训练方法的步骤。

可见，通过本申请实施例提供的技术方案，在训练知识图谱表示学习模型时，考虑了不同三元组训练数据的重要程度，因此，通过训练好的知识图谱表示学习模型所提取的头实体对应的向量，尾实体对应的向量，以及头实体和尾实体之间的关系对应的向量的准确度较高。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和 /或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种知识图谱表示学习模型训练方法和一种知识图谱表示学习模型训练装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种知识图谱表示学习模型训练方法，其特征在于，所述方法包括：

获取知识图谱中的三元组训练数据，所述三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系；

根据所述三元组训练数据构建四元组训练数据，所述四元组训练数据包括所述三元组训练数据以及所述三元组训练数据对应的权重，所述三元组训练数据对应的权重用于表征所述三元组训练数据的重要程度；

将所述四元组训练数据输入到预设模型中，对所述预设模型进行训练，其中，在训练所述预设模型的过程中，所述预设模型提取所述头实体对应的向量，所述尾实体对应的向量，以及所述头实体和尾实体之间的关系对应的向量；

在所述预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述三元组训练数据构建四元组训练数据，包括：

统计知识图谱中的三元组训练数据中尾实体的数量；

根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组，其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组；

基于数量区间的区间值大小确定对应的尾实体分组的权重，其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大；

对于每一尾实体分组，将所述尾实体分组的权重，确定为所述尾实体分组所包括的各个尾实体的三元组训练数据对应的权重；

将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

3.根据权利要求2所述的方法，其特征在于，所述预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的；

其中，所述负三元组训练数据为将所述三元组训练数据中的头实体和/或尾实体进行变换得到的，所述负三元组训练数据对应的权重为所述负三元组训练数据的尾实体的数量所在数量区间对应的尾实体分组的权重。

4.根据权利要求3所述的方法，其特征在于，所述预设模型的损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'_new表示负四元组训练数据集合。

5.根据权利要求4所述的方法，其特征在于，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，所述方法还包括：

在将所述预设模型的损失函数的损失函数值调整为小于所述损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

6.一种知识图谱表示学习模型训练装置，其特征在于，所述装置包括：

三元组训练数据获取模块，用于获取知识图谱中的三元组训练数据，所述三元组训练数据包括头实体，尾实体，以及头实体和尾实体之间的关系；

四元组训练数据构建模块，用于根据所述三元组训练数据构建四元组训练数据，所述四元组训练数据包括所述三元组训练数据以及所述三元组训练数据对应的权重，所述三元组训练数据对应的权重用于表征所述三元组训练数据的重要程度；

预设模型训练模块，用于将所述四元组训练数据输入到预设模型中，对所述预设模型进行训练，其中，在训练所述预设模型的过程中，所述预设模型提取所述头实体对应的向量，所述尾实体对应的向量，以及所述头实体和尾实体之间的关系对应的向量；

知识图谱表示学习模型确定模块，用于在所述预设模型的损失函数的损失函数值小于损失函数阈值时，将训练后的预设模型确定为知识图谱表示学习模型。

7.根据权利要求6所述的装置，其特征在于，所述四元组训练数据构建模块，具体用于：

统计知识图谱中的三元组训练数据中尾实体的数量；

根据尾实体的数量所在的数量区间对尾实体进行分组，得到尾实体分组，其中，尾实体的数量在同一数量区间的尾实体被分为同一尾实体分组；

基于数量区间的区间值大小确定对应的尾实体分组的权重，其中，一个数量区间的区间值越小，该数量区间对应的尾实体分组的权重越大；

对于每一尾实体分组，将所述尾实体分组的权重，确定为所述尾实体分组所包括的各个尾实体的三元组训练数据对应的权重；

将三元组训练数据以及三元组训练数据对应的权重确定为四元组训练数据。

8.根据权利要求7所述的装置，其特征在于，所述预设模型的损失函数是基于三元组训练数据的得分函数，三元组训练数据对应的权重，负三元组训练数据的得分函数，以及负三元组训练数据对应的权重所确定的；

其中，所述负三元组训练数据为将所述三元组训练数据中的头实体和/或尾实体进行变换得到的，所述负三元组训练数据对应的权重为所述负三元组训练数据的尾实体的数量所在数量区间对应的尾实体分组的权重。

9.根据权利要求8所述的装置，其特征在于，所述预设模型的损失函数为：

其中，h表示头实体，t表示尾实体，r表示头实体h和尾实体t的关系，ω表示三元组训练数据对应的权重；γ为预设边界值；(h,r,t)表示三元组训练数据，f(h,r,t)表示三元组训练数据对应的得分函数，S-new表示四元组训练数据集合；ω'表示负三元组训练数据对应的权重，(h',r,t')表负三元组训练数据，f(h',r,t')表示负三元组训练数据的得分函数，S'_new表示负四元组训练数据集合。

10.根据权利要求9所述的装置，其特征在于，当f(h,r,t)和f(h',r,t')为TransE模型中的能量函数时，所述装置还包括：

向量调整模块，用于在将所述预设模型的损失函数的损失函数值调整为小于所述损失函数阈值的过程中，调整h对应的向量，r对应的向量，以及t对应的向量，使得h对应的向量和r对应的向量之和与t对应的向量之间的差值小于预设向量。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的知识图谱表示学习模型训练方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的知识图谱表示学习模型训练方法的步骤。

Images