CN110704636A - 一种改进的基于Node2vec的知识图谱向量表示方法 - Google Patents

Abstract

本发明公开了一种改进的基于Node2vec的知识图谱向量表示方法，其方法为：步骤一、重构知识图谱G’＝(E,R,L)；步骤二、转移概率设定；步骤三、游走路径设定；步骤四、根据节点的种类以及节点所处的位置设定训练模型；步骤五、训练参数优化；步骤六、通过多次训练，输出节点的向量化表示。本发明的有益效果：结合重构的知识图谱结构，进行反复训练，将游走序列按照实体与关系交叉游走的方式，可以充分地训练得到节点的语义信息，在获取网络拓扑结构的同时，也可获取到其性质意义。将同质性结构网络更改为异构性结构网络，更适应知识图谱网络结构的特点，游走序列与自然语言结构更为贴近，预测结果更加准确。

Description

一种改进的基于Node2vec的知识图谱向量表示方法

技术领域

本发明涉及一种知识图谱向量表示方法，特别涉及一种改进的基于Node2vec的知识图谱向量表示方法。

背景技术

知识图谱由Google公司在2012年提出，与常规图结构相比，知识图谱中的节点被赋予实体的意义，而实体之间的边则代表了实体之间的关系。因此知识图谱可以将不同种类的信息连接在一起，提供了从“关系”的角度去分析问题的能力。

为了更好的处理多关系型数据，引入了知识表示学习技术，即对实体与实体之间的关系进行表示学习。KG Embedding的相关算法也应运而生。KG Embedding的一般步骤:1)表示图中的实体和关系；2)定义打分函数；3)学习实体和关系的向量表示。

TransE模型是处理KG embedding的经典算法，自2013年Bordes等人提出TransE模型后，产生了一系列模型对TransE模型进行改进和补充,比如TransH、TransG等等。

传统训练知识库中三元组(head,relation,tail)建模的方法参数较多，导致模型可解释性较低，在训练过程中易出现过拟合问题。TransE模型对损失函数进行改进，加入奖惩机制，将预测结果尽可能对错分开最大化，弥补了传统方法训练参数复杂、不易拓展的缺点。Zhen Wang等人提出的TransH算法，在TransE的基础上加入两个关系相关矩阵，用于头与尾的表示，并未将关系映射到另一个空间，而是由向量进行表示，解决了TransE对一对多，多对一，多对多关系建模的难题。Guoliang Ji等人将TransE模型在链接预测问题上进行了改进与扩展，提出了TransD模型，该模型对每一个关系都定义了映射矩阵，提升预测准确率的同时也增加了计算复杂度。Hao Xian等人提出了TransA算法，重新定义损失度量函数，通过增加一个矩阵Wr，利用了椭圆等价超平面，解决了维度噪音的问题。Shizhu He等人提出KG2E算法，利用高斯分布来表示实体与关系，将高斯分布的协方差用于表示实体与关系之间的不确定度，提升了链接预测的准确率。

通过研究发现，前述方法中仍有一定的局限性，存在一些根本问题，没有得到解决。第一个问题就是无法通过训练得到语义充分的表示向量，第二个问题是模型的复杂度与模型的准确率无法平衡。

发明内容

本发明的目的是为了解决目前知识图谱向量表示方法中所存在的：无法通过训练得到语义充分的表示向量以及模型的复杂度与模型的准确率无法平衡的问题而提供的一种改进的基于Node2vec的知识图谱向量表示方法。

在传统知识图谱网络结构中，包括实体、语义类、内容、属性以及关系等。其中实体、语义类、内容以及属性值，构成了知识图谱网络图中的节点，而关系则是以链接这些节点的边来展现。知识图谱通常以三元组进行表示。

现有知识图谱G＝(E,R,S)，其中E代表了知识图谱中E种不同实体的集合，E＝{e1,e2,e3……,e|E|}，实体在知识图谱网络图中用节点表示。R表示知识图谱中关系的集合，R＝{r1,r2,r3……,r|R|},在知识图谱网络图中关系通常用网络图中的边表示，图中的一条边链接两个节点，构成了“实体-关系-实体”的三元组。

代表了知识图谱中的三元组。为了将知识图谱同质化，需要将知识图谱网络图进行重构。

本发明提供的改进的基于Node2vec的知识图谱向量表示方法，其方法如下所述：

步骤一、重构知识图谱G’＝(E,R,L)，其中E是原知识图谱网络中的实体型节点集合，R是从原结构中关系集合抽取构成的关系型节点，L则是链接实体节点与关系节点或是体节点与实体节点的边，不存在实际意义，现给出重构的知识图谱网络结构的定义如下：

定义1：对于重构知识图谱G，存在两类节点，分别是关系型节点与实体型节点，关系型节点之间不会存在任何链接，实体型节点与关系型节点之间的链接是最普遍的链接，两个实体节点之间会存在链接；

步骤二、转移概率设定：为了将node2vec模型适用于知识图谱，已将知识图谱网络结构进行了同质化改进，用关系型节点取缔边的标签，节点种类由单一类型变为实体以及关系类型两种节点，游走策略也需要被改进，针对不同种类的节点，游走策略也不同，与普通的社会网络相比，知识图谱网络具有一定特性，节点多数以“实体-关系-实体”序列存在，根据这一规则给出假设1，具体如下：

假设1：知识图谱中的节点上下文具有较强的规则性，对于实体节点而言，其最邻近上下文节点多数为关系型节点，对于关系型节点而言，其最邻近上下文节点只可以为实体类型节点；

针对不同节点类型给出不同的节点游走策略；

实体节点：若当前节点是实体型节点S₁，是通过关系型节点R₂跳转得到的，即实体型S₁节点的上一节点是关系型节点R₂，S₁的下一次转移有三种情况，其转移概率如下：

1)、回跳到上一关系型节点R₂，这种情况对于知识图谱而言是不存在任何意义的，所以转移概率为0；

2)、由S₁跳转到与之关联的另一个关系型节点R₁，这种情况是所期望的，符合了假设1，所以跳转概率为1；

3)、跳转到与之相关联的实体节点S₂，对于这种情况是存在但是不常见的，所以设定概率为1/q；

关于实体型节点的跳转参数α如下所示：

其中α代表了转移参数，q是训练参数，d_tx代表了节点t与节点x之间的最短路径，并且假设符合二阶马尔科夫条件，d_tx的值只能为{0，1，2}之间的一个；

关系节点：

若当前节点是关系型节点，α参数设定如下：

由假设1可知，关系节点只能与实体节点相连，当前节点是节点R，其上一节点是节点S₁，节点R的下一次转移概率有三种，具体如下：

1)、跳转到其上一节点S₁，对于这种情况而言，在知识图谱中是不存在的，设定概率为0；

2)、跳转到与上一节点S₁具有关联的节点S₂，并凑成有逻辑的“实体-关系-实体”的逻辑串，设定转移概率为1；

3)、跳转到另一与R相关的实体节点S₃，构成“实体-关系”与“关系-实体”的逻辑串，设定逻辑概率为1/p；

关于节点类型的跳转参数α如下所示：

其中α代表了转移参数，p是训练参数，d_tx代表了节点t与节点x之间的最短路径，并且假设符合二阶马尔科夫条件，d_tx的值只能为{0，1，2}之间的一个；

步骤三、游走路径设定：通过公式获取到关系节点与实体节点的转移概率，进行游走路径的设定，针对知识图谱而言，游走路径以“实体-关系-实体”这样的三元组为游走路径的构成基础；

步骤四、根据节点的种类以及节点所处的位置设定训练模型：即预测关系的CBOW模型、预测实体的CBOW模型、预测实体上下文的Skip-gram模型和预测关系上下文的Skip-gram模型；

步骤五、训练参数优化：以节点的度来定义节点的影响力，影响力越大的节点会拥有更多的游走次数，节点影响力越小的节点，游走次数会相应减少，设置一个阈值，当节点度数大于这个阈值，则按照最大游走次数进行游走训练，如果小于该阈值，则需要按照影响力的比重降低游走次数，对于节点p的游走次数N_p定义如下：

其中，N_max是最大游走次数，D_p是节点p的度，D_max是所有节点中最大度数的节点度数，t是设定的阈值；

步骤六、通过多次训练，输出节点的向量化表示。

本发明的有益效果：

本发明提供的技术方案采用Node2Vec方法作为基本模型，结合重构的知识图谱结构，进行反复训练，将游走序列按照实体与关系交叉游走的方式，可以充分地训练得到节点的语义信息，在获取网络拓扑结构的同时，也可获取到其性质意义。在达到Trans系列效果的同时，本算法在复杂度上进行了降低，无需过多的映射矩阵或转移矩阵，直接通过半随机游走策略进行学习，在保证准确率的同时降低了时间复杂度和空间复杂度。关于KG2vec的训练模型本文采用了CBOW与Skip-gram模型，分别对实体型节点与关系型节点进行向量化表示预测。为了提升模型训练质量与速度，引入节点度这个参数，来设置游走次数。将节点分为关系型节点与实体型节点，针对不同类型的节点给出了不同的游走与训练方式，将同质性结构网络更改为异构性结构网络，更适应知识图谱网络结构的特点，游走序列与自然语言结构更为贴近，预测结果更加准确。

附图说明

图1为本发明所述方法整体运作流程示意图。

图2为本发明所述实体节点跳转情况示意图。

图3为本发明所述关系节点跳转情况示意图。

图4为本发明所述预测关系的CBOW模型示意图。

图5为本发明所述预测实体的CBOW模型示意图。

图6为本发明所述预测实体上下文的Skip-gram模型示意图。

图7为本发明所述预测关系上下文的Skip-gram模型示意图。

具体实施方式

请参阅图1至图7所示：

在WN18数据集中，进行的操作全过程：

步骤一、处理数据集，WN18包括18种关系，以及40942个实体节点，在原数据中，是以节点-关系-节点的三元组形式存储的。现将数据集中的节点变为实体节点，并将数据集中的关系属性也作为节点，形成新的数据集，如节点1与节点2之间存在3的关系，对于原知识图谱中，会表示为节点1与节点2之间存在一条连线，连线上具有属性值3。对于更改后的知识图谱，则可以表示为实体节点1与关系型节点3相连，关系型节点3同时也与实体节点2相连。在知识图谱数据集重构过程中，要将数据集中的关系与节点均变成节点，并将原节点归为实体节点类型，将原关系归结为关系型节点类型。通过代码中的KB2edgelist.py文件，将原三元组转换为二元组的形式。

步骤二、针对游走策略中的p值与q值进行实验，选择最优的参数，并进行设置。对于该数据集，选取的q值为0.1、1、10与100四个值，在p值确定的情况下，发现q对于召回率的影响并没有p具有很明显的规律性，而且在不同的情况下，召回率起伏较大，这说明q对于随机游走模型的效果的影响比较随机，本文最终将q的初始值设置为100，因为总体来看，随着q值的增加，召回率有上升的趋势；另外，本文提出的优化训练策略在召回率-q实验中，作用并不明显，这从侧面说明了在本文提出的随机游走算法中，p对于模型效果的影响要大于q。

对于p值的选择，也选取0.1、1、10与100四个值，在q值确定的情况下，初始值设置越大时，无论是实体向量还是关系向量，召回率都有明显的增加，与对随机游模型的猜想完全吻合，同时我们还可以发现，当p取10和100时，召回率相差很小，甚至在某些情况下，p取10的效果更佳，所以在本文最终将p的初始值设为10；

在设置好p、q以及训练参数后，分别针对node2vec模型、node2vec_cbow模型、node2vec_cbow_improved模型、node2vec_skipgram模型以及node2vec_skipgram_improved模型进行参数设置，为了保证后续试验的可靠性，将训练参数设为同样的形式与数值。

步骤三、在获取p值与q值后，计算每个实体或关系节点的跳转至下一节点的概率。分别使用公式1与公式2进行节点跳转概率的计算，所有的跳转均以实体-关系-实体的游走方式进行跳转，通过若干次跳转，找到每次跳转概率最大节点，构成半随机游走序列。当前节点是实体型节点S₁，是通过关系型节点R₂跳转得到的。即实体型S₁节点的上一节点是关系型节点R₂。S₁的下一次转移有三种情况，其转移概率如下：1)回跳到上一关系型节点R₂，这种情况对于知识图谱而言是不存在任何意义的，所以转移概率为0；2)由S₁跳转到与之关联的另一个关系型节点R₁，这种情况是我们所期望的，符合了假设1，所以跳转概率为1；3)跳转到与之相关联的实体节点S₂，对于这种情况是存在但是不常见的，所以设定概率为1/q。当前节点是节点R，其上一节点是节点S₁。节点R的下一次转移概率有三种：1)跳转到其上一节点S₁，对于这种情况而言，在知识图谱中是不存在的，所以设定概率为0；2)跳转到与上一节点S₁具有关联的节点S₂，并凑成有逻辑的“实体-关系-实体”的逻辑串，这是所期望发生的，所以设定转移概率为1；3)跳转到另一与R相关的实体节点S₃，构成“实体-关系”与“关系-实体”的逻辑串，这种情况可能会发生，但是并不是所期待的，所以设定逻辑概率为1/p。

步骤四、在获得随机游走序列后，分别将随机游走序列通过CBOW模型与Skip-gram模型进行训练，分别通过输入层，隐藏层，并通过softmax后进行输出，其中采用了负采样的方法进行，训练获取所有的节点的向量化表示。训练出的节点向量也是以节点型与实体型向量进行分类的。

步骤五、进行准确率与召回率验证实验，分别对比Node2Vec模型、TransE模型与本专利模型方法的召回率值。

步骤六、无论是实体节点还是关系节点，本方法的召回率结果均是最优。

Claims (1)

1.一种改进的基于Node2vec的知识图谱向量表示方法，其特征在于：其方法如下所述：

步骤一、重构知识图谱G’＝(E,R,L)，其中E是原知识图谱网络中的实体型节点集合，R是从原结构中关系集合抽取构成的关系型节点，L则是链接实体节点与关系节点或是体节点与实体节点的边，不存在实际意义，现给出重构的知识图谱网络结构的定义如下：

定义1：对于重构知识图谱G，存在两类节点，分别是关系型节点与实体型节点，关系型节点之间不会存在任何链接，实体型节点与关系型节点之间的链接是最普遍的链接，两个实体节点之间会存在链接；

步骤二、转移概率设定：为了将node2vec模型适用于知识图谱，已将知识图谱网络结构进行了同质化改进，用关系型节点取缔边的标签，节点种类由单一类型变为实体以及关系类型两种节点，游走策略也需要被改进，针对不同种类的节点，游走策略也不同，与普通的社会网络相比，知识图谱网络具有一定特性，节点多数以“实体-关系-实体”序列存在，根据这一规则给出假设1，具体如下：

假设1：知识图谱中的节点上下文具有较强的规则性，对于实体节点而言，其最邻近上下文节点多数为关系型节点，对于关系型节点而言，其最邻近上下文节点只可以为实体类型节点；

针对不同节点类型给出不同的节点游走策略；

实体节点：若当前节点是实体型节点S₁，是通过关系型节点R₂跳转得到的，即实体型S₁节点的上一节点是关系型节点R₂，S₁的下一次转移有三种情况，其转移概率如下：

1)、回跳到上一关系型节点R₂，这种情况对于知识图谱而言是不存在任何意义的，所以转移概率为0；

2)、由S₁跳转到与之关联的另一个关系型节点R₁，这种情况是所期望的，符合了假设1，所以跳转概率为1；

3)、跳转到与之相关联的实体节点S₂，对于这种情况是存在但是不常见的，所以设定概率为1/q；

关于实体型节点的跳转参数α如下所示：

其中α代表了转移参数，q是训练参数，d_tx代表了节点t与节点x之间的最短路径，并且假设符合二阶马尔科夫条件，d_tx的值只能为{0，1，2}之间的一个；

关系节点：

若当前节点是关系型节点，α参数设定如下：

由假设1可知，关系节点只能与实体节点相连，当前节点是节点R，其上一节点是节点S₁，节点R的下一次转移概率有三种，具体如下：

1)、跳转到其上一节点S₁，对于这种情况而言，在知识图谱中是不存在的，设定概率为0；

2)、跳转到与上一节点S₁具有关联的节点S₂，并凑成有逻辑的“实体-关系-实体”的逻辑串，设定转移概率为1；

3)、跳转到另一与R相关的实体节点S₃，构成“实体-关系”与“关系-实体”的逻辑串，设定逻辑概率为1/p；

关于节点类型的跳转参数α如下所示：

其中α代表了转移参数，p是训练参数，d_tx代表了节点t与节点x之间的最短路径，并且假设符合二阶马尔科夫条件，d_tx的值只能为{0，1，2}之间的一个；

步骤三、游走路径设定：通过公式获取到关系节点与实体节点的转移概率，进行游走路径的设定，针对知识图谱而言，游走路径以“实体-关系-实体”这样的三元组为游走路径的构成基础；

步骤四、根据节点的种类以及节点所处的位置设定训练模型：即预测关系的CBOW模型、预测实体的CBOW模型、预测实体上下文的Skip-gram模型和预测关系上下文的Skip-gram模型；

步骤五、训练参数优化：以节点的度来定义节点的影响力，影响力越大的节点会拥有更多的游走次数，节点影响力越小的节点，游走次数会相应减少，设置一个阈值，当节点度数大于这个阈值，则按照最大游走次数进行游走训练，如果小于该阈值，则需要按照影响力的比重降低游走次数，对于节点p的游走次数N_p定义如下：

其中，N_max是最大游走次数，D_p是节点p的度，D_max是所有节点中最大度数的节点度数，t是设定的阈值；

步骤六、通过多次训练，输出节点的向量化表示。

Images