CN115062237A - 基于图神经网络和知识图谱结合的文化资源推荐方法 - Google Patents

Abstract

本发明公开了基于图神经网络和知识图谱结合的文化资源推荐方法，包括构建推荐模型MKB，将用户集U和物品集V输入至推荐模型MKB中，得到输入用户和物品交互数据和知识图谱数据，并对其进行数据预处理，获取用户、物品和知识图谱三元组信息；利用二部图神经网络提取用户向量矩阵和物品初始化向量矩阵，深度挖掘用户和物品交互数据，增强特征向量表示，同时使用知识图谱特征学习实现物品信息与知识图实体信息的交互，解决实际应用中冷启动和稀疏性问题。本发明在提取特征向量时，同时考虑用户和物品交互数据的显示和隐式关系，使得特征向量表示更加准确，并结合知识图谱技术，丰富物品特征向量信息，从而有效提高了推荐***的性能。

Description

基于图神经网络和知识图谱结合的文化资源推荐方法

技术领域

本发明属于推荐***领域，具体涉及基于图神经网络和知识图谱结合的文化资源推荐方法。

背景技术

随着互联网技术的普及，产生了海量的数据，与以前不同的是，现在不是缺乏信息，而是如何从海量信息中筛选出有用的信息。推荐***模型可以根据用户的日常行为习惯，探索用户的兴趣，将合适的内容推荐给用户。通过将深度学习和推荐算法结合取得了不错的成果，为了进一步提高推荐***的准确性，在推荐模型中引入辅助信息，进一步完善用户或者物品的信息，辅助信息包括物品特征、物品关联等等。除了引入用户或者物品相关的属性信息以外，其他数据信息也可以作为辅助信息，如知识图、社交网络等。将知识图作为辅助信息，在一定程度上解决冷启动问题，用户、物品信息本质上可以看作是图结构数据，可以采用图神经网络算法进行数据处理，将知识图谱或者图神经网络引入推荐***是现在的研究热点之一。

目前推荐方法被广泛的使用，主要包括基于内容的推荐、协同过滤推荐等。基于内容的推荐***根据用户以往喜欢的物品来推荐可能感兴趣的新的商品。协同过滤推荐算法是应用最广泛的算法，主要是通过对用户历史数据的挖掘，进行用户群组划分，并以此推荐品味相似的商品。协同过滤算法主要分为基于邻域的、隐语义分析及基于图的算法。基于图的算法将用户的相关数据表示成图的形式，再借助图相关知识进一步处理。

除了引入用户或者物品相关的属性信息以外，其他数据信息也可以作为辅助信息，如知识图、社交网络等。将知识图作为辅助信息，在一定程度上解决冷启动问题，用户、物品信息本质上可以看作是图结构数据，可以采用图神经网络算法进行数据处理，将知识图谱或者图神经网络引入推荐***是现在的研究热点之一。

现有技术提出了一种处理超大量用户的协同过滤方法，该方法处理过程如下：(1)构建一个分布式哈希表覆盖网格，代理把用户对项目的评分哈希到整个网络并获取与之相似的用户(2)代理对取回来的相似用户评分数据，使用协同过滤得到预测值，产生推荐。这类方法存在一些问题：常存在稀疏性和冷启动问题，随着数据量的增大和数据稀疏性增加，该类方法最终表现效果不佳。

发明内容

基于现有技术的不足，本发明提出基于图神经网络和知识图谱结合的文化资源推荐方法。

基于图神经网络和知识图谱结合的文化资源推荐方法，包括如下几个步骤：

步骤1：将用户集U和物品集V输入至推荐模型MKB中，得到输入用户和物品交互数据和知识图谱数据，并对其进行数据预处理，获取用户、物品和知识图谱三元组信息；所述推荐模型MKB由模型MKR结合二部图神经网络Bine得到，包括推荐模块、交叉单元和知识图谱模块；

步骤1.1：推荐模型MKB的输入包括用户集U和物品集V，用户物品交互集表示为：

C_uv＝1表示该用户点击或者浏览过物品，反之为0则表示用户与该物品没有任何交互；知识图谱使用三元组(h,r,t)表示，h和t分别表示知识图谱中的头部实体和尾部实体，r表示关系；推荐的目标在于求得用户u是否对某一个未交互的实体v感兴趣；最终得到用户物品历史交互数据和知识图谱数据；

步骤1.2：将用户和物品交互信息数据与知识图谱相结合，提取出用户、物品和知识图谱三元组信息，使用这些信息作为推荐模型训练的输入信息，实现逻辑，具体为：

对于用户的每一个交互数据，都属于用户交互物品的集合；知识图谱中头部的实体信息是任何一个实体，部分实体有不存在与用户交互的历史数据的情况，将交互数据与知识图谱相结合，提取出有效的知识图信息并进行数据的统一编号，获得每个用户交互的物品集合；

步骤2：将步骤1获得的用户、物品和知识图谱三元组信息输入二部图神经网络Bine，获得用户向量矩阵和物品初始化向量矩阵；

输入步骤1得到的用户、物品和知识图谱三元组信息到二部图神经网络Bine，Bine通过考虑用户、物品三元组中两个连接顶点的局部邻近度构建显示关系以及考虑顶点之间存在的路径构建隐式关系来学习节点表示，顶点间关系的计算使用联合优化来学习嵌入，使用随机梯度上升算法训练Bine；最终生成用户向量矩阵和物品初始化向量矩阵；

对于任意的两个用户节点u_i和物品节点v_j，利用其特征向量的内积估计其局部邻近度来构建关系；

其中，

和

分别是节点u_i和v_j对应的d维的特征向量；

步骤3：初始化知识图谱中头部实体向量、关系向量和尾部实体向量，对物品初始化向量矩阵与知识图谱头部的实体向量进行交叉训练；

步骤3.1：对知识图谱中的实体进行one-hot编码，进行向量初始化，之后通过物品特征向量矩阵和知识图谱的头部实体向量交叉训练，进行物品特征向量和知识图谱实体向量的迭代更新；

步骤3.2：在推荐模型MKB的知识图谱模块中，使用交叉单元提取知识图谱实体特征，使用多层感知器提取关系特征，物品特征向量矩阵已经通过二部图神经网络获取；

交叉单元结构单位是物品v和知识图谱实体e的构成的联系，向量v和e向量，表示为如下的矩阵：

其中，d代表向量维度，l代表第l层；

步骤3.3：将交叉矩阵投影到潜在的表示空间，输出多层感知器的下一层的物品和实体的向量，表示如下：

v_l+1和e_l+1代表多层感知器的下一层物品和实体的向量，w和b分别是网络的权重和偏置；

步骤4：迭代更新物品向量、实体向量和知识图谱尾部向量；损失函数为迭代目标函数，推荐模块的物品点击率和知识图谱模块的尾部实体预测差值的和的最小值为目标，进行迭代更新；

步骤4.1：基于多层感知器进行多次迭代，通过预测公式计算推荐模块用户和物品交互概率以及知识图谱模块的预测的尾部向量，以此来更新训练参数，推荐模型MKB的推荐模块的预测公式表示为：

其中，u_L和v_L分别表示经过L层多层感知机的物品和知识图实体的特征向量，f_RS表示一个预测函数，计算用户u_L和物品v_L的交互概率；

知识图谱模块中关于尾部向量的预测公式表示为：

hL＝E_v～s(h)[C^L(v,h)[e]I

r_L＝＝M^L(r)

其中，s(h)表示和实体h相关物品的集合，

表示尾部实体的预测向量；M^L和C^L分别表示L层多层感知机和L层交叉单元；

步骤4.2：推荐模型MKB的损失函数学习：

损失函数分为三部分，推荐模块的交叉熵损失、知识图谱模块的损失和防止过拟合的正则项；

其中，λ₁和λ₂是超参数，为了保证知识图谱模块学习效果，训练过程中以损失函数最小值为目标，逐步调整实验参数；同时设置Dropout参数，防止出现过拟合的现象；score(h,r,t)是一个相似性函数，

是交叉熵函数，

是知识图谱；

步骤5：最终获得预测的用户感兴趣物品，即用户物品预测向量矩阵，迭代计算结束，并通过获得的预测矩阵计算准确率和召回率性能指标；

通过上述训练，获取了用户对物品潜在兴趣预测，在训练过程中采用负采样策略提高计算效率。

本发明的有益技术效果：

本发明在最大化利用知识图的同时，引入二部图神经网络进一步增强数据表示，提供了基于图神经网络和知识图谱结合的文化资源推荐方法。

最大化利用知识图信息，利用图神经网络增强数据表示，采用基于图神经网络和知识图谱的MKB推荐模型，该模型通过利用图神经网络进行用户和物品信息处理，增强数据表示，将知识图作为辅助信息与物品信息相交互，并将知识图作为训练项数据，最大限度的挖掘知识图。MKB与MKR的主要区别在于引入二部图神经网络进行数据处理，增强用户和物品表示，充分挖掘用户和物品特征交互信息。

本发明的技术方案采用二部图神经网络Bine模型和MKR推荐模型，对用户和物品信息进行深度挖掘，使用二部图神经网络构建用户向量，用户向量的表示通过用户历史交互信息进行获取，构建用户向量的同时考虑了用户物品交互数据的隐式关系。本发明提出的MKB推荐模型，在构建用户向量和物品向量的时候，通过隐式关系发现用户和商品潜在的联系信息，推荐模块和知识图谱模块通过交叉单元连接，物品特征向量和知识图谱头部实体向量交叉训练，增强物品特征向量表示。采用多任务学习框架交替学习，通过知识图谱特征学习辅助推荐算法模块学习。

附图说明

图1为本发明基于图神经网络和知识图谱结合的文化资源推荐方法的流程图；

图2为本发明基于图神经网络和知识图谱结合的文化资源推荐方法的整体框架示意图；

图3为本发明实施例图数据集Precision测试结果；

图4本发明实施例图数据集Recall测试结果。

具体实施方式

下面结合附图和实施例对本发明做进一步说明；

本发明引入图神经网络算法。现有的推荐算法是基于知识图谱或者图神经网络的，部分算法是针对特定推荐情景的设计。图神经网络的引入避免使用one-hot等传统的编码方式，深度挖掘了用户和物品特征向量，并进一步考虑了用户和物品的隐式联系，增强了数据表示。将图神经网络和知识图谱进行了结合。该方法在有效的提高了特征向量的表示，加速了算法收敛性。借助知识图谱辅助信息和图神经网络算法，有效解决了传统的协同过滤算法存在的冷启动和稀疏性问题。

基于图神经网络和知识图谱结合的文化资源推荐方法，流程图和整体框架图如附图1和附图2所示，包括如下几个步骤：

步骤1：将用户集U和物品集V输入至推荐模型MKB中，得到输入用户和物品交互数据和知识图谱数据，并对其进行数据预处理，获取用户、物品和知识图谱三元组信息；所述推荐模型MKB由模型MKR结合二部图神经网络Bine得到，包括推荐模块、交叉单元和知识图谱模块；

步骤1.1：推荐模型MKB的输入包括用户集U和物品集V，用户物品交互集表示为：

C_uv＝1表示该用户点击或者浏览过物品，反之为0则表示用户与该物品没有任何交互；知识图谱使用三元组(h,r,t)表示，h和t分别表示知识图谱中的头部实体和尾部实体，r表示关系；推荐的目标在于求得用户u是否对某一个未交互的实体v感兴趣；最终得到用户物品历史交互数据和知识图谱数据；

步骤1.2：将用户和物品交互信息数据与知识图谱相结合，提取出用户、物品和知识图谱三元组信息，使用这些信息作为推荐模型训练的输入信息，实现逻辑，具体为：

对于用户的每一个交互数据，都属于用户交互物品的集合；知识图谱中头部的实体信息是任何一个实体，部分实体有不存在与用户交互的历史数据的情况，将交互数据与知识图谱相结合，提取出有效的知识图信息并进行数据的统一编号，获得每个用户交互的物品集合；

本实施例对Book-Crossing数据集进行初始化，Book-Crossing数据集包含了278,858个用户对271,379本书的1,129,780个评分，评分范围从1到10，还包含隐性评分。首先将数据集的显示反馈信息转换为隐式反馈信息，并对数据集不设置阈值，每条数据表示一次用户物品交互，数据为1表示对图书的评价是正向评价，反之为负向评价。知识图谱数据的构建使用MicrosoftSatori，选择置信度大于0.8的数据集，并再此基础上选择包含“book”的子知识图谱。对于给定的知识图谱数据集，遍历三元组信息，去除无效的头部实体的数据条目，对用户交互数据的物品和知识图谱头部实体进行统一编号，便于后续的良好匹配和知识图嵌入。

步骤2：将步骤1获得的用户、物品和知识图谱三元组信息输入二部图神经网络Bine，获得用户向量矩阵和物品初始化向量矩阵；

输入步骤1得到的用户、物品和知识图谱三元组信息到二部图神经网络Bine，Bine通过考虑用户、物品三元组中两个连接顶点的局部邻近度构建显示关系以及考虑顶点之间存在的路径构建隐式关系来学习节点表示，顶点间关系的计算使用联合优化来学习嵌入，使用随机梯度上升算法训练Bine；最终生成用户向量矩阵和物品初始化向量矩阵；

对于任意的两个用户节点u_i和物品节点v_j，利用其特征向量的内积估计其局部邻近度来构建关系；

其中，

和

分别是节点u_i和v_j对应的d维的特征向量；

本实施例，设置实验参数：d＝8，alpha＝0.01，gamma＝0.1，max-iter＝60，dim＝8，L＝1，kge_interval＝5，λ₁＝10^-5，λ₂＝0.2。λ₁和λ₂是超参数，保证知识图谱模块学习效果。首先通过二部图神经网络，获得用户向量矩阵和初始化物品向量矩阵，并保存对应到对应的文件。kge_interval＝5设置为每五轮推荐模块的训练，进行一次知识图谱嵌入，MKR模型采用交替学习的方式，通过设置不同的参数，设置交互的频率。

步骤3：初始化知识图谱中头部实体向量、关系向量和尾部实体向量，对物品初始化向量矩阵与知识图谱头部的实体向量进行交叉训练；

步骤3.1：对知识图谱中的实体进行one-hot编码，进行向量初始化，之后通过物品特征向量矩阵和知识图谱的头部实体向量交叉训练，进行物品特征向量和知识图谱实体向量的迭代更新；

步骤3.2：在推荐模型MKB的知识图谱模块中，使用交叉单元提取知识图谱实体特征，使用多层感知器提取关系特征，物品特征向量矩阵已经通过二部图神经网络获取；

交叉单元结构单位是物品v和知识图谱实体e的构成的联系，向量v和e向量，表示为如下的矩阵：

其中，d代表向量维度，l代表第l层；

步骤3.3：将交叉矩阵投影到潜在的表示空间，输出多层感知器的下一层的物品和实体的向量，表示如下：

v_l+1和e_l+1代表多层感知器的下一层物品和实体的向量，w和b分别是网络的权重和偏置；

本实施例将物品的初始化向量和知识图谱头部实体向量one-hot编码进行交叉压缩学习，迭代更新，物品初始化特征向量在步骤2得到的文件中。

步骤4：迭代更新物品向量、实体向量和知识图谱尾部向量；损失函数为迭代目标函数，推荐模块的物品点击率和知识图谱模块的尾部实体预测差值的和的最小值为目标，进行迭代更新；

步骤4.1：基于多层感知器进行多次迭代，通过预测公式计算推荐模块用户和物品交互概率以及知识图谱模块的预测的尾部向量，以此来更新训练参数，推荐模型MKB的推荐模块的预测公式表示为：

其中，u_L和v_L分别表示经过L层多层感知机的物品和知识图实体的特征向量，f_RS表示一个预测函数，计算用户u_L和物品v_L的交互概率；

知识图谱模块中关于尾部向量的预测公式表示为：

hL＝E_v～s(h)[C^L(v,h)[e]]

r_L＝M^L(r)

其中，s(h)表示和实体h相关物品的集合，

表示尾部实体的预测向量；M^L和C^L分别表示L层多层感知机和L层交叉单元；

步骤4.2：推荐模型MKB的损失函数学习：

损失函数分为三部分，推荐模块的交叉熵损失、知识图谱模块的损失和防止过拟合的正则项；

其中，λ₁和λ₂是超参数，为了保证知识图谱模块学习效果，训练过程中以损失函数最小值为目标，逐步调整实验参数，以获得较高的实验结果，同时设置Dropout参数，防止出现过拟合的现象。score(h,r,t)是一个相似性函数，

是交叉熵函数，

是知识图谱；

步骤5：最终获得预测的用户感兴趣物品，即用户物品预测向量矩阵，迭代计算结束，并通过获得的预测矩阵计算准确率和召回率性能指标；图数据集Precision测试结果和图数据集Recall测试结果如附图3和附图4所示；

通过上述训练，获取了用户对物品潜在兴趣预测，在训练过程中采用负采样策略提高计算效率。

迭代计算结束，计算CTR和topk推荐的AUC和ACC，评估模型的好坏。通过获得的预测矩阵计算CTR的ACC和AUC和topk的准确率和召回率。topk指标的计算是分别计算为用户推荐2,5,10,20,50,100个物品的ACC和AUC值的计算，对于得到的预测用户物品向量矩阵，进行遍历，与测试集的真实数据集对比计算出准确率和召回率。

Claims (7)

1.基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，包括如下几个步骤：

步骤1：将用户集U和物品集V输入至推荐模型MKB中，得到输入用户和物品交互数据和知识图谱数据，并对其进行数据预处理，获取用户、物品和知识图谱三元组信息；

步骤2：将步骤1获得的用户、物品和知识图谱三元组信息输入二部图神经网络Bine，获得用户向量矩阵和物品初始化向量矩阵；

步骤3：初始化知识图谱中头部实体向量、关系向量和尾部实体向量，对物品初始化向量矩阵与知识图谱头部的实体向量进行交叉训练；

步骤4：迭代更新物品向量、实体向量和知识图谱尾部向量；损失函数为迭代目标函数，推荐模块的物品点击率和知识图谱模块的尾部实体预测差值的和的最小值为目标，进行迭代更新；

步骤5：最终获得预测的用户感兴趣物品，即用户物品预测向量矩阵，迭代计算结束，并通过获得的预测矩阵计算准确率和召回率性能指标；

通过上述训练，获取了用户对物品潜在兴趣预测，在训练过程中采用负采样策略提高计算效率。

2.根据权利要求1所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，所述推荐模型MKB由模型MKR结合二部图神经网络Bine得到，包括推荐模块、交叉单元和知识图谱模块。

3.根据权利要求1所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，步骤1具体为：

步骤1.1：推荐模型MKB的输入包括用户集U和物品集V，用户物品交互集表示为：

C_uv＝1表示该用户点击或者浏览过物品，反之为0则表示用户与该物品没有任何交互；知识图谱使用三元组(h,r,t)表示，h和t分别表示知识图谱中的头部实体和尾部实体，r表示关系；推荐的目标在于求得用户u是否对某一个未交互的实体v感兴趣；最终得到用户物品历史交互数据和知识图谱数据；

步骤1.2：将用户和物品交互信息数据与知识图谱相结合，提取出用户、物品和知识图谱三元组信息；使用这些信息作为推荐模型训练的输入信息，实现逻辑，具体为：

对于用户的每一个交互数据，都属于用户交互物品的集合；知识图谱中头部的实体信息是任何一个实体，部分实体有不存在与用户交互的历史数据的情况，将交互数据与知识图谱相结合，提取出有效的知识图信息并进行数据的统一编号，获得每个用户交互的物品集合。

4.根据权利要求1所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，步骤2具体为：

输入步骤1得到的用户、物品和知识图谱三元组信息到二部图神经网络Bine，Bine通过考虑用户、物品三元组中两个连接顶点的局部邻近度构建显示关系以及考虑顶点之间存在的路径构建隐式关系来学习节点表示，顶点间关系的计算使用联合优化来学习嵌入，使用随机梯度上升算法训练Bine；最终生成用户向量矩阵和物品初始化向量矩阵。

5.根据权利要求4所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，对于任意的两个用户节点u_i和物品节点v_j，利用其特征向量的内积估计其局部邻近度来构建关系；

其中，

和

分别是节点u_i和v_j对应的d维的特征向量。

6.根据权利要求1所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，步骤3具体为：

步骤3.1：对知识图谱中的实体进行one-hot编码，进行向量初始化，之后通过物品特征向量矩阵和知识图谱的头部实体向量交叉训练，进行物品特征向量和知识图谱实体向量的迭代更新；

步骤3.2：在推荐模型MKB的知识图谱模块中，使用交叉单元提取知识图谱实体特征，使用多层感知器提取关系特征，物品特征向量矩阵已经通过二部图神经网络获取；

交叉单元结构单位是物品v和知识图谱实体e的构成的联系，向量v和e向量，表示为如下的矩阵：

其中，d代表向量维度，l代表第l层；

步骤3.3：将交叉矩阵投影到潜在的表示空间，输出多层感知器的下一层的物品和实体的向量，表示如下：

v_l+1和e_l+1代表多层感知器的下一层物品和实体的向量，w和b分别是网络的权重和偏置。

7.根据权利要求1所述的基于图神经网络和知识图谱结合的文化资源推荐方法，其特征在于，步骤4具体为：

步骤4.1：基于多层感知器进行多次迭代，通过预测公式计算推荐模块用户和物品交互概率以及知识图谱模块的预测的尾部向量，以此来更新训练参数，推荐模型MKB的推荐模块的预测公式表示为：

其中，u_L和v_L分别表示经过L层多层感知机的物品和知识图实体的特征向量，f_RS表示一个预测函数，计算用户u_L和物品v_L的交互概率；

知识图谱模块中关于尾部向量的预测公式表示为：

h_L＝E_v～s(h)[C^L(v,h)[e]]

r_L＝M^L(r)

其中，s(h)表示和实体h相关物品的集合，

表示尾部实体的预测向量；M^L和C^L分别表示L层多层感知机和L层交叉单元；

步骤4.2：推荐模型MKB的损失函数学习：

损失函数分为三部分，推荐模块的交叉熵损失、知识图谱模块的损失和防止过拟合的正则项；

其中，λ₁和λ₂是超参数，为了保证知识图谱模块学习效果，训练过程中以损失函数最小值为目标，逐步调整实验参数；同时设置Dropout参数，防止出现过拟合的现象；score(h,r,t)是一个相似性函数，

是交叉熵函数，

是知识图谱。

Images