CN109190030A - 融合node2vec和深度神经网络的隐式反馈推荐方法 - Google Patents

Abstract

本发明公开了一种融合node2vec和深度神经网络的隐式反馈推荐方法，属于数据处理技术领域。本发明包括获取用户潜在向量和项目潜在向量的步骤；获取用户上下文预测和项目上下文预测的步骤；产生用户对项目偏好预测并进行训练的步骤；共同训练的步骤。本发明可以很好地考虑到用户和项目丰富的元数据信息，具有较高的推荐精确度和模型的训练效率。

Description

融合node2vec和深度神经网络的隐式反馈推荐方法

技术领域

本发明属于数据处理技术领域，具体涉及一种融合node2vec和深度神经网络的隐式反馈推荐方法。

背景技术

在信息***时代，推荐***在减轻信息过载方面发挥了巨大作用。个性化推荐***被广泛应用于电子商务、社交媒体等在线服务网络中。传统推荐基于过去的交互，对用户的项目偏好建模。目前采用神经网络进行推荐的解决方法主要关注显式反馈，并仅对评分数据进行建模。同时在涉及到用户和项目特征之间交互的时候，仍采用矩阵分解方式。最近的推荐趋势已经从明确的评价转向隐式反馈，如购买，点击，观看等。它不能直接表现出用户喜好倾向，但收集成本更低、应用场景更广、数据规模更大。在实际生活中，通过隐式反馈帮助用户探索新的兴趣方向，对用户和企业都具有极大的好处。目前针对隐式反馈的协同过滤推荐在现阶段主要面临以下两个挑战。

1)丰富的元数据信息：基于个性化的推荐***具有丰富的元数据信息(属性信息等)。它们都影响着推荐结果的准确性。首先，用户的偏好受到自身属性的影响，如年龄、性别等。其次，会受到他们的社会关系的影响，特别是在像Facebook、豆瓣这样的社交网络中，用户可以看到朋友的状态。此外用户的偏好随着时间的推移而变化，并且可能遵循某些特定顺序。例如，在中午时间到餐厅，晚上可能到超市或者电影院等。考虑不同的元数据信息会得到不同的上下文预测。

2)数据稀疏性：基于个性化推荐的数据稀疏问题一直存在。例如，Netflix网站的电影推荐中数据密度只有1.2％，Foursquare网站和Yelp网站的项目推荐中使用的数据密度甚至在0.6％左右。数据的稀疏性等级直接导致传统协同过滤方法，即矩阵分解及其各种扩展方法的局限性。

发明内容

本发明目的是提供一种融合node2vec和深度神经网络的隐式反馈推荐方法，可以很好地考虑到用户和项目丰富的元数据信息，具有较高的推荐精确度和模型的训练效率。

具体地说，本发明是采用以下技术方案实现的，包括：

获取用户潜在向量和项目潜在向量的步骤：将one-hot形式的用户和项目作为输入向量，通过全连接嵌入层，将用户和项目向量映射为稠密向量，获得用户和项目潜在向量；

获取用户上下文预测和项目上下文预测的步骤：将用户潜在向量和项目潜在向量分别输入到上下文层，通过结合元数据，利用node2vec的随机游走策略来保留用户和项目之间的上下文信息；

产生用户对项目偏好预测并进行训练的步骤：将用户潜在向量和项目潜在向量进行融合，采用基于深度神经网络的偏好学习方法，在偏好预测层模拟用户和项目之间的交互，使用输出层产生的偏好预测来学习用户对项目的偏好；

共同训练的步骤：通过用户上下文预测、项目上下文预测和用户对项目偏好预测来共同训练模型。

进一步而言，所述获取用户上下文预测和项目上下文预测的步骤包括：

分别根据用户和项目各自包括的元数据信息构建上下文图；

采用基于元数据的node2vec的随机游走策略获得邻居节点序列；

给定一个用户和/或项目及其上下文即邻居节点，得到基于用户元数据上下文图的损失函数和基于项目元数据上下文图的损失函数，并使之收敛。

进一步而言，基于元数据的node2vec的随机游走策略中游走概率计算方式为：

其中，Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，α是node2vec中的二阶随机游走参数；α＝1/p表示从节点u_k-1回到节点u_k-2本身；α＝1，表示节点u_k-2与节点u_k相连；α＝1/q，表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连；通过调节变量p和q可以控制随机游走的方向，p、q取值大于0；w(k-1，k)表示节点u_k-1和节点u_k之间的边权重，取值范围为[0，1]；N(k-1)表示与节点u_k-1直接连接的邻居节点的集合，v∈N(k-1)，即v表示与节点u_k-1直接连接的邻居节点。

进一步而言，所述基于用户元数据上下文图的损失函数计算公式为：

其中u_c是u_i的上下文，C_u是N个用户上下文集合，u_c′表示C_u中除了u_c之外的所有用户，是节点u_c作为节点u_i上下文的特征向量表示，则是节点u_i所有非上下文的特征向量表示，表示用户u_i的用户潜在向量。

进一步而言，所述基于项目元数据上下文图的损失函数计算公式为：

其中v_c是v_j的上下文，C_v则是M个项目上下文集合，v_c′表示C_v中除了v_c之外的所有项目，是节点v_c作为节点v_j上下文的特征向量表示，则是节点v_j所有非上下文的特征向量表示，表示项目v_j的项目潜在向量。

进一步而言，所述通过用户上下文预测、项目上下文预测和用户对项目偏好预测来共同训练模型，是指：

优化基于用户元数据上下文图的损失函数L_u、基于项目元数据上下文图的损失函数L_v和用户对项目的偏好损失函数L_Preference这三个预测损失函数的和L_mix，使之收敛，预测损失函数和L_mix的计算方式为：

L_mix＝ω(L_u+L_v)+L_Preferecce

其中，ω为超参数，取值范围为[0，1]，I表示该用户与这个项目有交互，I^-表示未交互的项目，包括了未知数据和真正不相关的数据；y_ij用来表示用户u_i与项目v_j是否有交互，若用户u_i与项目v_j有交互，则y_ij为1，否则为0；的取值范围为[0，1]。

本发明的有益效果如下：本发明的融合node2vec和深度神经网络的隐式反馈推荐方法，将基于图的网络表示学习方法应用到推荐***中，用户和项目节点分别学习节点向量表示，缓解数据的稀疏性；同时可以很好地考虑到不同元数据信息，是一个通用的推荐框架，达到了较好的推荐效果，提高了推荐的精确度和模型的训练效率，实用性较高。

附图说明

图1是本发明实施例1的基于嵌入元数据的深度神经网络框架图。

图2是本发明实施例1的随机游走概率示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本发明的一个实施例，为一种融合node2vec和深度神经网络的隐式反馈推荐方法，其实施过程如图1所示。

步骤一：获取用户潜在向量和项目潜在向量。

将one-hot形式的N个用户u_i作为输入向量，通过一个全连接嵌入层将输入层的稀疏表示映射为一个稠密向量，获得的用户嵌入看作是用于描述用户的用户潜在向量。

将one-hot形式的M个项目v_j作为输入向量，通过一个全连接嵌入层将输入层的稀疏表示映射为一个稠密向量，获得的项目嵌入看作是用于描述项目的项目潜在向量。

例如使用表示用户u_i的用户潜在向量，表示项目v_j的项目潜在向量。其中表示用户的潜在特征矩阵，N、D_u表示该矩阵的维度。表示项目的潜在特征矩阵，M、D_v表示该矩阵的维度。

步骤二：采用基于上下文图的随机游走方法，获取用户上下文预测和项目上下文预测。

将用户潜在向量和项目潜在向量分别输入到上下文层，通过结合元数据，利用node2vec的随机游走策略来保留用户和项目之间的上下文信息。

包括以下步骤：

2-1)分别根据用户、项目各自包括的元数据信息构建上下文图。该用户上下文/项目上下文是一个三元组，包括节点、边和权重信息。

2-2)获得随机游走序列，即采用基于元数据的node2vec的随机游走策略，获得邻居节点序列。

如图2所示，假设已从节点u_k-2游走到节点u_k-1，继续游走时，可能的下个节点为u_k1或u_k2。基于元数据的node2vec的随机游走策略，结合了元数据信息以及节点的结构相似性和内容相似性，所使用的游走概率Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，其计算方式为：

其中，α是node2vec中的二阶随机游走参数；α＝1/p表示从节点u_k-1回到节点u_k-2本身；α＝1，表示节点u_k-2与节点u_k相连；α＝1/q，表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连；通过调节变量p和q可以控制随机游走的方向，p、q取值大于0；w(k-1，k)表示节点u_k-1和节点u_k之间的边权重，取值范围为[0，1]；N(k-1)表示与节点u_k-1直接连接的邻居节点的集合，v∈N(k-1)，即v表示与节点u_k-1直接连接的邻居节点。

2-3)基于skip-gram模型给定一个用户及其上下文(即邻居节点)，得到如下的基于用户元数据上下文图的损失函数L_u：

以及基于项目元数据上下文图的损失函数L_v：

其中u_c是u_i的上下文，v_c是v_j的上下文，C_u是N个用户上下文集合，C_v则是M个项目上下文集合。u_c′表示C_u中除了u_c之外的所有用户，v_c′表示C_v中除了v_c之外的所有项目。是节点u_c作为节点u_i上下文的特征向量表示，则是节点u_i所有非上下文的特征向量表示。是节点v_c作为节点v_j上下文的特征向量表示，则是节点v_j所有非上下文的特征向量表示。

使L_u和L_v收敛。

步骤三：

将全连接嵌入层中用户、项目潜在向量融合，采用基于深度神经网络的偏好学习方法，并反馈到具有多个隐藏层的前馈神经网络中，在偏好预测层模拟用户和项目之间的交互。使用偏好预测层顶部的输出层产生的偏好预测来学习用户对项目的偏好。

具体来说，是将用户向量和项目向量合并而非内积，在生成最终用户u_i对项目v_j的偏好预测(即用户u_i与项目v_j有交互的可能性)之前***多个非线性的隐藏层，层数为l，l取3时计算效果最佳。偏好预测采用前馈神经网络方法进行计算。用户对项目的偏好损失函数为L_Preference，其计算方式为：

其中I表示该用户与这个项目有交互，I^-表示未交互的项目，包括了未知数据和真正不相关的数据。y_ij用来表示用户u_i与项目v_j是否有交互，若用户u_i与项目v_j有交互，则y_ij为1，否则为0。的取值范围为[0，1]。

使与y_ij之间的差值收敛。

步骤二和步骤三间的顺序可以互换。

步骤四：优化基于用户元数据上下文图的损失函数L_u、基于项目元数据上下文图的损失函数L_v和用户对项目的偏好损失函数L_Preference这三个预测损失函数的和L_mix，使之收敛。即通过用户上下文预测、项目上下文预测和用户对项目偏好预测来共同训练模型。

预测损失函数和L_mix的计算方式为：

L_mix＝ω(L_u+L_v)+L_Preferecce

其中，ω为超参数，取值范围为[0，1]。

为了评价本发明所述算法的性能，可以使用命中率HR@K和折扣累计利润及其归一化(nDCG@K)作为性能评价指标，从而确定所有参数的最佳取值。命中率HR@K的计算方式为：

其中，K表示推荐的前K项。给定一个用户u_i得到实验结果，其长度为K的已排序推荐列表<j₁，j₂，...，j_K>；测试集经步骤一到步骤四所述算法进行排序后，测试集的第i项为正例项时pref(i)＝1，否则为0，pref(i)∈{0，1}。正例项表示为与用户u_i有交互的项目。GT表示测试集中正例的个数，number of Hits@K表示推荐的前K项中正例的个数。

折扣累计利润及其归一化(nDCG@K)的计算公式为：

其中，

其中K表示推荐的前K项。给定一个用户u_i得到实验结果，其长度为K的已排序推荐列表<j₁，j₂，...，j_K>，pref(i)∈{0，1}；测试集经步骤一到步骤四所述算法进行排序后，测试集的第i项为正例项时pref(i)＝1，否则为0，pref(i)∈{0，1}。正例项表示为与用户u_i有交互的项目。K⁺表示该用户所有有交互的项目里取前K个。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (6)

1.融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，包括：

获取用户潜在向量和项目潜在向量的步骤：将one-hot形式的用户和项目作为输入向量，通过全连接嵌入层，将用户和项目向量映射为稠密向量，获得用户和项目潜在向量；

获取用户上下文预测和项目上下文预测的步骤：将用户潜在向量和项目潜在向量分别输入到上下文层，通过结合元数据，利用node2vec的随机游走策略来保留用户和项目之间的上下文信息；

产生用户对项目偏好预测并进行训练的步骤：将用户潜在向量和项目潜在向量进行融合，采用基于深度神经网络的偏好学习方法，在偏好预测层模拟用户和项目之间的交互，使用输出层产生的偏好预测来学习用户对项目的偏好；

共同训练的步骤：通过用户上下文预测、项目上下文预测和用户对项目偏好预测来共同训练模型。

2.根据权利要求1所述的融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，所述获取用户上下文预测和项目上下文预测的步骤包括：

分别根据用户和项目各自包括的元数据信息构建上下文图；

采用基于元数据的node2vec的随机游走策略获得邻居节点序列；

给定一个用户和/或项目及其上下文即邻居节点，得到基于用户元数据上下文图的损失函数和基于项目元数据上下文图的损失函数，并使之收敛。

3.根据权利要求2所述的融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，基于元数据的node2vec的随机游走策略中游走概率计算方式为：

其中，Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，α是node2vec中的二阶随机游走参数；α＝1/p表示从节点u_k-1回到节点u_k-2本身；α＝1，表示节点u_k-2与节点u_k相连；α＝1/q，表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连；通过调节变量p和q可以控制随机游走的方向，p、q取值大于0；w(k-1，k)表示节点u_k-1和节点u_k之间的边权重，取值范围为[0，1]；N(k-1)表示与节点u_k-1直接连接的邻居节点的集合，v∈N(k-1)，即v表示与节点u_k-1直接连接的邻居节点。

4.根据权利要求2所述的融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，所述基于用户元数据上下文图的损失函数计算公式为：

其中u_c是u_i的上下文，C_u是N个用户上下文集合，u_c′表示C_u中除了u_c之外的所有用户，是节点u_c作为节点u_i上下文的特征向量表示，则是节点u_i所有非上下文的特征向量表示，表示用户u_i的用户潜在向量。

5.根据权利要求2所述的融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，所述基于项目元数据上下文图的损失函数计算公式为：

其中v_c是v_j的上下文，C_v则是M个项目上下文集合，v_c′表示C_v中除了v_c之外的所有项目，是节点v_c作为节点v_j上下文的特征向量表示，则是节点v_j所有非上下文的特征向量表示，表示项目v_j的项目潜在向量。

6.根据权利要求1所述的融合node2vec和深度神经网络的隐式反馈推荐方法，其特征在于，所述通过用户上下文预测、项目上下文预测和用户对项目偏好预测来共同训练模型，是指：

优化基于用户元数据上下文图的损失函数L_u、基于项目元数据上下文图的损失函数L_v和用户对项目的偏好损失函数L_Preference这三个预测损失函数的和L_mix，使之收敛，预测损失函数和L_mix的计算方式为：

L_mix＝ω(L_u+L_v)+L_Preferecce

其中，ω为超参数，取值范围为[0，1]，I表示该用户与这个项目有交互，I^-表示未交互的项目，包括了未知数据和真正不相关的数据；y_ij用来表示用户u_i与项目v_j是否有交互，若用户u_i与项目v_j有交互，则y_ij为1，否则为0；的取值范围为[0，1]。