CN112328908A - 一种基于协同过滤的个性化推荐方法 - Google Patents

Abstract

本发明公开了一种基于协同过滤的个性化推荐方法。随着网络数据的日益激增，用户更希望在海量数据中获得符合自身兴趣的内容，本发明方法通过结合基于用户的协同过滤和基于物品的协同过滤两种技术，来获得既具社会化又具有个性化的推荐结果，在Top‑N任务中表现优异。同时，在处理物品和用户的一阶邻域关系时引入注意力机制，实现了物品和用户的动态表达过程，进一步提升了推荐的准确性。本发明的目的在于充分利用物品和用户的一阶邻域关系，以获得准确和个性化的推荐结果。

Description

一种基于协同过滤的个性化推荐方法

技术领域

本发明涉及协同过滤技术，以及其中的两个分支：基于用户的协同过滤技术和基于物品的协同过滤技术。还涉及注意力机制、用户兴趣建模、物品属性建模、神经网络等数据挖掘与深度学习技术。

背景技术

1994年，明尼苏达大学双城分校计算机系的GroupLens研究组设计了一个新闻推荐***，并首次提出了协同过滤(Collaborative filtering，简称CF)思想。自诞生以来，CF不仅在学术界被深入研究，在工业上也有很多实际部署。它目前是最主流并且广泛使用的推荐算法之一，CF类的方法主要是分析用户-物品的历史交互记录，来预测用户的下一个可能交互的物品，充分利用集体智慧来找出最能满足用户兴趣的内容。基于物品的协同过滤(Item-based collaborative filtering,简称ICF)和基于用户的协同过滤(User-basedcollaborative filtering,简称UCF)是CF方法的两个重要分支，ICF是根据物品之间的相似性做推荐，UCF是根据用户之间的相似性做推荐，结合以上算法可以得到既具个性化又有社会化的推荐结果。

注意力机制(Attention Mechanism)源于对人类视觉的研究，它可以给模型赋予区分辨别的能力，2015年Dzmitry Bahdanau等人发表的论文《Neural MachineTranslation by Jointly Learning to Align and Translate》中首次提出注意力机制。它可以关注特征中最具信息量的部分，在自然语言处理、图像识别，推荐***等领域有着广泛的应用。另外，从模型可解释性的角度来看，注意机制的引入使模型本身具有一定的可解释性。

在对个性化推荐算法的研究中，用户兴趣建模是一个永恒的话题。如何表示、计算和更新用户兴趣已成为一个重要的研究课题，可以说用户兴趣建模的质量直接决定了个性化推荐的质量。协同过滤算法中，对于用户兴趣建模的探究大致可以分为以下三类：(1)单一的用户和物品ID：代表方法之一是矩阵分解(Matrix factorization，简称MF)技术，它把用户和物品的ID映射到相同的空间中比较，此类方法没有考虑历史交互信息，容易得到次优的用户和物品表达，也会受到数据稀疏的约束；(2)加入用户的历史交互信息：代表方法有SVD++和FISM等算法，把用户的一阶历史交互关系加入到用户的表达中，提升了特征的准确性，同时也存在的问题是：没有区分历史关系的不同重要性，得到的用户表达式静态的；(3)利用深度学习技术挖掘用户兴趣：代表方法之一是NCF算法，它使用神经网络来学习用户和物品之间的关系，以代替MF的內积操作，提升了模型的非线性和泛化表达能力，是一个非常有意义的探索。

综上所示，到目前为止，对用户和物品的历史交互关系的挖掘还没有达到最优的效果，大多数研究都是从用户兴趣建模入手，没有考虑物品属性的建模。为了获得准确和个性化的推荐结果，优化用户和物品特征表达就变得非常有意义，本发明正是由此入手，提出了一种基于协同过滤的个性化推荐方法。

发明内容

目前的大多数协同过滤推荐算法，都是利用单一的用户和物品的ID，或者是无差别的加入一阶邻域信息，或者是在整个用户-物品交互图上探究高阶关系。然而单一的ID会得到次优的用户和物品表达，无差别地融合一阶邻域信息难以表征用户兴趣的动态性，而高阶关系的加入必然会带来计算上的复杂性。针对当前推荐***的需求，本发明的目的是探索一种合理利用历史交互信息的方法，以获取动态的用户和物品表达，同时也选择使用一阶邻域关系而不是高阶关系，也在一定程度上降低了模型的复杂性。

为了实现用户的个性化推荐需求，本发明提出了一种基于协同过滤的个性化推荐方案。整体框架如图1所示。该方法使用的数据集均来自于工业界公开数据集(Movielens：电影，Pinterest:图片)。该方法包括ICF和ICF两个主要模块，用户的表达是由用户自身的ID和用户的历史交互物品两部分构成，类似地，物品的表达也是有物品自身的ID和物品的历史交互用户两部分构成。同时本方法引入注意力机制为用户的历史记录添加不同的权重，使得用户的表达随着待推荐物品的变化而变化，同样的操作，物品的表达也将是动态的。再得到用户和物品的特征表达之后，通过堆叠多层神经网络来学习交互特征之间的分布规律，建模用户-物品之间高阶非线性关系，得到用户对待推荐物品的交互预测得分。最后通过Top-N推荐机制得到用户的个性化推荐列表。

本方法各主要模块的发明内容如下：

1.ICF模块

所述的ICF模块最终可以得到动态的用户兴趣表达。用户的兴趣表达分为两个部分：(1)用户的历史交互物品集的有差别聚合：(2)用户自身的ID。把以上两个部分拼接在一起，得到最终的用户表达。如图2所示，用户的历史交互物品可以看做是用户兴趣的一个集合。具体来说，当用户选择和电影#1交互时，可能是出于对某一个演员的偏好；当用户选择和电影#2交互时，可能是出于对电影类型的偏好；当用户选择和电影#3交互时，可能是出于对导演的偏好。以此类推，我们认为用户选择交互一个物品，并不是这个物品的所有属性都符合用户兴趣，而只是其中的一个或几个属性满足了用户的兴趣。所以用户的交互历史可以看做是用户兴趣的一个集合，在对用户兴趣进行建模时，应该充分考虑到这点。当待推荐的物品不同时，用户的不同兴趣应该被激活，用户的兴趣表达应该是动态的。我们引入注意力机制来实现这一过程，通过比较待推荐物品和用户的历史交互物品之间的相似性，为用户的历史物品赋予不同的权重。本发明使用的注意力模块是一个单层的神经网络结构，如图4所示。

2.UCF模块

所述的UCF模块最终可以得到动态的物品属性表达。类似的，物品的属性表达分为两个部分：(1)物品的历史交互用户集的有差别聚合；(2)物品自身的ID。把以上两个部分拼接在一起，得到最终的物品表达。如图3所示，物品的历史交互用户可以看做是物品属性的一个集合。具体来说，当某一部电影被用户#1交互时，可能是这部电影的演员契合了用户#1的兴趣；而用户#2选择交互这部电影可能是其导演符合了用户兴趣，同理，用户#3交互这部电影可能是因为其类型符合了用户兴趣。因此我们认为，一个物品被用户交互，并不是用户喜欢这个物品的全部属性，而只是其中某几个属性吸引了用户。所以物品的历史交互记录可以看做是物品属性的一个集合，当待推荐的用户不同时，物品的不同属性应该被激活，物品的属性表达应该是动态的。同样的，我们引入注意力机制来实现这一过程，为物品的历史用户赋予不同的权重。本发明使用的注意力模块是一个单层的神经网络结构，如图4所示。

3.非线***互模块

所述的非线***互模块最终可以得到用户对物品的交互预测得分。在得到用户和物品的特征表达之后，通过堆叠多层感知机来学习用户-物品之间可能交互关系，如图5所示。交互预测模块是构建推荐算法必不可少的一步，交互预测模块设计方法有很多，比如传统的内积、逻辑回归算法等，这些线性的方法可能会限制模型的表达能力，所以本发明选择非线性的神经网络来学习用户-物品之间的关系，也提升了模型的灵活性。

4.Top-N推荐模块

所述的Top-N模块最终得到符合用户兴趣的一个推荐列表。当用户-物品交互记录是隐反馈时(有交互记为1，反之为0)，Top-N是比较常用的一种直接向用户进行个性化信息推送的手段。非线***互模块输出目标用户对对待推荐列表所有物品的交互预测得分后，对所有物品根据评分进行降序排序，将前N个物品生成一个列表推荐给用户。

附图说明

图1为本发明中基于协同过滤的个性化推荐算法总体框图；

图2为用户偏好信息建模示意图；

图3为物品属性信息建模示意图；

图4为发明中所使用的注意力机制框架图；

图5为交互预测模块图

具体实施方式：

本发明提出了一种基于协同过滤的个性化推荐方法。该发明的具体实现步骤如下：

步骤一：数据预处理和训练集测试集划分：选择合适的公开数据集，首先为所有用户和物品编排序号，然后把用户-物品交互记录以隐反馈的方式做记录：既用户和物品有过交互，标签记为1，反之为0，如果数据集的交互是评分形式，可把评分过的物品标签记为1，反之为0。最后是训练集和测试集的划分，本发明采用的是留一法：每一个用户留下一条标签为1的交互记录(正样本)和随机选取的99条标签为0的记录(负样本)组成测试集，即测试集中正负样本比例是1：99，其余标签为1的交互记录进入训练集，经过实验验证，训练集中正负样本的比例为1:10时，性能最好，对于同一个用户，保证训练集中的负样本和测试集中的不同即可。

步骤二：获取动态的用户兴趣表达：用户的兴趣表达分为两个部分：(1)用户自身的ID特征：对目标用户的ID做独热编码，将其映射到一个特定空间中：q_u∈R^d，其中R是特定向量空间，d是映射后向量的维数，d取值为256。(2)用户的历史交互物品集的有差别聚合：训练集中用户交互过的历史物品集合表示为

对于

中的每一个物品，同样将其映射到和用户相同的空间中，q_j∈R^d，其中

同理d是映射后向量的维数，取值为256，因此可以得到一组用于表达用户兴趣的特征向量

此时引入注意力机制来区分不同历史交互物品对用户兴趣表达的不同重要性，具体做法是：首先把待推荐物品的ID映射到和目标用户相同的空间中，p_i∈R^d，然后把待推荐物品p_i和用户的历史交互物品集

作为注意力网络的输入，计算p_i·q_j，本发明所使用的注意力网络是一个单层的感知机，其输出是用户的历史交互物品的不同权重w_i，计算公式为：

w_i＝att(p_i·q_j)＝softmax'(h^TLeaky_relu(W·(p_i·q_j)+b))

其中att(·)是注意力函数，Leaky_relu是选用的激活函数，是给矩阵中所有负值赋予一个非零斜率。W∈R^d·d‘和b∈R^d‘分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)d'表示隐藏层的尺寸，取值为32，h∈R^d'是注意力网络的输出层权重，取值为(32,1)。softmax'(·)是归一化函数的一个变种，用于把权重限制在0-1之间，计算公式为：

其中β是一个平滑分母值的超参数，设为0.5。

得到权重w_i之后，计算得到

把用户自身ID的表达和历史物品的表达相加在一起，获得最终的用户兴趣表达：e_u＝concat(q_u,Q_u)，综合表达为：

其中concat(·)表示向量之间的拼接或者相加，上标T表示矩阵的转置，W∈R^{d·d ‘}和b∈R^d‘分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)。观察注意力网络的结构可知，当待推荐的物品不同时，计算得出的权重w_i会发生变化，故用户的历史物品特征也会发生变化，既用户的不同兴趣会被激活，所以导致用户的最终兴趣表达e_u是动态的。

步骤三：获取动态的物品属性表达：类似的，物品的属性表达也分为两个部分：(1)物品自身的ID特征：对待推荐物品的ID做独热编码，将其映射到一个特定空间中：p_i∈R^d，其中R是特定向量空间，d是映射后向量的维数，取值为256。(2)物品的历史交互用户集的有差别聚合：训练集中和物品交互过的历史用户集合表示为

对于

中的每一个用户，同样将其映射到和物品相同的空间中，p_j∈R^d，其中

同理d是映射后向量的维数，取值为256，因此可以得到一组用于表达物品属性的特征向量

此时引入注意力机制来区分不同历史交互用户对物品属性表达的不同重要性，具体做法是：首先把目标的ID映射到和待推荐物品相同的空间中，q_u∈R^d，然后把目标用户q_u和物品的历史交互用户集

作为注意力网络的输入，计算q_u·p_j，和上一个步骤相同，本发明所使用的注意力网络是一个单层的感知机，其输出是物品的历史交互用户的不同权重w_u，计算公式为：

w_u＝att(q_u·p_j)＝softmax'(h^TRelu(W·(q_u·p_j)+b))

其中att(·)是注意力函数，Leaky_relu是选用的激活函数，是给矩阵中所有负值赋予一个非零斜率。W∈R^d·d‘和b∈R^d‘分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)，d'表示隐藏层是尺寸，取值为32，h∈R^d‘是注意力网络的输出层权重，设为(32,1)。softmax'(·)是归一化函数的一个变种，用于把权重限制在0-1之间，计算公式为：

其中β是一个平滑分母值的超参数，设为0.5。

得到权重w_i之后，计算得到

把物品自身ID的表达和历史用户的表达拼接在一起，获得最终的物品属性表达：e_i＝concat(p_i,Q_i)。综合表达为：

其中concat(·)表示向量之间的拼接或者相加，上标T表示矩阵的转置，W∈R^{d·d ‘}和b∈R^d‘分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)。观察注意力网络的结构可知，当目标用户不同时，计算得出的权重w_u会发生变化，故物品的历史用户特征也会发生变化，既物品的不同属性会被激活，所以导致物品最终的属性表达e_i是动态的。这里我们提到的用户兴趣和物品属性是一一对应的。

步骤四：非线性结构预测得分：得到了用户的动态兴趣表达e_u和物品的动态属性表达e_i之后，把它们送入神经网络中学习用户-物品之间的非线性关系：

其中g₀＝f(e_u,e_i)，表示e_u+e_i。其中w_L是神经网络的权重向量，取值为(256,32)，b_L是偏置向量，设为(32,16)，g_L是第L个隐藏层的输出。最终的交互预测分数表示为：

其中k是预测层(神经网络最后一层)的权重向量，设为(16，1)，b_u是用户偏置向量，用来表示不同用户的活跃程度，

其中M_u表示当前用户交互过的物品数量，M_j表其余任一个用户交互过的物品数量，M表示用户的总数。b_i是物品偏置向量，用来表示不同物品的热门程度。

其中N_i表示当前物品被交互的次数，N_j表示其余任一个物品被交互过的次数，N表示物品总数。

步骤五：优化方法和损失函数：推荐***中比较常用的两种学习策略是点式(pointwise)和对式(pairwise)优化方法，本发明选用点式。点式方法广泛应用于带有神经网络的推荐算法中，并取得了优异的效果。它把推荐问题转化为一个二分类的任务，最小化如下目标函数：

其中δ(·)是sigmoid函数，把预测分数控制在0-1之间，R⁺是正样本集，也就是标签为1的集合，R^-是负样本集，也就是标签为0的集合。超参数λ控制L₂正则化的强度，设为10^-7，θ表示防止过拟合的模型参数，本发明中的θ包括用户和物品的初始化向量，以及注意力网络的权重向量。

步骤六：验证方法的有效性：模型训练完成后，为了验证本发明方法的有效性，将本发明的方法在数据集Movielens(电影)和Pinterest(图片)上进行了实验。在得到目标用户对待推荐物品的交互预测分数后，针对每一个目标用户，选取分数最高的十个物品形成一个Top-10的个性化推荐列表。实验所使用的的评价指标是Hit Ratio at rank 10(简称HR@10)和Normalized Discounted Cumulative Gain at rank 10(简称NDCG@10)，其中HR@10关注的是测试集中正样本是否出现在最终的推荐列表中，NDCG@10关注的是正样本出现在推荐列表中的位置，位置越靠前，推荐性能越好。表1展示了本发明的方法与部分前沿推荐算法的对比，可以看到本发明方法在两个评价指标上都优于展示的其他的推荐算法。

表一：本发明方法在Movielens和Pinterest数据集上的实验性能展示

Claims (7)

1.一种基于协同过滤的个性化推荐方法，其特征在于，包括以下步骤：

S1、数据预处理：获取数据集，包括用户ID，物品ID，以及用户-物品交互的标签；使用留一法划分训练集和测试集；

S2、获取用户的动态兴趣表达：包括用户自身的ID特征和用户交互过的历史物品特征两个部分，引入注意力机制区分用户的历史物品对于当前状态下用户兴趣建模的不同重要性，实现用户兴趣表达的动态性；

S3、获取动态的物品属性表达：包括物品自身的ID特征和物品的历史交互用户的特征两个部分，引入注意力机制区分物品的历史用户对于当前状态下物品属性建模的不同重要性，实现物品属性表达的动态性；

S4、用户-物品表达的交互预测：利用神经网络来学习用户-物品之间的潜在交互可能性，提升模型的表达能力；

S5、得到预测的用户-物品交互得分后，对所有物品根据评分进行降序排序，将前N个物品生成一个列表推荐给用户。

2.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，把用户-物品交互记录以隐反馈的方式做记录：既用户和物品有过交互，标签记为1，反之为0，如果数据集的交互是评分形式，可把评分过的物品标签记为1，反之为0；每一个用户留下一条标签为1的交互记录即正样本和100条标签为0的记录即负样本组成测试集，即测试集中正负样本比例是1：100，其余标签为1的交互记录进入训练集，训练集中正负样本的比例为1:10。

3.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，

用户的动态兴趣表达包括用户自身的ID特征：对目标用户的ID做独热编码，将其映射到一个特定空间中：q_u∈R^d，其中R是特定的特征空间，d是映射后向量的维数，设为256；以及用户的历史交互物品特征：训练集中用户交互过的历史物品集合表示为

对于

中的每一个物品，同样将其映射到和用户相同的特征空间中，q_j∈R^d，其中

同理d是映射后向量的维数，设为256，因此得到一组用于表达用户兴趣的特征向量

注意力网络的计算方式是：首先把待推荐物品的ID映射到和目标用户相同的空间中，p_i∈R^d，然后把待推荐物品p_i和用户的历史交互物品集

作为注意力网络的输入，计算p_i·q_j，输出是用户的历史交互物品的不同权重w_i，计算公式为：

w_i＝att(p_i·q_j)＝softmax'(h^TLeaky_relu(W·(p_i·q_j)+b))

其中att(·)是注意力函数，Leaky_relu是选用的激活函数，是给矩阵中所有负值赋予一个非零斜率；W∈R^d·d′和b∈R^d′分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)；d'表示隐藏层的尺寸，取值为32，h∈R^d′是注意力网络的输出层权重，取值为(32,1)；softmax'(·)是归一化函数的一个变种，用于把权重限制在0-1之间，计算公式为：

其中β是一个平滑分母值的超参数，设为0.5；得到权重w_i之后，计算得到

把用户自身ID的表达和历史物品的表达相加，获得最终的用户兴趣表达：e_u＝concat(q_u,Q_u)；

综合表达为：

其中concat(·)表示向量之间的拼接或者相加，上标T表示矩阵的转置，W∈R^d·d′和b∈R^d′分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)。

4.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，

物品的动态属性表达包括物品自身的ID：对待推荐物品的ID做独热编码，将其映射到一个特定空间中：p_i∈R^d，其中R是特定的特征空间，d是映射后向量的维数，设为256；以及物品的历史交互用户特征：物品交互过的历史用户集合表示为

对于

中的每一个用户，同样将其映射到和物品相同的特征空间中，p_j∈R^d，其中

同理d是映射后向量的维数，设为256；因此得到一组用于表达物品属性的特征向量

注意力网络的计算方式是：首先把目标的ID映射到和待推荐物品相同的空间中，q_u∈R^d，然后把目标用户q_u和物品的历史交互用户集

作为注意力网络的输入，计算q_u·p_j，和上一个步骤相同，所使用的注意力网络是一个单层的感知机，其输出是物品的历史交互用户的不同权重w_u，计算公式为：

w_u＝att(q_u·p_j)＝softmax'(h^TLeaky_relu(W·(q_u·p_j)+b))

其中att(·)是注意力函数，Leaky_relu是选用的激活函数，是给矩阵中所有负值赋予一个非零斜率；W∈R^d·d′和b∈R^d′分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)，d'表示隐藏层是尺寸，取值为32，h∈R^d′是注意力网络的输出层权重，设为(32,1)；softmax'(·)是归一化函数的一个变种，用于把权重限制在0-1之间，计算公式为：

其中β是一个平滑分母值的超参数，设为0.5；

得到权重w_i之后，计算得到

把物品自身ID的表达和历史用户的表达相加在一起，获得最终的物品属性表达：e_i＝concat(p_i,Q_i)；综合表达为：

其中concat(·)表示向量之间的拼接或者相加，上标T表示矩阵的转置，W∈R^d·d′和b∈R^d′分别是权重矩阵和偏置向量，取值分别为(256,32)和(1,32)。

5.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，

获取了用户的动态兴趣表达e_u和物品的动态属性表达e_i之后，把它们送入神经网络中学习用户-物品之间的非线性关系，公式为：

其中g₀＝f(e_u,e_i)，表示e_u+e_i；其中w_L是神经网络的权重向量，取值为(256,32)，b_L是偏置向量，设为(32,16)，g_L是第L个隐藏层的输出；最终的交互预测分数表示为：

其中k是预测层即神经网络最后一层的权重向量，设为(16，1)，b_u是用户偏置向量，用来表示不同用户的活跃程度，

其中M_u表示当前用户交互过的物品数量，M_j表其余任一个用户交互过的物品数量，M表示用户的总数；b_i是物品偏置向量，用来表示不同物品的热门程度，

其中N_i表示当前物品被交互的次数，N_j表示其余任一个物品被交互过的次数，N表示物品总数。

6.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，

选用点式(pointwise)优化方法，把推荐问题转化为一个二分类的任务，最小化如下目标函数：

其中δ(·)是sigmoid函数，把预测分数控制在0-1之间，R⁺是正样本集，R^-是负样本集；超参数λ控制L₂正则化的强度，取值为10^-7，θ表示防止过拟合的模型参数，θ包括用户和物品的初始化向量，以及注意力网络的权重向量。

7.根据权利要求1所述的一种基于协同过滤的个性化推荐方法，其特征在于，

得到预测的用户-物品交互得分后，针对每一个用户，对所有物品根据评分进行降序排序，将前10个物品生成一个列表推荐给用户。

Images