CN108959184B - 一种基于相似性和相似性可信度的协同过滤推荐算法及装置 - Google Patents

Abstract

本发明提出了一种基于相似性和相似性可信度的协同过滤推荐算法及装置，该算法在概率矩阵分解模型的基础上，通过相似性关系约束潜在特征向量的夹角余弦，并通过相似性可信度影响约束权重。由于相似性可信度的约束，该算法有效减弱了评分稀疏性问题对相似性关系的影响，强化了模型对重要相似性关系的学习能力，从而缓解了评分稀疏性问题。相关实验表明该算法的推荐效果明显优于当前其它同类算法。接下来的工作就是将此算法运用于实际的推荐***中，弥补传统推荐***在实际应用中的数据稀疏性问题及其带来的推荐效果不佳的问题。

Description

一种基于相似性和相似性可信度的协同过滤推荐算法及装置

技术领域

本发明涉及推荐算法领域，主要对概率矩阵分解模型(Probabilistic MatrixFactorization，PMF)进行改进，以缓解数据稀松性问题，提高推荐效果，具体涉及一种基于相似性和相似性可信度的协同过滤推荐算法及装置。

背景技术

推荐***通过收集用户的历史评分、交互(浏览、收藏、“点赞”，“踩”等交互行为)、用户肖像(年龄、职业、性别等)、社交网络和上下文(时间、位置、活动状态、周围人员等)等数据，对用户的历史兴趣及偏好进行分析，挖掘出用户喜欢的项目(视频、音频、书籍、菜品、Web服务等信息)，然后主动地将相关信息推荐给用户，满足用户的个性化需求。推荐算法是推荐***的核心，很大程度上决定了推荐***的性能。目前主要的推荐算法包括基于内容的推荐、基于知识的推荐、基于关联规则的推荐、协同过滤推荐和组合推荐等。其中协同过滤是目前应用最广泛且最成功的推荐技术。

基于邻域的协同过滤推荐算法是应用最早的协同过滤推荐技术，代表性算法为基于用户的协同过滤推荐和基于项目的协同过滤推荐。然而随着用户规模和项目数量的快速增长，基于邻域的协同过滤推荐算法的计算量大规模增大，同时产生了严重的评分数据稀疏性问题，即评分稀疏性问题。为了处理可扩展性和评分稀疏性问题，一些研究学者提出采用基于矩阵分解模型的推荐算法。矩阵分解模型假定“用户—项目”评分矩阵可以被分解为低维的潜在特征矩阵的乘积，其中潜在特征用于表示用户偏好或项目特征，如在电影推荐中，这些特征可能为喜剧、悬疑剧、爱情剧因素等。多次国际性比赛和大量研究都验证了矩阵分解模型具有抗数据稀疏性、易编程、较低的时空复杂度、较高的推荐精度和良好的可扩展性等优点。

相对于基于邻域的协同过滤推荐算法，矩阵分解模型有效缓解了评分稀疏性问题，但该问题还没有得到完全解决。为了进一步缓解评分稀疏性问题，本发明在深入研究PMF的基础上，提出了一种基于相似性和相似性可信度的协同过滤推荐算法(SSRCF)，该算法在PMF的基础上，通过相似性关系约束潜在特征向量的夹角余弦，并通过相似性可信度影响约束权重。由于相似性可信度的约束，该算法有效减弱了评分稀疏性问题对相似性关系的影响，强化了模型对重要相似性关系的学习能力，从而缓解了评分稀疏性问题，提高了推荐效果。相关实验也表明，该算法能进一步缓解评分稀松性问题，提高推荐效果。

发明内容

基于相似性和相似性可信度的协同过滤推荐算法，包括：

一种基于相似性和相似性可信度的协同过滤推荐算法，其特征在于，包括

步骤1，建立用户-项目评分矩阵R，用户-项目评分矩阵R包括若干元素R_u,i，R_u,i表示用户u对项目i的评分，u＝1,2,..N，i＝1,2,3,..M，N表示推荐***中的用户数量，M表示推荐***中的项目数量；

步骤2，建立评分指示矩阵I^R，评分指示矩阵I^R包括若干元素

表示用户i对项目j是否进行过评分,若是，则

若否，则

步骤3，通过余弦相似性计算用户相似度矩阵D，用户相似度矩阵D包括若干元素D_up，D_up表示用户u和用户p之间的相似性，

其中，I表示用户u和p共同评价过的项目集合，

表示用户u对所有已评价项目的平均评分，

表示用户p对所有已评价项目的平均评分；

步骤4，通过余弦相似性计算项目相似度矩阵S，相似度矩阵S包括若干元素S_i,j，S_i,j表示项目i与项目j之间的相似性，

其中，P表示同时评价过项目i和j的用户集合，

表示项目i的平均评分，

表示项目j的平均评分；

步骤5，建立用户共同评分项数量矩阵C^D，用户共同评分项数量矩阵C^D包括若干元素

表示用户u和用户p共同评价过的项目的数量，

其中R_u和R_p分别表示用户u和用户p的评价过的项目的集合；

步骤6，建立项目共同评分项数量矩阵C^S，项目共同评分项数量矩阵C^S包括若干元素

表示同时评价过项目i和项目j的用户的数量，

其中R_i和R_j分别表示评价过项目i和项目j的用户集合；

步骤7，将用户共同评分项矩阵C^D和项目共同评分项矩阵C^S代入映射函数ω(c)，得到用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)，其中

为用户u和用户p对应的相似性可信度，

为项目i和项目j对应的相似性可信度；

映射函数ω(c)为

C(θ)和C(β)分别为用户(或项目)的共同评分项数量的频率分布直方图的θ和β下侧分位点，0＜θ＜β＜1；

步骤8，建立损失函数

其中，λ_U和λ_V为PMF中的正则化参数，λ_D和λ_S为相似性正则化参数，g(x)＝1/(1+exp(-x))，U和V分别表示用户因子矩阵和项目因子矩阵，U_u和U_p分别表示用户u和用户p对应的用户因子向量，V_i和V_j分别表示项目i和项目j对应项目因子向量,cos(X,Y)为余弦函数；

通过最小化损失函数E,得到用户因子矩阵U和项目因子矩阵V，然后通过公式

来预测用户u对项目i的未知评分。

一种基于相似性和相似性可信度的协同过滤推荐装置，其特征在于，包括

矩阵建立模块：用于建立用户-项目评分矩阵R、评分指示矩阵I^R、用户相似度矩阵D、项目相似度矩阵S、用户共同评分项数量矩阵C^D以及项目共同评分项数量矩阵C^S、用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)；

未知评分进行预测模块：基于损失函数，对未知评分进行预测，其中，损失函数基于以下公式：

其中，λ_U和λ_V为PMF中的正则化参数，λ_D和λ_S为相似性正则化参数，g(x)＝1/(1+exp(-x))，U和V分别表示用户因子矩阵和项目因子矩阵，U_u和U_p分别表示用户u和用户p对应的用户因子向量，V_i和V_j分别表示项目i和项目j对应项目因子向量；

通过最小化损失函数E,得到用户因子矩阵U和项目因子矩阵V，然后通过公式

对未知评分进行预测。

在上述的一种基于相似性和相似性可信度的协同过滤推荐装置，矩阵建立模块建立矩阵的具体方法包括：

建立单元一：建立用户-项目评分矩阵R，用户-项目评分矩阵R包括若干元素R_u,i，R_u,i表示用户u对项目i的评分，u＝1,2,..N，i＝1,2,3,..M，N表示推荐***中的用户数量，M表示推荐***中的项目数量；

建立单元二：建立评分指示矩阵I^R，评分指示矩阵I^R包括若干元素

表示用户i对项目j是否进行过评分,若是，则

若否，则

建立单元三：通过余弦相似性计算用户相似度矩阵D，用户相似度矩阵D包括若干元素D_u,p，D_u,p表示用户u和用户p之间的相似性，

其中，I表示用户u和p共同评价过的项目集合，

表示用户u对所有已评价项目的平均评分，

表示用户p对所有已评价项目的平均评分；

建立单元四：通过余弦相似性计算项目相似度矩阵S，相似度矩阵S包括若干元素S_i,j，S_i,j表示项目i与项目j之间的相似性，

其中，P表示同时评价过项目i和j的用户集合，

表示项目i的平均评分，

表示项目j的平均评分；

建立单元五：建立用户共同评分项数量矩阵C^D，用户共同评分项数量矩阵C^D包括若干元素

表示用户u和用户p共同评价过的项目的数量，

其中R_u和R_p分别表示用户u和用户p的评价过的项目的集合；

建立单元六：建立项目共同评分项数量矩阵C^S，项目共同评分项数量矩阵C^S包括若干元素

表示同时评价过项目i和项目j的用户的数量，

其中R_i和R_j分别表示评价过项目i和项目j的用户集合；

建立单元七：将用户共同评分项矩阵C^D和项目共同评分项矩阵C^S代入映射函数ω(c)，得到用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)，

映射函数ω(c)为

C(θ)和C(β)分别为用户(或项目)的共同评分项数量的频率分布直方图的θ和β下侧分位点，0＜θ＜β＜1。

因此，在推荐效果(Precision、Recall、F1-measure和RMSE)方面，本发明与如下算法作了对比分析：

(1)ItemKNN：常规的基于项目的协同过滤推荐算法。

(2)UserKNN：常规的基于用户的协同过滤推荐算法。

(3)PMF：经典的概率矩阵分解模型。

(4)RMF：一种融合相似性信息的推荐模型，该模型通过正则项约束方式来融合用户和项目相似性，具有较高的推荐质量。

(5)SBMF：一种基于相似性的矩阵分解模型，该推模型首先通过相似性关系确定用户簇和项目簇，然后通过簇信息提高推荐质量。

本发明具有如下有点：该发明在概率矩阵分解模型的基础上，通过相似性关系约束潜在特征向量的夹角余弦，并通过相似性可信度影响约束权重。由于相似性可信度的约束，该发明有效减弱了评分稀疏性问题对相似性关系的影响，强化了模型对重要相似性关系的学习能力，从而缓解了评分稀疏性问题，提高了推荐效果。在Movielens数据集上的实验表明本发明显著提高了推荐效果，实验结果如图4所示。

附图说明

图1是本发明的逻辑架构图。

图2a是本发明中正则化参数对RMSE的影响示意图。

图2b是本发明中正则化参数对Precision的影响示意图。

图2c是本发明中正则化参数对Recall的影响示意图。

图2d是本发明中正则化参数对F₁-measure的影响示意图。

图3是本发明的评分稀疏性影响对比示意图。

图4是本发明与现有的相关推荐算法的对比表。

图5是本发明的实验数据集元信息表。

具体实施方式

一、首先介绍本发明的方法原理，本发明主要包括：

步骤1，建立用户-项目评分矩阵R，用户-项目评分矩阵R包括若干元素R_u,i，R_u,i表示用户u对项目i的评分，u＝1,2,..N，i＝1,2,3,..M，N表示推荐***中的用户数量，M表示推荐***中的项目数量；

步骤2，建立评分指示矩阵I^R，评分指示矩阵I^R包括若干元素

表示用户i对项目j是否进行过评分,若是，则

若否，则

步骤3，通过余弦相似性计算用户相似度矩阵D，用户相似度矩阵D包括若干元素D_u,p，D_u,p表示用户u和用户p之间的相似性，

其中，I表示用户u和p共同评价过的项目集合，

表示用户u对所有已评价项目的平均评分，

表示用户p对所有已评价项目的平均评分；

步骤4，通过余弦相似性计算项目相似度矩阵S，相似度矩阵S包括若干元素S_i,j，S_ij表示项目i与项目j之间的相似性，

其中，P表示同时评价过项目i和j的用户集合，

表示项目i的平均评分，

表示项目j的平均评分；

步骤5，建立用户共同评分项数量矩阵C^D，用户共同评分项数量矩阵C^D包括若干元素

表示用户u和用户p共同评价过的项目的数量，

其中R_u和R_p分别表示用户u和用户p的评价过的项目的集合；

步骤6，建立项目共同评分项数量矩阵C^S，项目共同评分项数量矩阵C^S包括若干元素

表示同时评价过项目i和项目j的用户的数量，

其中R_i和R_j分别表示评价过项目i和项目j的用户集合；

步骤7，将用户共同评分项矩阵C^D和项目共同评分项矩阵C^S代入映射函数ω(c)，得到用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)，其中

为用户u和用户p对应的相似性可信度，

为项目i和项目j对应的相似性可信度；

映射函数ω(c)为

C(θ)和C(β)分别为用户(或项目)的共同评分项数量的频率分布直方图的θ和β下侧分位点，0＜θ＜β＜1；

步骤8，建立损失函数

其中，λ_U和λ_V为PMF中的正则化参数，λ_D和λ_S为相似性正则化参数，g(x)＝1/(1+exp(-x))，U和V分别表示用户因子矩阵和项目因子矩阵，U_u和U_p分别表示用户u和用户p对应的用户因子向量，V_i和V_j分别表示项目i和项目j对应项目因子向量,cos(X,Y)为余弦函数；

通过最小化损失函数E,得到用户因子矩阵U和项目因子矩阵V，然后通过公式

来预测用户u对项目i的未知评分。

二、下面结合具体案例对本发明的方法进行具体阐述。

本发明是基于java环境开发，JDK版本为jdk1.7.0_79，运行环境为Ubuntu14.04.4(64bit)。

为了丰富实验数据集，本发明设计了专门的实验对研究内容进行验证。本发明还从MovieLens网站上下载了开放的MovieLens-1M数据集，其包含943个用户对1682部电影的100000条评分数据。对这该数据集的相关描述如图5所示。

在对本发明与其它5种经典方法进行对比的实验中，我们采用了5-fold交叉验证的方法，并从集合{0.0005,0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.8,1.2}中选择相似性正则化参数λ_D和λ_S，通过交叉验证确定的最佳参数设置为θ＝0.1、β＝0.4、λ_D＝λ_S＝0.05，特征维度设置为10和20(即L＝10和L＝20)。我们选用随机梯度下降算法作为求最优解的方法，初始学习速率为α＝0.1，每次迭代的学习速率按0.99倍衰减，最大迭代次数为200。

在本发明所提算法中，模型参数λ_U和λ_V在抗过拟合方面起着重要的作用。本发明设计了一组实验来专门探究模型参数的λ_U和λ_V的影响，在该实验中，我们让λ_U＝λ_V＝λ，然后λ的值从集合{0.0005,0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.8,1.2}选择，除此之外，参数α、β以及L都设为最佳值。图2展示了模型参数λ_U和λ_V对该算法的影响。

为了验证本发明所提算法在缓解评分稀疏性问题方面的优势，本发明设计了评分稀疏性影响对比实验，通过控制评分数据集的选择比例，对PMF、RMF、SBMF和SSRCF算法(本发明所提算法)的评分稀疏性影响进行探索。该实验设置的选择比例的取值集合为{50％,55％,60％,...,100％}，潜在特征向量维数l设为10。图3展示了各类算法的稀疏性问题影响对比。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于相似性和相似性可信度的协同过滤推荐算法，其特征在于，包括

步骤1，建立用户-项目评分矩阵R，用户-项目评分矩阵R包括若干元素R_u,i，R_u,i表示用户u对项目i的评分，u＝1,2,..N，i＝1,2,3,..M，N表示推荐***中的用户数量，M表示推荐***中的项目数量；

步骤2，建立评分指示矩阵I^R，评分指示矩阵I^R包括若干元素

表示用户i对项目j是否进行过评分,若是，则

若否，则

步骤3，通过余弦相似性计算用户相似度矩阵D，用户相似度矩阵D包括若干元素D_u,p，D_u,p表示用户u和用户p之间的相似性，

其中，I表示用户u和p共同评价过的项目集合，

表示用户u对所有已评价项目的平均评分，

表示用户p对所有已评价项目的平均评分；

步骤4，通过余弦相似性计算项目相似度矩阵S，相似度矩阵S包括若干元素S_i，j，S_i，j表示项目i与项目j之间的相似性，

其中，P表示同时评价过项目i和j的用户集合，

表示项目i的平均评分，

表示项目j的平均评分；

步骤5，建立用户共同评分项数量矩阵C^D，用户共同评分项数量矩阵C^D包括若干元素

表示用户u和用户p共同评价过的项目的数量，

其中R_u和R_p分别表示用户u和用户p的评价过的项目的集合；

步骤6，建立项目共同评分项数量矩阵C^S，项目共同评分项数量矩阵C^S包括若干元素

表示同时评价过项目i和项目j的用户的数量，

其中R_i和R_j分别表示评价过项目i和项目j的用户集合；

步骤7，将用户共同评分项矩阵C^D和项目共同评分项矩阵C^S代入映射函数ω(c)，得到用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)，其中

为用户u和用户p对应的相似性可信度，

为项目i和项目j对应的相似性可信度；

映射函数ω(c)为

C(θ)和C(β)分别为用户(或项目)的共同评分项数量的频率分布直方图的θ和β下侧分位点，0＜θ＜β＜1；

步骤8，建立损失函数

其中，λ_U和λ_V为PMF中的正则化参数，λ_D和λ_S为相似性正则化参数，g(x)＝1/(1+exp(-x))，U和V分别表示用户因子矩阵和项目因子矩阵，U_u和U_p分别表示用户u和用户p对应的用户因子向量，V_i和V_j分别表示项目i和项目j对应项目因子向量,cos(X,Y)为余弦函数；

通过最小化损失函数E,得到用户因子矩阵U和项目因子矩阵V，然后通过公式

来预测用户u对项目i的未知评分。

2.一种基于相似性和相似性可信度的协同过滤推荐装置，其特征在于，包括

矩阵建立模块：用于建立用户-项目评分矩阵R、评分指示矩阵I^R、用户相似度矩阵D、项目相似度矩阵S、用户共同评分项数量矩阵C^D以及项目共同评分项数量矩阵C^S、用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)；

未知评分进行预测模块：基于损失函数，对未知评分进行预测，其中，损失函数基于以下公式：

其中，λ_U和λ_V为PMF中的正则化参数，λ_D和λ_S为相似性正则化参数，g(x)＝1/(1+exp(-x))，U和V分别表示用户因子矩阵和项目因子矩阵，U_u和U_p分别表示用户u和用户p对应的用户因子向量，V_i和V_j分别表示项目i和项目j对应项目因子向量；

通过最小化损失函数E,得到用户因子矩阵U和项目因子矩阵V，然后通过公式

对未知评分进行预测；

矩阵建立模块建立矩阵的具体方法包括：

建立单元一：建立用户-项目评分矩阵R，用户-项目评分矩阵R包括若干元素R_u,i，R_u,i表示用户u对项目i的评分，u＝1,2,..N，i＝1,2,3,..M，N表示推荐***中的用户数量，M表示推荐***中的项目数量；

建立单元二：建立评分指示矩阵I^R，评分指示矩阵I^R包括若干元素

表示用户i对项目j是否进行过评分,若是，则

若否，则

建立单元三：通过余弦相似性计算用户相似度矩阵D，用户相似度矩阵D包括若干元素D_u,p，D_u,p表示用户u和用户p之间的相似性，

其中，I表示用户u和p共同评价过的项目集合，

表示用户u对所有已评价项目的平均评分，

表示用户p对所有已评价项目的平均评分；

建立单元四：通过余弦相似性计算项目相似度矩阵S，相似度矩阵S包括若干元素S_i,j，S_i,j表示项目i与项目j之间的相似性，

其中，P表示同时评价过项目i和j的用户集合，

表示项目i的平均评分，

表示项目j的平均评分；

建立单元五：建立用户共同评分项数量矩阵C^D，用户共同评分项数量矩阵C^D包括若干元素

表示用户u和用户p共同评价过的项目的数量，

其中R_u和R_p分别表示用户u和用户p的评价过的项目的集合；

建立单元六：建立项目共同评分项数量矩阵C^S，项目共同评分项数量矩阵C^S包括若干元素

表示同时评价过项目i和项目j的用户的数量，

其中R_i和R_j分别表示评价过项目i和项目j的用户集合；

建立单元七：将用户共同评分项矩阵C^D和项目共同评分项矩阵C^S代入映射函数ω(c)，得到用户相似性可信度矩阵W^D＝ω(C^D)，和项目相似性可信度矩阵W^S＝ω(C^S)，

映射函数ω(c)为

C(θ)和C(β)分别为用户(或项目)的共同评分项数量的频率分布直方图的θ和β下侧分位点，0＜θ＜β＜1。

Images