CN105354330A - 一种基于稀疏数据预处理的协同过滤推荐方法 - Google Patents

Abstract

本发明公开了一种基于稀疏数据预处理的协同过滤推荐方法，该方法从项目自身信息出发，首先，通过引入项目的特征属性信息,为每个特征属性分配不同的权值，计算项目间特征属性相似度，初步预测用户对未评分项目的评分。接着再对稀疏数据集的未评分项目进行混合填充预处理,可以使得稀疏的用户和项目数据矩阵完全饱和。本发明能够有效地解决传统对稀疏数据集不作处理以及使用固定值填充带来的低推荐精度和低推荐覆盖率的问题，使得基于本发明的推荐***的推荐性能够得到很好的改善。

Description

一种基于稀疏数据预处理的协同过滤推荐方法

技术领域

本发明涉及一种基于稀疏数据预处理的协同过滤推荐方法，属于互联网信息技术领域。

背景技术

随着互联网和信息技术的不断发展，人们逐渐从信息匮乏的时代步入了信息过剩的时代。在这个时代里，无论是信息的生产者或是信息的消费者，都面临着巨大挑战，即作为信息生产者，如何让自己的信息脱颖而出，受到广大用户的关注，是一件非常困难的事情。作为信息的消费者，如何从海量的信息中找到自己感兴趣的信息也是一件非常复杂的事情。因此，协同过滤推荐已成为了互联网信息技术的研究热点之一。

协同过滤推荐的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前。为使协同过滤推荐能够产生精确的推荐，保证推荐的实时性和有效性的要求，研究人员提出了各式各样的推荐方法。

但是，随着协同过滤推荐规模的不断扩大，用户评分数据呈现出极端的稀疏性，比如：在大型商务***中，用户评分的项目一般不会超过项目总和的1％。人们发现协同过滤技术在对由用户历史信息得到的用户和项目评分矩阵进行用户(即项目)相似度计算时，得到的结果不能让人满意，比如：一个用户由于是新用户或者其作出评分的项目过少，可能会导致该用户和其他用户之间的相似度无法计算，从而不能作出有效推荐，导致推荐算法精确度的下降。因此，在大型商务***中，基于稀疏数据集的协同过滤推荐方法已经成为制约推荐***性能的一个关键因素，但是，如何对稀疏数据集进行合适的处理，已成为了一个具有挑战性的问题。

目前对推荐***中稀疏数据集处理的方法包括：

(1)使用奇异值矩阵分解的预处理方法

该方法首先构建稀疏用户和项目评分矩阵，接着对评分矩阵进行奇异值分解，获得一个用户特征矩阵，并将其压缩到一个用户潜在因素空间。类似地，将每个项目也映射到一个同样的潜在因素空间，然后根据每个用户的特征矩阵，预测用户对不同项目的评分，并用这些预测评分来填充稀疏用户和项目评分矩阵中的用户未评分项目，使矩阵得以饱和。

(2)使用用户或者项目评分集均值的填充方法

该方法首先构建稀疏用户和项目评分矩阵，接着计算每个用户或者项目的已评分数据集的均值，并将各自的评分均值用来填充各自的未评分项。比如，我们计算得到用户A历史评分均值，那么则将所有稀疏矩阵中用户A未评分的项目评分填充为A的历史评分均值。这种方法会产生一个弊端，即用户A对那些未评分项目的预测评分都是相同的。

(3)使用用户或者项目评分集众值的填充方法

该方法首先构建稀疏用户和项目评分矩阵，接着统计出每个用户或者项目的已评分数据集的众值，并将各自评分数据集的众值用来填充稀疏数据中的未评分项，这种方法可以体现出用户的评分喜好。但同样，使用该方法会出现多众值和无众值的情况。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了上述现有技术的不足，提出一种基于稀疏数据预处理的协同过滤推荐方法，该方法通过引入项目自身的特征属性信息，计算项目间特征属性相似度，从而初步预测用户对未评分项目的评分，再对稀疏数据集的未评分项目进行混合填充预处理，可以使得用户和项目评分矩阵完全饱和，有效解决了传统使用已评分数据集均值填充未评分项带来的用户对项目评分一致的问题；有效解决了传统使用已评分数据集众值填充评分项所造成的多众值或者无众值的问题。

本发明解决其技术问题所采取的技术方案是：一种基于稀疏数据预处理的协同过滤推荐方法，该方法包括如下步骤：

步骤1：根据用户对项目的历史评分数据构建稀疏的用户和项目评分矩阵，矩阵中行代表用户，列代表项目；根据项目的自身属性信息构建项目特征属性矩阵，矩阵中行代表项目,列代表特征属性；

步骤2：对各项目具有的特征属性赋予不同的权值，并且各项目所具有的特征属性权值之和为1，即i代表项目的第i个特征属性，n代表各项目所具有的特征属性的个数，w_i代表项目的第i个特征属性所具有的权值大小；

步骤3：利用余弦相似性计算得到项目间特征属性相似度，并构建项目特征属性相似度矩阵；

步骤4：设定阈值大小为0.9,得到满足阈值的目标项目的相似项目集合，进而得到用户在用户和项目评分矩阵中的已评分的数据集合以及对应的特征属性相似度值集合，计算未评分项目的填充评分；

步骤5：利用计算得到的预测评分去填充稀疏用户和项目评分矩阵中用户未评分项，最终得到一个饱和的用户和项目评分矩阵；

步骤6：对饱和的用户和项目评分矩阵采用KNN算法，计算得到每个用户对未评分项目的最终预测值；选取预测值较大的项目，产生推荐列表。

进一步的，本发明步骤2所述的特征属性都需要分配不同的权值。

进一步的，本发明步骤4所述的用户和项目未评分项的填充值由项目特征属性计算而来，所述计算过程包括：

步骤4-1，根据得到的项目和特征属性相似度矩阵，设定阈值为0.9，得到满足阈值的目标项目的相似项目集合；

步骤4-2，根据目标项目的相似项目集合，得到用户在用户和项目评分矩阵中的已评分的数据集合以及对应的特征属性相似度值集合；

步骤4-3，若得到的已评分数据集合为空集，则将目标项目的填充值设定为该项目的均值；若得到的已评分数据集合非空，则将其与特征属性相似度值集合进行对位累积求和计算，再除以已评数据集合中评分非零的个数，从而得到未评分项目的填充值。

本发明能够应用于所有项目带有特征属性的协同过滤推荐***。

有益效果：

1、本发明能够从项目自身的数据信息出发，通过引入项目自身的特征属性信息，计算项目间特征属性相似度，从而初步预测用户对未评分项目的评分，再对稀疏数据集的未评分项目进行混合填充预处理，可以使得用户和项目评分矩阵完全饱和，有效解决了传统使用已评分数据集均值填充未评分项带来的用户对项目评分一致的问题；有效解决了传统使用已评分数据集众值填充评分项所造成的多众值或者无众值的问题。

2、本发明将项目的特征属性信息和已有稀疏用户-项目评分数据紧密结合在一起，适用于所有项目带有特征属性的协同过滤推荐***。

3、本发明通过对用户的历史兴趣信息进行分析，根据得到的预测结果为用户提供推荐，显著提高了推荐的精确性，并且该方法简单、数据采集方便。

附图说明

图1为本发明的方法流程图。

图2为本发明在不同邻居个数下协同过滤推荐的精度分析示意图。

图3为本发明在不同邻居个数下协同过滤推荐的覆盖率分析示意图。

图4为本发明在不同推荐个数下协同过滤推荐的覆盖率分析示意图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

如图1所示，本发明是一种基于稀疏数据预处理的协同过滤推荐方法。由于KNN算法是协同过滤推荐算法中常见的算法，下面将具体描述项目特征属性矩阵的构建、权值分配、相似度计算以及未评分项目的预测填充值计算。

本发明具体实施步骤，包括如下：

步骤1：根据推荐***中项目自身的数据信息，构建项目特征属性矩阵，其中行代表项目，列代表特征属性，行和列的交叉值用0或1填充，0代表该项目不具有这个特征属性信息，1则相反，代表该项目具有这个特征属性信息。

步骤2：统计在整个推荐***中各个项目特征属性所占的比重，按其所占比重给各个特征属性分配权值。比如，某项目具有冒险、动作、喜剧这三个的特征属性，其中在整个推荐***中，作为特征属性冒险共出现x次，动作共出现y次，喜剧出现共z次，则该项目特征属性为冒险的权值为x/(x+y+z)，动作的权值为y/(x+y+z)，喜剧的权值为z/(x+y+z)，三者相加值为1。

步骤3：用计算得到的权值代替(1)中构建的项目特征属性矩阵中的值，并通过余弦相似性度量公式计算项目之间的项目特征属性相似性。

步骤4：根据得到的项目-特征属性相似度矩阵，设定阈值为0.9，得到满足阈值的目标项目的相似项目集合；根据目标项目的相似项目集合，得到用户在用户和项目评分矩阵中的已评分的数据集合以及对应的特征属性相似度值集合；若得到的已评分数据集合为空集，则将目标项目的填充值设定为该项目的均值；若得到的已评分数据集合非空，则将其与特征属性相似度值集合进行对位累积求和计算，再除以已评数据集合中评分非零的个数，从而得到未评分项目的填充值。

重复上述步骤4，本发明能够得到所有用户对所有未评分项目的预测填充值，并将这些值填入到稀疏用户和项目评分矩阵中，使得稀疏矩阵完全饱和，接着对矩阵使用KNN算法，从而为每个用户产生推荐。

下面对本发明的协同过滤方法在不同情况下分别进行比较验证，实验参数选取包括如下：

(1)仿真数据集选取于Minnesota大学提供的Movielens数据集，其中包含了943名用户对1682部电影(项目)的100000跳评分数据，其数据稀疏度为1-100000/(943*1682)＝0.94，评分分值是从1到5的整数并且每个用户都评价了至少20部电影，每部电影至少都有一次以上的评价。整个数据集按8:2的比例分成训练集和测试集，训练集数据作为算法输入，而测试集用于测试改进后的算法性能。

(2)协同过滤推荐***采用KNN算法；参数设置如下：邻居个数k从3到18变化，每次递增3个邻居。

(3)推荐列表中每次为用户作出项目推荐的推荐个数t一定时，邻居个数k对推荐***推荐覆盖率(coverage)的影响，参数设置如下：推荐个数t为10时，邻居个数k从3到18变化，每次递增3个邻居。

(4)KNN算法中邻居个数k一定时，推荐***覆盖率(coverage)随推荐个数t的变化；参数设置如下：当邻居个数固定为10时，推荐个数从10到30变化时每次递增10个推荐。

实验1：验证邻居个数对推荐***推荐精度的影响

图2为本发明在不同填充条件下，邻居个数k对推荐***推荐精度(MAE)的影响。其中，nonfilling代表对稀疏用户和项目评分矩阵中的未评分项不进行填充预处理；modefilling代表对稀疏用户和项目评分矩阵中的未评分项进行众值填充处理；hybirdfilling代表本发明提出的方法；通过图2可以看到，随着KNN算法中邻居个数的不断增加，本发明的推荐精度一直优于其它两种传统的方法，说明本发明提出的方法可以作出更为准确的推荐。

实验2：验证推荐个数一定时，邻居个数对推荐***推荐覆盖率的影响

图3为本发明在不同填充条件下，当推荐***推荐个数t一定时，推荐***推荐覆盖率(coverage)随着邻居个数k变化的曲线图。我们可以看到本发明的推荐覆盖率远远高于其它两种传统的方法。

实验3：验证邻居个数一定时，推荐个数对推荐***覆盖率的影响

图4为本发明在不同填充条件下，当邻居个数k一定时，推荐***覆盖率(coverage)随着推荐个数t增加的变化图。可以发现本发明的推荐覆盖率随着推荐个数的增加任然远远由于其它两种传统方法。

对本领域技术人员而言，根据上述实施类型可以很容易联想其他的有点和变形。因此，本发明不局限于以上实例，其仅仅作为例子对本发明的一种形态进行详细、示范性的说明。在不背离本发明宗旨的范围内，本领域技术人员根据上述具体实例，通过各种等同替换所得到的技术方案，均应包含在本发明的权利要求范围及其等同范围之内。

Claims (4)

1.一种基于稀疏数据预处理的协同过滤推荐方法，其特征在于，所述方法包括如下步骤：

步骤1：根据用户对项目的历史评分数据构建稀疏的用户和项目评分矩阵，矩阵中行代表用户，列代表项目；根据项目的自身属性信息构建项目特征属性矩阵，矩阵中行代表项目,列代表特征属性；

步骤2：对各项目具有的特征属性赋予不同的权值，并且各项目所具有的特征属性权值之和为1，即i代表项目的第i个特征属性，n代表各项目所具有的特征属性的个数，w_i代表项目的第i个特征属性所具有的权值大小；

步骤3：利用余弦相似性计算得到项目间特征属性相似度，并构建项目特征属性相似度矩阵；

步骤4：设定阈值大小为0.9,得到满足阈值的目标项目的相似项目集合,进而得到用户在用户和项目评分矩阵中的已评分的数据集合以及对应的特征属性相似度值集合，计算未评分项目的填充评分；

步骤5：利用计算得到的预测评分去填充稀疏用户和项目评分矩阵中用户未评分项，最终得到一个饱和的用户和项目评分矩阵；

步骤6：对饱和的用户和项目评分矩阵采用KNN算法，计算得到每个用户对未评分项目的最终预测值；选取预测值较大的项目，产生推荐列表。

2.根据权利要求1所述的一种基于稀疏数据预处理的协同过滤推荐方法，其特征在于，步骤2中，所述的特征属性都需要分配不同的权值。

3.根据权利要求1所述的一种基于稀疏数据预处理的协同过滤推荐方法，其特征在于，步骤4中，所述的用户和项目未评分项的填充值由项目特征属性计算而来，所述计算过程包括：

步骤4-1，根据得到的项目和特征属性相似度矩阵，设定阈值为0.9，得到满足阈值的目标项目的相似项目集合；

步骤4-2，根据目标项目的相似项目集合，得到用户在用户和项目评分矩阵中的已评分的数据集合以及对应的特征属性相似度值集合；

步骤4-3，若得到的已评分数据集合为空集，则将目标项目的填充值设定为该项目的均值；若得到的已评分数据集合非空，则将其与特征属性相似度值集合进行对位累积求和计算，再除以已评数据集合中评分非零的个数，从而得到未评分项目的填充值。

4.根据权利要求1所述的一种基于稀疏数据预处理的协同过滤推荐方法，其特征在于：所述方法应用于所有项目带有特征属性的协同过滤推荐***。