CN102930341A - 一种协同过滤推荐模型的优化训练方法 - Google Patents

Abstract

本发明公开了一种协同过滤推荐模型的优化训练方法，属于数据挖掘和个性化推荐技术领域，通过将隐特征矩阵单列，从而消除用户隐特征和项目隐特征在训练过程中的相互依赖性，然后将其划分为基于单列随机梯度下降的用户隐特征训练过程和项目隐特征训练过程，最后并行执行用户隐特征训练过程和项目隐特征训练过程，本发明通过对协同过滤推荐模型的训练进行优化，消除了用户隐特征矩阵与项目隐特征矩阵的相互依赖关系，提高了可扩展性，具备更快的收敛速度，达到收敛所需的训练轮数更少，提高了推荐模型的构建速度。

Description

一种协同过滤推荐模型的优化训练方法

技术领域

本发明属于数据挖掘和个性化推荐技术领域，特别是涉及一种协同过滤推荐模型的优化训练方法。

背景技术

互联网信息规模的***性增长，带来信息超载的问题，过量信息同时呈现，使得用户很难从中筛选出对个人有效的部分，信息利用率反而降低。个性化推荐技术是数据挖掘研究领域的重要分支，目标是通过建立个性化推荐***来提供“信息找人”的智能服务，以从根本上解决信息超载。

作为推荐产生源，推荐模型是个性化推荐***中的核心组件，而基于矩阵因式分解的推荐模型因其具备良好的推荐准确率和可扩展性，是一类应用广泛的推荐模型，目前，个性化推荐技术能够根据用户的历史行为，对用户和信息的内在联系进行分析，从而将用户与其可能会感兴趣的信息联系起来，提供信息找人的智能服务，从而解决信息超载的问题，推荐模型作为推荐***中的核心部件，是个性化推荐技术领域研究的重点，由于矩阵因式分解推荐模型具备很高的推荐准确率和良好的可扩展性，因而具备广泛的应用范围，但是，由于矩阵因式分解推荐模型的训练过程中，其用户隐特征和项目隐特征相互依赖，无法进行并行化，从而限制了模型的进一步推广。

因此在深入研究基于矩阵因式分解的推荐模型训练过程的基础上，本领域技术人员致力于开发一种协同过滤推荐模型的优化训练方法，能够消除矩阵因式分解推荐模型中的用户隐特征矩阵和项目隐特征矩阵在训练过程中的相互依赖关系。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够消除矩阵因式分解推荐模型中用户隐特征矩阵和项目隐特征矩阵在训练过程中相互依赖的协同过滤推荐模型的优化训练方法。

通过对矩阵因式分解推荐模型的训练过程进行分析，确定用户和项目隐特征在训练过程中的相互依赖性是由对相应隐特征的状态值的引用关系导致，因此，通过引入单列随机梯度下降机制，消除了用户和项目隐特征在训练过程中对相应隐特征状态值的引用，从而消除了用户隐特征矩阵和项目隐特征矩阵在训练过程中的相互依赖性，再以此为基础，对用户隐特征和项目隐特征的训练过程进行并行化，达到进一步提升矩阵因式分解协同过滤推荐模型可扩展性的目的，本发明按以下步骤进行：

步骤一、单列用户隐特征矩阵或/和项目隐特征矩阵；

对于需要构造的矩阵因式分解推荐模型，将其用户隐特征矩阵P或/和项目隐特征矩阵Q单列；通过单列P和Q，使得P、Q在第t轮训练过程中仅依赖于自身的状态值和对应隐特征矩阵在第t轮训练开始前的初始值，因此，对于第t轮训练过程，P、Q的每一行向量的训练结果仅依赖于自身的状态值、对应隐特征向量的初始值和相应训练数据，P、Q间的相互依赖关系被消除。

步骤二、判断隐特征矩阵是否收敛；当用户隐特征矩阵和项目隐特征矩阵收敛时，输出训练完成的用户隐特征矩阵或/和项目隐特征矩阵；当用户隐特征矩阵或/和项目隐特征矩阵未收敛时，执行步骤三。

步骤三、构造基于单列随机梯度下降的用户隐特征向量或/和项目隐特征向量训练过程；

根据单列的用户隐特征矩阵和项目隐特征矩阵，对矩阵因式分解推荐模型的隐特征矩阵训练过程进行分解，得到用户隐特征矩阵训练过程或/和项目隐特征矩阵训练过程的两个训练子过程；在训练时刻t时，对于用户隐特征矩阵P中第u行的向量P_u，其基于单列随机梯度下降的训练过程为：

$P_u^t=c^k\·p_u^{t-1}+\mathrm{\η}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{c}^{M-k}[r_{u,k}-\⟨p_u^{t-1},q_k^{t-1}\⟩]\·q_k^{t-1},$ M为P_u对应的训练样本个数，M为正整数，k为用户隐特征矩阵***学习训练样本的次序，1≤k≤M，η为学习速率，c为学习过程规约系数，c＝1-η·λ，λ为学习过程规范化因子，r_u,k为P_u对应的第k个训练样本；在训练时刻t时，对于项目隐特征矩阵Q中的第i行向量q_i，其基于单列随机梯度下降的训练过程为： $q_i^t=c^k\·q_i^{t-1}+\mathrm{\η}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{c}^{H-h}[r_{h,i}-\⟨q_i^{t-1},p_h^{t-1}\⟩]\·p_h^{t-1},$ H为q_i对应的训练样本个数，H为正整数，h为项目隐特征矩阵***学习训练样本的次序，1≤h≤H，r_h，i为q_i对应的第h个训练样本。

本发明避免了传统的矩阵因式分解协同过滤推荐模型的训练过程中各用户隐特征向量与项目隐特征向量相互依赖，无法进行并行化的缺陷，能为个性化推荐研究提供模型支撑和分析手段。

较佳的，在所述步骤三之后还包括并行训练用户隐特征矩阵或/和项目隐特征矩阵的步骤，以达到进一步提升矩阵因式分解推荐模型可扩展性的目的；并行训练用户隐特征矩阵按以下步骤进行：

A1、根据派发空间Z和训练样本集合R，依次将用户隐特征矩阵P中的第m行向量及其对应的训练样本派发至对应的训练节点S₁，直到

P_z为派发到训练节点S₁的隐向量集合，R_p表示户隐特征向量所对应的训练样本；

A2、派发过程完成后，对所有的用户隐特征向量进行并行训练；并行训练项目隐特征矩阵按以下步骤进行：

B1、根据派发空间Z和训练样本集合R，依次将项目隐特征矩阵Q中的第n行向量及其对应的训练样本派发至对应的训练节点S₂，直到

Q_z为派发至节点S₂的隐向量集合，R_q表示项目征矩阵向量所对应的训练样本；

B2、派发过程完成后，对所有的项目隐特征向量进行并行训练。

本发明的有益效果是：本发明通过对协同过滤推荐模型的训练进行优化，消除了用户隐特征矩阵与项目隐特征矩阵的相互依赖关系，提高了可扩展性，具备更快的收敛速度，达到收敛所需的训练轮数更少，提高了推荐模型的构建速度。

附图说明

图1是本发明实施例一的流程示意图。

图2是本发明实施例二的流程示意图。

图3是本发明实施例三的流程示意图。

图4是本发明与PRMF推荐法的准确率对比图。

图5是本发明与PRMF推荐法的加速比的对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

实施例一：如图1所示，一种协同过滤推荐模型的优化训练方法，其特征在于按以下步骤进行：

步骤一、单列用户隐特征矩阵；

对于需要构造的矩阵因式分解推荐模型，将其用户隐特征矩阵P单列；

步骤二、判断隐特征矩阵是否收敛；当用户隐特征矩阵收敛时，输出训练完成的用户隐特征矩阵；当用户隐特征矩阵未收敛时，执行步骤三。

步骤三、构造基于单列随机梯度下降的用户隐特征向量训练过程；

根据单列的用户隐特征矩阵，对矩阵因式分解推荐模型的隐特征矩阵训练过程进行分解，得到用户隐特征矩阵训练过程的训练子过程；在训练时刻t时，对于用户隐特征矩阵P中第u行的向量P_u，其基于单列随机梯度下降的训练过程为： $P_u^t=c^k\·p_u^{t-1}+\mathrm{\η}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{c}^{M-k}[r_{u,k}-\⟨p_u^{t-1},q_k^{t-1}\⟩]\·q_k^{t-1},$ M为P_u对应的训练样本个数，M为正整数，k为用户隐特征矩阵***学习训练样本的次序，1≤k≤M，η为学习速率，c为学习过程规约系数，c＝1-η·λ，λ为学习过程规范化因子，r_u,k为P_u对应的第k个训练样本；

为r_u,k对应的项目隐特征向量在t-1时刻的状态。

步骤四、并行训练用户隐特征矩阵，完成后输出训练完成的用户隐特征矩阵；

A1、根据派发空间Z和训练样本集合R，依次将用户隐特征矩阵P中的第m行向量及其对应的训练样本派发至对应的训练节点S₁，直到

P_z为派发到训练节点S₁的隐向量集合，R_p表示户隐特征向量所对应的训练样本；

A2、派发过程完成后，对所有的用户隐特征向量进行并行训练。

实施例二：如图2所示，一种协同过滤推荐模型的优化训练方法，按以下步骤进行：

步骤一、单列项目隐特征矩阵；

对于需要构造的矩阵因式分解推荐模型，将其项目隐特征矩阵Q单列；

步骤二、判断隐特征矩阵是否收敛；当项目隐特征矩阵收敛时，输出训练完成的项目隐特征矩阵；当项目隐特征矩阵未收敛时，执行步骤三。

步骤三、构造基于单列随机梯度下降的项目隐特征向量训练过程；

根据单列的项目隐特征矩阵，对矩阵因式分解推荐模型的隐特征矩阵训练过程进行分解，得到项目隐特征矩阵训练过程的训练子过程；在训练时刻t时，对于项目隐特征矩阵Q中的第i行向量q_i，其基于单列随机梯度下降的训练过程为：

H为q_i对应的训练样本个数，H为正整数，h为项目隐特征矩阵***学习训练样本的次序，1≤h≤H，r_h,i为q_i对应的第h个训练样本；

为r_h,i对应的用户隐特征向量在t-1时刻的状态值。

步骤四、并行训练项目隐特征矩阵，完成后输出训练完成的项目隐特征矩阵；

B1、根据派发空间Z和训练样本集合R，依次将项目隐特征矩阵Q中的第n行向量及其对应的训练样本派发至对应的训练节点S₂，直到

Q_z为派发至节点S₂的隐向量集合，R_q表示项目征矩阵向量所对应的训练样本；

B2、派发过程完成后，对所有的项目隐特征向量进行并行训练。

实施例三：如图3所示，一种协同过滤推荐模型的优化训练方法，按以下步骤进行：

步骤一、单列用户隐特征矩阵和项目隐特征矩阵；

对于需要构造的矩阵因式分解推荐模型，将其用户隐特征矩阵P和项目隐特征矩阵Q单列；

步骤二、判断用户隐特征矩阵和项目隐特征矩阵是否收敛；当用户隐特征矩阵和项目隐特征矩阵收敛时，输出训练完成的用户隐特征矩阵和项目隐特征矩阵；当用户隐特征矩阵或项目隐特征矩阵未收敛时，执行步骤三。

步骤三、构造基于单列随机梯度下降的用户隐特征向量和项目隐特征向量训练过程；

根据单列的用户隐特征矩阵和项目隐特征矩阵，对矩阵因式分解推荐模型的隐

特征矩阵训练过程进行分解，得到用户隐特征矩阵训练过程和项目隐特征矩阵训练过程的两个训练子过程；在训练时刻t时，对于用户隐特征矩阵P中第u行的向量P_u，其基于单列随机梯度下降的训练过程为：

$P_u^t=c^k\·p_u^{t-1}+\mathrm{\η}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{c}^{M-k}[r_{u,k}-\⟨p_u^{t-1},q_k^{t-1}\⟩]\·q_k^{t-1},$ M为P_u对应的训练样本个数，M为正整数，k为用户隐特征矩阵***学习训练样本的次序，1≤k≤M，η为学习速率，c为学习过程规约系数，c＝1-η·λ，λ为学习过程规范化因子，r_u,k为P_u对应的第k个训练样本；在训练时刻t时，对于项目隐特征矩阵Q中的第i行向量q_i，其基于单列随机梯度下降的训练过程为： $q_i^t=c^k\·q_i^{t-1}+\mathrm{\η}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{c}^{H-h}[r_{h,i}-\⟨q_i^{t-1},p_h^{t-1}\⟩]\·p_h^{t-1},$ H为q_i对应的训练样本个数，H为正整数，h为项目隐特征矩阵***学习训练样本的次序，1≤h≤H，r_h,i为q_i对应的第h个训练样本；

步骤四、并行训练用户隐特征矩阵和项目隐特征矩阵，完成后输出训练完成的用户隐特征矩阵和项目隐特征矩阵；

并行训练用户隐特征矩阵按以下步骤进行：

A1、根据派发空间Z和训练样本集合R，依次将用户隐特征矩阵P中的第m行向量及其对应的训练样本派发至对应的训练节点S₁，直到P_z为派发到训练节点S₁的隐向量集合，R_p表示户隐特征向量所对应的训练样本；

A2、派发过程完成后，对所有的用户隐特征向量进行并行训练；并行训练项目隐特征矩阵按以下步骤进行：

B1、根据派发空间Z和训练样本集合R，依次将项目隐特征矩阵Q中的第n行向量及其对应的训练样本派发至对应的训练节点S₂，直到Q_z为派发至节点S₂的隐向量集合，R_q表示项目征矩阵向量所对应的训练样本；

B2、派发过程完成后，对所有的项目隐特征向量进行并行训练。

为了对方法的正确性和精确性进行验证，在小型计算机集群上运行了仿真实验进行验证，该集群共包含四个节点，每个节点的配置为：INTELi5-760双核2.8GCPU、8G的内存，在实验验证中，使用的数据集为Movi eLens 1M数据集，该数据集来源于http://www.grouplens.org/node/12，包含了6040名用户对3900个项目超过100万条的评分信息，其用户-项目评分矩阵稠密度分别为4.25%，所有的用户评分都分布在区间[0,5]内，评分值越高，代表用户对相应项目的兴趣越强；实验使用RMSE（root mean square error，均方根误差）作为推荐准确率的评价指标，RMSE值越低，推荐准确率越高；实验使用加速比作为算法并行化性能的评价指标，加速比越高，算法的并行化性能越好；实验中将本专利提出的算法与论文“A Paral l el Matrix Factori zat ion basedRecommender by Alternating Stochastic Gradient Decent”中提出的PRMF（parallel Regularized Matrix Factorization，并行正则矩阵分解）算法进行了比较，该论文与2011年发表在《Engineering Applications of ArtificialIntelligence（工程与人工智能应用）》。

其中线条1为采用本发明的推荐准确率，线条2为PRMF算法的推荐准确率，由图4可见，本发明和PRMF方法的推荐准确率基本相同，但本发明提出的方法具备更快的收敛速度，达到收敛所需的训练轮数更少，由图5可见，线条3为采用本发明的加速比，线条4为PRMF算法的加速比，随着并行进程数量的增加，本发明提出的方法的加速比明显优于PRMF方法的加速比，因而本发明具备更好的并行性能。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种协同过滤推荐模型的优化训练方法，其特征在于按以下步骤进行：

步骤一、单列用户隐特征矩阵和项目隐特征矩阵；

对于需要构造的矩阵因式分解推荐模型，将其用户隐特征矩阵P或/和项目隐特征矩阵Q单列；

步骤二、判断隐特征矩阵是否收敛；当用户隐特征矩阵或项目隐特征矩阵未收敛时，执行步骤三。

步骤三、构造基于单列随机梯度下降的用户隐特征向量或/和项目隐特征向量训练过程；

根据单列的用户隐特征矩阵和项目隐特征矩阵，对矩阵因式分解推荐模型的隐特征矩阵训练过程进行分解，得到用户隐特征矩阵训练过程或/和项目隐特征矩阵训练过程的两个训练子过程；在训练时刻t时，对于用户隐特征矩阵P中第u行的向量P_u，其基于单列随机梯度下降的训练过程为：

$P_u^t=c^k\·p_u^{t-1}+\mathrm{\η}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{c}^{M-k}[r_{u,k}-\⟨p_u^{t-1},q_k^{t-1}\⟩]\·q_k^{t-1},$ M为P_u对应的训练样本个数，M为正整数，k为用户隐特征矩阵***学习训练样本的次序，1≤k≤M，η为学习速率，c为学习过程规约系数，c＝1-η·λ，λ为学习过程规范化因子，r_u,k为P_u对应的第k个训练样本；在训练时刻t时，对于项目隐特征矩阵Q中的第i行向量q_i，其基于单列随机梯度下降的训练过程为： $q_i^t=c^k\·q_i^{t-1}+\mathrm{\η}\underset{h=1}{\overset{H}{\mathrm{\Σ}}}{c}^{H-h}[r_{h,i}-\⟨q_i^{t-1},p_h^{t-1}\⟩]\·p_h^{t-1},$ H为q_i对应的训练样本个数，H为正整数，h为项目隐特征矩阵***学习训练样本的次序，1≤h≤H，r_h,i为q_i对应的第h个训练样本；

2.如权利要求1所述的一种协同过滤推荐模型的优化训练方法，其特征在于：在所述步骤三之后还包括并行训练用户隐特征矩阵或/和项目隐特征矩阵的步骤；

并行训练用户隐特征矩阵按以下步骤进行：

A1、根据派发空间Z和训练样本集合R，依次将用户隐特征矩阵P中的第m行向量及其对应的训练样本派发至对应的训练节点S₁，直到

P_z为派发到训练节点S₁的隐向量集合，R_p表示户隐特征向量所对应的训练样本；

A2、派发过程完成后，对所有的用户隐特征向量进行并行训练；并行训练项目隐特征矩阵按以下步骤进行：

B1、根据派发空间Z和训练样本集合R，依次将项目隐特征矩阵Q中的第n行向量及其对应的训练样本派发至对应的训练节点S₂，直到

Q_z为派发至节点S₂的隐向量集合，R_q表示项目征矩阵向量所对应的训练样本；

B2、派发过程完成后，对所有的项目隐特征向量进行并行训练。

Images