CN112328900A - 一种融合评分矩阵和评论文本的深度学习推荐方法 - Google Patents

Abstract

本发明公开了一种融合评分数据和评论文本的深度学习方法，通过引入辅助信息缓解评分数据稀疏性的影响。利用评论文本可以获取用户的偏好信息和项目特征，而评分数据中又包含了用户和项目之间的潜在关联。现有的融合模型对评分数据的处理大多数都是采用矩阵分解方法，为了更好利用评分数据中的有效信息，本发明利用卷积神经网络处理评论文本，并引入注意力机制提取评论信息中具有代表性的评论，从而更好的表征用户偏好和项目特征。利用深度神经网络处理评分数据提取其中的深度特征，将特征进行融合来预测出用户对项目的评分。

Description

一种融合评分矩阵和评论文本的深度学习推荐方法

技术领域

本发明涉及利用深度学习提取文本特征并融合评分数据的推荐模型，属于信息推荐领域。

背景技术

随着网络的飞速发展，数据量成指数增长,人们想要从海量的数据中获取有用信息变得越来越困难。推荐***在解决信息过载方面被证明是有效的，可以帮助人们快速的在海量数据中找到自己需要的信息。

传统的推荐算法主要有：协同过滤和基于内容的推荐算法。这两种方法都是基于用户的历史行为来进行推荐的。基于内容的推荐算法利用用户对项目的评分信息来确定这些物品之间的共同特征，若是新物品也有这个特征，就会将该物品推荐给用户；协同过滤是利用历史数据找到与该用户喜好相同的用户，然后将找到的这些相似用户过去喜欢的物品推荐给该用户。或者是找到和某一物品具有相同特征的物品，若用户喜欢这一物品则将其他具有相同特征的物品推荐给用户。

许多成功的协同过滤技术都是基于矩阵分解(Matrix Factorization，MF)算法，利用评分矩阵作为输入，将该矩阵分解成用户矩阵和项目矩阵相乘的形式，即得到用户和项目的隐向量表示，将隐向量在空间中进行表示，距离近的用户和项目表示相似性较高，在进行推荐时把距离相近的项目推荐给目标用户。矩阵分解算法能够在一定程度上缓解数据的稀疏性。

为了缓解数据稀疏性引入文本信息。在一般的推荐***中，用户除了可以直接进行评分外还可以写评论信息，一般评论信息中会包含用户给出这个评分的理由，相比于评分而言，评论信息包含的内容更加丰富。一方面可以得到用户给出这个评分的原因，另一方面也可以体现用户的偏好信息或商品的一些特征。

近年来，深度学习在很多领域被广泛应用，特别是在自然语言处理方面更取得了突破性的进步。利用自然语言在文本内容挖掘方面的优势，将其运用到推荐***中对评论文本进行处理，这也为推荐***提供了新的研究方向；目前在推荐***中使用的深度学习技术主要有CNN、RNN、注意力机制、RBM、编码器等。

深度学习中的CNN、RNN网络在处理文本信息时能够很好的保留词序信息。ConvMF(Convolution Matrix Factorization)模型将卷积神经网络和概率矩阵分解相结合，利用卷积神经网络处理评论文本信息，从而有效的保留词序信息。但是该模型仅仅利用了项目的评论文本信息，而忽略了用户的评论信息。DeepCoNN(Deep Cooperative NeuralNetwork)模型，该模型利用两个并行的CNN来分别处理项目的评论信息和用户的评论信息，在最后一层利用因子分解机来进行评分预测。NARRE(Neural Attentional RegressionModel with Review Level Explanations)模型，将评分矩阵和评论文本作为输入，同时融合评分数据中的隐向量，极大的提高了推荐***的预测性能。

上述模型中在与评论文本特征相融合时仅用到了评分的潜在特征，没有对评分数据进行深度建模，对评分数据进行深度特征学习。因此本发明提出了融合评分矩阵和评论文本的深度推荐模型，利用深度学习提取评分中深度特征，并和评论文本信息中提取的用户偏好和项目特征进行融合，通过更好的对用户项目特征进行表示，而提升推荐性能。经过实验证明，该模型能够更好的提取用户和项目特征，有效提高了推荐的准确性。

需要解决的问题及达到有益效果：

本发明通过引入辅助信息缓解了评分数据稀疏性的影响，从而提高推荐质量。利用评论文本可以获取用户的偏好信息和项目特征，而评分数据中又包含了用户和项目之间的潜在联系，为了更好利用评分数据中的有效信息，利用神经网络来提取评分中的深度特征，更好的表征用户偏好和项目特征，从而提高推荐质量。

为了获取文本中的上下文信息，本发明在实验中利用卷积神经网络(Convolutional Neural Network,CNN)来提取评论中用户和项目的特征表示。

评论文本种包含了大量的有用信息，有些评论信息能够准确描述项目的相关特性，而有些评论却和项目没有太大的关联性。不同评论信息所作的贡献是不同的。因此，再实验中引入了注意力机制，来选择更能代表项目特性的评论信息。

评分数据是用户对项目喜爱程度的一直显性反馈，本发明中利用神经网络根据评分数据来获取用户的偏好和项目的特征表示。

将从评论文本中提取的用户、项目特征分别和评分数据中获取的用户、项目特征进行线性和高阶交互，来获取用户、项目的最终特征表示。

将得到的用户、项目最终特征表示进行元素积，送入预测层得到最终的预测评分，融合评分矩阵和评论文本的深度学习推荐模型图如图一所示。

发明内容

本发明主要设计并实现了融合评分矩阵和评论文本的深度学习推荐方法，通过与多个公开的基线模型对比，以MSE为评价指标，本方法均取得了优于其他模型的效果。

本发明主要的发明内容如下：

首先，数据集的选取与处理：

选取Amazon 6个不同领域的公开数据集来评估本模型，将数据集按照8:1:1比例划分为训练集，验证集和测试集。

其次，分别从数据集评论文本和评分数据中提取用户和项目的特征，主要工作如下：

(1)分别对用户和项目进行建模，在对用户、项目建模时所用网络结构相同，只有输入不同，项目建模中：

提取项目评论文本中的特征，主要方法如下：

(1)将给定某个项目的评论信息作为输入，经过embedding层，将每条评论映射成d维的向量，得到固定长度的词嵌入矩阵。

(2)将得到的词嵌入矩阵作为卷积神经网络的输入，得到特征向量。

(3)进入最大池化层，捕获重要的具有高价值的特征，并且将卷积层的输出压缩成一个固定大小的向量

(4)为了选择更能代表项目特征的评论信息，引入了注意力机制，以上述得到的输出作为输入得到注意力得分，将注意力得分进行归一化处理，得到最终的评论权重。

(5)将上述结果送入到全连接层，得到项目基于评论信息的特征表示

提取项目评分数据中的特征，主要工作如下：

以给定项目的评分数据作为输入，送入网络层，在最后一层输出基于评分的项目深度特征表示。

融合层，得到用户和项目的最终特征表示，具体方法如下：

将上述在评论文本中和评分数据中得到的项目特征表示进行交互，通过线性和高阶交互建模来获取项目的最终特征。同理和获得用户的最终特征表示。

评分预测层，通过上述信息，等到最终的评分预测，具体过程如下：

将上述得到的最终的项目特征表示，和最终的用户特征表示进行元素积操作，得到一个向量，将得到的向量送入预测层得到最终的预测评分。

附图说明

图1为本发明总体模型示意图。

具体实施方式

现有的融合评分数据和评论文本的模型，在处理评分数据时，大都采用矩阵分解算法，仅仅使用了评分数据中的潜在特征，为了更好的利用评分信息，本发明利用深度神经网络处理评分数据提取其中的深度特征。利用卷积神经网络处理评论文本，并引入注意力机制提取评论信息中具有代表性的评论，从而更好的表征用户偏好和项目特征。将特征进行融合得到最终的预测评分。

本发明包含如下具体步骤：

首先，对数据集中的评论文本进行预处理，主要工作如下：

加载数据，进行标准化处理，把评论信息中的所有字母统一转成小写。然后过滤评论文本中的标点符号及特殊符号，将文本数据分解成单词并生成标签。去除停用词，然后将文本数据的句子长度转成相同的长度，长度由最长的句子来定义。

建立一个基于句子的从词到索引的词汇映射，根据词汇表将句子和标签映射到向量，利用1000亿字的Google新闻上训练的300维的word2vec向量来初始化词嵌入，

将预处理后的数据集按照8:1:1的比例划分为训练集、验证集与测试集，利用训练集训练模型，在验证集上进行调参，最后在测试集上验证该模型的性能。

给定某项目i的评论集{R_i1,R_i2…R_ik},k表示模型允许输入的最大评论数，经过嵌入层后，每条评论信息被映射为d维的向量，得到固定长度的词嵌入矩阵M_i。

以嵌入层得到的词向量矩阵作为卷积神经网络层的输入，得到特征向量。设卷积层由m个神经元组成，使用大小为s的滑动窗口上的卷积滤波器f_j来提取上下文特征。具体如下：

k_j＝Relu(M_i*f_j+b_j)

上式中式中Relu表示激活函数，*为卷积操作，b_j表示偏差。

进入卷积模块中的最大池化层，max-pooling能够捕获重要的具有高价值的特征，并且将卷积层的输出压缩成一个固定大小的向量即：

c_j＝max(k₁,k₂...k_d-s+1)

卷积层最终输出的特征向量可表示为：c_i1,c_i2,...,c_ik。

对同一项目来说，不同用户会有不同的评论信息，有些用户的评论准确描述了项目的相关特性，而有些用户写的评论可能和项目没有太大的关联性。不同评论信息所作的贡献是不同的。为了选择更能代表项目特征的评论信息，引入注意力机制，对相应的评论文本使用一个注意力层，得到注意力得分为：

g_ik＝Relu(w_i×c_ik+b)

在上式中Relu表示激活函数，w_i，b分别为网络自动学习的权重和偏移量。

使用softmax函数对注意力得分g_ik进行归一化处理得到最终的评论权重a_ik,如下式所示：

利用评论权重来突出当前评论集中第n条评论对项目i的特征的影响，将评论的注意力分数a_ik一一作用在对应的卷积层输出的特征向量上，得到项目i特征向量的加权和：

然后将其送入到全连接层，得到项目i基于文本信息的最终特征表示：

T_i＝W_iC_i+b_i

在上式中，W_i，b_i分别是全连接层的权重和偏差量。同理对用户建模可以得到用户u基于评论信息的特征表示T_u。

用户对项目的评分数据是一种显性反馈，可以直接反映出用户对项目的喜爱程度，不同的评分说明用户对项目的喜好程度不同，因此我们利用神经网络根据评分数据获取用户的偏好和项目的特征表示。

以项目i的评分数据作为输入p_i＝{y_i1,y_i2,...,y_in}，其中网络的模型定义为：

上式中

代表第x层的权重矩阵，

表示第x层的偏置向量，f(·)表示激活函数，这里使用的是Relu函数，最后一层的输出X_i表示项目i的深度特征表示。同理对用户建模可以得到用户u基于评分数据的特征表示X_u。

将上述在评论文本中得到的特征和评分数据中得到的特征分别进行融合，得到用户和项目的最终特征表示：

特征向量I中包含了从评论信息和评分数据中获取的项目特征，其中⊕表示拼接，g表示高阶交互建模。此处我们借鉴了因子分解机中的二阶项来获取高阶特征，首先将因子分解机中的二阶项进行转换：

其中

表示元素积，<v_i，v_j>用来建模第i项和第j项之间的关系，计算任意两维特征之间的交互。在执行sum()之前，就已经包含了二阶交互项的所有信息。因此，我们只需要求和前的部分，将评论信息中得到的特征和评分数据中得到的特征进行拼接

利用下面的网络结构来获取高阶特征:

g能进一步增强潜在特征的交互，同理可以得到用户的最终特征表示U。

将上述得到的用户最终特征U，项目最终特征I进行元素积操作，得到一个向量H＝multiply(U,I)，将其传递到预测层得到预测评分

在上式中，W代表了预测层的权重参数，b_u、b_i分别代表了用户的偏差量、项目的偏差量，b_g表示全局偏差量。

为了使预测评分

和数据集中的真实评分R_u,i之间的差值最小，下面给出损失函数loss的表达式：

在上式中，O表示训练集中的样本数，

R_u,i分别代表了预测评分和真实评分。为了防止过拟合，损失函数中使用了L2范数正则项约束，其中λ用来控制正则化的程度，使用Adam优化函数最小化loss来得到模型中的相关参数。

在实验过程中，我们使用Google新闻上训练的300维的word2vec向量来初始化词嵌入并在训练的过程中进行微调。

初始化学习率设置为0.005，卷积核大小设置为3。

为了防止过拟合，在实验中我们采用了dropout策略，将值设置为0.5。

模型的性能评价指标我们选用了均方误差MSE，该值越小表示模型的性能越好，计算如下：

上式中K代表了样本的个数，

表示预测评分，R_u,i表示真实的评分。

经过实验验证，本发明提出方法的实验结果如表1所示：

表1六类数据集下推荐性能评价结果

Dataset	MSE
		Toys_and_Games	0.773
Musical_Instruments	0.869
		office_product	0.709
Instant_Video	0.909
		Digital_Music	0.789
Kindle_Store	0.626

Claims (4)

1.一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：包括以下步骤，

S1对数据集中的评论文本进行预处理：

加载数据，进行标准化处理，把评论信息中的所有字母统一转成小写；然后过滤评论文本中的标点符号及特殊符号，将文本数据分解成单词并生成标签；去除停用词，然后将文本数据的句子长度转成相同的长度，长度由最长的句子来定义；

S2提取评论文本中的特征：

给定项目i的评论集{R_i1,R_i2…R_ik},k表示模型允许输入的最大评论数，经过嵌入层后，每条评论信息被映射为d维的向量，得到固定长度的词嵌入矩阵M_i；

S3提取评分数据中的特征：

用户对项目的评分数据是一种显性反馈，直接反映出用户对项目的喜爱程度，不同的评分说明用户对项目的喜好程度不同，因此利用神经网络根据评分数据获取用户的偏好和项目的特征表示；

S4特征融合：

将在评论文本中得到的特征和评分数据中得到的特征分别进行融合，得到用户和项目的最终特征表示：

特征向量I中包含了从评论信息和评分数据中获取的项目特征，其中⊕表示拼接，g表示高阶交互建模；借鉴因子分解机中的二阶项来获取高阶特征，首先将因子分解机中的二阶项进行转换：

其中

表示元素积，<v_i,v_j>用来建模第i项和第j项之间的关系，计算任意两维特征之间的交互。在执行sum()之前，就已经包含了二阶交互项的所有信息，将评论信息中得到的特征和评分数据中得到的特征进行拼接

利用下面的网络结构来获取高阶特征:

g能进一步增强潜在特征的交互，得到用户的最终特征表示U；

S5进行评分预测：

将得到的用户最终特征U，项目最终特征I进行元素积操作，得到一个向量H＝multiply(U,I)，将其传递到预测层得到预测评分

在上式中，W代表了预测层的权重参数，b_u、b_i分别代表了用户的偏差量、项目的偏差量，b_g表示全局偏差量。

2.根据权利要求1所述的一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：S1中，建立一个基于句子的从词到索引的词汇映射，根据词汇表将句子和标签映射到向量，利用1000亿字的Google新闻上训练的300维的word2vec向量来初始化词嵌入，将预处理后的数据集按照8:1:1的比例划分为训练集、验证集与测试集，利用训练集训练模型，在验证集上进行调参，最后在测试集上验证模型性能。

3.根据权利要求1所述的一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：S2中，以嵌入层得到的词向量矩阵作为卷积神经网络层的输入，得到特征向量；设卷积层由m个神经元组成，使用大小为s的滑动窗口上的卷积滤波器f_j来提取上下文特征；具体如下：

k_j＝Relu(M_i*f_j+b_j)

式中Relu为激活函数，*为卷积操作，b_j表示偏差；

进入卷积模块中的最大池化层，max-pooling能够捕获重要的具有高价值的特征，并且将卷积层的输出压缩成一个固定大小的向量即：

c_j＝max(k₁,k₂...k_d-s+1)

卷积层最终输出的特征向量可表示为：c_i1,c_i2,...,c_ik；

对同一项目来说，不同用户会有不同的评论信息，为了选择更能代表项目特征的评论信息，引入注意力机制，对相应的评论文本使用一个注意力层，得到注意力得分为：

g_ik＝Relu(w_i×c_ik+b)

式中Relu表示激活函数，w_i、b分别为网络自动学习的权重和偏移量；

使用softmax函数对注意力得分g_ik进行归一化处理得到最终的评论权重a_ik,如下式所示：

利用评论权重来突出当前评论集中第n条评论对项目i的特征的影响，将评论的注意力分数a_ik作用在对应的卷积层输出的特征向量上，得到项目i特征向量的加权和：

然后将其送入到全连接层，得到项目i基于文本信息的最终特征表示：

Ti＝WiCi+bi

式中，W_i，b_i分别是全连接层的权重和偏差量；同理对用户建模可以得到用户u基于评论信息的特征表示T_u。

4.根据权利要求1所述的一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：S3中，以项目i的评分数据作为输入p_i＝{y_i1,y_i2,...,y_in}，其中网络的模型定义为：

....

上式中

代表第x层的权重矩阵，

表示第x层的偏置向量，f(·)表示激活函数，这里使用的是Relu函数，最后一层的输出X_i表示项目i的深度特征表示；对用户建模可以得到用户u基于评分数据的特征表示X_u。

Images