CN108710680A - 一种利用深度学习进行基于情感分析的电影推荐方法 - Google Patents

Abstract

本发明公开了一种利用深度学习进行基于情感分析的电影推荐的方法，获取用户的电影在线评论与电影状态信息，并对电影及其评论信息进行清洗操作并进行预处理；进行数据的结构及特征信息提取，通过深度学习对特征信息进行情感分析；之后基于情感分析数据建立用户兴趣模型，再计算用户对电影兴趣度并进行电影推荐。本发明采用Bagging算法与双向长短期记忆网络作为情感倾向分析的方法，挖掘文本信息中用户表达的主观情感，构建出有效的用户兴趣模型，提高了推荐***的精度，优化电影推荐的质量。

Description

一种利用深度学习进行基于情感分析的电影推荐方法

技术领域

本发明涉及电影推荐技术领域，尤其涉及一种利用深度学习进行基于情感分析的电影推荐方法。

背景技术

随着信息科技的发展，各种互联网应用层出不穷，逐渐渗透到大众日常生活娱乐等各个方面。人们的经济与生活水平逐渐提高，电影已经成为现代人的一种重要娱乐休闲方式，越来越多的人选择网上观看电影并参与在线评论。同时随着电影资源的丰富，如何从过量的电影信息中找到自己感兴趣的成为人们选择的难点。这使得电影的信息筛选成为当前的一个热门研究方向，而电影推荐***也成为解决上述问题的有效手段。

推荐***一方面它可以帮助用户发现有价值的信息，另一方面也可以让信息能够展现在对它感兴趣的用户面前。目前在主流的推荐算法主要有：基于协同过滤的推荐***，包含基于用户的协同过滤算法与基于物品的协同过滤算法；另外有基于内容的推荐***、基于知识的推荐以及混合推荐***。

协同过滤算法更多地是通过构建用户兴趣模型基于用户行为数据进行推荐，通过使用用户数据，来发现拥有偏好相似度较高的用户和电影，但***可能向用户推荐其并不感兴趣但其相似用户却喜欢的电影，此外协同过滤算法的冷启动状况，即对新用户或电影评价数目较少的目标用户推荐具有困难，反而会对热门电影推荐较多。虽然这些问题推荐***整体的准确率的误差作用有限，但是这说明此推荐方法仍然存在缺陷。

而基于内容与物品的推荐，是通过对电影内容，类型，剧情等特征进行数值上的提取与分解，通过对特征值的回归或者分类运算，得出用户对电影的评分信息，然后基于评分来针对目标用户进行推荐。其缺点在于对电影数据结构有较高的要求，数据需具有较完整的内容信息与容易提取的条件，同时对于稀疏数据的推荐效果较差。

混合方法的建模成本较高，需综合多个推荐算法，并且很多情况下混合算法针对单一具体的实际改进效果并不理想。

这是因为没有充分利用用户评论对于推荐结果的影响。用户的评论一般含有比较有价值的反馈，不但可以吸引***，而且可以帮助用户做决定，评论中一般含有用户对于电影的主观情感，通过对历史评论的情感分析，获取用户对于商品不同特征的兴趣度，然后构建更加精确的兴趣模型比较有效。

近年来兴起的深度学习方法在图像和语音识别中取得了巨大的成功，并逐步应用到自然语言处理与机器翻译中，能较好地能从文本信息中判断情感的倾向和强度，但其在推荐***中应用较少。

发明内容

针对以上现有技术缺陷的分析，本发明提出一种利用深度学习进行基于情感分析的电影推荐方法，能够提高了电影推荐的准确率，优化用户体验。

一种利用深度学习进行基于情感分析的电影推荐方法，该方法包括三个方面：

第一方面，获取电影评论与电影状态数据，包括以下步骤：

S1：获取用户的电影在线评论与电影状态信息。

S2：对电影及其评论信息进行清洗操作并进行预处理。

第二方面，利用深度学习方法处理上述步骤获取的数据，采取的技术方案是一种基于长短期记忆网络（Long-Short Term Memory, LSTM）的学习方法，包括以下步骤：

S3：对获取的数据的结构及特征信息进行提取。

S4：通过深度学习对特征信息进行情感分析。

第三方面，根据经过训练得到的情感分析数据进行推荐，采取的技术方案是基于已进行情感分析后的数据建立兴趣模型并进行推荐。包括以下步骤：

S5：基于情感分析数据建立用户兴趣模型。

S6：计算用户对电影兴趣度并进行电影推荐。

作为本发明的进一步改进，在步骤S1中，获取的基本数据信息包括电影名称ID、电影类型、用户ID、评论时间、电影评分、评论内容与赞同数；获取数据的方式为利用在线评论网络爬虫或者电影信息评论数据库。

作为本发明的进一步改进，在步骤S2中，对数据的清洗操作包括剔除数据类型项目缺失以及评价字符数小于预设字符数的数据项，而预处理操作包括对电影评论信息进行分词操作与词性标注操作。

为本发明的进一步改进，在步骤S3中，对经过S2步骤处理后的数据进行特征提取的操作包括词性序列模板匹配，设置维度参数，训练并构建词向量矩阵。

作为本发明的进一步改进，在步骤S4中，所采取的深度学习网络模型为双向长短期记忆网络（Bi-directional LSTM），在此基础上，采用Bagging算法进行基学习器的集成，最终输出对应评论的情感状态信息。

作为本发明的进一步改进，在步骤S5中，建立用户兴趣模型，需基于S4步骤中情感分析的结果统计模型数据信息，再分析电影信息特征与用户之间的相关关系。

作为本发明的进一步改进，在步骤S6中，基于步骤S5所得模型计算用户兴趣度的数值，以此为依据推荐电影信息数据中符合用户兴趣度的电影。

与现有技术相比，本发明的有益效果为：

通过本发明的电影推荐***，***可有效地解决信息过载问题，通过深度学习技术分析和结合多数用户的评分与评论信息进行处理，对评论中的情感信息进行提取并进行分类，挖掘文本信息中用户表达的情感极性，构建出有效的用户兴趣模型，提高了推荐***的精度，进而优化电影推荐的质量。

附图说明

图1为现有长短期记忆网络单元结构图。

图2为本发明一种实施例公开的双向长短期记忆网络情感分类模型。

图3为本发明一种实施例公开的Bagging算法与双向长短期记忆网络的情感倾向分析模型图。

图4为本发明一种实施例公开的一种利用深度学习进行基于情感分析的电影推荐方法的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图4所示，本发明提供一种实施例公开的一种利用深度学习进行基于情感分析的电影推荐方法的流程图，该推荐方法包括以下步骤S1至步骤S6：

S1：获取用户的电影在线评论与电影状态信息。

在该实施例中，步骤S1获取基本数据信息包括电影名称ID、电影类型、用户ID、评论时间、电影评分、评论内容与赞同数；获取数据的方式为利用在线评论网络爬虫或者电影信息评论数据库。

S2：电影及其评论信息清洗以及预处理。

在该实施例中，作为本发明的进一步改进，步骤S2的具体流程优化如下：

S21：数据的清洗操作包括剔除数据类型项目缺失以及评价字符数小于预设字符数的数据项。

其中，数据项目缺失主要为电影名称ID与评论内容，有效预设字符数可以根据需要进行设置，例如3个中文字符数。

S22：预处理操作包括对电影评论信息进行分词操作与词性标注操作。

其中，分词操作可采用基于前缀词典切分与根据切分位置构建有向无环图的结巴分词工具进行以词为单位的切分,并且利用点互信息（PMI，Pointwise MutualInformation）算法进行相关名词电影特征的提取，建立特征集。

而词性标注操作根据语料库的情况可设置为四词位标注(B,M,E,S)或者六词位标注(B,B₁ ,B₂ ,M,E,S)，从而提取词性序列。

S3：提取数据的结构及特征信息。

在该实施例中，作为本发明的进一步改进，步骤S3的具体流程优化如下：

S31：词性序列模板匹配。

其中，根据评论数据集提取候选属性词的词性序列，以此为模板匹配S22所得词性序列，将匹配成功的文本信息可进行下一步操作。

S32：设置维度参数并构建词向量矩阵。

其中，构建词向量矩阵可采用基于向量空间模型（Vector Space Model，VSM）思想与RNN网络的Word2Vec工具，该工具将中文分词处理后的词转为对应的词向量，然后构建文本的词向量矩阵。该矩阵的行数为每个文本的词数，列数为每个词对应向量所指定的维数。

S4：通过深度学习方法进行电影特征的情感分析。

在该实施例中，作为本发明的进一步改进，对步骤S4的具体优化如下：

所采取的深度学习网络模型为双向长短期记忆网络（Bi-directional LSTM），在此基础上，采用Bagging算法进行基学习器的集成，最终输出对应评论的情感状态信息。

其中，Bagging算法属于集成学习的一种，通过构建并结合多个学习器来完成学习任务，算法中的随机采样一般采用的是自助采样法，即对于m个样本的原始训练集，有放回地随机采集m次，最终得到一个包含m个样本的采样集。对于每个基学习器由自助采样法获得的训练集，理论上有37%的原始数据不会被选中，这些被忽略的数据称为包外数据，该算法有助于训练复杂模型，提高学习***的泛化能力。

其中，双向长短期记忆网络为深度学习神经网络结构之一，它拥有两个不同方向的并行层，前向层与反向层的运行方式和前馈神经网络的运行方式相同。这两个层分别从文本开始的前端和末端开始运行，因此能存储来自两个方向的文本的信息，使得学习***能够同时考虑到现在与未来的上下文信息，从而使其在情感分类中拥有更好的表现。

图3为本发明一种实施例公开的Bagging算法与双向长短期记忆网络的情感倾向分析模型图，下面结合图3对本公开实施例性进行说明。

参照图3，该模型结合深度学习的模型与集成学习的思想，在Bagging算法的框架下，将双向长短期记忆网络作为情感倾向分析的基学习器，通过采样数据来对双向长短期记忆网络进行学习，利用包外数据对训练形成的基学习器进行赋权，最后根据各基学习器的预测结果及投票策略进行情感预测，其具体实现流程如下：

1） 对已标注情感标签的数据集进行预处理，并将其分为训练集和测试集两部分。

2） 对训练集的随机采样采用自助采样法，将训练集分为n个采样集与n个包外数据集。

3） 利用采样集数据传入双向长短期记忆网络进行训练，n个基学习器的训练过程相互独立。

4） 利用包外数据集传入基学习器中进行验证与权值修正。

5） 重复步骤3）至4），直到完成全部n个基学习器的预测结果输出。

6） 基于加权投票策略，对预测集样本进行情感倾向分析预测。

S5：基于情感分析数据建立用户兴趣模型。

在该实施例中，作为本发明的进一步改进，步骤S5的具体流程优化如下：

S51：统计模型数据信息。

若情感状态为积极，则视为好评。统计用户在整个评论数据集中，对于电影信息集合的每个特征的平均好评率，以及整个用户集对每个特征的平均好评率。

S52：分析电影信息特征f_i对用户x评论的权重占比，具体公式如下：

其中Weight(f_i ,x)表示电影信息特征f_i对用户x评论的权重占比，T（f_i , x）表示特征f_i在用x的评论集中出现的频率，N表示用户x的评论集的评论个数，n_fi表示出现特征f_i的评论个数,F表示PMI算法提取的电影信息特征集合。

S53：分析用户x对电影信息特征f_i的偏好度，具体公式如下：

其中Prefer(f_i ,x)表示用户x对电影信息特征f_i的偏好度，U_i(x)表示用户x对电影特征f_i的平均好评率，V_i表示总体用户对电影特征f_i的平均好评率。

S6：计算用户对电影兴趣度并进行电影推荐。

在该实施例中，作为本发明的进一步改进，步骤S6的具体流程优化如下：

S61：计算用户x对电影特征f_i兴趣度，具体公式如下：

其中A(f_i ,x)表示用户x对电影特征f_i兴趣度。

S62: 基于用户对电影特征兴趣度较高的电影特征从电影数据库进行电影推荐

下面就本实施例提供的双向长短期记忆网络情感分类基学习器进行详细的描述，以图2提供的模型为例。

图2为本发明一种实施例公开的双向长短期记忆网络情感分类模型，在本实施例中，深度学习的情感分类过程实现流程如下：

1） 提取正序与反序的词特征向量 ：

将每个词前后的信息所对应的词向量序列分别以正序和反序的形式输入到双向LSTM网络中，提取对应的正反序列特征。 双向LSTM网络的输出序列分别为正向特征向量序列y_f(0) 至 y_f(n) 和反向特征向量序列 y_r(n)至 y_r(0) ，对两个序列进行序列合并，得到相应的词特征向量。

2） 提取句特征向量：

将词向量特征在序列合并的同时采用平均池化，即对词邻域内特征向量求平均，得到句特征向量。

3） 情感分类：

将句特征向量序列化，对该序列信息进行神经网络全连接，之后将信息传入softmax层进行函数概率运算，最终得到情感状态分类结果（积极，中立，消极）。

进一步的，该模型可使用基于Dropout 的正则化方法来缓解模型的过拟合现象。Dropout方法直接作用在神经网络结构的隐藏层节点上，随机选择部分单元连同它们的输入输出连接，都暂时从网络中丢弃它们，并且每次训练过程中随机丢弃的隐藏层节点都不相同。其中单元被选中暂时丢弃的概率可以在训练的时候人为设置，例如0.2。

其中，该公开实施例模型的LSTM单元如图1所示。

图1为现有长短期记忆网络单元结构图，LSTM有效解决了循环神经网络(Recurrent Neural Networks，RNN)出现的长距离信息依赖问题，LSTM单元中的细胞状态(Memory Cell)用于保存历史信息。历史信息分别受到3个门的控制:输入门(Input Gate)、遗忘门(Forget Gate)、输出门(Output Gate)。这种结构可以使之前输入的信息保存在网络中，并一直向前传递，输入门打开时新的输入才会改变网络中保存的历史状态，输出门打开时保存的历史状态会被访问到，并影响之后的输出，忘记们用于清空之前保存的历史信息，从而对文本序列信息进行有效利用。

本发明推荐方法对用户电影评论电影特征进行挖掘，通过深度学习进行情感分析，以此为基础建立用户兴趣模型，提高了推荐***的精度，进而优化电影推荐的质量。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种利用深度学习进行基于情感分析的电影推荐方法，其特征在于，包括以下步骤：

步骤S1：获取用户的电影在线评论与电影状态信息；

步骤S2：对电影及其评论信息进行清洗操作并进行预处理；

步骤S3：对获取的数据的结构及特征信息进行提取；

步骤S4：通过深度学习对特征信息进行情感分析；

步骤S5：基于情感分析数据建立用户兴趣模型；

步骤S6：计算用户对电影兴趣度并进行电影推荐。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对数据的清洗操作包括剔除数据类型项目缺失以及评价字符数小于预设字符数的数据项，而预处理操作包括对电影评论信息进行分词操作与词性标注操作。

3.根据权利要求3所述的分词操作与词性标注操作，其特征在于，分词操作采用结巴分词工具进行以词为单位的切分并使用PMI算法提取电影名词特征集；词性标注操作设置为四词位标注或者六词位标注。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3中，对经过S2步骤处理后的数据进行特征提取的操作包括词性序列模板匹配，设置维度参数，训练并构建词向量矩阵。

5.根据权利要求4所述的词性序列模板与词向量矩阵，其特征在于，词性序列模板为评论数据集中提取的候选属性词的词性序列；

词向量矩阵的行数为每个文本的词数，列数为每个词对应向量所指定的维数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4中，所采取的深度学习网络模型为双向长短期记忆网络，以该模型为基学习器，采用Bagging算法进行基学习器的集成，最终输出对应评论的情感状态信息。

7.根据权利要求6所述的Bagging算法进行基学习器的集成，其特征在于，包括如下步骤：

1） 对已标注情感标签的数据集进行预处理，并将其分为训练集和测试集两部分；

2） 对训练集的随机采样采用自助采样法，将训练集分为n个采样集与n个包外数据集；

3） 利用采样集数据传入双向长短期记忆网络进行训练，n个基学习器的训练过程相互独立；

4） 利用包外数据集传入基学习器中进行验证与权值修正；

5） 重复步骤3）至4），直到完成全部n个基学习器的预测结果输出；

6） 基于加权投票策略，对预测集样本进行情感倾向分析预测。

8.根据权利要求1所述的方法，其特征在于，所述步骤S5中，建立用户兴趣模型，需分析电影信息特征对用户评论的权重占比，具体公式如下：

其中Weight(f_i ,x)表示电影信息特征f_i对用户x评论的权重占比，T（f_i , x）表示特征f_i在用x的评论集中出现的频率，N表示用户x的评论集的评论个数，n_fi表示出现特征f_i的评论个数,F表示PMI算法提取的电影信息特征集合；

以及分析用户对电影信息特征的偏好度，具体公式如下：

其中Prefer(f_i ,x)表示用户x对电影信息特征f_i的偏好度，U_i(x)表示用户x对电影特征f_i的平均好评率，V_i表示总体用户对电影特征f_i的平均好评率。