CN111353040A - 基于gru的属性级别情感分析方法 - Google Patents

Abstract

本发明公开了一种属性级情感分析方法。情感分析是自然语言处理中一个基本的任务，而属性级的情感分析是情感分析的一个重要课题。在一句话中不同的词语对句子中属性(aspect)的情感极性有不同的影响，如何对属性和其句子中的词的关系以及整个句子含义建模是解决该问题的关键。在本文我们将通过两个循环网络在对句子信息建模的同时还引入注意力机制以融合属性的信息从而期望达到较好的效果。本文通过在公开数据集的实验显示在不需要做繁杂特征工程的情况下，本文提出的算法取得了更好的结果。

Description

基于GRU的属性级别情感分析方法

技术领域

本发明涉及互联网领域，更具体地说，涉及基于GRU的属性级别情感分析方法。

背景技术

随着互联网的快速发展，文本信息越来越多，如何从海量文本信息中获取有用信息变得越来越重要，这些海量文本信息也客观促进自然语言处理的发展，而深度学习为自然语言处理带来了新的方向。情感分析(即意见挖掘)是自然语言处理中一个基础却很重要的任务。企业可以利用客户对产品的评论信息来及时的获取反馈从而为决策提供参考。因此近年来如何在海量的文本数据中提取情感信息显得成为自然语言处理的一个重要研究课题。

目前主要的文本情感分析研究主要是基于情感词典和基于机器学习。基于情感词典的方法依赖于情感词典，情感词典对于情感分析具有大的影响，杨鼎等基于情感词典对文本进行处理和表示从而构建出基于朴素贝叶斯理论的分类器。另一种方法是基于机器学习的方法。机器学习的方法通过对人工标定的数据进行训练而得到一个情感分析分类器，通过实验证明了支持向量机的优良分类性能。这两种方法都需要人工标记数据从而完成情感词典构建和特征工程，这些任务繁琐且复杂而深度学习算法能够很好地解决这一问题。近年来深度学习在自然语言处理方面取得巨大的成功，比如机器翻译，问答***。在情感分析领域也有应用， Socher等提出了基于半监督递归自动编码机RAE)的深度学习方法来实现文本情感分类；Jurgovsky等利用卷积神经网络(CNN)实现了文本情感分类。文本情感分析可以分为篇章级、句子级以及单词级。本文主要研究的是基于属性(aspect) 的情感分析。这是由于在同一句子中对不同的aspect其情感极性有可能是不相同的，比如在“Thevoice quality of this phone is not good,but the battery life is long.”这个句子中对于quality来说这句话的评价是负面的，然而对battery life这个来说是正面的。Wang等提出AE-LSTM,AT-LSTM,和AEAT-LSTM循环网络算法用于aspect粒度的情感分析，其将aspect信息融合到长短期记忆网络LSTM中以提高分类精度。SVM-dep算法将特征分为和属性aspect相关的特征和aspect 无关的特征，分别提取出来完成了基于属性级别的情感分析，其精度由于不包含属性特征的支持向量机分类器。

注意力机制是在信息处理时选择性地集中于某些重要的信息的一种机制，而忽略和关注目标意义相关性较弱的一种信息处理机制，它强调在信息处理时更关注信息的本质方面的信息，它将有限的资源集中于重要的信息的处理，从而取得了巨大的成功。注意力(Attention)机制在图像识别、自动翻译等领域已经取得了巨大的成功。结合本文的主题，在处理基于属性情感分析的时候，可以更加关注和属性有关的信息从而提高情感分类的准确度。

循环网络(RNN)因为其网络记忆性能够处理上下文信息而被广泛应用于自然语言处理中，典型的循环网络有长短期记忆网络(LSTM)、门控循环单元(GRU) 和MUT网络等。本文将提出基于GRU网络在属性粒度情感分析的算法，然后通过注意力机制将属性信息融合到模型中，使得算法模型更能够关注到属性对情感分类的影响，从而提高情感分类的精度。

发明内容

有鉴于此，本发明的目的在于提供了一种基于GRU网络的属性级情感分析模型和方法，本发明基于Att-CGRU的属性级别情感分类算法，以实现情感分类精度的提高。

为了实现上述目的，本发明设计的基于GRU网络的属性级情感分析模型包括如下：

在Att-CGRU模型中，将通过注意力机制的引入来体现属性在对于整个句子的情感极性具有很重要的影响。在序列问题的处理中，编码解码(encoder-decoder) 是一种很常用的模型，通过在编解码模型根据不同的算法以及任务目标来对编码输出的隐状态向量分配不同的权重，抽取出能够尽可能表征输入数据的向量表示以改善算法模型性能，这一过程实质上是将有限的资源集中于和目标任务相关度更高的信息上来提高算法性能。Att-CGRU模型具体结构见说明书附图1。模型包括五个部分即输入层、嵌入层、GRU层、attention层和输出层。输入层将短文本即句子输入到模型中；嵌入层将句子中的每一个词映射成一个向量；GRU层利用从词嵌入中来获取特征信息；attention层实现注意力机制，它将会通过权重计算把词一级的特征信息融合成句子级的特征信息而产生一个句子特征向量；最终将句子特征向量进行分类。

1.1输入层

在输入层输入每一个需要进行情感极性分类的句子，假设句子长度为T，则句子可以表示为s＝{x₁,x₂,...,x_T}，x_i表示句子中的第i个单词。

1.2嵌入层

在从输入层获得的一个包含T个词的句子s＝{x₁,x₂,...,x_T}，后每一个词在嵌入层得到其对应的词向量e_i

首先从词嵌入矩阵

中获得每一个词的词向量，这里V是词表的长度，d^w是可以指定的词向量维数，则有

emb_i＝W^wrdvⁱ (1)

其中vⁱ是一个长度为|V|的向量，其中在i处为1，其他处为0。可以同样得出aspect的词向量emb_asp，当句子中aspect为多个单词的时候，将每个单词的词向量相同维度的值加起来得到aspect的词向量。然后将emb_i和emb_asp拼接起来得到最终的词向量e_i：

e_i＝[emb_i:emb_asp] (2)

最后将e＝{e₁,e₂,...,e_T}输入到下一层。

1.3 GRU层

在GRU层中，将会以属性为分界点，将句子分为左右部分去对属性上下文建模，其结构如图1，其中{x_l+1,x_l+2,...,x_r-1}表示aspect，{x₁,x₂,...,x_l}表示句子中属性以前的单词，{x_r-1,x_r-2,...,x_T}表示属性以后的单词。将左右两个序列输入到左右两个网络后隐藏层分别得到{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}。

1.4 attention层

在这个模型中引入注意力机制来获得更好的分类效果，这是由于句子中前后两部分的不同词和属性有不同的联系，将更多的来关注和属性联系紧密的信息。注意力机制的实现如下：

a_t＝softmax(w^TM) (4)

r＝Ha_t (5)

这里a_t表示的是注意力权重系数，

表示重复e_asp多次至和H的维度保持一致,H 是模型中隐藏层输出组成的矩阵，r表示的是加权后的表示句子含义的向量,W_h、 W_v、w是参数矩阵，然后得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh) (6)

h表示h_r-1和h_l+1向量的和。

1.5输出层

最后将注意力层的输出o输入到分类器

实现情感的极性分类，其中W_o和b_o是要训练得到的参数矩阵。

本方法的具体实验步骤如下：

步骤S1、首先将本发明中所用的收集于推特的数据集输入到Att-CGRU模型的输入层，

步骤S2、将S1得到的数据输入到嵌入层，得到输入句子中每个词的词向量，

步骤S3、在GRU层中通过S2的方式得到句子中每个词的词向量后，以属性词{x_l+1,x_l+2,...,x_r-1}为分界点将左边{x₁,x₂,...,x_l}单词的词向量和右边 {x_r-1,x_r-2,...,x_T}单词的词向量输入到两个左右两个GRU网络分别对属性词的上下文建模，从隐藏层分别得到输出{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}。

步骤S4、根据S4的输出，按照以下公式来计算能代表句子信息的向量o，具体公式如下：

a_t＝softmax(w^TM)

r＝Ha_t

这里r表示的是加权后的能表征句子含义的向量,a_t表示的是注意力权重系数，其由将w^TM输入到softmax函数后得出，M表示一个由模型GRU层中隐藏层的输出组成的矩阵H得来的向量，

表示重复属性词词向量e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵,tanh代表tanh函数，W_h、W_v、 w是参数矩阵。最终得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh)

h表示h_r-1和h_l+1向量的和，h_r-1表示左GRU网络中的第r-1个词对应的隐藏层输出，h_l+1表示右GRU网络中的第l+1个词对应的隐藏层输出，W_p和W_x表示参数矩阵。

步骤S5、输出层是将能够表针句子信息的向量o输入到softmax函数得到预测的情感极性

具体由

得出，W_o和b_o都是参数矩阵。

步骤6、根据S5的输出和每个句子对应的实际分类y计算损失函数值loss

其中λ是正则化系数，并通过误差反向传播算法训练迭代至Accuracy取得最大值，误差反向传播算法中的优化算法是以初始化系数为0.01的AdaGrad算法。

与现有技术相比较，本发明具有如下技术效果。

本方法中分别和传统的机器学习方法(包括支持向量机算法、SVM-dep算法) 以及深度学习的方法(AdaRNN-w/E、AdaRNNcomb、TC-LSTM)分别进行了对比实验，评价模型时以准确率(Accuracy)来评价各种模型，结果如下表所示：

表1实验结果

附图说明

图1是Att-CGRU模型具体结构图。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，在图1Att-CGRU模型结构图中包括五个部分即输入层、嵌入层、GRU层、attention层和输出层。输入层将短文本即句子输入到模型中；嵌入层将句子中的每一个词映射成一个向量；GRU 层利用从词嵌入中来获取特征信息；attention层实现注意力机制，它将会通过权重计算把词一级的特征信息融合成句子级的特征信息而产生一个句子特征向量；最终将句子特征向量进行分类。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施本发明时，首先要收集数据集，本发明所用的数据集是收集于推特的一个基本数据集。

本算法的具体实验步骤如下：

步骤S1、本文所用的数据集是收集于推特的一个基本数据集。每一个训练和测试数据已经人工标定。训练数据集用来训练模型，测试数据集用来测试模型性能。训练数据集有6248个句子，测试数据集有692个句子。测试和训练数据集中正面、负面和中性数据各自占25％、25％和50％

步骤S2、本文中的模型中包括了五个部分即输入层、嵌入层、GRU层、 attention层和输出层。输入层将短文本即句子输入到模型中，句子可以表示为 s＝{x₁,x₂,...,x_T}其中x_i表示组成句子的第i个单词，T表示句子的长度。嵌入层将句子中的每一个单词x_i根据词向量词典映射成词向量e_i＝[emb_i:emb_asp]，其中emb_i表示第i个单词在词典中对应的词向量，emb_asp表示的是属性词的词向量，当属性词由多个词组成时，取这几个词的词向量的均值。GRU层将利用从嵌入层中来获取语义特征信息的基础上将以属性为分界点，把句子分为左右部分对属性上下文建模，其结构如图1，其中{x_l+1,x_l+2,...,x_r-1}表示属性aspect，{x₁,x₂,...,x_l}表示句子中属性以前的单词，{x_r-1,x_r-2,...,x_T}表示属性以后的单词。将左右两个序列输入到左右两个GRU网络后隐藏层分别得到{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}。attention层实现注意力机制，它通过权重计算把词一级的特征信息融合成句子级的特征信息而产生一个句子特征向量最终将句子特征向量进行分类，其具体实现公示如下

a_t＝softmax(w^TM)

r＝Ha_t

这里r表示的是加权后的能表征句子含义的向量,a_t表示的是注意力权重系数，其由将w^TM输入到softmax函数后得出，M表示一个由模型GRU层中隐藏层的输出组成的矩阵H得来的向量，

表示重复属性词词向量e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵,tanh代表tanh函数，W_h、W_v、w是参数矩阵。最终得到能够最终表针句子信息的向量o；

o＝tanh(W_pr+W_xh)

h表示h_r-1和h_l+1向量的和，h_r-1表示左GRU网络中的第r-1个词对应的隐藏层输出，h_l+1表示右GRU网络中的第l+1个词对应的隐藏层输出，W_p和W_x表示参数矩阵。输出层是将能够表针句子信息的向量o输入到softmax函数得到预测的情感极性

具体由

得出，W_o和b_o都是参数矩阵。

步骤S3、在训练模型时采用交叉熵作为损失函数，用

表示预测结果。训练的过程是最小化所有句子真实极性y和预测

间的交叉熵损失值：

这里j表示其情感极性种类，在本文里有正面、负面和中性；i表示句子的索引号，λ是二阶范数正则化系数，θ是待解参数；同时设置dropout概率为0.5以防止过拟合。在本方法中采用200维的词向量来初始化句子中每个词，隐藏层维度同样也是100，其他参数矩阵初始化为均匀分布的抽样。训练模型时采用批量训练方式，每一批量包含20个句子。L₂正则化系数λ为0.001，优化算法采用 AdaGrad，其初始化系数为0.01。

步骤S4、在实验中分别和传统的机器学习方法(包括支持向量机算法、 SVM-dep算法)以及深度学习的方法(AdaRNN-w/E、AdaRNNcomb、TC-LSTM) 分别进行了对比实验，评价模型时以准确率(Accuracy)来评价各种模型，结果如下表所示：

表1实验结果

通过实验数据可以看出通过用左右两个网络对句子建模的同时引入基于属性词的注意力机制的方法，在准确率上和其他模型相比有一定的优势。

Claims (2)

1.基于GRU网络的属性级情感分析模型，其特征在于：模型包括五个部分即输入层、嵌入层、GRU层、attention层和输出层；输入层将短文本即句子输入到模型中；嵌入层将句子中的每一个词映射成一个向量；GRU层利用从词嵌入中来获取特征信息；attention层实现注意力机制，它将会通过权重计算把词一级的特征信息融合成句子级的特征信息而产生一个句子特征向量；最终将句子特征向量进行分类；

1.1输入层

在输入层输入每一个需要进行情感极性分类的句子，假设句子长度为T，则句子表示为s＝{x₁,x₂,...,x_T}，x_i表示句子中的第i个单词；

1.2嵌入层

在从输入层获得的一个包含T个词的句子s＝{x₁,x₂,...,x_T}，后每一个词在嵌入层得到其对应的词向量e_i

首先从词嵌入矩阵

中获得每一个词的词向量，这里V是词表的长度，d^w是可以指定的词向量维数，则有

emb_i＝W^wrdvⁱ (1)

其中vⁱ是一个长度为|V|的向量，其中在i处为1，其他处为0；同样得出aspect的词向量emb_asp，当句子中aspect为多个单词的时候，将每个单词的词向量相同维度的值加起来得到aspect的词向量；然后将emb_i和emb_asp拼接起来得到最终的词向量e_i：

e_i＝[emb_i:emb_asp] (2)

最后将e＝{e₁,e₂,...,e_T}输入到下一层；

1.3 GRU层

在GRU层中，将会以属性为分界点，将句子分为左右部分去对属性上下文建模，其中{x_l+1,x_l+2,...,x_r-1}表示aspect，{x₁,x₂,...,x_l}表示句子中属性以前的单词，{x_r-1,x_r-2,...,x_T}表示属性以后的单词；将左右两个序列输入到左右两个网络后隐藏层分别得到{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}；

1.4 attention层

在这个模型中引入注意力机制来获得更好的分类效果，这是由于句子中前后两部分的不同词和属性有不同的联系，将更多的来关注和属性联系紧密的信息；注意力机制的实现如下：

a_t＝softmax(w^TM) (4)

r＝Ha_t (5)

这里a_t表示的是注意力权重系数，

表示重复e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵，r表示的是加权后的表示句子含义的向量,W_h、W_v、w是参数矩阵，然后得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh) (6)

h表示h_r-1和h_l+1向量的和；

1.5输出层

最后将注意力层的输出o输入到分类器

实现情感的极性分类，其中W_o和b_o是要训练得到的参数矩阵。

2.基于GRU的属性级别情感分析方法，其特征在于：本方法的具体步骤如下：

步骤S1、首先将所用的收集于推特的数据集输入到Att-CGRU模型的输入层；

步骤S2、将S1得到的数据输入到嵌入层，得到输入句子中每个词的词向量，

步骤S3、在GRU层中通过S2的方式得到句子中每个词的词向量后，以属性词{x_l+1,x_l+2,...,x_r-1}为分界点将左边{x₁,x₂,...,x_l}单词的词向量和右边{x_r-1,x_r-2,...,x_T}单词的词向量输入到两个左右两个GRU网络分别对属性词的上下文建模，从隐藏层分别得到输出{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}；

步骤S4、根据S4的输出，按照以下公式来计算能代表句子信息的向量o，具体公式如下：

a_t＝softmax(w^TM)

r＝Ha_t

这里r表示的是加权后的能表征句子含义的向量,a_t表示的是注意力权重系数，其由将w^TM输入到softmax函数后得出，M表示一个由模型GRU层中隐藏层的输出组成的矩阵H得来的向量，

表示重复属性词词向量e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵,tanh代表tanh函数，W_h、W_v、w是参数矩阵；最终得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh)

h表示h_r-1和h_l+1向量的和，h_r-1表示左GRU网络中的第r-1个词对应的隐藏层输出，h_l+1表示右GRU网络中的第l+1个词对应的隐藏层输出，W_p和W_x表示参数矩阵；

步骤S5、输出层是将能够表针句子信息的向量o输入到softmax函数得到预测的情感极性

具体由

得出，W_o和b_o都是参数矩阵；步骤6、根据S5的输出和每个句子对应的实际分类y计算损失函数值loss

其中λ是正则化系数，并通过误差反向传播算法训练迭代至Accuracy取得最大值，误差反向传播算法中的优化算法是以初始化系数为0.01的AdaGrad算法。

Images