CN113705197A - 一种基于位置增强的细粒度情感分析方法 - Google Patents

Abstract

本发明提出了一种基于位置增强的细粒度情感分析方法，用于解决现有技术对文本进行细粒度情感分析导致的精度低的问题。首先将文本进行预处理，再通过细粒度情感分析模型进行情感分析。模型包括嵌入层、语义表征层、信息交互层和输出层。嵌入层将句子映射为上下文词嵌入和方面词嵌入，语义表征层通过位置强化注意力机制来增强模型的文本语义表征能力，信息交互层通过使用记忆网络增强方面词与其上下文的交互性，将基于方面的上下文语义增强表示作为与方面交互的外部记忆单元，使得外部存储记忆单元能够学习到复杂文本中的语义信息，最后输出层进行情感预测。本发明通过合理界定对方面进行情感表达的上下文范围，提高了细粒度情感分析准确度。

Description

一种基于位置增强的细粒度情感分析方法

技术领域

本发明属于信息处理技术领域，是一种基于位置增强的细粒度情感分析方法。

背景技术

社交网络和电商购物平台的迅速发展使得人们可以更方便的在网络平台上发表观点和表达意见，从而产生大量的包含用户情感信息的文本数据，蕴含着巨大的实用价值。而产品具有多维属性，消费者会从不同角度对产品和服务发表评论，如质量、价格和服务等方面。传统的文本情感分析技术通常是在整体上给出一个情感判断，无法满足在评论文本中对不同方面进行情感倾向性判断的需求，所以文本的情感分析粒度需要更加细化。例如句子“这家餐厅的食物太好吃了，但服务质量比较差。”，细粒度情感分析任务旨在判断方面“食物”和“服务”的情感倾向(食物，正面)和(服务，负面)。例句中的“食物”和“服务”称作方面，而不属于方面的其他文本“这家餐厅的太好吃了，但质量比较差。”称为上下文。该任务是自然语言处理领域中的热门研究方向，其有助于消费者的选择与企业在产品方面的决策，有着广泛的商业前景和应用价值。

随着深度学习技术不断趋于成熟，在文本情感分析领域开始得到有效应用。细粒度文本情感分析的研究方法主要集中在对神经网络的基本结构改进上。由于注意力机制使深度学习模型拥有更强大的文本表征能力和数据处理能力，在细粒度情感分析研究任务中取得了不错的进展。但由于语言结构的复杂性和隐式的情感属性表达，使得合针对特定方面的文本特征表示仍然存在挑战。

发明内容

为了解决现有技术对文本进行细粒度情感分析导致的精度低的问题，本发明提出了一种基于位置增强的细粒度情感分析方法。本发明首先将文本进行预处理和词向量构建，再通过细粒度情感分析模型进行情感分析。模型由嵌入层、语义表征层、信息交互层和输出层组成。首先嵌入层根据词向量，将文本中的句子映射为上下文词嵌入和方面词嵌入表示，其次语义表征层通过位置强化注意力机制来增强模型的文本语义表征能力，然后信息交互层通过使用记忆网络增强方面词与其上下文的交互性，将基于特定方面的上下文语义增强表示作为与方面交互的外部记忆单元，使得外部存储记忆单元能够学习到复杂文本中的语义信息，最后输出层进行特定方面词的情感预测。

为实现上述目的，本发明采用如下的技术方案

一种基于位置增强的细粒度情感分析方法，包括以下步骤：

步骤1文本预处理

(1)大小写转换：将存在的所有大写字母转换为小写字母。

(2)分词：采用通用的语言分词模块对文本数据集进行分词。

(3)去除停用词：去除文本数据中一些没有实际意义的词。

(4)利用屏蔽机制对文本数据构造位置权重矩阵M，根据句子中词的位置计算其权重大小，计算公式如下：

其中h_max表示为输入句子的最大长度。所述的屏蔽机制根据句子中方面词与上下文词的相对位置计算其位置权重，M_ij表示以方面词w_i为中心的词对的位置权重，i和j为词的位置索引。词对距离在h_max/2内时，根据距离的大小赋予权重，否则将M_ij设定为0。

步骤2构建词向量

将预处理后文本数据的每一个词映射到向量空间，每个词对应一个维度为d的向量。对文本数据中的每一个词，若该词在预训练的词向量表中存在，则使用词向量表中的词向量作为该词的词向量，若该词在预训练词向量表中不存在，则使用正态分布随机初始化向量作为该词的词向量。

步骤3构建细粒度情感分析模型，并利用细粒度情感分析模型对待分析文本进行方面级情感的细粒度情感预测，该模型具体如下：

3.1嵌入层

文本数据中每个句子含有1个或多个方面，每个方面有对应的情感值。根据步骤2已构建的词向量，将文本数据中每个句子映射为低维稠密的词嵌入表示向量，其中分为方面词嵌入和上下文词嵌入。每个句子由方面和方面的上下文构成，相应的词嵌入表示分为上下文词嵌入和方面词嵌入。上下文是指句子中不包括方面的其他部分。如果方面由多个词组合而成的，则将多个词的词嵌入向量表示进行平均池化作为方面的向量表示。

3.2语义表征层

语义表征层用于提取文本的高度抽象表示，由块(Block)通过串联组成，通过不断迭代计算，从而得到文本的更深层次的抽象特征H。其中每个Block由位置权重融合机制和前馈神经网络两个子模块，经过残差连接和层归一化后组合而成。单个Block中位置权重融合机制和前馈神经网络两个子模块的输出都可以形式化表示为：

output＝LayerNorm(x+Sublayer(x)) (公式2)

其中LayerNorm()为层归一化，Sublayer()为子模块本身所实现的函数每个Block详细设计如下：

(1)使用自注意力机制。上下文词嵌入E被线性映射到三个不同的空间，得到对应的查询矩阵Q、键矩阵K和值矩阵V，利用键值对注意力机制，以查询向量和键向量计算出上下文词对之间的相互依赖关系。其中，上下文词嵌入E中的第i个词嵌入e_i(i＝1,2,…,n)的线性映射表示为查询向量q_i、键向量k_i和值向量v_i，这里n表示上下文词的数目，线性映射过程表示如下：

其中W_q、W_k和W_v分别为线性映射的参数矩阵，Q、K和V分别为查询向量q_i、键向量k_i和值向量v_i构成的矩阵。

(2)使用位置权重融合机制。在自注意力机制中，通过位置权重矩阵M对关联性权重矩阵加入权重增强和权重屏蔽的措施，用于增强与方面词关联性较高的信息，减弱无关信息或错误情感信息的影响。权重的增强或屏蔽由上下文词距离方面词的远近作为度量。

首先将每个查询向量q_i分别与键向量k_j利用兼容函数f做关联分数计算，得到词对之间的关联分数矩阵S∈R^n×n，查询向量q_i与键向量k_j的关联分数S_ij表示如下：

S_ij＝f(q_i,k_j)＝w^Tσ(Wq_i+Vk_j)i,j∈{1,2,…,n} (公式4)

其中W，V，w是待训练参数，σ是Sigmoid激活函数，n为上下文词数目。

然后通过给关联分数f(q_i,k_j)增加位置权重M_ij来加强和减弱上下文对方面的影响，并结合值向量v_i进行信息聚合，提取特征head＝[h₁,h₂,…,h_n]，每个特征h_i的计算表示如下：

其中A^m∈R^n×n为由

构成的位置融合后的权重矩阵，M_ij为词的位置权重，β为位置权重扩张系数，n为上下文词数目。

(3)使用多头自注意力机制。用于捕获不同方面的文本信息，计算如下：

LF-MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^O (公式7)

其中Concat(·)表示向量拼接，W^O表示线性压缩变换，将多头注意力机制所形成的矩阵压缩到原有的维度，h表示方面的数目，head_i为第i个方面通过自注意力机制提取的特征；

(4)使用残差连接和层归一化操作。残差连接以上下文词嵌入为输入，与多头自注意力机制的结果融合后一起进行层归一化操作，得到位置权重融合机制的输出。

(5)将位置权重融合机制的输出作为前馈神经网络层的输入，并再次通过残差连接和归一化操作，其结果作为Block最终输出。其中前馈神经网络采用全连接层和Relu激活函数实现。

3.3信息交互层

使用记忆网络进行交互，用于增强抽象特征H与方面之间的联系，保证方面和其上下文具有交互性。记忆网络以语义表征层得到的抽象文本特征H＝[h₁,h₂,…,h_n]作为记忆单元，由L个计算层组成.第1个计算层以方面词嵌入v_aspect作为初始输入，以记忆单元的加权组合r作为输出，其输出作为下一个计算层的输入，每层依次迭代计算。加权组合公式如下：

其中n为记忆容量大小，α_i∈[0,1]是记忆单元h_i的权重且∑_i＝1α_i＝1。权重α_i通过前馈神经网络计算方面与上下文的语义相关性得到，计算如下所示：

ω_i＝tanh(W_att[h_i；v_aspect]+b_att) (公式9)

其中W_att∈R^1×2n为参数向量，b_att∈R^1×1为偏置，α_i为记忆单元h_i的权值分配。

3.4输出层

在方面信息与记忆单元进行多次交互之后，得到的最终表示将作为特定方面所对应的情感特征，最后输入到softmax函数中得到情感分布，预测方面情感。

模型在预测前需要经过训练，具体如下：

通过最小化交叉熵损失函数和L2正则化项来训练细粒度情感分析模型，整个损失函数通过梯度下降来优化模型参数。损失函数如下所示：

其中D为训练数据集合，c表示句子的上下文，e表示句子的方面，l表示方面的情感标签，S为情感类别集合，y^s为根据情感类别生成的独热编码，f^s(c；e；θ)为模型的预测情感分布，λ为正则化项系数，控制正则化强弱，θ为模型权重系数。

有益效果

(1)本发明充分考虑位置信息对特定方面情感预测的影响，通过位置强化注意力机制界定对方面进行情感表达的上下文范围，增强了模型针对特定方面的文本语义表征能力；本发明通过合理界定对方面进行情感表达的上下文范围，来增强情感分析***的文本语义表征能力和信息交互作用，提高了细粒度情感分析准确度。

(2)本发明将基于特定方面的上下文语义增强表示作为与方面交互的外部记忆单元，改善记忆网络因将外部存储记忆单元建立在单一的词向量之上，难以学习到较复杂的文本中的语义信息问题；

(3)本发明在模型训练中能够实现并行化计算，提高了模型训练的效率。

附图说明

图1模型结构流程图；

图2位置嵌入模型结构图；

图3基于位置增强的细粒度情感分析模型结构。

具体实施方式

对本发明的具体实施方式作进一步的详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明以语义评测比赛SemEval-2014 Task4所包含的电脑笔记本领域和餐厅领域的公开数据集和多方面情感数据集MAMS作为模型的训练语料，以此来验证该模型的有效性。其具体实施步骤如下：

步骤1文本预处理

首先对训练语料进行文本预处理，处理步骤如下：

(1)大小写转换：将存在的所有大写字母转换为小写字母。

(2)分词：采用通用的语言分词模块对文本数据集进行分词。

(3)去除停用词：去除文本数据中一些没有实际意义的词。

(4)构造位置权重矩阵M：根据句子中词的相对位置计算其权重大小，计算公式如下：

其中h_max表示为输入句子的最大长度。所述的屏蔽机制根据句子中方面词与上下文词的相对位置计算其位置权重，M_ij表示以方面词w_i为中心的词对的位置权重，i和j为词的位置索引。词对距离在h_max/2内时，根据距离的大小赋予权重，否则将M_ij设定为0。

这里以句子“The food in this restaurant is delicious,but the serviceis relatively poor”为例，说明位置权重矩阵M的构建。j句子长度为13，句子中的方面为“food”和“service”，在去除停用词后，句子表示为s＝{(food,2)，(restaurant,5),(delicious,7),(service,10),(relatively,12),(poor,13)}，词“poor”相对于方面“service”的位置权重M_10,13＝1-|10-13|/13＝0.769。

所述的方面词及上下文词是在训练语料中已经做好标注，方面词的自动识别方式不在本发明研究范围之内。

步骤2：词向量构建

对于预处理后的训练样本，通过Glove词向量将训练样本中的每一个词映射到向量空间，则每个词对应一个维度为d＝300的向量。对训练样本中的每一个词，若该词在预训练的词向量表中存在，则使用词向量表中词向量作为该词的词向量，若该词在预训练词向量表中不存在，则使用随机分布U(-0.25,0.25)随机初始化向量作为该词的词向量。

步骤3构建细粒度情感分析模型，并利用训练完成的细粒度情感分析模型对待分析文本进行细粒度情感分析。

3.1嵌入层

首先对于句子s＝{w₁,w₂,…,w_n}利用Glove词嵌入技术将词w_i(i＝1,2,…,n)映射为低维稠密的向量，作为词嵌入表示。词嵌入表示分为上下文词嵌入E＝[e₁,e₂,…,e_n]和方面词嵌入v_aspect，如果方面由多个词组合而成的，则将多个词的向量表示进行平均池化作为方面的向量表示。

3.2语义表征层

语义表征层由6个块(Block)组成，每个Block是由位置权重融合机制和前馈神经网络两个子模块串联组合而成，并且每个子模块进行了残差连接和层归一化。每个子层的输出可形式化表示如下：

output＝LayerNorm(x+Sublayer(x)) (公式2)

其中LayerNorm()为层归一化，Sublayer()为子层本身所实现的函数，x为输入的特征。

Block具体设计步骤如下：

首先，将上下文词嵌入E线性映射到三个不同的空间，对于每个词嵌入e_i(i＝1,2,…,n)都可得到对应的查询向量q_i、键向量k_i和值向量v_i。线性映射过程表示如下：

其中W_q、W_k和W_v分别为线性映射的参数矩阵，而Q、K和V分别为查询向量q_i、键向量k_i和值向量v_i构成的矩阵。

其次，进行位置权重融合。在自注意力机制中加入了权重增强和权重屏蔽的措施，而权重的增强或屏蔽是由距离方面词的远近作为度量，增强与方面词关联性较高的信息，减弱无关信息或错误情感信息的影响。首先将每个查询向量q_i分别与键向量k_i利用兼容函数f做关联分数计算，得到关于词对间关联分数矩阵S∈R^n×n，表示如下：

S_ij＝f(q_i,k_j)＝w^Tσ(Wq_i+Vk_j)i,j∈{1,2,…,n} (公式4)

其中W和V是待训练参数，σ是Sigmoid激活函数。

然后通过给关联分数f(q_i,k_j)增加位置权重M_ij来加强和减弱上下文对方面的影响，并结合值向量v_i进行信息聚合，提取特征head＝[h₁,h₂,…,h_n]，计算表示如下：

其中A^m∈R^n×n为位置融合后的权重矩阵，M_ij为词的相对位置权重，β为位置权重扩张系数，取值为10。

为捕获不同方面的文本信息，将自注意力机制扩展为多头自注意力机制，表示如下：

LF-MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^O (公式7)

其中Concat(·)表示向量拼接，W^O表示线性压缩变换，h表示方面的数目，head_i为第i个方面词通过自注意力机制提取的特征；

最后，将词嵌入通过位置权重融合机制得到的输出作为前馈神经网络层的输入，并通过残差连接和归一化操作得到Block的输出，其中前馈神经网络采用全连接层和Relu激活函数实现，前馈神经网络表示如下：

FFN(x)＝Relu(xW₁+b₁)W₂+b₂ (公式8)

其中W₁和W₂为训练参数，b₁和b₂为偏置项。

整个语义表征层是由多个Block层之间通过串联不断迭代计算，从而得到文本的更深层次的抽象特征H，深度挖掘针对特定方面的情感语义信息。

3.3信息交互层

信息交互层使用记忆网络保证了方面和其上下文具有交互性。以基于位置增强的语义表征层提取的文本特征H＝[h₁,h₂,…,h_n]作为记忆单元，由3个计算层组成,方面词向量v作为初始输入，自适应地从上下文隐藏状态H中选择加权组合r作为下一计算层的输入，加权组合公式如下：

其中n为记忆容量大小，α_i∈[0,1]是记忆单元h_i的权重且∑_i＝1α_i＝1。由于上下文对特定目标的情感判定具有不同的影响，所以采用前馈神经网络计算方面与上下文的语义相关性。这样可以根据外部记忆单元h_i与方面的语义关系，自适应的为记忆单元h_i分配权重。评分函数计算如下所示：

ω_i＝tanh(W_att[h_i；v_aspect]+b_att) (公式10)

其中W_att∈R^1×2n为参数向量，b_att∈R^1×1为偏置，α_i为记忆单元h_i的权值分配。

3.4输出层

在方面信息与记忆单元进行多次交互之后，得到的最终表示将作为特定目标所对应的情感特征，输入到softmax层预测方面情感。

在使用细粒度情感分析模型进行情感分析前，需要对模型进行训练，具体通过最小化交叉熵损失函数和L2正则化项来训练模型，整个损失函数通过梯度下降来优化模型参数，损失函数如下所示：

其中S为情感类别集合，D为训练数据集合，y^s为根据情感类别生成的独热编码，f^s(c；e；θ)为模型的预测情感分布，λ为正则化项系数，取值为0.001，控制正则化强弱，θ为模型权重系数。L2正则化衰减系数设置为10e-4。训练中的所有权重矩阵用均匀分布U(-0.01,-0.01)进行随机初始化，偏置初始化为0。

步骤4实验分析

为了验证模型的性能，在Restaurant、Laptop和MAMS三个数据集上进行了实验并与其他基线模型进行比较，验证了方法的有效性

表1实验结果对比

Claims (6)

1.一种基于位置增强的细粒度情感分析方法，其特征在于包括以下步骤：

步骤1文本预处理；

步骤2词向量构建：将预处理后的文本数据中的每一个词映射到向量空间，得到每个词的词向量；

步骤3利用细粒度情感分析模型对待分析文本进行方面级情感的细粒度情感预测，其中细粒度情感分析模型包括嵌入层、语义表征层、信息交互层和输出层，

具体预测过程为：

首先，嵌入层根据步骤2得到的词向量，将文本中的句子映射为上下文词嵌入和方面词嵌入表示；

然后，语义表征层对上下文词嵌入使用自注意力机制，再通过方面词位置信息强化注意力机制来增强模型的文本语义表征能力；

接下来，通过信息交互层增强方面词与其上下文的交互性；

最后，输出层进行方面词的情感预测。

2.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法，其特征在于：

步骤1所述文本预处理包括如下步骤：

(1)大小写转换：将存在的所有大写字母转换为小写字母；

(2)分词：采用通用的语言分词模块对文本数据进行分词；

(3)去除停用词：去除文本数据中一些没有实际意义的词；

(4)利用屏蔽机制对文本数据构造位置权重矩阵M，计算公式如下：

其中h_max表示为输入句子的最大长度，所述的屏蔽机制根据句子中方面词与上下文词的相对位置计算其位置权重，M_ij表示以方面词w_i为中心的词对的位置权重，i和j为词的位置索引，词对距离在h_max/2内时，根据距离的大小赋予权重，否则将M_ij设定为0。

3.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法，其特征在于包括以下步骤：步骤2中所述词向量的获取方式为：对文本数据中的每一个词，若该词在预训练的词向量表中存在，则使用词向量表中的词向量作为该词的词向量，若该词在预训练词向量表中不存在，则使用正态分布随机初始化向量作为该词的词向量。

4.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法，其特征在于：所述细粒度情感分析模型每个层的具体步骤如下：

嵌入层根据步骤2得到所有词的词向量，将文本中的句子映射为低维稠密向量形式的词嵌入表示，已经标记方面的句子看作由方面和方面的上下文构成，相应的词嵌入表示分为上下文词嵌入和方面词嵌入，如果一个方面由多个词构成，则将多个词的向量表示进行平均池化作为方面的向量表示；

语义表征层用于提取文本的高度抽象表示，语义表征层的网络具体结构由K个Block通过串联组成，通过不断迭代计算，从而得到文本的更深层次的抽象特征H，其中每个Block在注意力机制中加入了位置权重,并使用残差连接、层归一化和前馈神经网络层处理；

信息交互层使用记忆网络进行交互，用于增强抽象特征H与方面之间的联系，保证方面和其上下文具有交互性；记忆网络以语义表征层得到的抽象文本特征H＝[h₁,h₂,…,h_n]作为记忆单元，由L个计算层组成，第1个计算层以方面词嵌入v_aspect作为初始输入，以记忆单元的加权组合r作为输出，其输出作为下一个计算层的输入，每层依次迭代计算，加权组合公式如下：

其中n为记忆容量大小，α_i∈[0,1]是记忆单元h_i的权重且∑_i＝1α_i＝1，权重α_i通过前馈神经网络计算方面与上下文的语义相关性得到，计算如下所示：

ω_i＝tanh(W_att[h_i；v_aspect]+b_att) (公式3)

其中W_att∈R^1×2n为参数向量，b_att∈R^1×1为偏置，α_i为记忆单元h_i的权值分配；

输出层以信息交互层的结果为输入，利用softmax函数预测方面情感。

5.根据权利要求4所述的一种基于位置增强的细粒度情感分析方法，其特征在于包括以下步骤：步骤3中所述语义表征层的Block设计如下：

(1)使用自注意力机制：上下文词嵌入E被线性映射到三个不同的空间，得到对应的查询矩阵Q、键矩阵K和值矩阵V，其中，上下文词嵌入E中的第i个词嵌入e_i(i＝1,2,…,n)的线性映射表示为查询向量q_i、键向量k_i和值向量v_i，这里n表示上下文词的数目，线性映射过程表示如下：

其中W_q、W_k和W_v分别为线性映射的参数矩阵，Q、K和V分别为查询向量q_i、键向量k_i和值向量v_i构成的矩阵；

(2)使用位置权重融合机制：在自注意力机制中加入了权重增强和权重屏蔽的措施，用于增强与方面词关联性较高的信息，减弱无关信息或错误情感信息的影响，权重的增强或屏蔽由上下文词距离方面词的远近作为度量，具体如下：

首先将每个查询向量q_i分别与键向量k_j利用兼容函数f做关联分数计算，得到词对之间的关联分数矩阵S∈R^n×n，查询向量q_i与键向量k_j的关联分数S_ij表示如下：

S_ij＝f(q_i,k_j)＝w^Tσ(Wq_i+Vk_j) i,j∈{1,2,…,n} (公式6)

其中W，V，w是待训练参数，σ是Sigmoid激活函数，n为上下文词数目；

然后通过给关联分数f(q_i，k_j)增加位置权重M_iij来加强和减弱上下文对方面的影响，并结合值向量v_i进行信息聚合，提取特征head＝[h₁，h₂，…，h_n]，计算表示如下：

其中A^m∈R^n×n是由

构成的位置融合后的权重矩阵，M_ij为词的相对位置权重，n为上下文词数目，β为位置权重扩张系数；

(3)使用多头自注意力机制，用于捕获不同方面的文本信息，计算如下：

LF-MultiHead(Q，K，V)＝Concat(head₁，…，head_h)W^O (公式9)

其中Concat(·)表示向量拼接，W^O表示线性压缩变换，将多头注意力机制所形成的矩阵压缩到原有的维度，h表示方面的数目，head_i为第i个方面通过自注意力机制提取的特征；

(4)使用残差连接和层归一化操作：残差连接以上下文词嵌入为输入，与多头自注意力机制的结果一起进行层归一化操作，得到位置权重融合机制的输出；

(5)将位置权重融合机制的输出作为前馈神经网络层的输入，并再次通过残差连接和归一化操作，其结果作为Block层最终输出，其中前馈神经网络采用全连接层和Relu激活函数实现。

6.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法，其特征在于包括以下步骤：训练细粒度情感分析模型：通过最小化交叉熵损失函数和L2正则化项来训练模型，整个损失函数通过梯度下降来优化模型参数，损失函数如下所示：

Loss＝∑_{(c，e，l)∈D}∑_s∈Sy^slog f^s(c；e；θ)+λ||θ||² (公式11)

其中D为训练数据集合，c表示句子的上下文，e表示句子的方面，l表示方面的情感标签，S为情感类别集合，y^s为根据情感类别生成的独热编码，f^s(c；e；θ)为模型的预测情感分布，λ为正则化项系数，控制正则化强弱，θ为模型权重系数。

Images