CN112329474B

CN112329474B - 融合注意力的方面级用户评论文本情感分析方法及***

Info

Publication number: CN112329474B
Application number: CN202011205506.8A
Authority: CN
Inventors: 刘培玉; 刘杰; 朱振方; 李筱雯
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-11-02
Filing date: 2020-11-02
Publication date: 2022-10-04
Anticipated expiration: 2040-11-02
Also published as: CN112329474A

Abstract

本发明公开了融合注意力的方面级用户评论文本情感分析方法及***，包括：获取待分析的用户评论文本；所述待分析的用户评论文本，包括：方面词汇，和方面词汇的上下文文本；将待分析的用户评论输入到训练后的方面级用户评论文本情感分析模型中，输出待分析用户评论文本的情感类型；基于待分析用户评论文本的情感类型，推荐对应的产品或服务。

Description

融合注意力的方面级用户评论文本情感分析方法及***

技术领域

本申请涉及自然语言处理和深度学习技术领域，特别是涉及融合注意力的方面级用户评论文本情感分析方法及***。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

随着社交网络的兴起，越来越多地人在网络上发表意见和表达态度，通过对这些文本的分析可以帮助我们了解不同人对于不同事物所持有的看法和态度。目前，如何利用自然语言处理技术来分析社交网络短文本的情感倾向，已成为研究人员关注的热点领域之一。这在商业应用以及舆情分析中有着很重要的应用。

文本情感分析是指对包含用户表示的观点、情感等的主观性文本进行检测、分析以及挖掘。方面级别的情感分析是情感分析的一个子任务，属于自然语言处理领域中的一项细粒度任务，目的是确定句子中出现的特定方面的情感极性(如积极、消极和中性)。

近年来，方面级别的情感分析受到了业界和学术界的广泛关注。针对情感分析任务的研究方法包括传统的机器学习方法和神经网络方法。传统的机器学习模型大多是基于词汇和句法特征的，这种模型的性能高度依赖于手工制作的特征的质量，而且工作是劳动密集型的。

发明内容

为了解决现有技术的不足，本申请提供了融合注意力的方面级用户评论文本情感分析方法及***；

第一方面，本申请提供了融合注意力的方面级用户评论文本情感分析方法；

融合注意力的方面级用户评论文本情感分析方法，包括：

获取待分析的用户评论文本；所述待分析的用户评论文本，包括：方面词汇，和方面词汇的上下文文本；

将待分析的用户评论输入到训练后的方面级用户评论文本情感分析模型中，输出待分析用户评论文本的情感类型；

基于待分析用户评论文本的情感类型，推荐对应的产品或服务。

第二方面，本申请提供了融合注意力的方面级用户评论文本情感分析***；

融合注意力的方面级用户评论文本情感分析***，包括：

获取模块，其被配置为：获取待分析的用户评论文本；所述待分析的用户评论文本，包括：方面词汇，和方面词汇的上下文文本；

分类模块，其被配置为：将待分析的用户评论输入到训练后的方面级用户评论文本情感分析模型中，输出待分析用户评论文本的情感类型；

推荐模块，其被配置为：基于待分析用户评论文本的情感类型，推荐对应的产品或服务。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本申请的有益效果是：

由于深度学习方法在自动学习文本特征方面具有明显的优势，可以避免依赖人工设计特征，因此在方面情感分析中开始得到应用。此外，基于深度学习的神经网络更善于捕捉方面词汇与词汇之间的语义关系，比机器学习方法更有意义。

我们使用注意力编码来捕获文本的隐藏状态，这优于普通的递归神经网络。隐藏层输出之后实现多层图卷积网络结构，在图卷积网络结构前嵌入位置编码。图卷积网络可以利用句子的句法依存结构，解决方面级别情感分析的长期多词依存问题。图卷积网络层之后是双注意力层，加强方面词与上下文间的交互作用，最后预测输出方面的情感极性。

在图卷积网络前嵌入位置编码，使图卷积网络可以充分利用方面词的位置信息，从而充分利用句子中的句法依存结构，解决方面级别情感分析的长期多词依存问题。

利用注意力机制-多头注意力与双向注意力。在捕获文本隐藏状态时采用多头注意力；通过图卷积网络获得文本表示以后，采用双向注意力实现方面与上下文的交互，得到特定的方面表示。

本发明认识到方面词汇的重要性，并通过生成特定于方面的表示来开发精确建模上下文的方法。只有方面词和相应上下文的协调才能真正提高方面级别情感分析的有效性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本公开实施例一的方面级别情感分析方法流程图；

图2是本公开实施例一的方面级别情感分析的模型图；

图3是本公开实施例一的方面级别情感分析的模型图；

图4是本公开实施例一的在Laptop数据集上不同GCN层数的Accuracy实验结果图；

图5是本公开实施例一的在Laptop数据集上不同GCN层数的Macro-F1实验结果图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

术语解释：

方面词汇，是指：对方面级情感分类进行情感判断的目标词或目标短语。

示例性的，对于文本“这家餐厅的菜非常美味，但是服务态度不好”，这句话中的“菜”和“服务态度”就属于方面词汇。

实施例一

本实施例提供了融合注意力的方面级用户评论文本情感分析方法；

如图1所示，融合注意力的方面级用户评论文本情感分析方法，包括：

S101：获取待分析的用户评论文本；所述待分析的用户评论文本，包括：方面词汇，和方面词汇的上下文文本；

S102：将待分析的用户评论输入到训练后的方面级用户评论文本情感分析模型中，输出待分析用户评论文本的情感类型；

S103：基于待分析用户评论文本的情感类型，推荐对应的产品或服务。

使用Pytorch搭建模型，模型图如图2和图3所示。作为一个或多个实施例，所述方面级用户评论文本情感分析模型，包括：两个并列的支路；

其中一个支路，包括依次连接的第一嵌入层、第一多头注意力机制层、第一点卷积变换层、第一隐藏层、位置编码层、图卷积网络层GCN、双向注意力层、全连接层和分类层；

另外一个支路，包括依次连接的第二嵌入层、第二多头注意力机制层、第二点卷积变换层、第二隐藏层和加权融合层；

其中，第一隐藏层的输出端，还通过平均池化层与加权融合层的输入端连接；加权融合层的输出端与双向注意力层输入端连接；第一嵌入层的输出端，还与第二多头注意力机制层的输入端连接。

进一步地，所述第一嵌入层和第二嵌入层，均用于对输入的文本进行词嵌入处理，得到方面词汇的向量矩阵和上下文文本的向量矩阵。

示例性的，所述第一嵌入层和第二嵌入层，对输入的每个单词进行词嵌入处理：

读入预先训练好的词向量-Glove词向量。

给定文本序列

和方面序列

使用预训练的嵌入矩阵来得到每个单词的固定单词嵌入。

然后每个单词用嵌入向量e_i∈R^demb×1表示，其中d_emb是单词向量的维数。嵌入层完成后，上下文嵌入记为矩阵E^c∈R^demb×n，第i个方面嵌入记为矩阵

进一步地，所述第一多头注意力机制层和第二多头注意力机制层，多头注意力的每个头为每个词的分配权重，然后将每一个注意力头的输出连接。

在注意编码层利用多头注意力和点卷积变换获得文本的隐藏状态。注意函数将查询序列q＝{q₁,q₂,...,q_m}和键序列k＝{k₁,k₂,...,k_n}映射到输出序列，通过计算得到：

Attention(k,q)＝softmax(s(k,q))

其中s表示q_j和k_i之间的语义关联对齐函数，具体计算方法如下：s＝ktanh([k_i；q_j]·W_att)，其中W_att是可学***行的子空间中学习n个头不同的分数。将n个头输出连接并投影到指定的隐藏维度d_hid，o^h＝Attention^h(k,q)其中，o^h是第h个头部注意的输出，h∈[1,8]，

MHA(k,q)＝[O¹；O²；...；O^h]·W_O

其中“；”表示向量的连接。

是对应的权重，d_hid代表隐藏状态的维度。

MHSA是q＝k时多头注意机制的一种特殊情况，给定一个上下文嵌入e^c，可以通过以下方法得到上下文表示：c^s＝MHA(e^c,e^c)其中

为增强上下文和方面之间的交互，将上下文和方面嵌入输入到MHA中，a^m＝MHA(e^c,e^a)，在这个交互过程之后，每个给定的方面词

将有一个从上下文嵌入e^c中选择的组合表示，得到上下文感知方面表征

进一步地，所述第一点卷积变换层和第二点卷积变换层，用于进一步分析上下文文本和方面词汇。使用点卷积变换对输入值进行卷积核为1的卷积运算，得到文本的隐藏向量表示。

应理解的，所述第一点卷积变换层和第二点卷积变换层，具体是指：是一种特殊的卷积运算，代表卷积核的大小为1。

点卷积变换(PCT)的作用类似于多层感知的转换。完全连接层具有两层密集层。第一层的激活函数是Relu，第二层的激活函数是线性。通过卷积核大小为1的卷积运算生成相应的权重。为了进一步分析上下文和方面词汇信息，使用PCT对其进行转换。方程定义为：

PCT(h)＝Relu(h*W¹+b¹)*W²+b²

通过卷积运算生成，

和

和

是偏差。最后，c^s和a^m由上下文和方面词汇生成的结果将进一步应用于获取隐藏的表示。它们定义为：

进一步地，所述位置编码层，用于使用位置编码对输入值进行编码处理，使文本信息具有位置感知。

位置编码，形式上，给定一个方面W^a是K个方面中的一个，其中j∈[1,k]是方面的索引，第t个词与第i个方面之间的相对距离pos_i定义如下:

pos_i是第i个屏蔽的位置权重。dis是上下文和方面词之间的距离，N是上下文的长度，s是一个预先指定的常量。最后得到带有位置信息的位置感知表示:H(h^c)＝pos_ih^c。

进一步地，所述图卷积网络层，采用深度为2的图卷积网络，图卷积网络能够利用句法信息并且捕获长距离依赖关系。

示例性的，根据句子中的单词获得邻接矩阵A∈R^n×n。需要注意的是，GCN以多层方式执行，在注意力编码层之上，使节点了解上下文。然后每个节点的表示用具有归一化因子的图形卷积运算更新，具体图卷积运算更新如下所示:

其中

是从前一层的GCN演化而来的第j个令牌的表示。

进一步地，双向注意力层，将图卷积网络得到的矩阵与通过得到的新的方面表示进行加权计算。最终得到方面预测的表示形式。

示例性的，在模型中使用双向注意机制来获取上下文和方面之间的交互信息。使用上下文到方面的注意模块获取新的方面表示：通过对上下文的隐藏输出进行平均池操作得到

其中

对于每个方面的隐藏字向量，注意力权重的计算公式如下：

其中

为注意权重矩阵，

是隐藏字向量，通过计算单词的注意权重，得到方面的隐藏表示：

根据新的方面表示，使用方面到上下文的注意模块来获取特定于方面的上下文表示。通过得到的新的方面表示，从隐藏向量中检索语义上与方面词相关的重要特征，并且为每个上下文设置基于检索的注意权重，具体计算如下：

其中

为注意权重矩阵，

是GCN的输出表示。以上公式用于计算方面和上下文单词的语义相关性。预测的最终表示形式：

通过softmax函数最后得到方面级别情感分析的结果。

进一步地，将获得的表示γ输入到全连接层，

Z＝softmax(W_zγ+b_z)

其中W_z是学习的权重，b_z是偏差。

模型使用标准梯度算法，带有L2正则项的交叉熵来训练：

其中C是数据集的集合，

是集合P的第

个元素。λ是L2正则化系数，θ指可训练的参数。

作为一个或多个实施例，所述方面级用户评论文本情感分析模型，工作原理包括：

将待分析的用户评论文本输入到第一嵌入层，第一嵌入层对输入的用户评论文本进行嵌入表示，得到用户评论文本的向量矩阵；

将用户评论文本的向量矩阵，输入到第一多头注意力机制层进行并行计算；将第一多头注意力机制层的输出值输入到第一点卷积变换层进行转换处理得到第一中间变量；

将第一中间变量，输入到第一隐藏层中，获取用户评论文本的第一隐藏向量表示；

将用户评论文本的第一隐藏向量表示，输入到位置编码层，进行编码处理，得到带有位置信息的位置感知表示；

将带有位置信息的位置感知表示，输入到图卷积网络中进行处理；得到第一长距离依赖关系；

然后，将方面词汇的向量矩阵、用户评论文本的向量矩阵，输入到第二多头注意力机制层进行并行计算；将第二多头注意力机制层的输出值输入到第二点卷积变换层进行转换处理得到第二中间变量；

将第二中间变量，输入到第二隐藏层中，获取方面词汇的第二隐藏向量表示；

将用户评论文本的第一隐藏向量表示经过平均池化层的池化处理，得到第三隐藏向量表示；

将方面词汇的第二隐藏向量表示和第三隐藏向量表示进行加权融合，得到融合向量表示；

将第一长距离依赖关系，和融合向量表示，均输入到双向注意力层中，得到最终用户评论文本的特征表示；

将最终用户评论文本的特征表示，输入到全连接层和分类层中，得到最终的分类结果。

作为一个或多个实施例，所述训练后的方面级用户评论文本情感分析模型；训练步骤包括：

构建方面级用户评论文本情感分析模型；

构建训练集和测试集；

将训练集和测试集，输入到方面级用户评论文本情感分析模型中，对模型进行训练，得到训练后的方面级用户评论文本情感分析模型。

进一步地，所述构建训练集和测试集的具体步骤包括：

获取已知情感分类结果的用户评论文本；

对已知情感分类结果的用户评论文本进行去噪处理；

将去噪处理后的用户评论文本，按照设定比例，划分为训练集和测试集。

进一步地，所述构建训练集和测试集的具体步骤还包括：

选择3个标准数据集，分别为Twitter、Lap14和Rest14。可以理解的是数据集被标记为三种情感极性，分别为正面、中性和负面，如表1所示，每个类别中的训练和测试实例的每种情感类别的具体数量。

表1数据集

为了验证本模型中GCN层数对于模型性能的影响，我们进行了从1到10个不同GCN层数的实验,实验性能结果如图4和图5所示。基本上，从图中可以直观地看出，当GCN层的数量是2时，模型在lap14数据集上对应的精度和宏观平均F1得到了最好效果。当GCN层的数量增加时，数据集的两个性能指标都随着GCN层数的增加而下降。性能下降现象的原因可能是随着模型参数的增加，模型更加难以训练和过拟合。

实施例二

本实施例提供了融合注意力的方面级用户评论文本情感分析***；

融合注意力的方面级用户评论文本情感分析***，其特征是，包括：

此处需要说明的是，上述获取模块、分类模块和推荐模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.融合注意力的方面级用户评论文本情感分析方法，其特征是，包括：

基于待分析用户评论文本的情感类型，推荐对应的产品或服务；

所述方面级用户评论文本情感分析模型，包括：两个并列的支路；

其中，第一隐藏层的输出端，还通过平均池化层与加权融合层的输入端连接；加权融合层的输出端与双向注意力层输入端连接；第一嵌入层的输出端，还与第二多头注意力机制层的输入端连接；

所述方面级用户评论文本情感分析模型，工作原理包括：

2.如权利要求1所述的融合注意力的方面级用户评论文本情感分析方法，其特征是，所述第一嵌入层和第二嵌入层，均用于对输入的文本进行词嵌入处理，得到方面词汇的向量矩阵和上下文文本的向量矩阵。

3.如权利要求1所述的融合注意力的方面级用户评论文本情感分析方法，其特征是，所述第一多头注意力机制层和第二多头注意力机制层，多头注意力的每个头为每个词的分配权重，然后将每一个注意力头的输出连接；

所述位置编码层，用于使用位置编码对输入值进行编码处理，使文本信息具有位置感知。

4.如权利要求1所述的融合注意力的方面级用户评论文本情感分析方法，其特征是，所述训练后的方面级用户评论文本情感分析模型；训练步骤包括：

构建方面级用户评论文本情感分析模型；

构建训练集和测试集；

5.如权利要求1所述的融合注意力的方面级用户评论文本情感分析方法，其特征是，构建训练集和测试集的具体步骤包括：

获取已知情感分类结果的用户评论文本；

对已知情感分类结果的用户评论文本进行去噪处理；

6.融合注意力的方面级用户评论文本情感分析***，其特征是，包括：

推荐模块，其被配置为：基于待分析用户评论文本的情感类型，推荐对应的产品或服务；

所述方面级用户评论文本情感分析模型，工作原理包括：

7.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的方法。