CN111259153B - 一种完全注意力机制的属性级情感分析方法 - Google Patents

Abstract

本发明公开一种完全注意力机制的属性级情感分析方法，该方法结合基于自注意力机制网络SAM‑NN和特定方面注意力机制网络AAM‑NN来分别生成词汇级别、句子级别语义特征，最后通过一个全连接神经网络FC‑NN输出层计算评论句子内容的情感极性。本发明所提出的方法在实现上是并行结构的，并且在每一个网络计算模块，本发明都融合了特定方面信息特征，保证了该方法在尽可能的根据特定方面信息进一步分析出用户评论信息中关于目标对象特定属性方面的情感极性。与现有技术相比，本发明方法不仅有效提高特定方面情感分析任务的准确率，而且有效减少在模型训练时间上的花费。

Description

一种完全注意力机制的属性级情感分析方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种完全注意力机制的属性级情感分析方法。

背景技术

互联网技术的飞速发展与普及促使了这大量在线评论信息的产生，如各种电商交易平台，社交网络平台等，如何有效的从大量评论中挖掘有用信息已成为近年来自然语言处理领域的一个研究热点，其中包括用户评论信息中的观点挖掘任务。在线评论信息中所表达的情感通常是多样的，一条用户评论可能包含评论目标的多个属性方面的不同情感。例如一条来自餐馆的用户评论：“面条非常美味，汤却难喝”。这条评论包含了“面条”与“汤”两个属性方面的特征信息，用户对于这两个方面的信息分别表达了“积极”和“消极”的观点。显然，将这种复合情感的用户评论语句作为一个整体来分析其情感倾向是不合理的，需要根据每个属性信息进一步细粒度的分析用户所表达的观点。相对于以往的情感分析任务，这种属性级情感分析任务可以为用户和企业提供更多的参考价值，越来越受到工业界和学术界的关注。

随着深度学习技术在自然语言处理领域取得成功，研究人员尝试将深度学习技术应用到情感分析任务中。深度学习方法可以自动的提取文本特征，有效的避免了人工特征工程所花费的大量时间与精力。在情感分析任务上，通常是将情感识别转化为多分类任务，将用户的每一种情感视为一种类别，通过区分用户评论所属类别来识别用户所要表达的情感。现有的研究工作中，主要包含基于循环神经网络(Recurrent Neural Network，RNN)和基于卷积神经网络(Convolutional Neural Network，CNN)的方法。然而，无论是基于RNN的方法还是基于CNN的方法，都有自身的针对性和局限性，其主要问题如下：

由于RNN网络的是由序列的计算单元构成的，因此在处理自然语句、文本信息时需要对文本数据顺序处理。在特定方面情感分析任务时，用户评论句子中的每个词汇都需要顺序的经过网络计算单元处理，这种顺序结构无疑增加了网络模型整体的计算时间开销。此外，基于RNN网络的方法在处理用户评论语句时会模拟词汇的先后顺序处理文本数据。当用户评论句子较长时，评论句子中两个距离较远的词汇会因为信息传递距离过远而引起信息损失，进而丢失了它们间的语义依赖关系。

基于CNN网络的方法是通过卷积窗口并行的获取文本语义信息，这种并行结构可以有效的提升模型的计算效率。但是由于受到卷积窗口尺寸的限制，基于CNN网络的方法依然只能捕捉卷积窗口内的语义依赖关系，而丢失了评论语句中单子的全局依赖关系。

发明内容

本发明针对现有利用深度学习进行用户评论中的情感分析时时间开销和准确度不高的问题，提供一种完全注意力机制的属性级情感分析方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种完全注意力机制的属性级情感分析方法，其具体包括步骤如下：

步骤1、将给定的带有真实情感标记分类的用户评论句子作为样本数据，并对样本数据进行预处理；

步骤2、先对预处理后的样本数据进行特征提取，以提取出用户评论句子的词汇的词嵌入特征和属性方面信息词嵌入特征；再将词汇的词嵌入特征作为样本数据的输入特征矩阵，属性方面信息词嵌入特征作为样本数据的属性级方面信息；

步骤3、初始化完全基于注意力机制的网络模型，并将步骤2所得的样本数据的输入特征矩阵和样本数据的属性级方面信息输入到初始化的完全基于注意力机制的网络模型中进行特征学习，在初始化的完全基于注意力机制的网络模型中，先利用SAM-NN模块学习词汇级语义特征，再利用AAM-NN模块学习句子级语义特征，后利用FC-NN模块识别评论语义情感倾向，以得到用户评论句子的预测情感标记分类；

步骤4、利用步骤1中的用户评论句子的真实的情感标记分类和步骤3所得的预测情感标记分类对完全基于注意力机制的网络模型进行训练，通过最小化损失函数来优化模型参数，得到训练好的完全基于注意力机制的网络模型；

步骤5、将实测的未带有真实情感标记分类的用户评论句子作为实测数据，并采用与步骤1相同的方法对实测数据进行预处理；

步骤6、采用与步骤2相同的方法对预处理后的实测数据进行特征提取，得到实测数据的输入特征矩阵和实测数据的属性级方面信息；

步骤7、将步骤6所得的实测数据的输入特征矩阵和实测数据的属性级方面信息送入步骤4所训练好的完全基于注意力机制的网络模型中，得到实测数据的情感标记分类。

上述步骤1和5中，对样本数据和实测数据进行预处理的过程包括分词、书写标准化和词性标注。

上述步骤2和6中，还需要进一步提取样本数据和实测数据的用户评论句子的单词的词性信息所对应的嵌入特征和/或单词的位置信息；并将单词的词性信息所对应的嵌入特征和/或单词的位置信息融合到词汇的词嵌入特征，共同作为输入特征矩阵。

上述方案中，当单词的词性信息所对应的嵌入特征与词汇的词嵌入特征融合时，两者采用拼接的方式进行融合；当单词的位置信息与词汇的词嵌入特征融合时，两者采用求和的方式进行融合。

上述步骤3中，利用SAM-NN模块学习词汇级语义特征的过程如下：

步骤3.1.1、将步骤2所得的样本数据的输入特征矩阵映射为查询矩阵、键矩阵和值矩阵；

步骤3.1.2、将步骤2所得的样本数据的属性级方面信息做矩阵线性变换得到属性级特征的隐层表示；

步骤3.1.3、将步骤3.1.2所得的隐层表示分别融合到查询矩阵和键矩阵中，得到已融合属性信息的查询矩阵和已融合属性信息的键矩阵；

步骤3.1.4、将步骤3.1.3所得的已融合属性信息的查询矩阵和已融合属性信息的键矩阵，以及步骤3.1.1所得的值矩阵，分别做m次线性变换，得到m个查询矩阵三元组、键矩阵三元组和值矩阵三元组；

步骤3.1.5、对步骤3.1.4所得的m个查询矩阵三元组、键矩阵三元组和值矩阵三元组分别进行自注意力计算，得到m个融合属性方面信息的词汇级嵌入表示；

步骤3.1.6、将步骤3.1.5所得到的m个词汇级嵌入表示拼接在一起，再通过一个矩阵线性映射网络得到词汇级嵌入特征的隐层表示；

其中m为设定的正整数。

上述步骤3中，利用AAM-NN模块学习句子级语义特征的过程如下：

步骤3.2.1、将利用SAM-NN模块学习词汇级语义特征所得到的词汇级嵌入特征的隐层表示和属性级特征的隐层表示进行拼接，并通过线性映射得到每个词汇对应的中间变量；

步骤3.2.2、将步骤3.2.1所得的每个词汇对应的中间变量进行softmax回归运算得到每个词汇级嵌入的隐层表示的权重值；

步骤3.2.3、将步骤3.2.1所得的每个词汇级嵌入的隐层与其对应的步骤3.2.2所得的每个词汇级嵌入的隐层表示的权重值进行乘积运算，并将每个用户评论句子中所有的乘积运算结果累加，得到句子级嵌入特征的隐层表示。

上述步骤3中，利用FC-NN模块识别评论语义情感倾向的过程如下：

步骤3.3.1、将利用AAM-NN模块学习句子级语义特征所得到的句子级嵌入特征的隐层表示和属性级特征的隐层表示进行拼接，并通过线性映射得到输出层隐层表示；

步骤3.3.2、利用分类器计算步骤3.3.1所得到的输出层隐层表示进行分类处理，得到用户评论句子的预测情感标记分类。

本发明提出了一种完全注意力机制的属性级情感分析方法，该方法结合基于自注意力机制网络(Self-attention Mechanism Neural Network，SAM-NN)和特定方面注意力机制网络(Aspect-attention Mechanism Neural Network，AAM-NN)来分别生成词汇级别、句子级别语义特征，最后通过一个全连接神经网络(Fully Connected Neural Network，FC-NN)输出层计算评论句子内容的情感极性。本发明所提出的方法在实现上是并行结构的，并且在每一个网络计算模块，本发明都融合了特定方面信息特征，保证了该方法在尽可能的根据特定方面信息进一步分析出用户评论信息中关于目标对象特定属性方面的情感极性。

与现有技术相比，本发明方法不仅有效提高特定方面情感分析任务的准确率，而且有效减少在模型训练时间上的花费。

附图说明

图1为一种完全注意力机制的属性级情感分析方法的流程图。

图2是本发明所提出的SA-NET模型的整体结构示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

参见图1，一种完全注意力机制的属性级情感分析方法，包括以下步骤：

1)利用样本数据对完全基于注意力机制网络模型进行训练：

步骤1、样本数据预处理

将给定的带有真实情感标记分类的用户评论句子作为样本数据，并对样本数据进行预处理。

情感极性标记内容为用户评论句子在对应特征下的情感极性，具体的包含三种情感：积极的情感，消极的情感，中立情感。

数据预处理的目的是数据标准化，构建同一格式的训练样本数据集。本发明中数据预处理工作主要包括分词，书写标准化和词性标注。

(1)分词：对于中文数据集中的评论数据，使用分词工具进行分词，将连续的字序列按照一定的规范重新组合成词序列；

(2)书写标准化：剔除数据集中的特殊字符，并且对数据集中的英文大小写进行统一要求，将大写字符转化为小写。

(3)词性标注：使用语法解析用具识别用户评论句子中每个词汇所对应的词性，建立单词词性关联文件，以便快速识别评论句子中的单词词性。

步骤2、样本数据的特征提取

样本数据的输入特征包括必要的输入特征和可选择的附加特征。其中必要输入特征包括用户评论句子中词汇的词嵌入特征(Word Embedding，WE)和用户评论句子的属性方面信息词嵌入特征(Aspect Embedding，AE)。可选附加特征包括用户评论句子中单词的词性信息所对应的嵌入特征(Part-Of-Speech Embedding，POSE)和用户评论句子中单词的位置信息(Positional Embedding，PE)。

(1)用户评论句子中单词的词嵌入特征(Word Embedding，WE)：

本发明使用WE作为模型输入的一个必要特征，该特征由词嵌入生成工具训练得到，每个单词的词嵌入特征可表示为：

w＝[e₁，e₂，…，e_d] (1)

其中，e_i∈R表示词嵌入特征的第i位特征编码，d表示特征编码的长度，即特征向量的维度。

在获得单词的词嵌入表示后，将一条评论句子中的各个词汇对应的词嵌入特征按顺序拼接起来作为评论句子的输入特征，则一条用户评论句子可以表示为：

WE＝[w₁，w₂，…，w_n] (2)

其中，n表示单词序列得长度，WE∈R^n*d。

(2)用户评论句子的属性方面信息的嵌入特征(Aspect Embedding，AE)：

本发明使用AE作为模型输入的一个必要特征，该特征获取方式与WE获取方式一致。每个属性级信息中得单词的词嵌入可以表示为：

a＝[e₁，e₂，…，e_d] (3)

在获得词汇的词嵌入表示后，属性级方面信息的输入特征可以表示为：

AE＝[a₁，a₂，…，a_t] (4)

其中，t表示方面信息的序列长度，且t∈[1，n]。

(3)用户评论句子中单词的词性信息所对应的嵌入特征(Part-Of-SpeechEmbedding，POSE)：

本发明使用POSE作为模型输入的可选特征，该特征的表示方式与WE表示方式一致，由模型随机初始化得到，在模型训练过程中优化该特征嵌入内容。

Pose＝[po₁，po₂，…，po_d′] (5)

其中，po_i∈R表示嵌入特征的第i位特征编码，d′表示特征编码的长度，即特征向量的维度。

在获得词性词嵌入表示后，将词性信息映射到d′维的向量空间中得到词嵌入特征，该特征随机初始化得到，并在训练的过程中逐步优化，一条用户评论句子的词性特征可以表示为：

POSE＝[Pose₁，Pose₂，…，Pose_n] (6)

其中，n表示评论句子总单词词性序列得长度，即单词序列长度，POSE∈R^n*d′。

(4)用户评论句子中单词的位置信息(Positional Embedding，PE)

本发明使用PE作为模型输入的可选特征，PE特征的表示方式如下：

Pe＝[p₁，p₂，…，p_d"] (7)

其中，p_i∈R表示嵌入特征的第i位特征编码，d"表示特征编码的长度，即特征向量的维度。在获得单词位置特征后，一条用户评论句子的位置特征可以表示为：

PE＝[Pe₁，Pe₂，…，Pe_n] (8)

其中，n表示评论句子总单词词性序列得长度，即单词序列长度，PE∈Rⁿ*^d"。PE特征的计算方法如公式如下；

其中，t表示单词在评论语句中的所在位置，i表示第i维度的位置，d"表示特征编码的长度，即特征向量的维度。

综上所述，本发明对样本数据的特征提取包括如下四种情况：

①当对样本数据所提取的特征仅为必要输入特征(词汇的词嵌入特征WE和属性方面信息词嵌入特征AE)时，此时，将词汇的词嵌入特征WE直接作为模型输入的输入特征矩阵X，将属性方面信息词嵌入特征AE直接作为模型输入的属性级方面信息AE。

②当对样本数据所提取的特征包括必要输入特征(词汇的词嵌入特征WE和属性方面信息词嵌入特征AE)和可选附加输入特征(单词的词性信息所对应的嵌入特征POSE)时，此时，将词汇的词嵌入特征WE和单词的词性信息所对应的嵌入特征POSE进行拼接作为型输入的输入特征矩阵X，将属性方面信息词嵌入特征AE直接作为模型输入的属性级方面信息AE。

③当对样本数据所提取的特征包括必要输入特征(词汇的词嵌入特征WE和属性方面信息词嵌入特征AE)和可选附加输入特征(用户评论句子中单词的位置信息PE)时，此时，将词汇的词嵌入特征WE和用户评论句子中单词的位置信息PE进行求和作为模型输入的输入特征矩阵X，将属性方面信息词嵌入特征AE直接作为模型输入的属性级方面信息AE。

④当对样本数据所提取的特征包括必要输入特征(词汇的词嵌入特征WE和属性方面信息词嵌入特征AE)和可选附加输入特征(词的词性信息所对应的嵌入特征POSE和用户评论句子中单词的位置信息PE)时，此时，先将词汇的词嵌入特征WE与位置特征PE进行求和，再将所得结果与词性信息所对应得嵌入特征POSE进行拼接作为型输入的输入特征矩阵X，将属性方面信息词嵌入特征AE直接作为模型输入的属性级方面信息AE。

步骤3、样本数据的特征学习

初始化完全基于注意力机制的网络模型，并将步骤2所得的样本数据的输入特征矩阵和样本数据的属性级方面信息输入到初始化的完全基于注意力机制的网络模型中进行特征学习，在初始化的完全基于注意力机制的网络模型中，先利用SAM-NN模块学习词汇级语义特征，再利用AAM-NN模块学习句子级语义特征，后利用FC-NN模块识别评论语义情感倾向，以得到用户评论句子的预测情感标记分类。

参见图2，本发明所提出的完全基于注意力机制的属性级情感分析模型依次包含三个模块：SAM-NN模块用于学习词汇级语义特征，AAM-NN模块用于学习句子级语义特征，FC-NN模块用于识别评论语义情感倾向。具体处理内容如下：

(1)SAM-NN模块学习词汇级语义特征

SAM-NN模块负责在输入词嵌入特征的基础上进一步根据属性方面信息学习用户评论句子的词汇级嵌入特征的隐层表示。

(1.1)首先将输入特征矩阵X映射为查询矩阵Q，键矩阵K和值矩阵V，公式如下：

其中，W_q，W_k，W_v分别表示查询矩阵、键矩阵和值矩阵的网络学习权重矩阵，b_q，b_k，b_v分别表示查询矩阵、键矩阵和值矩阵的偏置值。

(1.2)将输入的属性级方面信息AE做矩阵线性变换得到属性级特征的隐层表示A，公式如下：

A＝W_a·AE+b_a (11)

其中，W_a表示属性级特征的网络学习权重矩阵，b_a表示属性级特征的偏置值。

(1.3)将属性级特征A融合到查询矩阵Q和键矩阵K中，得到已融合属性信息的查询矩阵Q^a和键矩阵K^a，公式如下：

其中，Fuse(*)表示属性级特征信息的融合过程，可以使用向量拼接，向量求和等方法。在本实施过程中，属性级特征信息的融合过程使用了门控逻辑的方式，如公式(12)所示，λ_q与λ_k分别为矩阵和特征的门控逻辑系数，λ_q∈[0，1]，λ_k∈[0，1]。

(1.4)分别将已融合属性信息的查询矩阵Q^a、已融合属性信息的键矩阵K^a以及评论句子的值矩阵V做m次线性映射，分别得到m个包含查询矩阵、键矩阵、值矩阵的三元组

和V_i，公式如下：

其中i∈[1，m]，m表示线性映射的次数，

分别表示第i次线性映射所需的查询矩阵、键矩阵和值矩阵的网络学习权重矩阵，

分别表示第i次线性映射所需的查询矩阵、键矩阵和值矩阵的偏置值。

(1.5)在得到m个三元组矩阵

后，对每个三元组矩阵进行自注意力计算，得到m个融合属性方面信息的词汇级嵌入表示H_i，公式如下：

其中，d表示三元组矩阵的计算维度，softmax(*)的计算公式如下：

其中，C表示样本个数，x_j表示第j个样本实例。

(1.6)将所有得到的词汇级嵌入表示H_i拼接在一起，再通过一个矩阵线性映射网络得到词汇级嵌入特征的隐层表示H，公式如下：

其中，H′表示词汇级嵌入的拼接结果，H表示一条用户评论所对应的线性映射结果，W_c表示词汇级嵌入特征的网络学习权重矩阵，b_c表示词汇级嵌入特征的偏置值，⊕表示拼接操作。

(2)AAM-NN模块学习句子级语义特征

AAM-NN模块负责在词汇级嵌入特征的隐层表示基础上根据属性方面信息学习用户评论句子的句子级嵌入特征的隐层表示。

(2.1)对于一条用户评论所对应的词汇级嵌入特征H，取h_i∈H表示用户评论句子中的第i个词汇所对应的词汇级嵌入特征，并将用户评论句子中的第i个词汇所对应的词汇级嵌入特征h_i与属性级特征A拼接得到中间临时变量h＇_i，再将中间临时变量h＇_i经过一个线性映射得到每个词汇对应的中间变量e_i：

其中，W_e表示中间变量的网络学习权重矩阵，b_e表示中间变量的偏置值，⊕表示拼接操作。

(2.2)根据所得到的每个词汇对应的中间变量e_i计算每个词汇级嵌入的隐层表示的权重值β_i，公式如下：

其中，n表示一条用户评论句子的长度。

(2.3)将所得到的每个词汇级嵌入隐层表示h_i与其对应的权重值β_i进行乘积运算，并将一个用户评论句子中所有的运算结果累加，得到句子级嵌入特征的隐层表示S，公式如下：

其中，n表示一条用户评论句子的长度。

(3)FC-NN模块识别评论语义情感倾向

FC-NN模块负责在语义层面对用户评论句子进行情感分析，通过多分类识别出用户评论的情感所属类别。在具体的实施过程中，将情感分为三种类别，分别为积极的情感，消极的情感和中立情感。

(3.1)将句子级嵌入特征的隐层表示S与属性特征A拼接，得到中间临时变量O′，再对中间临时变量O′进行线性变换得到输出层隐层表示O，公式如下：

其中，W_o表示输出层的网络学习权重矩阵，b_o表示输出层的偏置值，⊕表示拼接操作。

(3.2)通过softmax分类器计算用户评论句子所属情感类别的概率分布，得到预测的情感标记分类，公式如下：

Y＝softmax(O) (21)

步骤4、模型训练

利用步骤1中用户评论句子的真实的情感标记分类和步骤3所得的预测情感标记分类对完全基于注意力机制的网络模型进行训练，通过最小化损失函数来优化模型参数，得到训练好的完全基于注意力机制的网络模型。

本发明采用Adam优化方法来最小化交叉熵损失函数来训练模型，最小化目标方程定义如下：

其中，

表示真实的情感标记分类，Y表示模型预测结果，X表示用户评论句子特征输入，A表示属性级方面信息的特征输入，θ表示模型训练参数。

具体的，在训练实施过程中，用户情感标记分为三类，分别为积极情感，中立情感和消极情感。

每一列代表一种情感类别，

代表积极情感，

代表中立情感，

代表消极情感。在利用真实的情感标记分类进行赋值

时：当该样本数据(用户评论句子)的真实的情感标记分类为积极情感时，则

为1，其他

和

为0，即

当该样本数据(用户评论句子)的真实的情感标记分类为中立情感时，则

为1，其他

和

为0，即

当该样本数据(用户评论句子)的真实的情感标记分类为消极情感时，则

为1，其他

和

为0，即

Y＝[y₀,y₁,y₂]每一列代表预测出所属情感类别的概率，y₀代表积极情感，y₁代表中立情感，y₂代表消极情感。所求解出的y₀,y₁,y₂因是概率值，其可以是整数，也可以是小数。

本发明在训练数据集上进行了多次迭代，当迭代次数满足一定条件时终止训练，固化模型参数并保存，具体的，本发明在训练数据集上迭代了50次进行训练，为测试模型性能，将后30次的模型进行参数固化保存。

2)利用训练好的完全基于注意力机制网络模型对实测数据进行情感标记分类：

步骤5、将实测的未带有真实情感标记分类的用户评论句子作为实测数据，并采用与步骤1相同的方法对实测数据进行预处理；

步骤6、采用与步骤2相同的方法对预处理后的实测数据进行特征提取，得到实测数据的输入特征矩阵和实测数据的属性级方面信息；

步骤7、将步骤6所得的实测数据的输入特征矩阵和实测数据的属性级方面信息送入步骤4所训练好的完全基于注意力机制的网络模型中，得到该评论语句的所属情感类别的概率分布，本发明将最大概率所对应的分类作为最终预测情感分类结果，公式如下：

y^predict＝argmax(Y) (23)

为验证本发明所提方法的有效性，在3个数据集上进行了实验验证，分别是餐馆(Restaurant)，笔记本电脑(Laptop)，推特数据集(Twitter)。实验过程中发现，当训练次数迭代10之后模型逐渐趋于稳定，因此分别在每个数据集上迭代了50次，并统计了最后30次的实验结果。实验结果包含准确率统计和模型计算时间统计，分别如表1和表2所示，其中两表中最下4行均为本发明所提方法，前7行为对比基准方法。

表1属性级情感分析准确率结果

表1中max表示最后30次迭代训练中测试集准确率最高的结果，avg表示最后30次迭代训练中测试集准确率平均的结果，var表示最后30次迭代训练中测试集准确率的方差。其中，准确率可以反映出模型关于属性方面情感的识别能力，方差可以反映出模型的稳定性。

表2属性级情感分析所花费的计算时间(单位：秒/s)

表2中统计了模型在数据集上每迭代一次所花费的时间，其中Train表示训练数据所花费的时间，Test表示测试数据所花费的时间。可已看出，相比较于现有方法，本发明所提方法在计算效率上有明显提升。

从表1和表2中可以看出，本发明所提出的一种完全注意力机制的属性级情感分析方法，不仅在属性方面情感分析任务中保证了模型的准确率与良好的稳定性，而且训练效率也得到了提升，充分说明了本发明所提方法的有效性。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.一种完全注意力机制的属性级情感分析方法，其特征是，

步骤1、将给定的带有真实情感标记分类的用户评论句子作为样本数据，并对样本数据进行预处理；

步骤2、先对预处理后的样本数据进行特征提取，以提取出用户评论句子的词汇的词嵌入特征和属性方面信息词嵌入特征；再将词汇的词嵌入特征作为样本数据的输入特征矩阵，属性方面信息词嵌入特征作为样本数据的属性级方面信息；

步骤3、初始化完全基于注意力机制的网络模型，并将步骤2所得的样本数据的输入特征矩阵和样本数据的属性级方面信息输入到初始化的完全基于注意力机制的网络模型中进行特征学习，在初始化的完全基于注意力机制的网络模型中，先利用SAM-NN模块学习词汇级语义特征，再利用AAM-NN模块学习句子级语义特征，后利用FC-NN模块识别评论语义情感倾向，以得到用户评论句子的预测情感标记分类；

上述利用SAM-NN模块学习词汇级语义特征的过程如下：

步骤3.1.1、将步骤2所得的样本数据的输入特征矩阵映射为查询矩阵、键矩阵和值矩阵；

步骤3.1.2、将步骤2所得的样本数据的属性级方面信息做矩阵线性变换得到属性级特征的隐层表示；

步骤3.1.3、将步骤3.1.2所得的隐层表示分别融合到查询矩阵和键矩阵中，得到已融合属性信息的查询矩阵和已融合属性信息的键矩阵；

步骤3.1.4、将步骤3.1.3所得的已融合属性信息的查询矩阵和已融合属性信息的键矩阵，以及步骤3.1.1所得的值矩阵，分别做m次线性变换，得到m个查询矩阵三元组、键矩阵三元组和值矩阵三元组；

步骤3.1.5、对步骤3.1.4所得的m个查询矩阵三元组、键矩阵三元组和值矩阵三元组分别进行自注意力计算，得到m个融合属性方面信息的词汇级嵌入表示；

步骤3.1.6、将步骤3.1.5所得到的m个词汇级嵌入表示拼接在一起，再通过一个矩阵线性映射网络得到词汇级嵌入特征的隐层表示；

其中m为设定的正整数；

上述利用AAM-NN模块学习句子级语义特征的过程如下：

步骤3.2.1、将利用SAM-NN模块学习词汇级语义特征所得到的词汇级嵌入特征的隐层表示和属性级特征的隐层表示进行拼接，并通过线性映射得到每个词汇对应的中间变量；

步骤3.2.2、将步骤3.2.1所得的每个词汇对应的中间变量进行softmax回归运算得到每个词汇级嵌入的隐层表示的权重值；

步骤3.2.3、将步骤3.2.1所得的每个词汇级嵌入的隐层与其对应的步骤3.2.2所得的每个词汇级嵌入的隐层表示的权重值进行乘积运算，并将每个用户评论句子中所有的乘积运算结果累加，得到句子级嵌入特征的隐层表示；

步骤4、利用步骤1中的用户评论句子的真实的情感标记分类和步骤3所得的预测情感标记分类对完全基于注意力机制的网络模型进行训练，通过最小化损失函数来优化模型参数，得到训练好的完全基于注意力机制的网络模型；

步骤5、将实测的未带有真实情感标记分类的用户评论句子作为实测数据，并采用与步骤1相同的方法对实测数据进行预处理；

步骤6、采用与步骤2相同的方法对预处理后的实测数据进行特征提取，得到实测数据的输入特征矩阵和实测数据的属性级方面信息；

步骤7、将步骤6所得的实测数据的输入特征矩阵和实测数据的属性级方面信息送入步骤4所训练好的完全基于注意力机制的网络模型中，得到实测数据的情感标记分类。

2.根据权利要求1所述的一种完全注意力机制的属性级情感分析方法，其特征是，步骤1和5中，对样本数据和实测数据进行预处理的过程包括分词、书写标准化和词性标注。

3.根据权利要求1所述的一种完全注意力机制的属性级情感分析方法，其特征是，步骤2和6中，还需要进一步提取样本数据和实测数据的用户评论句子的单词的词性信息所对应的嵌入特征和/或单词的位置信息；并将单词的词性信息所对应的嵌入特征和/或单词的位置信息融合到词汇的词嵌入特征，共同作为输入特征矩阵。

4.根据权利要求3所述的一种完全注意力机制的属性级情感分析方法，其特征是，当单词的词性信息所对应的嵌入特征与词汇的词嵌入特征融合时，两者采用拼接的方式进行融合；当单词的位置信息与词汇的词嵌入特征融合时，两者采用求和的方式进行融合。

5.根据权利要求1所述的一种完全注意力机制的属性级情感分析方法，其特征是，步骤3中，利用FC-NN模块识别评论语义情感倾向的过程如下：

步骤3.3.1、将利用AAM-NN模块学习句子级语义特征所得到的句子级嵌入特征的隐层表示和属性级特征的隐层表示进行拼接，并通过线性映射得到输出层隐层表示；

步骤3.3.2、利用分类器计算步骤3.3.1所得到的输出层隐层表示进行分类处理，得到用户评论句子的预测情感标记分类。

Images