CN112560440A - 一种基于深度学习的面向方面级情感分析的句法依赖方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的面向方面级情感分析的句法依赖方法，提高了方面级情感分析的准确性。该方法包括以下步骤：S1，将输入的句子利用预训练好的词向量进行表示；S2，将S1得到的词向量输入到卷积层以提取序列的局部特征；S3，将卷积过后的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取上下文中的语义信息；S4，将S3得到的语义信息输入到临近加权卷积层以捕获n‑gram信息；S5，将临近加权卷积后得到的n‑gram信息输入到池化层进行最大池化操作，提取重要特征；S6，将最大池化操作得到的输出通过softmax分类层进行分类，得到最终结果。

Description

一种基于深度学习的面向方面级情感分析的句法依赖方法

技术领域

本发明涉及自然语言处理的情感分析技术领域，尤其涉及一种基于深度学习的面向方面级情感分析的句法依赖方法。

背景技术

情感分析(Sentiment analysis)是文本挖掘领域的一个热门话题，它是对文本中的观点、情感和主观性的计算。情感分析有三个层次的粒度，即文档级(document-level)、句子级(sentence-level)和方面级(aspect-level)。当一个文档或一个句子涉及多个情感表达时，前两个层面的情感分析将无法准确提取文本内部的深层情感。而方面级情感分类(也称为基于方面的情感分类)是一个细粒度的情感分类任务，旨在识别特定上下文中某个方面的极性，即评论或评论。例如，对于“价格足够合理，服务很差”这句话，“价格”和“服务”这两个词是方面的，对“价格”和“服务”的态度分别是积极的和消极的。

与情感分析中的其他粒度级别不同，句子中不同方面的情感极性需要在方面级情感分析中确定，它不仅依赖于上下文信息，还依赖于不同方面的情感信息。此外，一句话中不同的具体方面可能会有完全相反的情感极性，因此分析针对个别方面的具体情感极性可以更有效地帮助人们理解用户的情感表达，从而引起该领域越来越多的关注。早期在方面级情感分析方面的工作主要基于从统计学的角度手动提取定义的特征，并采用机器学习，如支持向量机(support vector machine)、条件随机场(conditional random field)等。特征质量在这些模型的性能中具有很大的权重，并且特征工程是劳动密集型的。

近年来，越来越多采用深度学习的技术被整合到自然语言处理任务中。与传统的机器学习相比，它们在情感分类方面取得了更好的效果。Zhou提出了一种结合CNN和BiLSTM模型的中文产品评论分析方法。Xue报道了一种更精确和更有效的模型，它将卷积神经网络与选通机制相结合。Dong利用自适应递归神经网络对推特上的目标依赖情感进行分类。Vo应用了情感词汇，以及分布式单词表示和神经池来提高情感分析的能力。Ma构建了一个神经架构，用于有针对性的基于方面的情感分析，同时能够融入重要的常识。在方面级情感分类方面，这些传统神经模型的性能比传统机器学习更为突出。然而，它们只能以一种隐含的方式捕捉上下文信息，导致显式的不完善，这就排除了某一方面的一些重要的上下文线索。

目前，随着注意机制和记忆网络的成熟。越来越多的此类方法被用于自然语言处理，并取得了良好的效果，如机器翻译，与以前的方法相比，性能有所提高。在这个领域中，表示的生成可以受到目标和上下文的相互影响。例如，Wang将基于注意力的网络应用于方面级情感分类。Long提出了一种基于BiLSTM的多头注意机制，并将其集成到文本情感分析的交叉模型中。Lin建立了一个全新的方面级情感分类框架，它是一个基于语义依赖和上下文矩的深度掩蔽记忆网络。Jiang为同样的任务设计了一个基于方面的LSTM-CNN注意力模型。Ma从网络和注意机制出发，发展了一个交互注意网络(IAN)模型。然而，在这些研究中，体与其语境词之间的句法关系通常被忽略，这可能会阻碍基于体的语境表征的有效性。此外，情感极性方面通常取决于一个关键短语。Zhang提出了一种加权邻近度的卷积网络，以提供句法感知的上下文的方面特定表示。然而，该网络仅考虑文本序列中的长距离相关性，因此捕捉局部特征的效果并不理想。

在一个复合句中，有可能每个方面都只与其相邻的语境有关。在识别其情感极性之前，需要估计每个方面的影响范围。因此，需要更好的语言表示模型来生成更准确的语义表达。Word2Vec和GLoVe已被广泛用于将单词转换为实数值向量。但是，这两个有一个问题。事实上，单词在不同的语境中可能有不同的含义，而目标句子在不同的语言中，语境中的向量表示是相同的。ELMo是对它们的一个改进，但它并不完美，因为它在语言模型中应用了LSTM。LSTM有两个主要问题。第一个问题是它是单向的，这意味着它是通过有序推理来工作的。甚至BiLSTM双向模型也只是一个简单的亏本加法，导致它无法考虑另一个方向的数据。另一个问题是，它是一个序列模型。换句话说，在其处理过程中，一个步骤在前一个步骤完成之前不能进行，导致并行计算能力差.

上述问题都会影响方面级情感分析的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于深度学习的面向方面级情感分析的句法依赖方法，提高方面级情感分析的准确性，包括以下步骤：

S1，将输入的句子利用预训练好的词向量进行表示；

S2，将S1得到的词向量输入到卷积层以提取序列的局部特征；

S3，将卷积过后的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取上下文中的语义信息；

S4，将S3得到的语义信息输入到临近加权卷积层以捕获n-gram信息；

S5，将临近加权卷积后得到的n-gram信息输入到池化层进行最大池化操作，提取重要特征；

S6，将最大池化操作得到的输出通过softmax分类层进行分类，得到最终结果。

其中步骤S1所述预训练词向量是指通过Google提出来的BERT预训练模型，它能够捕捉明显的单词差异，例如多义性。此外，这些上下文敏感的单词嵌入还检索其他形式的信息，这可能有助于产生更准确的特征表示和提高模型性能。

进一步地，步骤S1中考虑输入数据用x表示，H是用BERT处理x后生成的嵌入，公式如下：

H＝BERT(x)

进一步地，步骤S2中卷积层用于提取序列中的局部特征；其输出为：

式中

表示卷积，权重矩阵的符号由w^m∈R^k×d表示，对应于滤波器F_m；b^m代表偏差，X_i:i+k-1表示滑动矩阵窗口，包括输入矩阵中i到i+k-1行；f是一个非线性激活函数，这里本专利选择了RELU。符号

代表从滤波器F_m生成的特征图，为y^m的第i个元素。

进一步地，步骤S3所述BiLSTM层采用双向LSTM网络，分别由前向和后向神经网络组成，分别负责记忆过去和未来的信息，促进文本分析，其中一个标准的LSTM单元通常包含三个门和一个单元存储器状态，即忘记门、输入门、输出门和存储单元。W_i,U_i∈R^d×2d是对应于输入门i_t的加权矩阵；W_f,U_f∈R^d×2d是对应于忘记门f_t的加权矩阵；W_o,U_o∈R^d×2d是对应于输出门o_t的加权矩阵。b_f，b_i和b_o表示每个门的偏差，可以通过训练获得。h_t是t时刻的隐藏层向量，σ代表sigmoid函数。符号⊙代表元素乘法，公式如下：

f_t＝σ(W_f·x_t+U_f·h_t-1+b_f)

i_t＝σ(W_i·x_t+U_i·h_t-1+b_i)

o_t＝σ(W_o·x_o+U_o·h_t-1+b_o)

h_t＝o_t⊙tanh(c_t)

连接正反两个方向的LSTM模型输出向量

作为t时刻双向LSTM的输出h：

进一步地，步骤S4中所述临近加权卷积操作应用临近权重即上下文与方面词的句法临近度来计算其在句子中的重要性，然后将其输入卷积神经网络以获得n-gram信息。

进一步地，语境词对方面词的接近是非线性的，这样会导致错误的权重结果和信息损失，根据高斯分布的曲线是钟形的，且会随着向中心移动，值会变大，反之亦然。这种优秀的模式可以有效地防止信息中的干扰噪声，符合位置信息的非线性特征。因此高斯函数是一种理想的权重分配模式，公式为：

进一步地，临近加权卷积是一个一维卷积，核长度为1，其临近权重预先分配。用于表示句子表示形式的第i个单词的权重的r_i可以检索为：

r_i＝p_ih_i

卷积的执行方式如下：

其中

是卷积层的输出。

进一步地，步骤S5所述最大池化层可以帮助本专利过滤掉最明显的特征，表示为：

其中q_i,j表示q_i的第j部分。

进一步地，步骤S6所述softmax分类层获得情感极性y的条件概率分布：

其中b_f和W_f是全连接层对应的加权矩阵。

本发明具有以下有益效果：

其一、本发明提出了一种方面特定的句法感知上下文表示，主要由卷积神经网络和双向LSTM提取，并通过临近加权卷积进一步增强。有效提高方面及情感分类结果。

其二、引入高斯函数代替位置临近度，从而更好地评估临近权重。更好地描述了上下文词与方面的接近度，进一步提高了模型的性能。

其三、使用预训练的BERT嵌入来表示上下文，它能够捕捉明显的单词差异，例如多义性。此外，这些上下文敏感的单词嵌入还检索其他形式的信息，这有助于产生更准确的特征表示和提高模型性能。

附图说明

图1是本发明的基于深度学习的面向方面级情感分析的句法依赖算法的模型图。

具体实施方式

体现本发明特征与优点的典型实施方式将在以下的说明中详细叙述，应理解的是本发明能够在不同的实施方式上具有各种的变化，其皆不脱离本发明的范围，且其中的说明及图示在本质上是当作说明之用，而非用以限制本发明。

一种基于深度学习的面向方面级情感分析的句法依赖方法，所述方面级情感分析方法包括以下步骤：

S1，将输入的句子利用预训练好的词向量进行表示；

S2，将S1得到的词向量输入到卷积层以提取序列的局部特征；

S3，将卷积过后的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取上下文中的语义信息；

S4，将S3得到的语义信息输入到临近加权卷积层以捕获n-gram信息；

S5，将临近加权卷积后得到的n-gram信息输入到池化层进行最大池化操作，提取重要特征；

S6，将最大池化操作得到的输出通过softmax分类层进行分类，得到最终结果。

其中步骤S1所述预训练词向量是指通过Google提出来的BERT预训练模型，它能够捕捉明显的单词差异，例如多义性。此外，这些上下文敏感的单词嵌入还检索其他形式的信息，这可能有助于产生更准确的特征表示和提高模型性能。

进一步地，步骤S1中考虑输入数据用x表示，H是用BERT处理x后生成的嵌入，公式如下：

H＝BERT(x)

进一步地，步骤S2中卷积层用于提取序列中的局部特征；其输出为：

式中

表示卷积，权重矩阵的符号由w^m∈R^k×d表示，对应于滤波器F_m；b^m代表偏差，X_i:i+k-1表示滑动矩阵窗口，包括输入矩阵中i到i+k-1行；f是一个非线性激活函数，这里本专利选择了RELU。符号

代表从滤波器F_m生成的特征图，为y^m的第i个元素。

进一步地，步骤S3所述BiLSTM层采用双向LSTM网络，分别由前向和后向神经网络组成，分别负责记忆过去和未来的信息，促进文本分析，其中一个标准的LSTM单元通常包含三个门和一个单元存储器状态，即忘记门、输入门、输出门和存储单元。W_i,U_i∈R^d×2d是对应于输入门i_t的加权矩阵；W_f,U_f∈R^d×2d是对应于忘记门f_t的加权矩阵；W_o,U_o∈R^d×2d是对应于输出门o_t的加权矩阵。b_f，b_i和b_o表示每个门的偏差，可以通过训练获得。h_t是t时刻的隐藏层向量，σ代表sigmoid函数。符号⊙代表元素乘法，公式如下：

f_t＝σ(W_f·x_t+U_f·h_t-1+b_f)

i_t＝σ(W_i·x_t+U_i·h_t-1+b_i)

o_t＝σ(W_o·x_o+U_o·h_t-1+b_o)

h_t＝o_t⊙tanh(c_t)

连接正反两个方向的LSTM模型输出向量

作为t时刻双向LSTM的输出h：

进一步地，步骤S4中所述临近加权卷积操作应用临近权重即上下文与方面词的句法临近度来计算其在句子中的重要性，然后将其输入卷积神经网络以获得n-gram信息。

进一步地，语境词对方面词的接近是非线性的，这样会导致错误的权重结果和信息损失，根据高斯分布的曲线是钟形的，且会随着向中心移动，值会变大，反之亦然。这种优秀的模式可以有效地防止信息中的干扰噪声，符合位置信息的非线性特征。因此高斯函数是一种理想的权重分配模式，公式为：

进一步地，临近加权卷积是一个一维卷积，核长度为1，其临近权重预先分配。用于表示句子表示形式的第i个单词的权重的r_i可以检索为：

r_i＝p_ih_i

卷积的执行方式如下：

其中

是卷积层的输出。

进一步地，步骤S5所述最大池化层可以帮助本专利过滤掉最明显的特征，表示为：

其中q_i,j表示q_i的第j部分。

进一步地，步骤S6所述softmax分类层获得情感极性y的条件概率分布：

其中b_f和W_f是全连接层对应的加权矩阵。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换、和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：包括以下步骤：

S1，将输入的句子利用预训练好的词向量进行表示；

S2，将S1得到的词向量输入到卷积层以提取序列的局部特征；

S3，将卷积过后的特征向量输入到BiLSTM层，通过两个方向的LSTM单元获取上下文中的语义信息；

S4，将S3得到的语义信息输入到临近加权卷积层以捕获n-gram信息；

S5，将临近加权卷积后得到的n-gram信息输入到池化层进行最大池化操作，提取重要特征；

S6，将最大池化操作得到的输出通过softmax分类层进行分类，得到最终结果。

2.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：其中步骤S1所述预训练词向量是指通过Google提出来的BERT预训练模型，它能够捕捉明显的单词差异，例如多义性。此外，这些上下文敏感的单词嵌入还检索其他形式的信息，这可能有助于产生更准确的特征表示和提高模型性能。

输入数据用x表示，H是用BERT处理x后生成的嵌入，公式如下：

H＝BERT(x) 。

3.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：步骤S2中卷积层用于提取序列中的局部特征；其输出为：

式中

表示卷积，权重矩阵的符号由w^m∈R^k×d表示，对应于滤波器F_m；b^m代表偏差，X_i:i+k-1表示滑动矩阵窗口，包括输入矩阵中i到i+k-1行；f是一个非线性激活函数，这里本专利选择了RELU。符号

代表从滤波器F_m生成的特征图，为y^m的第i个元素。

4.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：步骤S3所述BiLSTM层采用双向LSTM网络，分别由前向和后向神经网络组成，分别负责记忆过去和未来的信息，促进文本分析，其中一个标准的LSTM单元通常包含三个门和一个单元存储器状态，即忘记门、输入门、输出门和存储单元。W_i,U_i∈R^d×2d是对应于输入门i_t的加权矩阵；W_f,U_f∈R^d×2d是对应于忘记门f_t的加权矩阵；W_o,U_o∈R^d×2d是对应于输出门o_t的加权矩阵。b_f，b_i和b_o表示每个门的偏差，可以通过训练获得。h_t是t时刻的隐藏层向量，σ代表sigmoid函数。符号⊙代表元素乘法，公式如下：

f_t＝σ(W_f·x_t+U_f·h_t-1+b_f)

i_t＝σ(W_i·x_t+U_i·h_t-1+b_i)

o_t＝σ(W_o·x_o+U_o·h_t-1+b_o)

h_t＝o_t⊙tanh(c_t)

连接正反两个方向的LSTM模型输出向量

作为t时刻双向LSTM的输出h：

。

5.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：步骤S4中所述临近加权卷积操作应用临近权重即上下文与方面词的句法临近度来计算其在句子中的重要性，然后将其输入卷积神经网络以获得n-gram信息。

语境词对方面词的接近是非线性的，这样会导致错误的权重结果和信息损失，根据高斯分布的曲线是钟形的，且会随着向中心移动，值会变大，反之亦然。这种优秀的模式可以有效地防止信息中的干扰噪声，符合位置信息的非线性特征。因此高斯函数是一种理想的权重分配模式，公式为：

进一步地，临近加权卷积是一个一维卷积，核长度为1，其临近权重预先分配。用于表示句子表示形式的第i个单词的权重的r_i可以检索为：

r_i＝p_ih_i

卷积的执行方式如下：

其中

是卷积层的输出。

6.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：步骤S5所述最大池化层可以帮助本专利过滤掉最明显的特征，表示为：

其中q_i,j表示q_i的第j部分。

7.根据权利要求1所述的基于深度学习的面向方面级情感分析的句法依赖方法，其特征在于：步骤S6所述softmax分类层获得情感极性y的条件概率分布：

其中b_f和W_f是全连接层对应的加权矩阵。

Images