CN113535897A - 一种基于句法关系和意见词分布的细粒度情感分析方法 - Google Patents

Abstract

本发明公开了一种基于句法关系和意见词分布的细粒度情感分析方法。首先根据Bert模型构建了自己的词嵌入向量，目的是利用只利用Bert的语言模型功能。其次为了更好的提取句中的意见词分布，引入了依存句法分析，基于依存句法分析结果以及目标方面词，并结合邻近原则等原理提取出意见词分布。这样就能够将句中与方面词有直接或间接依赖关系的词提取出来，同时为了能够利用这一信息，本发明还将这一结果进行了向量化处理，称为分布向量。最后将这一向量与Bert输出的上下文向量进行特征融合，得到全新的情感特征向量，并进行情感预测。实验结果表明，本发明能很好解决方面词与意见词的匹配问题，并且能够深层次的提取到情感特征，具有很好的适应能力。

Description

一种基于句法关系和意见词分布的细粒度情感分析方法

技术领域

本发明涉及方面情感分析技术领域，具体来讲是一种基于句法关系和意见词分布的细粒度情感分析方法。

背景技术

细粒度情感分析，也称基于方面的情感分析，它不是考虑整个句子情感极性，而是从细粒度的角度去研究，目的是针对于句子出现的某些方面(aspect)，并对这些方面的情感倾向进行判断。

现阶段主流的情感分析方法有CNN、RNN和自注意力机制等。CNN采用定长的卷积核对句子向量进行卷积操作，再通过池化进行特征提取，但对于句中有多个方面词时，往往难以准确分辨对应的意见词，例如前文评论中“面料很好有型挺好看，而且手感不错，无异味，而且价格想比较而言比较实惠。”这一部分运用CNN进行特征提取时，CNN可能难以将“无异味”这一词与“价格”影响完全排除。虽然RNN模型在处理短文本时表现良好，但同样随着网络评论的句式复杂化、内容多样化以及句子越来越长后，其表现性能也逐渐平常。因为RNN的每一步处理都会依赖前一步的结果，但句式复杂且句子过长后，后文与前文中重要的信息会在逐步迭代的过程中丢失掉。而且，一个方面词的情感倾向往往由几个关键的意见词决定，倘若丢失了关键的意见词，对于情感分析的结果会产生难以估量的影响。

因此，后人才提出注意力机制进行情感分析，通过对齐模型分析出句子中每个词之间的影响程度，构建权重向量，给关键词赋予较大的权重、无关词分配较小的权重。这样做在一定程度上提高了情感分析的任务准确率，但当句中有多个方面词时，意见词也会相对的增加，权重的分配就会面临一个问题，注意力机制的对齐模型难以区分哪个意见词对当前方面词是较为重要的，进而导致权重分配时，多个意见词的权重会不分上下。总之，单纯的注意力机制也难以应对如今复杂结构的网络评论句。近年来图神经网络也在尝试解决这一问题，图神经网络运用句中词与词之间的依赖关系构建关系图，并在特征提取阶段运用卷积或者注意力的方式将依赖信息加以运用，使得每个词都会获取与它有依赖关系的特征。这样做解决了方面词与意见词的匹配问题，使得每个方面词都能直接获取与它有依赖关系的词语信息。但这样的处理同样存在一定的问题，因为目前大多数图神经网络只是基于词与词之间一层关系去运算的，当修饰方面词的意见词是多个词组成的词组时，单独观察修饰方面词的意见词就难以判断出情感倾向，这时就需要考虑修饰意见词的词语或其他相关词语，即反应情感特征的词之间具有一种深层次的结构关系。

发明内容

在综合考量上述问题后，本发明针对现有技术存在的问题，提出一种基于句法关系和意见词分布的细粒度情感分析方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)根据输入的句子W构建初始化词嵌入向量Token Embedding和位置编码向量PositionEmbedding，并将其作为bert预训练模型的输入，训练后得到句子向量；

步骤(2)对句子W进行依存句法分析，获取到句中词与词的依赖关系；

步骤(3)根据已知的方面词和步骤(2)获取的依赖关系，对句子中与方面词有直接依赖关系的关键词进行提取，提取到的关键词存储到集合Key中；

步骤(4)根据集合Key中的关键词，构建意见词分布向量；

步骤(5)运用意见词分布向量对步骤(1)获得的句子向量进行特征变换，计算后得到情感特征向量；

步骤(6)将情感特征向量输入到分类器Softmax中，对目标方面词进行情感预测。

本发明有益效果如下：

本发明根据Bert模型构建了自己的词嵌入向量，目的是利用只利用Bert的语言模型功能。其次为了更好的提取句中的意见词分布，引入了依存句法分析，基于依存句法分析结果以及目标方面词，并结合邻近原则等原理提取出意见词分布。这样就能够将句中与方面词有直接或间接依赖关系的词提取出来，同时为了能够利用这一信息，本发明还将这一结果进行了向量化处理，称为分布向量。最后将这一向量与Bert输出的上下文向量进行特征融合，得到全新的情感特征向量，并进行情感预测。实验结果表明，本发明能很好解决方面词与意见词的匹配问题，并且能够深层次的提取到情感特征，具有很好的适应能力。有效的提高情感分析的方法准确性。

附图说明

图1是本发明的整体实施方案流程图

图2本发明的模型整体架构图

图3本发明的词嵌入构建图

图4本发明的意见词分布向量构建图

图5本发明的依存句法分析结果图

图6本发明的特征向量融合图

具体实施方式

下面结合附图对本发明作进一步描述。

本发明通过对上下文句进行依存句法分析，同时结合目标方面词和句法分析结果，去提取句中与目标方面词有依赖关系的词语。根据提取到词语信息，就构造出能反映该方面词情感倾向的特征向量。这样在一定程度上解决了方面词与意见词匹配问题，也能应付复杂的意见词组难以处理的情况以提取深层次的特征结构，有效的提高情感分析的方法准确性。

参照图1是本发明的整体实施方案流程图，一种基于句法关系和意见词分布的细粒度情感分析方法，包括以下步骤：

步骤(1)根据输入的句子W构建初始化词嵌入向量Token Embedding和位置编码向量Position Embedding，并将其作为bert预训练模型的输入，训练后得到句子向量；

步骤(2)对句子W进行依存句法分析，获取到句中词与词的依赖关系；

步骤(3)根据已知的方面词和步骤(2)获取的依赖关系，对句子中与方面词有直接依赖关系的关键词进行提取，提取到的关键词存储到集合Key中；

步骤(4)根据集合Key中的关键词，构建意见词分布向量；

步骤(5)运用意见词分布向量对步骤(1)获得的句子向量进行特征变换，计算后得到情感特征向量；

步骤(6)将情感特征向量输入到分类器Softmax中，对目标方面词进行情感预测。同时计算损失，重复步骤(1)(5)(6)直至模型稳定。最后使用稳定的模型对目标方面词进行情感分类任务。

进一步的，所述步骤(1)具体实现过程如下：

1-1如图3所示，1-1构建bert预训练模型输入的Token Embedding，由于该方法使用bert的目的只是为了训练语言模型，并获得句子向量，所以输入构建为[CLS]+文本句+[SEP]的形式。在给定输入句子序列为W＝{w₁,w₂,...,w_n}，其中n表示句子长度，并构建初始化嵌入向量TokenEmbedding：

X＝([CLS],w₁,w₂,...,w_n,[SEP]) (1)

1-2构建bert预训练模型输入的Position Embedding，为了获得句中每个词的顺序特征，这里与transformer不同,不采用正弦余弦的编码方式，而是随机初始化学习而来。其表达式为：

PE＝(E₀,E₁,...,E_n,...,E_n+1) (2)

其中，E₀,E₁,...,E_n+1分别表示公式(1)X中[CLS],w₁,w₂,...,w_n和[SEP]的位置编码。X与PE对应，E₀是[CLS]对应的位置编码；w₁,w₂,...,w_n是E₁,...,E_n对应的位置编码；E_n+1是[SEP]对应的位置编码。

1-3构建好的Token Embedding和Position Embedding连接后输入到bert模型，并取[CLS]和[SEP]之间的特征向量作为文本句W的隐层特征向量，记为H₀∈R^d×n，其过程总结为下式：

H₀＝Bert(X；PE)＝{h₁,h₂,...h_n} (3)

进一步的，所述步骤(2)具体实现过程如下：

依存句法分析DependencyParsing是Spacy工具包的一个功能模块，他可以对输入的句子进行依赖解析，并得到句子中词与词之间的依赖关系，以及每个词的词性标注结果(图5为依存句法分析结果展示)。为了后文更好的表述，将这一过程记为下式：

D_par(W)＝Dependency_Parsing(W) (4)

进一步的，所述步骤(3)具体实现过程如下：

3-1为了获取句子中与方面词有依赖关系的关键词，需要将句子依存句法分析结果D_par(W)以及已知的方面词T作为条件，同时构建一个集合key(初始为空)、两个属性集合DEP_PRE和DEP_MOD，两个属性集合里面均存储有用于判断词与类别的依赖属性值。

3-2对输入的句子进行分析：首先判断方面词中每个词的依赖属性值，是否含有“nsubj”、“dobj”或者“attr”依赖关系，如果有则说明方面词有直接作用于它的谓语，就将谓语词添加到集合key中，并进入子步骤a；否则说明句子成分不完整，并进入步骤4-3。

3-2对输入的句子进行分析：首先判断方面词中每个词的依赖属性值，是否含有“nsubj”(名词性主语)、“dobj”(直接宾语)或者“attr”(从属关系)等依赖关系(关于判断谓语的依赖关系会添加到谓语集合DEP_PRE)，如果有则说明方面词有直接作用于它的谓语，就将谓语词(一般为动词或系动词)添加到集合key中，并进入子步骤a、b；否则说明句子成分不完整，并进入步骤3-3。

a.首先判断当前集合中谓语词(即Key中的第一个词)的DEP属性值是否为“ROOT”或“conj”，若是则对其孩子和父亲结点中属性为“conj”(表示并列关系)或“ccomp”(表示从句补语关系)进行单独判断；若孩子或父亲结点的DEP属性值是“ROOT”或“conj”，则需要判断该结点是否为目标方面词的谓语，若是则将该谓语词加入集合key。接下来对新加入的谓语词进行同样的a操作，直到找到所有与目标方面词有直接依赖关系的谓语。

b.在搜寻到所有与方面词有关联的谓语词后，就需要对每个谓语词进行分析。对每个谓语词的孩子结点的DEP属性进行分析，若孩子结点中含有“prep”(介词修饰)、“acomp”(形容词补语)、“advmod”(副词修饰)、“amod”(形容词修饰)(关于这类修关系会添加到集合DEP_MOD)，则修饰谓语的孩子结点会加入到key集合中。并对新加入key集合的结点的孩子结点进行同样的DEP属性匹配操作，直到所有孩子结点的DEP属性不属于集合DEP_MOD或没有孩子结点停止。

3-3在经过步骤3-2对谓语部分的提取后，接下来要考虑直接作用或间接作用于目标方面词的关键词，即考虑目标方面词的父结点或孩子结点，它们的依赖属性DEP值为“neg”(否定修饰)、“advmod”(副词修饰)、“amod”(形容词修饰)、“prep”等修饰依赖关系的词(这里的属性很多都与DEP_MOD重合，所以这里匹配时也采用DEP_MOD中的属性)都加入到key集合中，如key集合中新加入的词的孩子结点也有这些依赖属性则继续重复该步骤3-3的操作，直到不存在这些属性或者孩子结点也不存在为止。

经过上述逐步运算后，与目标方面词关联性强的词结点都被存储在key集合中，集合DEP_PRE和DEP_MOD初始时会归纳了一部分属性值，且本发明也会根据分析的结果不断去更新和调整集合DEP_PRE和DEP_MOD的值。为了方便描述，本发明将获取key集合的过程过程归纳为表达式(3.3):

key＝Extract(D_par(W),DEP_PRE,DEP_MOD) (5)。

进一步的，所述步骤(4)具体实现过程如下：

5-1为了构建意见词分布向量，本发明提出了向量构建算法，其伪码如下所示：

代码解释：key为步骤(3)中提取到的关键词，W为输入的文本句，T为已标注的目标方面词。W_num为句子的长度，也就是其中词的个数。迭代的过程为，如果句中的第i个词属于集合key且不为方面词，则构建一个n维0向量，且将第i维置为1，并将它的转置加入到D_vec中；否则就将n为0向量加入其中。终止条件为迭代到W的最后一个词。

向量构建算法通过分析关键词集合key中每个词在句子W中准确位置，构造与上下文编码同等维度的向量v_i∈R^n×1，整个算法的复杂度为O(n)。同时将提取过程中提取到目标方面词排除，所以经过算法能够得到关键词分布向量D_vec＝{v₁,v₂,...v_n}∈R^n×n，其计算过程表达式为：

D_vec＝C_KDV(key,W,T) (6)

其中C_KDV表示是Algorithm 1 Construct keyword distribution vector，W为输入的文本句，T为方面词。

进一步的，所述步骤(5)具体实现过程如下：

5-1为了获得能够准确反映目前方面词的情感特征向量H_s，将句子隐层向量

和意见词分布向量D_vec＝{v₁,v₂,...v_n}∈R^d×n进行特征融合，其计算过程如下：

进一步的，所述步骤(6)具体实现过程如下：

6-1词将情感特征向量H_s映射到C类的方面情感空间(即情感标签的种类)中，最后得到方面词T的概率分布p∈R^c，其计算过程如下式：

其中softmax学习的权重矩阵W_z∈R^c×d，偏置项b_z∈R^c，c为上文提到过的标签的种类，d为上下文编码模块输出的词向量维度。

6-2训练时，本模型采用标准的梯度下降算法来更新参数，并使用交叉熵损失函数和L2正则化，其计算式如下：

其中D表示的数据集，

是标签符号(这里为了方便后续描述，将积极、消极和中性的标签分别用1,2,3表示)并且

表示的是p的第

个元素，θ表示所有可训练的参数，λ为L2正则化系数。

Claims (7)

1.一种基于句法关系和意见词分布的细粒度情感分析方法，其特征在于包括如下步骤：

步骤(1)根据输入的句子W构建初始化词嵌入向量Token Embedding和位置编码向量Position Embedding，并将其作为bert预训练模型的输入，训练后得到句子向量；

步骤(2)对句子W进行依存句法分析，获取到句中词与词的依赖关系；

步骤(3)根据已知的方面词和步骤(2)获取的依赖关系，对句子中与方面词有直接依赖关系的关键词进行提取，提取到的关键词存储到集合Key中；

步骤(4)根据集合Key中的关键词，构建意见词分布向量；

步骤(5)运用意见词分布向量对步骤(1)获得的句子向量进行特征变换，计算后得到情感特征向量；

步骤(6)将情感特征向量输入到分类器Softmax中，对目标方面词进行情感预测。

2.根据权利要求1所述的一种基于句法关系和意见词分布的细粒度情感分析方法，所述步骤(1)具体实现过程如下：

1-1构建bert预训练模型输入的Token Embedding，由于该方法使用bert的目的只是为了训练语言模型，并获得句子向量，所以输入构建为[CLS]+文本句+[SEP]的形式；在给定输入句子序列为W＝{w₁，w₂，...，w_n}，其中n表示句子长度，并构建初始化嵌入向量TokenEmbedding：

X＝([CLS]，w₁，w₂，...，w_n，[SEP]) (1)

1-2构建bert预训练模型输入的Position Embedding，为了获得句中每个词的顺序特征，这里与transformer不同，不采用正弦余弦的编码方式，而是随机初始化学习而来；其表达式为：

PE＝(E₀，E₁，...，E_n，...，E_n+1) (2)

其中，E₀，E₁，...，E_n+1分别表示公式(1)X中[CLS]，w₁，w₂，...，w_n和[SEP]的位置编码；X与PE对应，E₀是[CLS]对应的位置编码；w₁，w₂，...，w_n是E₁，...，E_n对应的位置编码；E_n+1是[SEP]对应的位置编码；

1-3构建好的Token Embedding和Position Embedding连接后输入到bert模型，并取[CLS]和[SEP]之间的特征向量作为文本句W的隐层特征向量，记为H₀∈R^d×n，其过程总结为下式：

H₀＝Bert(X；PE)＝{h₁，h₂，...h_n} (3)。

3.根据权利要求1所述的一种基于句法关系和意见词分布的细粒度情感分析方法，其特征在于所述步骤(2)具体实现过程如下：

依存句法分析Dependency Parsing能够对输入的句子进行依赖解析，并得到句子中词与词之间的依赖关系，以及每个词的词性标注结果；具体实现过程记为下式：

D_par(W)＝Dependency_Parsing(W) (4)。

4.根据权利要求3所述的一种基于句法关系和意见词分布的细粒度情感分析方法，其特征在于所述步骤(3)具体实现过程如下：

3-1为了获取句子中与方面词有依赖关系的关键词，需要将句子依存句法分析结果D_par(W)以及已知的方面词T作为条件，同时构建一个集合key、两个属性集合DEP_PRE和DEP_MOD，两个属性集合里面均存储有用于判断词与类别的依赖属性值；

3-2对输入的句子进行分析：首先判断方面词中每个词的依赖属性值，是否含有“nsubj”、“dobj”或者“attr”依赖关系，如果有则说明方面词有直接作用于它的谓语，就将该谓语词添加到集合key中，并进入子步骤a；否则说明句子成分不完整，并进入步骤3-3；

a.首先判断当前集合中谓语词的DEP属性值是否为“ROOT”或“conj”，若是则对其孩子和父亲结点中属性为“conj”或“ccomp”进行单独判断；若孩子或父亲结点的DEP属性值是“ROOT”或“conj”，则需要判断该结点是否为目标方面词的谓语，若是则将该谓语词加入集合key；接下来对新加入的谓语词进行同样的操作，直到找到所有与目标方面词有直接依赖关系的谓语；

b.在搜寻到所有与方面词有关联的谓语词后，需要对每个谓语词进行分析；对每个谓语词的孩子结点的DEP属性进行分析，若孩子结点中含有“prep”、“acomp”、“advmod”、“amod”，则修饰谓语的孩子结点会加入到key集合中；并对新加入key集合的结点的孩子结点进行同样的DEP属性匹配操作，直到所有孩子结点的DEP属性不属于集合DEP_MOD或没有孩子结点停止；

3-3经过步骤3-2对谓语部分的提取后，接下来要考虑直接作用或间接作用于目标方面词的关键词，即考虑目标方面词的父结点或孩子结点，将它们的依赖属性DEP值为“neg”、“advmod”、“amod”、“prep”的修饰依赖关系的词都加入到key集合中，如key集合中新加入的词的孩子结点也有这些依赖属性则继续重复该步骤3-3的操作，直到不存在这些属性或者孩子结点也不存在为止；

3-4.运算后，与目标方面词关联性强的词结点都被存储在key集合中，集合DEP_PRE和DEP_MOD初始时会归纳一部分属性值，且会根据分析的结果不断去更新和调整集合DEP_PRE和DEP_MOD的值；为了方便描述，将获取key集合的过程过程归纳为表达式(3.3)：

key＝Extract(D_par(W)，DEP_PRE，DEP_MOD) (5)。

5.根据权利要求4所述的一种基于句法关系和意见词分布的细粒度情感分析方法，所述步骤(4)具体实现过程如下：

4-1构建意见词分布向量，由向量构建算法实现；向量构建算法通过分析关键词集合key中每个词在句子W中准确位置，构造与上下文编码同等维度的向量v_i∈R^n×1，整个算法的复杂度为O(n)；同时将提取过程中提取到目标方面词排除，所以经过算法能够得到关键词分布向量D_vec＝{v₁，v₂，...v_n}∈R^n×n，其计算过程表达式为：

D_vec＝C_KDV(key，W，T) (6)

其中，C_KDV表示向量构建算法，W为输入的文本句，T为方面词。

6.根据权利要求5所述的一种基于句法关系和意见词分布的细粒度情感分析方法，所述步骤(5)具体实现过程如下：

5-1为了获得能够准确反映目前方面词的情感特征向量H_s，将句子隐层向量

和意见词分布向量D_vec＝{v₁，v₂，...v_n}∈R^d×n进行特征融合，其计算过程如下：

7.根据权利要求6所述的一种基于句法关系和意见词分布的细粒度情感分析方法，所述步骤(6)具体实现过程如下：

6-1将情感特征向量H_s映射到C类的方面情感空间中，最后得到方面词T的概率分布p∈R^c，其计算过程如下式：

其中softmax学习的权重矩阵W_z∈R^c×d，偏置项b_z∈R^c，c为上文提到过的标签的种类，d为上下文编码模块输出的词向量维度；

6-2训练时，采用标准的梯度下降算法来更新分类器Softmax和bert模型的参数，并使用交叉熵损失函数和L2正则化，其计算式如下：

其中D表示数据集，

是标签符号，将积极、消极和中性的标签分别用1，2，3表示；

表示的是p的第

个元素，θ表示所有可训练的参数，λ为L2正则化系数。

Images