CN115510230A - 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 - Google Patents

Abstract

一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，对蒙古情感语料进行预处理，将预处理后的蒙古语情感语料进行多维特征表示，然后进行多维特征注意力融合得到融合特征矩阵F；从F中抽取出主题词库，经过CNN模型训练得到主题特征向量S；将F与S输入到TBGRU模型中获取文本语义信息R；将R与S的共同语义特征进行注意力融合；根据融合结果，使用比较增强学习机制获取文本情感分类信息。本发明能够实现对蒙古语文本的精确情感分析。

Description

一种基于多维特征融合与比较增强学习机制的蒙古语情感分 析方法

技术领域

本发明属于人工智能技术领域，涉及自然语言处理的情感分析，特别涉及一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法。

背景技术

情感分析作为自然语言处理领域和计算机语言学的一项基础任务，旨在判断出文本所表达的情感倾向。情感分析技术主要对篇章级、句子级和方面级三种粒度的文本进行分析，将整篇文章作为研究对象的分析方法比较粗糙，只能判断出文章所表达的整体情感倾向是积极或消极。以句子为单位的情感分析方法能识别出句子所表达的整体情感，但无法对句子中包含的目标词进行情感极性判断。方面级情感分析是一种细粒度级的情感分析，旨在分析句子中特定实体或属性的情感倾向。在以往的研究中，整个段落或者句子中包含的文本信息较多，但它的情感极性比较单一，只能得到正面或负面的情感倾向，这并不能准确地分析出评论者对于某个实体的情感态度。文本情感极性的判别不仅取决于句子中的文本信息，还与文本中特定方面的表达密切相关。由此可见，一个句子中不同方面词会对文本情感极性判断产生不同的影响。对于大多数文本内容来说，只给出一个笼统的情感倾向是没有意义的，都需要得到更细致的分析结果，这样有利于全面了解评论信息，从而做出更正确的选择。

随着深度学习在自然语言处理领域展现的独特优势，许多研究人员提出了基于循环神经网络(RNN)的方面情感分析模型，但单循环神经网络无法捕捉句中方面词与关键信息间的关联性，于是许多研究人员致力于引入注意力机制来解决。Wang等在长短期记忆网络(LSTM)的隐藏层结合注意力机制，拼接语义向量与方面向量提取情感特征。Tang等人将文本词向量构造为外部记忆进行注意力学习，通过多层注意力的迭代计算得到方面的情感特征。Zhang等人使用卷积和循环神经网络模型实现短文本的情感分类任务，利用卷积神经网络生成粗粒度级特征表示，用长短期记忆网络学习词语长距离依赖信息。这些研究虽然都将RNN和CNN进行各种优势组合，但是由于输入训练模型的文本特征简单，导致提取出来的文本语义信息不足，特别对隐式情感的情感分类准确率不高。

蒙古语是我国内蒙古自治区蒙古族的民族语言。作为蒙古族人民之间交流的主要用语，蒙古语对内蒙古自治区在政治、经济、文化和社会领域的发展都发挥着重要的作用。但是由于有关蒙古语的情感分析研究起步较晚以及蒙古语自身词法形态变化相比较英、汉等语言语法复杂且蒙古语语料库相对匮乏等原因。因此，基于蒙古语的情感分析研究是十分有必要的。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，将词向量与词性特征、位置特征、句法依存特征进行注意力多特征融合，抽取出主题词库，然后将融合特征输入到改进的TBGRU模型中获取语义信息，再与主题词库结合进行注意力特征融合语义特征信息，最后使用比较增强机制获取文本方面级情感分类信息。

为了实现上述目的，本发明采用的技术方案是：

一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，包括如下步骤：

步骤1，对蒙古情感语料进行预处理，将预处理后的蒙古语情感语料进行多维特征表示，然后进行多维特征注意力融合得到融合特征矩阵F；

步骤2，从所述融合特征矩阵F中抽取出主题词库，经过CNN模型训练得到主题特征向量；

步骤3，将所述融合特征矩阵F与所述主题特征向量输入到TBGRU模型中获取文本语义信息；

步骤4，将TBGRU模型的输出结果与所述主题特征向量的共同语义特征进行注意力融合；

步骤5，根据融合结果，使用比较增强学习机制获取文本情感分类信息。

与现有技术相比，本发明的有益效果是：

首先，本发明改善了以往文本特征提取不全面的问题，提出了多维特征表示法，能够更加充分的提取文本特征。其次，本发明对RNN与CNN模型进行了改进结合，对主题特征提取嵌入，能够更充分的提取文本语义信息，对隐式主题方面分类也更加精确。再次，本发明在分类时引入了比较增强学习机制，与以往的分类方法相比，通使用比较增强学习机制进行分类能够替代大量的复杂计算。

附图说明

图1是本发明整体流程示意图。

图2是多维特征融合框架图

图3是TBGRU模型图。

图4是比较增强学习机制模型结构图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，该方法主要分三部分。第一部分是多维特征表示，该部分首先是对词向量进行多维特征表示，再进行多维特征注意力融合，得到多维的融合特征矩阵。第二部分是模型训练，模型训练方法是先从融合特征矩阵中提取主题特征向量，然后将主题特征向量和融合特征矩阵输入到TBGRU模型中训练得到文本语义信息。第三部分是特征融合情感分类，在模型训练阶段已经在TBGRU模型中获取到了文本语义信息，使用注意力语义特征融合方法将主题特征向量、文本语义信息进行注意力融合，根据融合结果得到方面级情感分类的结果。

如图1所示，本发明的方法具体包括如下步骤：

步骤1，对蒙古情感语料进行预处理，将预处理后的蒙古语情感预料进行多维特征表示，然后进行多维特征注意力融合得到融合特征矩阵F。

本发明的预处理，是先对蒙古语情感语料进行数据清洗操作，然后进行分词操作。对于分词操作，按照每个蒙古语单词为最小单元分开。以“这款产品的音质较差，但电池寿命很好”为例，其对应的蒙古语表示为

分词后的结果为

然后对文本进行多维特征表示，该方法首先是对词向量进行多维特征表示，再进行多维特征注意力融合，得到多维特征融合词向量。具体步骤如下：

步骤1.1，多维特征表示。

文本语料中情感词的词性、词与词的位置关系以及句法依存关系是非常重要的，如示例

(这款产品的音质较差，但电池寿命很好)中，虽然前半句话中

(音质)的极性为负，但是后半句话中

(电池寿命)的极性为正。所以，如图2所示，将文本语料中情感词的词性、词与词的位置关系以及句法依存关系特征加入词向量中，可以从多维度层面挖掘出文本语义隐含的更深层次上的信息。

设句子中第t个单词的词向量为e_t，同时将第t个单词对应的词性特征向量、位置特征向量和句法依存特征向量分别设为s_t、t_t、q_t，将句子中的单词拼接在一起，每个特征向量矩阵表示的具体方法如下公式所示：

其中，a表示句子的长度，1≤t≤a，c、d、b和k分别表示词向量矩阵、词性特征向量矩阵、位置特征向量矩阵和句法依存特征向量矩阵的维度，P^c、P^d、P^b和P^k分别表示该句子的词、词性、位置和句法依存特征向量拼接矩阵，

表示向量拼接操作，进行多维特征表示之后输出的矩阵为y，y＝P^c+P^d+P^b+P^k。

步骤1.2，多维特征注意力融合。

在得到句子的多维特征表示后，如果只是简单的特征拼接，例如：

P^c+d＝P^c+P^d，这会很难充分的考虑到每个特征之间的差异性，并且拼接后的矩阵增大了向量维度，给模型训练造成一定的压力。如图2所示，本发明使用注意力机制关注对象的特征信息，能够发现文本句子中贡献度较大的单词，更好地捕捉文本上下文的语义相关信息。多维特征注意力融合的计算方法如下所示：

M(y_i)＝tanh(Wy_i+b)

其中，tanh表示激活函数，y_i表示矩阵y中的第i个向量，M(y_i)表示向量y_i对应特征的权重，W表示权重矩阵，b表示偏置矩阵，β_i表示M(y_i)经过SoftMax的输出，f_i表示第i个单词的融合特征向量。n表示矩阵y中向量的个数。将所有的特征通过注意力特征融合后得到融合特征矩阵F＝[f₁，f₂，...，f_i，...，f_n]。

步骤2，从融合特征矩阵F中先抽取出主题词库，如

(音质)

(电池寿命)就属于主题词，经过CNN模型训练得到主题特征向量。

本发明在融合特征矩阵F的基础上，将主题词嵌入到模型中。具体地，在融合特征矩阵F中，选用SS-LDA，将一个句子中出现的多个方面主题均提取出来，组成主题词库s＝[s₁、s₂、...、s_i、...、s_m]，其中，s_i表示第i个主题词，m表示主题词的个数。在示例

(这款产品的音质较差，但电池寿命很好)中有三个主题词

和

在主题词库嵌入过程中，主题词库s可能会是一个或多个词组成的，先对主题词库s进行卷积操作，将主题词库s输入到CNN模型中，通过卷积和池化操作提取主题特征u，公式如下所示：

u＝f_relu(s*W_u+b_u)

其中，f_relu表示激活函数，W_u是c*m的卷积核，b_u是偏置值。

采用最大池化方法对主题特征u进行采样，得到主题特征向量S＝[S₁、S₂、...、S_i、...、S_M]，其中，S_i表示采样后得到的第i个主题特征，M表示经过采样后得到的主题特征的个数。在示例

(这款产品的音质较差，但电池寿命很好)中最后留下的主题特征就是

和

步骤3，将融合特征矩阵F与主题特征向量S输入到TBGRU模型中获取文本语义信息。

TBGRU模型是在GRU模型基础上嵌入了主题特征向量，如图3所示，将融合特征矩阵F输入到TBGRU模型中，同时将主题特征向量嵌入到TBGRU模型中进行模型训练，在模型训练过程中添加注意力进行权值分配，得到文本语义信息表示。

TBGRU模型工作流程如下：

输入：多维融合特征矩阵F和主题特征向量S。

输出：文本语义信息表示R。

(1)将F输入到TBGRU模型中，使用双向GRU对传入的F进行编码，输入的每个单词隐藏状态h_i由前向隐藏状态和后向隐藏状态连接表示，获取以h_i为中心的整个句子的上下文信息。

(2)将S嵌入到TBGRU模型中，使用MLP计算h_i的投影v_i，计算v_i和S_i的点积生成每个主题特征向量对应于融合特征向量位置信息的嵌入权值β_i，最终输出主题嵌入p_i，计算方法如下公式所示。

v_i＝tanh(W_ah_i)

β_i＝softmax(v_iS_i)

其中，W_a表示权重矩阵，

表示为标量和向量的乘积。

(3)将p_i嵌入双向GRU公式中，将原始双向GRU公式更改为如下公式所示。

q_i＝σ(W_qf_i+U_qh_i-1+V_qp_i-1)

z_i＝σ(W_zf_i+U_zh_i-1+V_zp_i-1)

其中，σ(·)表示sigmoid函数，W_q、W_z、W_h、U_q、U_z、U_h、V_q、V_z、V_h都为权重矩阵，是通过模型学习的网络参数，区别在于维度不同。⊙表示向量间的乘积，q_i表示重置门，z_i表示更新门，h_i表示前一个隐藏状态h_i-1和当前候选状态

之间插值的隐藏状态，主题嵌入p_i代表的是当前的主题嵌入状态，p_i-1表示当前状态的前一个主题嵌入状态。

(4)引入注意力机制对词向量进行权值分配，计算方法如下公式所示。

r_i＝tanh(W_rh_i+b_e)

α_i＝softmax(r_iV_r)

其中，α_i表示h_i的注意力权重值，R表示权重分配后的文本语义表示。W_r，b_r是训练中需要学习的参数，V_r是权重矩阵，N是隐藏状态矩阵h中向量的个数，r_i表示经过激活函数进行输出的向量。

步骤4，将TBGRU模型的输出结果与主题特征向量的共同语义特征进行注意力融合。

首先使用余弦相似度分别计算S和R之间的相似性，也即计算S_i和权重分配后的第i个文本语义表示R_i之间的相似性，相似性高的特征给予更高的权重，相似性低的给予低的权重，即按照相似性从高到低将相应特征赋予从高到低的权重。使用SoftMax函数将得到的相似度权重进行标准化求和得到注意力权重γ_i。最后将γ_i和R_i加权运算得到第i个词的语义融合特征向量μ_i，计算方法如下公式所示：

f(S_i,R_i)＝cos(S_i,R_i)

μ＝[μ₁,μ₂,...,μ_M]

其中，f(S_i,R_i)表示用余弦函数求S_i和R_i间的相似度，μ表示语义融合特征矩阵。

步骤5，根据融合结果，使用比较增强学习机制获取文本情感分类信息。

比较增强学习机制通过与样本的比较，对各个μ_i评分，方法如下：

从标记的训练数据中采用随机方法选取数量相等的积极样本和消极样本，然后生成这些样本相应的句子向量，如图4所示。以隐层神经网络为相似函数得到分类的相似性得分。神经网络的输入是将语义融合特征向量μ和所有样本向量的拼接。输出层大小为1，隐藏层V为句子向量的长度。相似评分Score计算如下：

Score＝W₂(W₁Concat(sample,μ)+s₁)+s₂

神经网络用两个线性变换和偏置表示，参数分别为W₁、s₁、W₂、s₂，其中Sample表示样本向量。在示例在实例

(这款产品的音质较差，但电池寿命很好)中，最终就会得到

的极性为负，

的极性为正。

Claims (8)

1.一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，包括如下步骤：

步骤1，对蒙古情感语料进行预处理，将预处理后的蒙古语情感语料进行多维特征表示，然后进行多维特征注意力融合得到融合特征矩阵F；

步骤2，从所述融合特征矩阵F中抽取出主题词库，经过CNN模型训练得到主题特征向量；

步骤3，将所述融合特征矩阵F与所述主题特征向量输入到TBGRU模型中获取文本语义信息；

步骤4，将TBGRU模型的输出结果与所述主题特征向量的共同语义特征进行注意力融合；

步骤5，根据融合结果，使用比较增强学习机制获取文本情感分类信息。

2.根据权利要求1所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤1，预处理包括：

数据清洗和分词。

3.根据权利要求1所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述多维特征表示，是将语料中情感词的词性、词与词的位置关系以及句法依存关系特征加入词向量中，以从多维度层面挖掘出文本语义隐含的更深层次的信息；

设句子中第t个单词的词向量为e_t，同时将第t个单词对应的词性特征向量、位置特征向量和句法依存特征向量分别设为s_t、t_t、q_t，将句子中的单词拼接在一起，每个特征向量矩阵表示的具体方法如下公式所示：

其中，a表示句子的长度，1≤t≤a，c、d、b和k分别表示词向量矩阵、词性特征向量矩阵、位置特征向量矩阵和句法依存特征向量矩阵的维度，P^c、P^d、P^b和P^k分别表示该句子的词、词性、位置和句法依存特征向量拼接矩阵，

表示向量拼接操作，进行多维特征表示之后输出的矩阵为y，y＝P^c+P^d+P^b+P^k；

所述多维特征注意力融合，计算方法如下所示：

M(y_i)＝tanh(Wy_i+b)

其中，tanh表示激活函数，y_i表示矩阵y中的第i个向量，M(y_i)表示向量y_i对应特征的权重，W表示权重矩阵，b表示偏置矩阵，β_i表示M(y_i)经过SoftMax的输出，f_i表示第i个单词的融合特征向量；n表示矩阵y中向量的个数；融合特征矩阵F表示为F＝[f₁，f₂，...，f_i，...，f_n]。

4.根据权利要求3所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤2，在融合特征矩阵F中，选用SS-LDA，将一个句子中出现的多个方面主题均提取出来，组成主题词库s＝[s₁、s₂、...、s_i、...、s_m]，其中，s_i表示第i个主题词，m表示主题词的个数；将主题词库s输入到CNN模型中，通过卷积和池化操作提取主题特征u，公式如下所示：

u＝f_relu(s*W_u+b_u)

其中，f_relu表示激活函数，W_u是c*m的卷积核，b_u是偏置值；

采用最大池化方法对主题特征u进行采样，得到主题特征向量S＝[S₁、S₂、...、S_i、...、S_M]，其中，S_i表示采样后得到的第i个主题特征，M表示经过采样后得到的主题特征的个数。

5.根据权利要求4所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤3，TBGRU模型是在GRU模型基础上嵌入了主题特征向量，将融合特征矩阵F输入到所述TBGRU模型中，同时将主题特征向量嵌入到TBGRU模型中进行模型训练，在模型训练过程中添加注意力进行权值分配，得到文本语义信息表示。

6.根据权利要求5所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤3的流程如下：

(1)将融合特征矩阵F输入到TBGRU模型中，使用双向GRU对融合特征矩阵F进行编码，输入的每个单词隐藏状态h_i由前向隐藏状态和后向隐藏状态连接表示，获取以h_i为中心的整个句子的上下文信息；

(2)将主题特征向量S嵌入到TBGRU模型中，使用MLP计算h_i的投影v_i，计算v_i和S_i的点积生成主题特征向量对应于融合特征向量位置信息的嵌入权值β_i，最终输出主题嵌入p_i，计算方法如下公式所示：

v_i＝tanh(W_ah_i)

β_i＝softmax(v_iS_i)

其中，W_a表示权重矩阵，

表示为标量和向量的乘积；

(3)将p_i嵌入双向GRU公式中，将原始双向GRU公式更改为如下公式所示：

q_i＝σ(W_qf_i+U_qh_i-1+V_qp_i-1)

z_i＝σ(W_zf_i+U_zh_i-1+V_zp_i-1)

其中，σ(·)表示sigmoid函数，W_q、W_z、W_h、U_q、U_z、U_h、V_q、V_z、V_h均为权重矩阵，是通过模型学习的网络参数，区别在于维度不同；

⊙表示向量间的乘积，q_i表示重置门，z_i表示更新门，h_i表示前一个隐藏状态h_i-1和当前候选状态

之间插值的隐藏状态；其中p_i代表的是当前的主题嵌入状态，p_i-1表示当前状态的前一个主题嵌入状态；

(4)引入注意力机制对词向量进行权值分配，计算方法如下公式所示。

r_i＝tanh(W_rh_i+b_r)

α_i＝softmax(r_iV_r)

其中，α_i表示h_i的注意力权重值，R表示权重分配后的文本语义表示；W_r，b_r是训练中需要学习的参数，V_r是权重矩阵，N是隐藏状态矩阵h中向量的个数，r_i表示经过激活函数进行输出的向量。

7.根据权利要求5所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤4，首先使用余弦相似度计算S_i和权重分配后的第i个文本语义表示R_i之间的相似性，按照相似性从高到低将相应特征赋予从高到低的权重，然后将得到的相似度权重进行标准化求和得到注意力权重γ_i，最后将γ_i和R_i加权运算得到第i个词的语义融合特征向量μ_i，计算方法如下公式所示：

f(S_i,R_i)＝cos(S_i,R_i)

μ＝[μ₁,μ₂,...,μ_M]

其中，f(S_i,R_i)表示用余弦函数求S_i和R_i间的相似度，μ表示语义融合特征矩阵。

8.根据权利要求7所述基于多维特征融合与比较增强学习机制的蒙古语情感分析方法，其特征在于，所述步骤5，比较增强学习机制通过与样本的比较，对μ_i评分，方法如下：

从标记的训练数据中采用随机方法选取数量相等的积极样本和消极样本，然后生成这些样本相应的句子向量；以隐层神经网络为相似函数得到分类的相似性得分，神经网络的输入是μ和所有样本向量的拼接；输出层大小为1，隐藏层V为句子向量的长度，相似评分Score计算如下：

Score＝W₂(W₁Concat(sample,μ)+g₁)+g₂

神经网络用两个线性变换和偏置表示，参数分别为W₁、g₁、W₂、g₂，其中，Sample表示样本总向量。

Images