CN109992780A - 一种基于深度神经网络特定目标情感分类方法 - Google Patents

Abstract

本发明提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

Description

一种基于深度神经网络特定目标情感分类方法

技术领域

本发明涉及评论文本情感分类，尤其涉及一种基于深度神经网络特定目标情感分类方法，属于自然语言处理技术领域。

背景技术

情感分析方法主要有基于规则的方法、基于机器学习的方法和基于深度神经网络的方法。基于规则的方法通常需要构建情感词典或情感搭配模板，再通过比对评论文本中所包含的情感词或固定搭配来计算文本的情感倾向，但是构建比较完备的情感词典或相关的搭配规则是现在存在的主要问题。基于机器学习的方法主要将带有标签的训练语料进行特征提取和建模，从而用机器学习算法自动化地实现情感极性的判断；这类方法主要有支持向量机、朴素贝叶斯、最大信息熵、条件随机场等，但是，机器学习分类的效果往往取决于特征的选择，人工选择特征存在着很大的不确定性，而且这类方法在对语料建模时用到的函数一般比较简单，难以捕捉深层次的特征，建模能力和泛化能力都有很大的局限性。随着深度学习的发展以及语言表达方式的自由化和多元化，深度神经网络技术的优势逐渐凸显，成为了自然语言处理领域的主流技术，相比于基于规则的情感分析方法和基于机器学习的情感分析方法，深度神经网络的方法由于其模型与函数的复杂性，在面对当今复杂多变的语言现象时，可以捕捉更全面、更深层的文本特征，即对文本具有更好的理解能力，在情感分析领域也可以达到更好的效果。

LSTM神经网络模型又叫长短期记忆网络模型，是RNN模型的变体。LSTM解决了RNN模型在信息长距离传递时发生的信息消失或信息***问题，LSTM神经网络模型在RNN模型的基础上对神经网络节点加上多种门结构用来控制信息在不同时刻的流动。为了控制信息的流动，在LSTM神经网络的内部节点中专门设计了记忆单元，并通过门结构来控制信息的删除或增加，门是一种对信息进行选择通过的方法，LSTM神经网络的节点中有三种门结构来保护和控制节点的状态，这三种门分别是输入门、遗忘门和输出门。注意力机制来源于人脑关注事物的关键部分分配更多的注意力，注意力机制一开始被应用在视觉图像领域，后来才被应用到自然语言处理的任务中，并起到了比较好的效果，通过计算注意力概率分布，对关键性输入进行突出，从而对传统的模型起到优化作用。

特定目标情感分析作为情感分析一个重要的子任务，是更深层次的情感分析。和普通情感分析不同，特定目标情感极性的判别不仅依赖文本的上下文信息，同时还依赖特定目标的特征信息。例如句子“这家餐厅的食物非常好吃，但是价格很贵，但是服务挺贴心的”，对于目标“食物”的“味道”方面是积极情感，而对于目标“食物”的“价格”方面则是消极情感，对于目标“餐厅”的“服务”方面为积极情感。所以，就算是同一个句子，针对同一目标可能会出现完全相反的情感极性，不同的目标也会有不同的情感极性。但是大多数基于神经网络的文本情感分类模型对特定目标的特定方面的情感得不到正确的关注，分类效果比较差。实现更好地捕捉目标的真实语义，使得文本中语义信息更加丰富，提高了特定目标情感分类的准确度，是本发明的主要研究方向。

发明内容

本发明的目的针对现有技术的不足，本发明目的在于提供一种基于深度神经网络和目标注意力机制的特定目标情感分类方法，用于分析社交网络中的文本数据包含的特定目标、特定方面的情感色彩。

本发明可以采用如下***来实现：

一种基于深度神经网络特定目标情感分类方法，其特征在于：

步骤一、对中文情感分类数据集进行采集和文本预处理，并情感分类数据集划分为训练集和测试集；

步骤二、对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；

步骤三、将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h₁,h₂,…,h_n}；

步骤四、将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个h_i的正权重p_i，随后得到句子表示Z_S；

步骤五、根据生成的句子Z_S，用全连接层和softmax函数来判断特定目标的情感极性。

进一步地，所述所述文本预处理，具体为：：

预处理主要包括将标注感情极性的句子进行中文分词、去停用词、去除标点；随机选取数据集中的80％作为训练集，20％作为测试集。

进一步地，所述对预处理的数据集使用word2vec工具训练词向量模型包括：

word2vec模型训练完成之后，word2vec模型可用来映射每个词ω到一个连续特征向量e_ω∈R^d，其中d代表词向量的维度，最后生成词向量矩阵E∈R^v×d，其中V代表数据集中词汇量的大小。

进一步地，所述将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h₁,h₂,…,h_n}具体包括以下：

LSTM中的三个门，包括输入门、遗忘门和输出门。设x_t为LSTM神经网络某节点t时刻的输入、h_t为t时刻的输出，W_x为输入对应的权值，W_h为输出对应的权值，则LSTM神经网络模型通过门结构控制信息更新的流程分为以下几个步骤：

计算输入门t时刻的值i_t，输入门控制的是当前输入对记忆单元状态值的影响，计算方法如下

i_t＝sigmoid(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (1)

计算遗忘门t时刻的值f_t，遗忘门控制的是历史信息对记忆单元状态值的影响，计算方法如下：

f_t＝sigmoid(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (2)

计算当前时刻候选记忆单元的值并更新当前时刻记忆单元的值，计算方法如下：

c_t＝f_t·c_t-1+i_t·c_t (4)

最后计算t时刻的输出信息h_t，该信息由输出门决定，计算方法如下：

o_t＝sigmoid(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o) (5)

h_t＝o_t·tanh(c_t) (6)

所述将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，具体包括以下：

将训练集的词向量矩阵和特定目标的词向量矩阵进行如下计算：

其中代表Average返回输入向量的平均值。为特定目标的词向量矩阵，为训练集的词向量矩阵，c_S的作用为同时捕获目标信息和上下文信息。

计算全部k个特定方面嵌入上的权重向量q_t，公式如下：

q_t＝softmax(W_t·c_S+b_t) (8)

其中q_t表示全部k个特定方面嵌入上的权重向量，每个权重q_t表示特定目标属于相关方面的可能性，W_t和b_t分别表示权重矩阵和偏置向量。

计算特定目标的向量t_s，公式如下

t_s＝T·q_t (9)

其中t_s表示特定目标的向量，T表示特定方面的词向量矩阵，T∈R^K×d，其中K代表特定的方面数。

计算正权重p_i，公式如下：

其中W_a∈R^d×d是一个可训练的权重矩阵。

计算句子表示Z_S，公式如下：

每一个隐藏向量h_i对应一个正权重p_i，其中值p_i由目标注意力模型计算，p_i可以解释为在判断特定目标a的情感极性时，ω_i是模型正确关注的词的概率。Z_S代表用于情感分类的句子。

综上所述，本发明提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

本发明与现有技术相比具有以下有益效果：

本发明在长短期记忆网络的基础上，引入了目标注意力机制，用特定方面嵌入的加权求和来表示特定目标，使模型更好地捕获特定目标的真实语义，也使模型对特定目标和特定方面给与更多正确的关注，同时忽略或降低文本中次要信息的影响，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明情感分类模型训练的流程图；

图2是本发明LSTM内部结构图；

图3是本发明情感分类模型的总体架构。

具体实施方式

本发明给出了一种基于深度神经网络特定目标情感分类方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

本发明首先提供了一种基于深度神经网络特定目标情感分类方法，如图1所示，包括：

S101步骤1：中文情感分类数据集的采集和文本的预处理，并把数据集划分为训练集和测试集；

S102步骤2：对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；

S103步骤3：将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h₁,h₂,…,h_n}；

S104步骤4：将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个h_i的正权重p_i，随后得到句子Z_S；

S105步骤5：根据生成的句子Z_S，用全连接层和softmax函数来判断特定目标的情感极性。

在步骤1中预处理主要包括将标注感情极性的句子进行中文分词、去停用词、去除标点；随机选取数据集中的80％作为训练集，20％作为测试集。

在步骤2中word2vec模型训练完成之后，word2vec模型可用来映射每个词ω到一个连续特征向量e_ω∈R^d，其中d代表词向量的维度，最后生成词向量矩阵E∈R^v×d，其中V代表数据集中词汇量的大小。

在步骤3中LSTM中的三个门，如图2所示，包括输入门、遗忘门和输出门。设x_t为LSTM神经网络某节点t时刻的输入、h_t为t时刻的输出，W_x为输入对应的权值，W_h为输出对应的权值，则LSTM神经网络模型通过门结构控制信息更新的流程为首先计算输入门t时刻的值i_t，输入门控制的是当前输入对记忆单元状态值的影响，计算方法如下

i_t＝sigmoid(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (1)

然后计算遗忘门t时刻的值f_t，遗忘门控制的是历史信息对记忆单元状态值的影响，计算方法如下：

f_t＝sigmoid(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (2)

再计算当前时刻候选记忆单元的值并更新当前时刻记忆单元的值，计算方法如下：

c_t＝f_t·c_t-1+i_t·c_t (4)

最后计算t时刻的输出信息h_t，该信息由输出门决定，计算方法如下：

o_t＝sigmoid(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o) (5)

h_t＝o_t·tanh(c_t) (6)

在步骤4中首先将训练集的词向量矩阵和特定目标的词向量矩阵取平均值，如下式所示：

其中Average表示返回输入向量的平均值。为特定目标的词向量矩阵，为训练集的词向量矩阵，c_S的作用为同时捕获目标信息和上下文信息。

下一步将c_S放入softmax函数中计算全部k个特定方面嵌入上的权重向量q_t，公式如下：

q_t＝softmax(W_t·c_S+b_t) (8)

其中q_t表示全部k个特定方面嵌入上的权重向量，每个权重q_t表示特定目标属于相关方面的可能性，W_t和b_t分别表示权重矩阵和偏置向量。

将q_t与特定方面的词向量矩阵进行点乘，计算特定目标的向量t_s，公式如下

t_s＝T·q_t (9)

其中t_s表示特定目标的向量，T表示特定方面的词向量矩阵，T∈R^K×d，其中K代表特定的方面数，比V小得多。

下一步计算正权重p_i，公式如下：

其中W_a∈R^d×d是一个可训练的权重矩阵。

然后计算句子表示Z_S，公式如下：

每一个隐藏向量h_i对应一个正权重p_i，其中值p_i由目标注意力模型计算，p_i可以解释为在判断特定目标a的情感极性时，ω_i是模型正确关注的词的概率。Z_S代表用于情感分类的句子。

最后根据生成的句子Z_S，用全连接层和softmax函数来判断特定目标的情感极性，具体的计算流程如图3所示。

综上所述，本发明提供一种基于深度神经网络特定目标情感分类方法。属于自然语言处理的文本情感分类领域。首先对数据集进行中文分词、去除停用词、去除标点的操作，接着采用word2vec算法对处理后的语料进行训练来得到相应的词向量，然后，将训练集输入到基于目标注意力机制的长短期记忆网络模型结构中,在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，使模型对特定目标和特定方面给与更多正确的关注，实现更好地捕捉目标的真实语义，最终提高了特定目标情感分类的准确度。

以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于深度神经网络特定目标情感分类方法，其特征在于，包括以下步骤：

步骤一、对中文情感分类数据集进行采集和文本预处理，并情感分类数据集划分为训练集和测试集；

步骤二、对预处理的数据集使用word2vec工具训练词向量模型并将数据集中的文本映射为词向量集合；

步骤三、将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h₁,h₂,…,h_n}；

步骤四、将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，得到每个h_i的正权重p_i，随后得到句子表示Z_S；

步骤五、根据生成的句子Z_S，用全连接层和softmax函数来判断特定目标的情感极性。

2.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述文本预处理，具体为：将标注感情极性的句子进行中文分词、去停用词、去除标点；随机选取数据集中的80％作为训练集，20％作为测试集。

3.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述对预处理的数据集使用word2vec工具训练词向量模型包括：

word2vec模型训练完成之后，word2vec模型用来映射每个词ω到一个连续特征向量e_ω∈R^d，其中d代表词向量的维度，最后生成词向量矩阵E∈R^v×d，其中V代表数据集中词汇量的大小。

4.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述将训练集的词向量集合输入到LSTM中，利用具有可训练参数的LSTM中的三个门来丢弃或传递信息，并输出一系列隐藏向量h＝{h₁,h₂,…,h_n}具体包括以下：

LSTM中的三个门，包括输入门、遗忘门和输出门；设x_t为LSTM神经网络某节点t时刻的输入、h_t为t时刻的输出，W_x为输入对应的权值，W_h为输出对应的权值，则LSTM神经网络模型通过门结构控制信息更新的流程分为四个步骤：

(4.1)计算输入门t时刻的值i_t，输入门控制的是当前输入对记忆单元状态值的影响，计算方法如下

i_t＝sigmoid(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (1)

(4.2)计算遗忘门t时刻的值f_t，遗忘门控制的是历史信息对记忆单元状态值的影响，计算方法如下：

f_t＝sigmoid(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (2)

(4.3)计算当前时刻候选记忆单元的值并更新当前时刻记忆单元的值，计算方法如下：

c_t＝f_t·c_t-1+i_t·c_t (4)

(4.4)最后计算t时刻的输出信息h_t，该信息由输出门决定，计算方法如下：

o_t＝sigmoid(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o) (5)

h_t＝o_t·tanh(c_t) (6) 。

5.根据权利要求1所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：所述将训练集的词向量矩阵、特定目标的词向量矩阵和特定方面的词向量矩阵放入目标注意力机制中，具体包括以下：

(5.1)将训练集的词向量矩阵和特定目标的词向量矩阵进行如下计算：

其中Average代表返回输入向量的平均值，为特定目标的词向量矩阵，为训练集的词向量矩阵，c_S的作用为同时捕获目标信息和上下文信息；

(5.2)计算全部k个特定方面嵌入上的权重向量q_t，公式如下：

q_t＝softmax(W_t·c_S+b_t) (8)

其中q_t表示全部k个特定方面嵌入上的权重向量，每个权重q_t表示特定目标属于相关方面的可能性，W_t和b_t分别表示权重矩阵和偏置向量

(5.3)计算特定目标的向量t_s，公式如下

t_s＝T·q_t (9)

其中t_s特定目标的向量，T表示特定方面的词向量矩阵，T∈R^K×d，其中K代表特定的方面数；

(5.4)计算正权重p_i，公式如下：

其中W_a∈R^d×d是一个可训练的权重矩阵；

(5.5)计算句子表示Z_S，公式如下：

每一个隐藏向量h_i对应一个正权重p_i，其中值p_i由目标注意力模型计算，p_i可以解释为在判断特定目标a的情感极性时，ω_i是模型正确关注的词的概率。Z_S代表用于情感分类的句子。

6.根据权利要求5所述的一种基于深度神经网络特定目标情感分类方法，其特征在于：在实现注意力权重训练的过程中，将特定目标和特定方面嵌入进去，用特定方面嵌入的加权求和来表示特定目标，最终提高了特定目标情感分类的准确度。