CN110188200A - 一种使用社交上下文特征的深度微博情感分析方法 - Google Patents

Abstract

本发明属于自然语言处理领域，具体涉及一种使用社交上下文特征的深度微博情感分析方法。本发明方法包括以下步骤：1)采集微博数据并对其进行预处理。具体包括采集和预处理微博文本信息和发布微博的用户信息即社交上下文信息；2)使用一种深度学习方法对微博社交上下文信息进行表示，将每个微博表示成为连续分布的实数向量；3)建立一个基于长短期记忆网络的深度学习分类模型，结合微博文本特征和社交上下文特征对微博进行情感分析。本发明针对微博数据的特点，提取了微博文本之间的上下文信息，并对其进行表示，将其作为特征同文本信息一起进行微博文本情感分析，本发明方法能够提高微博情感分析的效果。

Description

一种使用社交上下文特征的深度微博情感分析方法

技术领域

本发明属于自然语言处理领域，具体涉及一种使用社交上下文特征的深度微博情感分析方法。

背景技术

情感分析又称意见挖掘，是指运用自动化的手段分析、处理、归纳和推理带主观色彩的文本的过程。随着Web2.0技术的发展，在线社交网络如新浪微博、Twitter等逐渐成为人们日常获取、传播信息和交流观点的平台。用户成为在线社交网络的中心，他们在社交网络平台上不受限制地发布大量带有对各种事件、话题有关观点看法的文本信息。这些用户生成的文本蕴含着巨大的价值，可以应用在突发事件发现、舆情控制等领域。情感分析作为一个自然语言处理领域的热门研究方向，可以为在线社交网络文本分析提供重要的技术手段。

社交网络中情感分析研究的一般方法是应用自2000年初开始研究的传统情感分析所使用的技术。然而，由于信息来源的演变，现有技术中可用的方法在这个充满挑战的社交网络环境中不能再有效地进行情感分析。事实上，社交网络情感分析除了传统情感分析和自然语言处理的众多问题外，还引入了更复杂的内容和新的信息来源，更复杂的内容包含短而噪音多的文本，性别，位置和年龄等元数据。

传统方法假设社交网络中的文本是独立同分布的，不符合在线社交网络数据的特征。在选择情感分类特征的时候，传统方法通常只选择微博中的文本特征，如单元组、双元组等，并没有考虑社交网络上提供的丰富的上下文信息。然而，这种假设并不适用于微博平台。微博平台是一种新型的社交媒体，除了基本的文本信息外，微博平台还提供了丰富的元数据，如用户资料，用户关系等。换句话说，由于元数据间存在发布、关注、喜欢等各种关系，微博数据之间也因此由微博平台提供的各种元数据等连接在一起，组成了一个关系多样、结构丰富的网络。这些元数据，通常称为微博文本的社交上下文信息。基于这个事实，仅使用文本内容作为分类特征对于微博情感分析是远远不够的。

发明内容

本发明的目的在于结合新涌现的社交网络的特征，提供一种不同于基于文本之间相互独立模型的新型的微博情感分析方法，即一种使用社交上下文特征的深度微博情感分析方法，该方法使用微博的社交上下文表示作为特征。

本发明的目的是这样实现的：

一种使用社交上下文特征的深度微博情感分析方法，包括以下步骤：

步骤1：采集微博数据并对其进行预处理，具体包括采集和预处理微博文本信息和发布微博的用户即社交上下文信息；

步骤2：使用一种深度学习方法对微博社交上下文信息进行表示，将每个微博表示成为连续分布的实数向量；

步骤3：建立一个基于长短期记忆网络的深度学习分类模型，结合微博文本特征和社交上下文特征对微博进行情感分析。

步骤2中对社交上下文关系图G(V,E)进行表示具体包括以下步骤：

步骤2.1：对社交上下文网络G(V,E)中的局部信息进行表示：

其中v_i和v_j是节点ν_i和ν_j的向量表示，w_ij表示节点ν_i和ν_j之间的权重；

步骤2.2：对社交上下文中的全局信息进行表示：

其中当ν_i表示网络节点时，v_i是其向量表示；当ν_i表示上下文时，v′_i是此时的向量表示；

步骤2.3：为了解决低效率的目标优化问题，引入负采样，使用异步随机梯度算法ASGD来优化，具体公式为：

在步骤3中，使用社交上下文表示作为特征对微博进行情感分析具体包括以下步骤：

步骤3.1：为了更好地利用微博社交上下文信息，通过连接社交上下文向量v与词语向量ω来作为编码器的输入，以这种方式，隐藏层输出表示(h₁,h₂,...,h_N)具有来自微博社交上下文的信息；

步骤3.2：计算基于长短期记忆网络的编码器的隐藏层输出：

f_t＝sigmoid(W_f·[h_t-1,ω_t,v_i]+b_f)

i_t＝sigmoid(W_i·[h_t-1,ω_t,v_i]+b_i)

o_t＝sigmoid(W_o·[h_t-1,ω_t,v_i]+b_o)

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_c·[h_t-1,ω_t]+b_c)

h_t＝o_t⊙tanh(C_t)

f_t，i_t，o_t分别是遗忘门，输入门和输出门，是权重矩阵，是每个门的偏差，ω_t表示当前词语的向量表示，C_t是细胞状态，h_t是隐藏的输出，⊙表示点乘，输入序列由最后的隐藏输出h_N表示，d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度，d为ω_t的维度；

步骤3.3：计算注意力机制产生注意力权重向量α和加权隐藏表示r：

α＝softmax(w^TM)

r＝Hα^T

其中，H是由前面步骤产生的由隐含层输出向量[h₁,...,h_N]组成的矩阵，N是输入微博的长度，和是权重矩阵，α∈R^N是由注意力权重组成的向量，表示带权重的微博表示，d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度，是向量v_i的N次连接，e_N是元素为N个1的列向量，表示线性转换v_i的重复次数和句子中的单词数目相同。

本发明的有益效果在于：

a.提出了一种在新兴社交网络上的新假设，即微博文本之间并不是相互独立的。这种新假设更加符合在线社交网络的实际情况，能够使模型更精确。

b.使用深度学习方法提取微博的社交上下文特征。用这种方法提取特征能够精确地表示社交上下文。

c.提出一种可以结合社会上下文特征和文本特征的、引入注意力机制的微博情感分析方法。在这个模型中，社交上下文特征可以既训练阶段又可用于预测阶段。该方法能够对微博进行更精确的表示，从而取得更好的情感分析结果。

附图说明

图1为本发明方法框架图；

图2为本发明社交上下文特征提取图。

具体实施方式

下面结合附图对本发明的实施过程作进一步详细的描述。

本发明结合新涌现的社交网络的特征，提供一种不同于基于文本之间相互独立模型的新型的微博情感分析方法，即一种使用社交上下文特征的深度微博情感分析方法，该方法使用微博的社交上下文表示作为特征。

一种使用社交上下文特征的深度微博情感分析方法，包括如下步骤：

(1)采集微博数据并对其进行预处理。

(1.1)先采用网络爬虫采集微博文本数据及其发布用户的关注关系，对采集的数据进行人工情感标注，以此作为数据集；

(1.2)对微博数据集进行分词处理，使用word2vec训练语料库，对微博文本进行向量化表示。给定第i个微博s＝{w₁,w₂,...,w_N}，w表示句子中的词语。首先执行查找操作以将微博中的所有词转换为词向量{ω₁,ω₂,...,ω_N}，其中N是微博的长度。

(1.3)根据社会学中的情感一致性理论，建立微博之间的情感一致性关系矩阵。根据用户发布微博的信息，建立微博之间的情感一致性关系矩阵A_sc：

A_sc＝U^T×U

其中，U为用户微博矩阵，其第i行第j列表示的是用户u_i发布了微博d_j。

(1.4)根据用户之间的关注信息，建立微博之间的情绪感染性关系矩阵A_ec：

A_ec＝U^T×F×U

其中，F表示用户之间直接关系的矩阵。表示发布t_i的用户是发布t_j的用户的朋友。

(1.5)构建微博社交上下文网络G(V,E)，其邻接矩阵为：

A＝A_sc+θA_ec

其中θ控制两个微博关系矩阵的权重。

(2)使用一种深度学习方法对微博社交上下文信息进行表示，将每个微博表示成为连续分布的实数向量。

(2.1)对社交上下文网络G(V,E)中的局部信息进行表示：

其中v_i和v_j是节点ν_i和ν_j的向量表示，w_ij表示节点ν_i和ν_j之间的权重。

(2.2)对社交上下文中的全局信息进行表示：

其中当ν_i表示网络节点时，v_i是其向量表示；当ν_i表示上下文时，v′_i是此时的向量表示。

(2.3)为了解决低效率的目标优化问题，中引入负采样。使用异步随机梯度算法ASGD来优化该方程。

如果边(ν_i,ν_j)被采样，则对应的梯度将被计算为：

(3)建立一个基于长短期记忆网络的深度学习分类模型，结合微博文本特征和社交上下文特征对微博进行情感分析。

(3.1)为了更好地利用微博社交上下文信息，通过连接社交上下文向量v与词语向量ω来作为编码器的输入。以这种方式，隐藏层输出表示(h₁,h₂,...,h_N)可以具有来自微博社交上下文的信息。

(3.2)计算基于长短期记忆网络的编码器的隐藏层输出：

f_t＝sigmoid(W_f·[h_t-1,ω_t,v_i]+b_f)

i_t＝sigmoid(W_i·[h_t-1,ω_t,v_i]+b_i)

o_t＝sigmoid(W_o·[h_t-1,ω_t,v_i]+b_o)

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_c·[h_t-1,ω_t]+b_c)

h_t＝o_t⊙tanh(C_t)

f_t，i_t，o_t分别是遗忘门，输入门和输出门。是权重矩阵，是每个门的偏差。ω_t表示当前词语的向量表示。C_t是细胞状态，h_t是隐藏的输出。⊙表示点乘。输入序列由最后的隐藏输出h_N表示。d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度，d为ω_t的维度。

(3.3)计算注意力机制产生注意力权重向量α和加权隐藏表示r：

α＝softmax(w^TM)

r＝Hα^T

其中，H是由前面步骤产生的由隐含层输出向量[h₁,...,h_N]组成的矩阵，N是输入微博的长度。和是权重矩阵，α∈R^N是由注意力权重组成的向量，表示带权重的微博表示，d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度。是向量v_i的N次连接。e_N是元素为N个1的列向量。表示线性转换v_i的重复次数和句子中的单词数目相同。

(3.4)对输入的词语序列进行最终表示：

h^*＝tanh(W_pr+W_xh_N)

其中，h^*，W_p和W_x是待学习的参数。

(3.5)添加一个线性层来将句子向量转换为e，它是一个长度等于分类数目|C|的实值向量。然后，softmax层将e转换为条件概率分布。

y＝softmax(W_se+b_s)

其中，W_s和b_s是softmax层的参数。

(3.6)通过随机梯度下降的反向传播来训练提出的模型，其中目标函数即损失函数是交叉熵损失函数，使用Adam算法来调整学习速率。

其中，i表示微博的索引，j是情感分类的索引。λ是L₂正则化的权重。θ是模型中的所有参数。y_i表示微博真实的情感标签，表示预测的微博情感标签。

本发明提出了一种在新兴社交网络上的新假设，即微博文本之间并不是相互独立的，这种新假设更加符合在线社交网络的实际情况，能够使模型更精确。使用深度学习方法提取微博的社交上下文特征，用这种方法提取特征能够精确地表示社交上下文。本发明提出一种可以结合社会上下文特征和文本特征的、引入注意力机制的微博情感分析方法，在这个模型中，社交上下文特征可以既训练阶段又可用于预测阶段，该方法能够对微博进行更精确的表示，从而取得更好的情感分析结果。

本发明涉及一种使用社交上下文特征的深度微博情感分析方法。方法主要包括以下步骤：采集微博数据并对其进行预处理，具体包括采集和预处理微博文本信息和发布微博的用户即社交上下文信息；使用一种深度学习方法对微博社交上下文信息进行表示，将每个微博表示成为连续分布的实数向量；建立一个基于长短期记忆网络的深度学习分类模型，结合微博文本特征和社交上下文特征对微博进行情感分析。本发明针对微博数据的特点，提取了微博文本之间的上下文信息，并对其进行表示，将其作为特征同文本信息一起进行微博文本情感分析。该方法能够提高微博情感分析的效果。

Claims (3)

1.一种使用社交上下文特征的深度微博情感分析方法，其特征在于，包括以下步骤：

步骤1：采集微博数据并对其进行预处理，具体包括采集和预处理微博文本信息和发布微博的用户即社交上下文信息；

步骤2：使用一种深度学习方法对微博社交上下文信息进行表示，将每个微博表示成为连续分布的实数向量；

步骤3：建立一个基于长短期记忆网络的深度学习分类模型，结合微博文本特征和社交上下文特征对微博进行情感分析。

2.根据权利要求1所述的一种使用社交上下文特征的深度微博情感分析方法，其特征在于，步骤2中对社交上下文关系图G(V,E)进行表示具体包括以下步骤：

步骤2.1：对社交上下文网络G(V,E)中的局部信息进行表示：

其中v_i和v_j是节点ν_i和ν_j的向量表示，w_ij表示节点ν_i和ν_j之间的权重；

步骤2.2：对社交上下文中的全局信息进行表示：

其中当ν_i表示网络节点时，v_i是其向量表示；当ν_i表示上下文时，v_i′是此时的向量表示；

步骤2.3：为了解决低效率的目标优化问题，引入负采样，使用异步随机梯度算法ASGD来优化，具体公式为：

3.根据权利要求1所述的一种使用社交上下文特征的深度微博情感分析方法，其特征在于，在步骤3中，使用社交上下文表示作为特征对微博进行情感分析具体包括以下步骤：

步骤3.1：为了更好地利用微博社交上下文信息，通过连接社交上下文向量v与词语向量ω来作为编码器的输入，以这种方式，隐藏层输出表示(h₁,h₂,...,h_N)具有来自微博社交上下文的信息；

步骤3.2：计算基于长短期记忆网络的编码器的隐藏层输出：

f_t＝sigmoid(W_f·[h_t-1,ω_t,v_i]+b_f)

i_t＝sigmoid(W_i·[h_t-1,ω_t,v_i]+b_i)

o_t＝sigmoid(W_o·[h_t-1,ω_t,v_i]+b_o)

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_c·[h_t-1,ω_t]+b_c)

h_t＝o_t⊙tanh(C_t)

f_t，i_t，o_t分别是遗忘门，输入门和输出门，W_f,W_i,是权重矩阵，b_f,b_I,是每个门的偏差，ω_t表示当前词语的向量表示，C_t是细胞状态，h_t是隐藏的输出，⊙表示点乘，输入序列由最后的隐藏输出h_N表示，d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度，d为ω_t的维度；

步骤3.3：计算注意力机制产生注意力权重向量α和加权隐藏表示r：

α＝softmax(w^TM)

r＝Hα^T

其中，H是由前面步骤产生的由隐含层输出向量[h₁,...,h_N]组成的矩阵，N是输入微博的长度，和是权重矩阵，α∈R^N是由注意力权重组成的向量，表示带权重的微博表示，d_v是社交上下文嵌入的维度，d_h表示隐藏层输出的维度，是向量v_i的N次连接，e_N是元素为N个1的列向量，表示线性转换v_i的重复次数和句子中的单词数目相同。