CN112069320B - 一种基于跨度的细粒度情感分析方法 - Google Patents
一种基于跨度的细粒度情感分析方法 Download PDFInfo
- Publication number
- CN112069320B CN112069320B CN202010945633.5A CN202010945633A CN112069320B CN 112069320 B CN112069320 B CN 112069320B CN 202010945633 A CN202010945633 A CN 202010945633A CN 112069320 B CN112069320 B CN 112069320B
- Authority
- CN
- China
- Prior art keywords
- emotion
- span
- score
- sentence
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于跨度的细粒度情感分析方法,涉及情感分析技术领域。本发明通过选择情感分析的数据集,建立基于方面的情感分析模型,通过损失函数和训练数据集来训练基于方面的情感分析模型,将待进行情感分析的测试数据集通过训练好的基于方面的情感分析模型,实现文本的情感分析。本发明提出的网络模型来提取方面和对应的情感极性,该模型为情感分析任务构建一种简单有效的提取句子方面及相应情感极性的联合模型。该模型使用BERT作为词嵌入,然后使用循环控制单元来提取每个子任务的表示,以及使用交互层来考虑它们之间的关系,最后进行方面项提取和情感分析。
Description
技术领域
本发明涉及情感分析技术领域,尤其涉及一种基于跨度的细粒度情感分析方法。
背景技术
随着互联网时代的发展,以网络平台为依托的社交成为人们生活中不可或缺的一部分。用户不再满足于单方面的获取信息,而是踊跃的创造信息。越来越多的用户热衷于在网络上发表自己的情感、观点和态度,例如在电影网站上分享某个电影的观影感受、在社交网络上发表自己对某件事情的看法、在购物网站上发表对于某件商品的评价等等。而针对大量的评论数据,人们很难从中快速抽取出对自己有效的信息。所以,情感分析(Sentimentanalysis)应运而生。情感分析又称为意见挖掘、主观性分析等,就是将主观态度挖掘出来的一个过程。由于在网络上产生的大量数据都是以文本的形式存在的,所以基于文本的情感分析是至关重要的。
情感分析已经应用于舆情监测、意见搜索、商业决策、信息预测、情绪管理、股票市场等各个领域中,并且很多互联网企业也推出自主研发的情感分析工具。目前,百度在其开放平台推出了情感分析应用。此应用能够对中文的文本判断情感极性并且给出相应的置信度,这为口碑分析、舆情分析等提供了一定的技术支持。高效的情感分析可以为用户提供更加精准的分析结果,为用户和带来极大的便利。所以,情感分析不仅为生活带来极大的便利,也具有较高的商业价值。
情感分析可以分为三个层次粒度:文档级别(document-level)、句子级别(sentence-level)和方面级别(aspect-level)。文档级别的情感分析是为含有一个意见的文档确定一个整体的情感极性。句子级别的情感分析是为一个句子确定一个情感极性。与文档级别和句子级别的情感分类不同的是,方面级别的情感分析既要考虑句子的内容,又考虑句子的目标信息,因为情感总是有目标的。方面级别的情感分析是一种细粒度的任务,包含方面项提取(ATE)和方面情感分类(ASC)这两项子任务。基于方面的情感分析的目标是提取句子的各个方面并且判断每个方面的情感极性。输入的句子可以是商品评论,社交网络评论等带有方面的句子。例如在句子“食物出奇的好吃,餐厅的装饰也很不错”中,“食物”和“装饰”就是句子的提到的两个方面。在这个句子中它们的情感极性都是积极的。
通常情况下,研究人员是分别对方面情感分析的两项基本的子任务进行研究。第一个子任务是意见方面项提取,它的目的是检测文本中提到的方面。研究人员在意见方面项提取的子任务上已经做了很多工作。第二个子任务是方面情感分类,它可以预测给定的意见方面的情感极性。近年来,该子任务也得到了广泛关注。通常情况下,研究人员对这些子任务进行单独的研究,但它们在实际应用中都是***的有机组成部分,方面情感分类的实现是基于方面项提取中获取的方面项。因此,这两个子任务的分离将限制实际应用。
近年来,一些研究将方面项提取和方面情感分类对待为序列标记的任务来解决。这些研究为完成ABSA任务设计了一个统一的标记方案:{B,I,E,S}-{+,-,0}和标签O。{BIES}表示序列标签,{+,-,0}表示情感标签。也有一些研究使用{BIO}等更简单的序列标签。根据定义的标记,完整的方面情感分析任务转换为序列标记问题,并在相同的网络体系结构下使用管道模型、联合模型或折叠模型来解决。并且一个标记按顺序分配给输入语句中的每个单词。然而,基于序列标记的方面提取和情感分类的方法存在一些不足。在使用BIO标签进行抽取问题回答任务时,由于标签的组合性,模型必须考虑一个巨大的搜索空间,因此效率较低。当方面由多个单词组成时,现有的方法分别预测单词的标签,这样无法利用全局信息,导致方面项提取错误。并且分别预测单词标签,可能导致不同单词学习到的对某一方面的情感信息不同,无法保证方面的情感一致性。
发明内容
针对上述现有技术的不足,本发明提供一种基于跨度的细粒度情感分析方法,联合解决方面提取和方面情感分析这两项子任务,对文本实现方面级别的情感分析。
为解决上述技术问题,本发明所采取的技术方案是一种基于跨度的细粒度情感分析方法,包括以下步骤:
步骤1、选择待进行情感分析的数据集,给定一个输入的句子s={w1,w2,...,wn},其中wn为词,n为句子的长度;
步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC;
所述基于跨度的方面情感分析模型S-AESC包括嵌入层,双GRU层,交互层,跨度提取和注意力机制分类;
所述嵌入层使用BERT作为嵌入层,将句子s={w1,w2,...,wn}的开头和结尾分别连接[CLS]和[SEP]标记,其中句子的长度为n,使用词表将连接之后的句子转化成向量{e1,...ei,...,en},其中ei是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量,i∈[1,n];在层数为L层的Transformer中表示在第l层的计算如公式(1)所示:
Xl=Transformer(Xl-1),l∈[1,L] (1)
所述的双GRU层接收嵌入层的输出,通过更新门zi和重置门ri来生成表示,更新门zi控制前一时刻的状态信息被带入到当前状态中的程度,重置门ri控制忽略前一时刻的状态信息的程度,如公式(2)-(5)所示:
所述交互层计算方面提取和方面情感分类之间的信息交互;
βap=tanh((ha)TGahp) (6)
获得复合张量βap之后,计算方面提取的注意力分数Sap,注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性,计算公式如下:
其中,va为计算注意力分数Sap的可训练的权重向量;
然后,所有的ha聚集成矩阵hA,Sap聚集成矩阵SA,通过计算来增强原始的方面提取特征,公式如下:
hA=hA+softmax(SA)hP (8)
所述交互层利用方面提取和方面情感分类之间的相互作用,计算方面情感分类的复合张量通过计算来编码hp与ha之间的关联程度;获得复合张量之后,计算方面情感分类的注意力分数Spa;最后通过计算来增强原始的方面情感分类特征;如公式(9)-(11)所示:
βpa=tanh((hp)TGaha) (9)
hP=hP+softmax(SP)hA (11)
其中,vp为计算注意力分数Spa的可训练的权重向量;
所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词,通过如下公式得到开始位置的概率分布ps:
gs=vshA (12)
ps=softmax(gs) (13)
其中,gs为开始位置的预测得分,vs是计算gs的可训练的权重向量;
通过如下公式得到结束位置的概率分布pe:
ge=vehA (14)
pe=softmax(ge) (15)
其中,ge为结束位置的预测得分,ve是计算ge的可训练的权重向量;
对于每个句子,首先从多个开始位置和结束位置的两种预测得分gs和ge中选取前M个分数,其中M为正整数,然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下,将所有候选跨度(si,ej)及其启发式正则化分数yl添加到一个列表Y中;由于方面为短实体,所以将启发式正则化的分数yl计算为两个分数之和减去跨度长度,计算公式如下:
每次从列表Y中选出分数最大的方面作为提取出的方面,之后删去列表Y中与选出的方面有重叠词语的方面,直到列表Y为空或者已经提取出O个,其中O为超参数;
所述注意力机制分类是使用注意力机制的集成来进行情感分类;给定一个方面跨度(si,ej),其中si为开始位置,ej为结束位置;
首先利用注意力机制对句子的方面提取的边界计算注意力分数α,然后计算所有单词关于提取边界的加权和xr,计算如公式(17)、(18)所示:
利用方面情感分类的输出hp计算注意力分数αp,然后计算表示所有单词的加权和xh,计算如公式(19)、(20)所示:
αp=softmax(vhhp) (19)
其中,vh是计算αp的可训练的权重向量;
将边界的加权和xr、所有单词的加权和xh集成连接起来,得到最终的加权表示x,计算如公式(21)所示:
x=[xr;xh] (21)
将得到的最终的加权表示x经过公式(22)得到最终的极性概率pp:
pp=softmax(Wptanh(Wxx)) (22)
其中,Wp是进行tanh计算时定义的可训练的参数矩阵,Wx进行softmax计算时定义的可训练的参数矩阵。
步骤3、通过联合训练损失函数L对模型进行优化;
所述联合训练损失函数L包括方面提取的损失函数La以及方面情感分类的损失函数Lp,如公式(23)所示:
L=La+Lp (23)
所述方面提取的损失函数La如公式(24)所示:
所述方面情感分类的损失函数Lp如公式(25)所示:
其中,yp是真实极性的独热码(one-hot)向量,c是情感标签的数量。
步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型,提取出每个句子中的所有方面{a1,...,at},并预测出它们的情感极性,其中方面的数量为t,实现文本的情感分析。
采用上述技术方案所产生的有益效果在于:
本发明提供的一种基于跨度的细粒度情感分析方法,使用一个模型来联合两项任务,同时挖掘出评论中涉及的方面和对应的情感,增强了模型的实用性;其次融合了BERT、信息交互模块、启发式提取算法和注意力机制,使得提取和分类结果更加准确。高效的情感分析可以为用户提供更加精准的分析结果,为用户和带来极大的便利。在电商平台方面,通过将评价较好的产品推荐给消费者,可以提高消费者的满意度,增加商品的购买率;商家可以了解到用户的喜好,及时根据反馈做出调整。在社会舆论方面,可以帮助政府部门掌握热点事件的舆情倾向。在社交媒体方面,平台可以根据用户对话题的态度而判断是否向其推荐相关内容。所以情感分析模型的研究会对各个领域产生深远的影响。
附图说明
图1为本发明实施例提供的基于跨度的方面情感分析模型S-AESC的基本框架;
图2为本发明实施例提供的S-AESC模型中参数K的影响对比图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明所采取的技术方案是一种基于跨度的细粒度情感分析方法,包括以下步骤:
步骤1、选择待进行情感分析的数据集,给定一个输入的句子s={w1,w2,...,wn},其中wn为词,n为句子的长度;
本实施例使用三个数据集。第一个数据集LAPTOP包含了来自SemEval2014的关于笔记本领域的评论。第二个数据集REST来自于SemEval2014,SemEval2015和SemEval2016,包含关于餐馆的评论,通过合并三年训练数据集和测试数据集,得到新的训练数据集和测试数据集。第三个数据集TWITTER是由Mitchell收集创建的,包含推特上的帖子,对于TWITTER数据集的结果使用的是十折交叉验证。每个数据集的情感极性标签都是分为“positive(+)”、“negative(-)”和“neutral(0)”这三类,数据集的划分细节如表1所示。
表1数据集
数据集 | Targets | Positive | Negative | Neutral |
LAPtop | 2936 | 1326 | 990 | 620 |
REST | 6603 | 4134 | 1538 | 931 |
3243 | 703 | 274 | 2266 |
步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC;
所述基于跨度的方面情感分析模型S-AESC包括嵌入层,双GRU层,交互层,跨度提取和注意力机制分类,如图1所示;
所述嵌入层使用BERT作为嵌入层,将句子s={w1,w2,...,wn}的开头和结尾分别连接[CLS]和[SEP]标记,其中句子的长度为n,使用词表将连接之后的句子转化成向量{e1,...ei,...,en},其中ei是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量,i∈[1,n];在层数为L层的Transformer中表示在第l层的计算如公式(1)所示:
Xl=Transformer(X l-1),l∈[1,L] (1)
所述的双GRU层接收嵌入层的输出,通过更新门zi和重置门ri来生成表示,更新门zi控制前一时刻的状态信息被带入到当前状态中的程度,重置门ri控制忽略前一时刻的状态信息的程度,如公式(2)-(5)所示:
所述交互层计算方面提取和方面情感分类之间的信息交互;
βap=tanh((ha)TGahp) (6)
获得复合张量βap之后,计算方面提取的注意力分数Sap,注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性,计算公式如下:
其中,va为计算注意力分数Sap的可训练的权重向量;
然后,所有的ha聚集成矩阵hA,Sap聚集成矩阵SA,通过计算来增强原始的方面提取特征,公式如下:
hA=hA+soft max(SA)hP (8)
所述交互层利用方面提取和方面情感分类之间的相互作用,计算方面情感分类的复合张量通过计算来编码hp与ha之间的关联程度;获得复合张量之后,计算方面情感分类的注意力分数Spa;最后通过计算来增强原始的方面情感分类特征;如公式(9)-(11)所示:
βpa=tanh((hp)TGaha) (9)
hP=hP+soft max(SP)hA (11)
其中,vp为计算注意力分数Spa的可训练的权重向量;
所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词,通过如下公式得到开始位置的概率分布ps:
gs=vshA (12)
ps=softmax(gs) (13)
其中,gs为开始位置的预测得分,vs是计算gs的可训练的权重向量;
通过如下公式得到结束位置的概率分布pe:
ge=vehA (14)
pe=softmax(ge) (15)
其中,ge为结束位置的预测得分,ve是计算ge的可训练的权重向量;
对于每个句子,首先从多个开始位置和结束位置的两种预测得分gs和ge中选取前M个分数,其中M为正整数,然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下,将所有候选跨度(si,ej)及其启发式正则化分数yl添加到一个列表Y中;由于方面为短实体,所以将启发式正则化的分数yl计算为两个分数之和减去跨度长度,计算公式如下:
每次从列表Y中选出分数最大的方面作为提取出的方面,之后删去列表Y中与选出的方面有重叠词语的方面,直到列表Y为空或者已经提取出O个,其中O为超参数;
所述注意力机制分类是使用注意力机制的集成来进行情感分类;给定一个方面跨度(si,ej),其中si为开始位置,ej为结束位置;
首先利用注意力机制对句子的方面提取的边界计算注意力分数α,然后计算所有单词关于提取边界的加权和xr,计算如公式(17)、(18)所示:
利用方面情感分类的输出hp计算注意力分数αp,然后计算表示所有单词的加权和xh,计算如公式(19)、(20)所示:
αp=softmax(vhhp) (19)
其中,vh是计算αp的可训练的权重向量;
将边界的加权和xr、所有单词的加权和xh集成连接起来,得到最终的加权表示x,计算如公式(21)所示:
x=[xr;xh] (21)
将得到的最终的加权表示x经过公式(22)得到最终的极性概率pp:
pp=softmax(Wptanh(Wxx)) (22)
其中,Wp是进行tanh计算时定义的可训练的参数矩阵,Wx进行softmax计算时定义的可训练的参数矩阵。
步骤3、通过联合训练损失函数L对模型进行优化;
所述联合训练损失函数L包括方面提取的损失函数La以及方面情感分类的损失函数Lp,如公式(23)所示:
L=La+Lp (23)
所述方面提取的损失函数La如公式(24)所示:
所述方面情感分类的损失函数Lp如公式(25)所示:
其中,yp是真实极性的独热码(one-hot)向量,c是情感标签的数量。
步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型,提取出每个句子中的所有方面{a1,...,at},并预测出它们的情感极性,其中方面的数量为t,实现文本的情感分析。
本实施例中,使用公开的预训练的“bert-base-uncased”模型作为嵌入层,其中Transformer的层数为12并且隐藏层的维度为768。使用Adam优化器并且学习率设置为2e-5。一次训练所选取的样本数是32。交互层的超参数K设置为3。候选跨度M的数值设置为20,方面提取的最大数量O设置为10,阈值γ设置为8。实验使用查准率、查全率和F1值作为评价指标,来测试模型的性能。当预测的结果与真正的方面词和相应的情感极性完全一致时,预测结果才为正确的。由于提取结合分类任务之后,模型就变为二分类问题,只有提取分类正确才是预测正确。所以使用的是二分类计算的查准率、查全率和F1值。
本实施例将本发明的基于方面的情感分析模型与一些现有的基于方面的情感分析的模型进行了比较。结果如表2所示,本发明的模型S-AESC的性能优于大部分的模型。在所有的基线模型中,前三个模型CRF-pipeline、NN-CRF-pipeline和HAST-TNet是流水线模型,它们是将一个模型的预测结果作为另一个模型的输入,并且这两个子模型是相互独立、分别训练的。其中,结果最优的是HAST-TNet模型,它是由两个子任务中非常先进的模型所组成的。本发明的模型S-AESC比HAST-TNet有更好的性能。
与现有的基于联合方式的模型相比,本发明的模型S-AESC也取得了实质性的进展。该结果显示了考虑两个相关任务之间相互作用的联合模型的潜力。使用BERT的模型SPAN-joint和S-AESC超越了现有的工作,这表明使用BERT来对任意两个单词之间的关联进行编码,在很大程度上缓解了上下文独立的问题。尽管基于序列基线模型已经超越了以前的最佳流水线模型,但是它们比基于跨度的方法SPAN-joint和S-AESC要差。与最佳的基于序列的基线模型Unified相比,本发明的模型S-AESC在三个数据集上表现都更好,这表明本发明的模型是有效的。
表2实验结果
表3不同方法方面提取的F1值比较
方法 | LAPtop | REST1 | TWITTER2 |
HAST | 79.52 | - | - |
SPAN-joint | 83.35 | 82.38 | 75.28 |
S-AESC | 85.19 | 84.20 | 76.04 |
为了分析方面项提取子任务的性能,在三个数据集上运行了SPAN-joint和S-AESC模型。表3中报告了方面提取的F1分数。由于本发明的模型S-AESC是统一的模型,在方面提取和方面情感分类上都是同时训练的。所以在评价意见方面提取时,不管情感极性结果如何,只要预测的跨度与真实的跨度相匹配,就认为预测的跨度是正确的。通过对比可以发现,本发明的模型S-AESC在三个数据集上的表现都优于基模型。
影响模型性能的一个重要的参数是K的值。本实施例中,实验在REST数据集上进行,K的取值从1到8,F1值的结果如图2所示。当K的值为3时,模型的F1值达到最大,所以K为3是用于处理任务的最佳选择。由于图中所示的性能,为了简单起见,K被设置为3来完成其余所有实验。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (2)
1.一种基于跨度的细粒度情感分析方法,其特征在于,包括以下步骤:
步骤1、选择待进行情感分析的数据集,给定一个输入的句子s={w1,w2,...,wn},其中wn为词,n为句子的长度;
步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC;
步骤2中所述基于跨度的方面情感分析模型S-AESC包括嵌入层,双GRU层,交互层,跨度提取和注意力机制分类;
所述嵌入层使用BERT作为嵌入层,将句子s={w1,w2,...,wn}的开头和结尾分别连接[CLS]和[SEP]标记,其中句子的长度为n,使用词表将连接之后的句子转化成向量{e1,...ei,...,en},其中ei是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量,i∈[1,n];在层数为L层的Transformer中表示在第l层的计算如公式(1)所示:
Xl=Transformer(Xl-1),l∈[1,L] (1)
所述的双GRU层接收嵌入层的输出,通过更新门zi和重置门ri来生成表示,更新门zi控制前一时刻的状态信息被带入到当前状态中的程度,重置门ri控制忽略前一时刻的状态信息的程度,如公式(2)-(5)所示:
所述交互层计算方面提取和方面情感分类之间的信息交互;
βap=tanh((ha)TGahp) (6)
获得复合张量βap之后,计算方面提取的注意力分数Sap,注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性,计算公式如下:
其中,va为计算注意力分数Sap的可训练的权重向量;
然后,所有的ha聚集成矩阵hA,Sap聚集成矩阵SA,通过计算来增强原始的方面提取特征,公式如下:
hA=hA+soft max(SA)hP (8)
所述交互层利用方面提取和方面情感分类之间的相互作用,计算方面情感分类的复合张量通过计算来编码hp与ha之间的关联程度;获得复合张量之后,计算方面情感分类的注意力分数Spa;最后通过计算来增强原始的方面情感分类特征;如公式(9)-(11)所示:
βpa=tanh((hp)TGaha) (9)
hP=hP+soft max(SP)hA (11)
其中,vp为计算注意力分数Spa的可训练的权重向量;
所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词,通过如下公式得到开始位置的概率分布ps:
gs=vshA (12)
ps=softmax(gs) (13)
其中,gs为开始位置的预测得分,vs是计算gs的可训练的权重向量;
通过如下公式得到结束位置的概率分布pe:
ge=vehA (14)
pe=softmax(ge) (15)
其中,ge为结束位置的预测得分,ve是计算ge的可训练的权重向量;
对于每个句子,首先从多个开始位置和结束位置的两种预测得分gs和ge中选取前M个分数,其中M为正整数,然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下,将所有候选跨度(si,ej)及其启发式正则化分数yl添加到一个列表Y中;由于方面为短实体,所以将启发式正则化的分数yl计算为两个分数之和减去跨度长度,计算公式如下:
每次从列表Y中选出分数最大的方面作为提取出的方面,之后删去列表Y中与选出的方面有重叠词语的方面,直到列表Y为空或者已经提取出O个,其中O为超参数;
所述注意力机制分类是使用注意力机制的集成来进行情感分类;给定一个方面跨度(si,ej),其中si为开始位置,ej为结束位置;
首先利用注意力机制对句子的方面提取的边界计算注意力分数α,然后计算所有单词关于提取边界的加权和xr,计算如公式(17)、(18)所示:
利用方面情感分类的输出hp计算注意力分数αp,然后计算表示所有单词的加权和xh,计算如公式(19)、(20)所示:
αp=softmax(vhhp) (19)
其中,vh是计算αp的可训练的权重向量;
将边界的加权和xr、所有单词的加权和xh集成连接起来,得到最终的加权表示x,计算如公式(21)所示:
x=[xr;xh] (21)
将得到的最终的加权表示x经过公式(22)得到最终的极性概率pp:
pp=softmax(Wptanh(Wxx)) (22)
其中,Wp是进行tanh计算时定义的可训练的参数矩阵,Wx进行softmax计算时定义的可训练的参数矩阵;
步骤3、通过联合训练损失函数L对模型进行优化;
步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型,提取出每个句子中的所有方面{a1,...,at},并预测出它们的情感极性,其中方面的数量为t,实现文本的情感分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010945633.5A CN112069320B (zh) | 2020-09-10 | 2020-09-10 | 一种基于跨度的细粒度情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010945633.5A CN112069320B (zh) | 2020-09-10 | 2020-09-10 | 一种基于跨度的细粒度情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112069320A CN112069320A (zh) | 2020-12-11 |
CN112069320B true CN112069320B (zh) | 2022-06-28 |
Family
ID=73663344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010945633.5A Active CN112069320B (zh) | 2020-09-10 | 2020-09-10 | 一种基于跨度的细粒度情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112069320B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378543B (zh) * | 2021-06-28 | 2022-12-27 | 深圳前海微众银行股份有限公司 | 数据分析方法、训练数据分析模型的方法及电子设备 |
CN113688634B (zh) * | 2021-08-17 | 2022-02-11 | 中国矿业大学(北京) | 一种细粒度情感分析方法 |
CN113901171A (zh) * | 2021-09-06 | 2022-01-07 | 特赞(上海)信息科技有限公司 | 语义情感分析方法及装置 |
CN116562305B (zh) * | 2023-07-10 | 2023-09-12 | 江西财经大学 | 方面情感四元组预测方法与*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083831A (zh) * | 2019-04-16 | 2019-08-02 | 武汉大学 | 一种基于BERT-BiGRU-CRF的中文命名实体识别方法 |
CN110222225A (zh) * | 2019-06-11 | 2019-09-10 | 苏州思必驰信息科技有限公司 | Gru编解码器训练方法、音频的摘要生成方法及装置 |
CN110245229A (zh) * | 2019-04-30 | 2019-09-17 | 中山大学 | 一种基于数据增强的深度学习主题情感分类方法 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN111552799A (zh) * | 2020-04-30 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-10 CN CN202010945633.5A patent/CN112069320B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083831A (zh) * | 2019-04-16 | 2019-08-02 | 武汉大学 | 一种基于BERT-BiGRU-CRF的中文命名实体识别方法 |
CN110245229A (zh) * | 2019-04-30 | 2019-09-17 | 中山大学 | 一种基于数据增强的深度学习主题情感分类方法 |
CN110222225A (zh) * | 2019-06-11 | 2019-09-10 | 苏州思必驰信息科技有限公司 | Gru编解码器训练方法、音频的摘要生成方法及装置 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN111552799A (zh) * | 2020-04-30 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112069320A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Swathi et al. | An optimal deep learning-based LSTM for stock price prediction using twitter sentiment analysis | |
CN112069320B (zh) | 一种基于跨度的细粒度情感分析方法 | |
CN108399158B (zh) | 基于依存树和注意力机制的属性情感分类方法 | |
Zhao et al. | Combination of convolutional neural network and gated recurrent unit for aspect-based sentiment analysis | |
Alaparthi et al. | Bidirectional Encoder Representations from Transformers (BERT): A sentiment analysis odyssey | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
Ishaq et al. | Aspect-based sentiment analysis using a hybridized approach based on CNN and GA | |
CN109753566A (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
CN111914096A (zh) | 基于舆情知识图谱的公共交通乘客满意度评价方法及*** | |
CN110134868B (zh) | 一种基于用户偏好异构性分析的推荐方法 | |
CN112991017A (zh) | 基于用户评论解析的标签体系精准推荐方法 | |
Zhang et al. | Aspect-based sentiment analysis for user reviews | |
CN112861541A (zh) | 一种基于多特征融合的商品评论情感分析方法 | |
Khine et al. | Applying deep learning approach to targeted aspect-based sentiment analysis for restaurant domain | |
Xu et al. | [Retracted] Research on the Construction of Crossborder e‐Commerce Logistics Service System Based on Machine Learning Algorithms | |
Srinivasarao et al. | Email thread sentiment sequence identification using PLSA clustering algorithm | |
CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
CN116680363A (zh) | 一种基于多模态评论数据的情感分析方法 | |
Xie et al. | Sentiment analysis of chinese e-commerce reviews based on bert | |
Zarzour et al. | Sentiment analysis based on deep learning methods for explainable recommendations with reviews | |
Xie et al. | A novel attention based CNN model for emotion intensity prediction | |
CN112270570B (zh) | 一种基于特征组合与表示学习的点击转化率预测方法 | |
CN113761910A (zh) | 一种融合情感特征的评论文本细粒度情感分析方法 | |
KR102210772B1 (ko) | 온라인 데이터에 기반한 사용자 성 정체성 예측 장치 및 방법 | |
CN117235253A (zh) | 一种基于自然语言处理技术的卡车用户隐性需求挖掘方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |