CN114429122B - 一种基于循环注意力的方面级情感分析***和方法 - Google Patents
一种基于循环注意力的方面级情感分析***和方法 Download PDFInfo
- Publication number
- CN114429122B CN114429122B CN202210088035.XA CN202210088035A CN114429122B CN 114429122 B CN114429122 B CN 114429122B CN 202210088035 A CN202210088035 A CN 202210088035A CN 114429122 B CN114429122 B CN 114429122B
- Authority
- CN
- China
- Prior art keywords
- attention
- word
- module
- vector
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 82
- 238000004458 analytical method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000005065 mining Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 123
- 238000011176 pooling Methods 0.000 claims description 25
- 125000004122 cyclic group Chemical group 0.000 claims description 21
- 238000005096 rolling process Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000001902 propagating effect Effects 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000013136 deep learning model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000009901 attention process Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种基于循环注意力的方面级情感分析***和方法,包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块;其中,所述循环注意力模块,基于GRU的门控机制,对文本进行注意力操作,得到更新的依赖矩阵,以调整图卷积神经网络卷积过程中对不同依赖的关注度;所述方面挖掘注意力模块,用于将每一层图卷积神经网络对句子方面的编码分别作为Query,对文本做注意力操作,挖掘文本中关于方面情感的语义信息,输出语义特征;所述特征融合分类模块,使用全连接层对语义特征进行融合处理,再进行情感分类。
Description
技术领域
本发明涉及语言处理技术领域,特别涉及一种基于循环注意力的方面级情感分析***和方法。
背景技术
RAGCNs是一种用于文本方面级情感分析的***,主要用于分析互联网(如博客、论坛以及社会服务网络)中用户对人物、事件、产品等目标对象生成的有价值的大量评论信息,从而为下游的分析和决策判断提供参考。
其中,方面级情感分析是一种细粒度的情感分析,旨在分析用户对目标对象所产生的情感极性、情绪、评价、态度等评论信息,目标对象包括但不限于商品、服务、组织、个人、事件等。随着社交网络、评论站点等用户发声渠道越来越多,方面级情感分析的价值与日俱增,人工进行海量信息的方面情感分析是不现实的,因此一般通过计算机辅助***挖掘用户观点进行方面级情感分析。现有的计算机辅助***包括以下几个:
1.基于机器学习的方面级情感分析***;
该***先将文本信息进行特征处理,然后对模型进行有监督学习训练,最后用训练好的模型预测文本的情感极性。但整个过程需要消耗大量的时间成本去进行特征工程,另外模型的性能对训练数据的标签非常敏感。
2.基于深度学习的方面级情感分析***;
随着深度学习在图像处理领域不断发展创新,深度学习技术也开始涉及文本情感分析领域。一些常见的应用如词嵌入技术、卷积神经网络、循环神经网络、注意力机制等,这些应用避免了复杂的特征工程,同时分析准确度也进一步提高。具体而言,通常先对文本进行分词处理,并利用词嵌入技术(word2vec,glove等),将词编码成能够被计算机识别的词向量,再将词向量输入到各种深度学习模型中,最后将模型学习到的特征传入一个softmax层,从而判断目标的情感极性。目前常用的深度学习模型包括CNN、LSTM、GRU等。但是这些深度学习模型不能够很好的关注到句子中针对目标方面的重要情感词。
因此在深度学习模型引入了注意力机制去加强对句子中情感词汇的关注,提高情感分析的准确度。但是,这些模型在情感分析过程中,没有充分利用句子中词语之间的依赖信息,可能会关注到错误的情感词,影响情感分析的准确性,有研究者通过应用图神经网络,改善了这个问题,但仍存在以下缺陷:
(1)图神经网络需要用到句子中词语的依赖信息,首先需要构建句法依赖矩阵,句法依赖分析工具如spacy,可能会解析出一些错误的依赖,图神经网络性能因此也会受到影响。
(2)常见的图神经网络有图卷积神经网络、图注意力神经网络。图卷积神经网络中,对句中解析得到的词依赖,权重通常都赋值为1,这样会造成卷积过程中不同句子中同样的词依赖以及同一个句子中不同的词依赖,对目标方面情感的影响强度完全一致,这不符合实际的情况,也可能会放大错误依赖的影响,致使情感分析的性能受限;对于图注意力神经网络,往往使用多层注意力去学习不同依赖对目标词的情感影响,但是在多层图注意力的注意力过程中,缺乏一个调控多层图注意力的感知机制,在图注意力层数增加后,注意力神经网络学不到新的特征甚至会关注到错误的依赖上,影响情感分析的性能。
发明内容
针对现有技术中文本情感分析精度较低问题,本发明提出一种基于循环注意力的方面级情感分析***和方法,通过在图卷积神经网络中引入软连接矩阵和动态更新机制,对进行情感分析的句子进行注意力演化分析,获得目标方面的情感极性,从而提高文本情感分析的精度。
为了实现上述目的,本发明提供以下技术方案:
一种基于循环注意力的方面级情感分析***,包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块;其中,
所述循环注意力模块,用于对文本进行注意力操作,得到更新的依赖矩阵;
所述方面挖掘注意力模块,用于将每一层图卷积神经网络对句子方面的编码分别作为Query,对文本做注意力操作,挖掘文本中关于方面情感的语义信息,输出语义特征;
所述特征融合分类模块,使用全连接层对语义特征进行融合处理,再进行情感分类。
优选的,还包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块和图卷积模块;
所述数据预处理模块,用于对输入的文本进行分词、去噪,构建基于三元组<词序列,依赖矩阵,目标方面>的输入词序列;
所述词向量构建模块,用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列;
所述上下文编码模块,用于对输入的词向量序列进行重新编码,输出包含上下文关系的词语编码向量;
所述卷积池化模块,利用上下文中的情感特征激活循环注意力模块;
所述图卷积模块,用于利用循环注意力模块更新得到的依赖矩阵更新情感上下文。
优选的,还包括位置信息融合模块,用于对图卷积模块更新的情感上下文注入位置信息。
优选的,所述情感分类包括消极、中性、积极。
本发明还提供一种基于循环注意力的方面级情感分析方法,具体包括以下步骤:
S1:输入待进行情感分析的文本,并指定输入文本中的目标方面;
S2:对文本进行数据预处理,构建输入序列;
S3:对S2中的输入序列进行词向量构建得到词向量序列,再对词向量序列进行编码,得到具有上下文关系的词语编码向量集合HE;
S4:对词语编码向量集合HE进行卷积操作,获得包含情感特征的卷积结果集合HC,再对卷积向量集合HC进行最大池化,得到循环注意力模型的初始状态e0,用以激活循环注意力,从而输出et到图卷积模块;
S5:图卷积模块利用循环注意力模块的输出et作为查询,对每一个词向量的依赖词做注意力增强的图卷积,输出词向量表示第L层图卷积网络在位置i的输出词向量;
S6:将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询,从而对词语编码向量集合HE进行注意力操作,输出语义特征;
S7:对语义特征进行融合处理,得到文本的情感分析类别。
优选的,所述S2中,词序列的构建方法为:对文本内容进行分词、去噪,解析获取句子的句法依赖树,利用句法依赖树构建n×n的依赖矩阵A,其中n代表句子中词语的数目,最后输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices,组合成三元组<sentence,A,aspect_indices>作为输入词序列。
优选的,所述S3包括:
S3-1:使用预训练的GloVe向量将输入词序列转换成对应的词向量序列X=[x1,x2,…,xτ+1,…,xτ+m,…,xn],其中n代表句子的数目,τ+1表示长度为m的方面词的开始位置,τ+m表示方面词的结束位置,xn表示第n个词向量;
S3-2:采用BI-LSTM编码器对词向量进行编码,编码过程如下:
公式(1)中,是前向传播LSTM在位置i的输出,E表示当前向量是BI-LSTM编码器的输出结果,/>是后向传播LSTM在位置i的输出,/>表示前向传播LSTM在位置i的状态,/>表示后向传播LSTM在位置i的状态,/>表示向量的加操作,xi表示i位置上的词向量,/>表示位置i上的具有上下文关系的词语编码向量;
将各个位置的词语编码向量进行集合得到具有上下文关系的词语编码向量集合 表示位置n上的具有上下文关系的词语编码向量。
优选的,所述S4包括:
S4-1:对S4中输出的包含上下文关系的词语编码向量进行卷积操作,获得卷积结果集合 表示位置n上的卷积结果,C表示当前向量是卷积输出结果;再对卷积结果集合HC进行最大池化,得到循环注意力模型的初始状态e0,用以激活循环注意力;
e0=MAXPOOL(HC) (2)
公式(2)中,表示位置i上的包含情感特征的卷积结果,HEi:i+k表示BI-LSTM编码器编码结果中第i到i+k的向量,Wc和bc代表卷积过程中的参数,MAXPOOL代表最大池化操作;
S4-2:循环注意力模块采用GRU架构,循环注意力模块的初始输入是HE在位置τ+1至τ+m的词语编码向量的均值池化,之后的每一次输入/>产生自图卷积神经模块的输出HL,图卷积模块和循环注意力模块交互循环更新,t时刻的状态输入是模型中t-1时刻的状态输出et-1:
公式(3)中,表示HL在位置τ+1至τ+m的词语编码向量的均值池化;/>表示位置i上的具有上下文关系的词语编码向量;r代表重置门;z代表更新门;/>代表t时刻的情感依赖信息;Wr、Ur、Wz、Uz、Wx、Wg是训练参数,et-1表示t-1时刻循环注意力模型的状态输出,⊙表示乘积,et表示t时刻循环注意力模型的状态输出。
优选的,所述S5中,注意力增强的图卷积过程为:
公式(4)中,表示第l层图卷积神经网络在位置j的注意力分数,/>表示第l-1层的图卷积神经网络在位置j上的输出词向量,Aij表示词语i、j之间的依赖关系(若Aij=1则表示词语i、j之间存在依赖,若Aij=0则表示词语i、j之间不存在依赖),/>表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数,/>表示基于注意力结果的依赖权重,表示输入句子中词语i的邻接词集合,k表示第k个邻接词,/>表示图卷积模块的输出结果,/>表示第L层图卷积网络在位置i的输出词向量,Wl和bl表示训练参数。
优选的,所述S6中,注意力操作公式如下:
公式(5)中,表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数,/>表示位置i上的词在第L层图卷积网络的注意力分数,/>表示位置i上的具有上下文关系的词语编码向量,/>表示归一化的注意力分数,rl表示第L层图卷积网络指导产生的注意力结果,/>表示第L层图卷积网络在位置i的输出词向量,/>是上下文编码模块在位置t的输出向量;
将每层图卷积网络输出的注意力结果拼接构成语义特征z=[r1,…,rl],rl表示第L层图卷积网络指导产生的注意力结果。
综上所述,由于采用了上述技术方案,与现有技术相比,本发明至少具有以下有益效果:
本发明通过在图卷积神经网络中使用注意力增强的依赖矩阵,替代词依赖矩阵中固定为1的依赖权值,从而区分不同句子中同样的词依赖以及同一个句子中不同的词依赖对目标方面情感的影响强度,提高分类精度。
同时基于循环注意力的演化机制,在多次注意力过程中动态调控模型的注意力,不断加强正确依赖信息的影响强度,减弱错误依赖信息的影响强度,使得图卷积过程中模型能关注到新的情感上下文,减少干扰信息的传播,提升情感分析的准确率。
附图说明:
图1为根据本发明示例性实施例的一种基于循环注意力的方面级情感分析***示意图。
图2为根据本发明示例性实施例的一种基于循环注意力的方面级情感分析方法流程示意图。
具体实施方式
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,本发明提供一种基于循环注意力的方面级情感分析***,包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块、循环注意力模块、图卷积模块、位置信息融合模块、方面挖掘注意力模块和特征融合分类模块;
数据预处理模块的输出端与词向量构建模块的输入端连接,词向量构建模块的输出端与上下文编码模块的输入端连接,上下文编码模块的第一输出端与卷积池化模块的输入端连接,上下文编码模块的第二输出端与循环注意力模块的第一输入端连接、上下文编码模块的第三输出端与图卷积模块的第一输入端连接,卷积池化模块的输出端与循环注意力模块的第二输入端连接,循环注意力模块的输出端与图卷积模块的第二输入端连接,图卷积模块的第一输出端与位置信息融合模块的输入端连接,图卷积模块的第二输出端与循环注意力模块的第三输入端连接,位置信息融合模块的第一输出端与方面挖掘注意力模块的第一输入端连接,位置信息融合模块的第二输出端与图卷积模块的第三输入端连接,上下文编码模块的第四输出端与方面挖掘注意力模块的第二输入端连接,方面挖掘注意力模块的输出端与特征融合分类模块的输入端连接,特征融合分类模块输出分类结果。
数据预处理模块,用于对输入的文本进行分词、去噪,获取句子的句法依赖树,并构建依赖矩阵A,重构基于三元组<词序列,依赖矩阵,目标方面>的输入词序列。
词向量构建模块,用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列。
上下文编码模块,可采用BI-LSTM编码器,用于对输入的词向量序列进行重新编码,输出包含上下文关系的词语编码向量。
卷积池化模块,利用上下文中的情感特征(例如N-gram特征)激活循环注意力模块。
循环注意力模块,基于GRU的门控机制,将卷积池化模块输出的情感特征作为GRU初始的状态输入进行激活,对之后输入GRU的方面信息进行筛选,比如过滤错误依赖产生的方面信息,降低错误依赖信息对当前的GRU输出的影响;基于当前输出进行注意力操作,得到更新n×n的依赖矩阵A,调整图卷积过程中对不同依赖的关注度,其中n代表句子中词语的数目。Aij表示词语i跟词语j之间是否存在依赖关系,当词语i跟词语j之间存在依赖关系时,Aij等于1,否则Aij等于0。
图卷积模块,紧接上下文编码模块,利用循环注意力模块得到的依赖矩阵A更新情感上下文。
位置信息融合模块,用于对图卷积模块输出的情感上下文注入位置信息。
方面挖掘注意力模块,用于将每一层图卷积神经网络对句子方面的编码分别作为Query,对上下文编码模块输出的包含上下文关系的词语编码向量做注意力操作,重新挖掘句子中关于方面情感的语义信息,输出语义特征。
特征融合分类模块,用于使用全连接层对方面挖掘注意力模块输出的语义特征进行融合处理,再使用softmax进行三分类,即消极、中性、积极,作为情感分析的结果。
本发明利用上下文编码模块注入词语之间的上下文关系,重新编码上下文,再激活循环注意力,不同层的图卷积神经网络使用循环注意力动态调控图卷积过程,在图卷积过程中,使用注意力分数作为词依赖的权重,以区分不同的词依赖;在图卷积结束后注入位置信息,加强方面邻接词的重要性;通过利用循环注意力的演化分析机制,不断加强正确依赖信息的影响强度,减弱错误或者无用依赖信息的影响,便于下一层图卷积过程中模型能关注到更新的情感上下文;最终通过层次化的方式,抽取出每层图卷积结果中最具价值的信息,拼接并送入模型输出层,进一步提高了情感预测的准确性。
如图2所示,本发明还提供一种基于循环注意力的方面级情感分析方法,具体包括以下步骤:
S1:输入待进行情感分析的文本,并指定输入文本中的目标方面,目标方面限定为句子中出现的方面。
本实施例中,例如在句子“Theprice is reasonable althoughthe serviceispoor”中“price”和“service”是两个方面,“reasonable”和“poor”分别是方面“price”和“service”对应的情感极性词语。
S2:进行数据预处理,对文本内容进行分词、去噪,解析获取句子的句法依赖树,利用句法依赖树构建n×n的依赖矩阵A,其中n代表句子中词语的数目,当词语i跟词语j之间存在依赖关系时,Aij等于1,否则Aij等于0。最后将输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices,组合成三元组<sentence,A,aspect_indices>作为输入序列,输入后续模块。
S3:将S2中输入序列的sentence取出作为输入词序列,进行词向量构建得到词向量序列。
本实施例中,使用预训练的GloVe向量进行词向量化,将输入词序列转换成对应的词向量序列X=[x1,x2,…,xτ+1,…,xτ+m,…,xn],其中n代表句子的数目,τ+1(1≤τ≤n)表示长度为m的方面词的开始位置,τ+m表示长度为m的方面词的结束位置,xn表示第n个词向量,词向量不参与模型的训练。
S4:上下文编码模块采用BI-LSTM编码器对词向量序列进行编码,得到具有上下文关系的词语编码向量集合HE。
编码过程如下所示:
公式(1)中,是前向传播LSTM在位置i的输出,E表示当前向量是BI-LSTM编码器的输出结果,/>是后向传播LSTM在位置i的输出,/>表示前向传播LSTM在位置i的状态,/>表示后向传播LSTM在位置i的状态,/>是向量的元素加操作,xi表示i位置上的词向量,/>表示位置i上的具有上下文关系的词语编码向量。
将各个词语编码向量进行集合得到具有上下文关系的词语编码向量集合 表示位置n上的具有上下文关系的词语编码向量。
S5:对S4中输出的包含上下文关系的词语编码向量进行卷积操作,获得包含情感特征(N-gram特征)的卷积结果集合其中n代表句子中词语的数目,/>表示位置n上的卷积结果,C表示当前向量是卷积输出结果;再对卷积向量集合HC进行最大池化,得到循环注意力模型的初始状态e0,用以激活循环注意力;
e0=MAXPOOL(HC) (2)
公式(2)中,表示位置i上的包含情感特征的卷积结果,HEi:i+k表示BI-LSTM编码器编码结果中第i至i+k的向量,Wc和bc代表卷积过程中的参数,MAXPOOL代表最大池化操作。
S6:循环注意力模块的输入是具有上下文关系的词语编码向量输出状态et作用于图卷积模块。
实施例中,循环注意力模块选择GRU架构,每一次输入是位置τ+1至τ+m词语编码向量的均值池化,初始输入/>是HE在位置τ+1至τ+m的词语编码向量的均值池化,之后的每一次输入/>产生自图卷积神经模块的输出HL,图卷积和循环注意力模块交互循环更新,t时刻的状态输入是模型中t-1时刻的状态输出et-1。
具体过程如下所示:
公式(3)中,是HL在位置τ+1至τ+m的词语编码向量的均值池化,L等于0时,HL等于HE;/>表示位置i上的具有上下文关系的词语编码向量;r代表重置门;z代表更新门;/>代表t时刻的情感依赖信息;Wr、Ur、Wz、Uz、Wx、Wg是训练参数,et-1表示t-1时刻循环注意力模型的状态输出,⊙表示乘积,et表示t时刻循环注意力模型的状态输出。
S7:图卷积模块的输入是上下文编码模块的输出结果HE、循环注意力模块的输出et以及依赖矩阵A。
本实施例中,图卷积模块利用上一次循环注意力模块的状态输出et作为查询,对每一个词向量的依赖词做注意力操作,注意力增强的图卷积过程如下所示:
公式(4)中,表示第l层图卷积神经网络在位置j的注意力分数,/>表示第l-1层的图卷积神经网络在位置j上的输出词向量,Aij表示词语i、j之间的依赖关系(若Aij=1则表示词语i、j之间存在依赖,若Aij=0则表示词语i、j之间不存在依赖),/>表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数,/>表示基于注意力结果的依赖权重,表示输入句子中词语i的邻接词集合,k表示第k个邻接词,/>表示图卷积模块的输出结果,使用ReLu函数激活/>获得/>表示第L层图卷积网络在位置i的输出词向量,当向量的元素小于0,设置为0,向量/>的元素大于等于0则保持不变,避免过拟合,Wl和bl表示训练参数。
S8:对于图卷积模块输出的结果注入位置信息,即/>是通过对/>添加了位置权重获得的,过程如下:
公式(5)中,是第i个词在输入句子中的位置权重,/>和/>表示包含位置信息的词向量。
则图卷积模块输出的编码词向量集合 表示第n个词在第L层图卷积网络输出的编码词向量。
S9:方面挖掘注意力模块使用多注意力机制,将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询,从而对上下文编码模块输出的具有上下文关系的词语编码向量集合HE进行注意力操作。
本实施例中,注意力操作公式如下:
公式(6)中,表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数,/>表示位置i上的具有上下文关系的词语编码向量,/>表示归一化的注意力分数,rl表示第L层图卷积网络指导产生的注意力结果,/>表示第L层图卷积网络在位置i的输出词向量,/>是上下文编码模块在位置t的输出向量;
本实施例中,由于多层图卷积过程中,不同层可能会关注到不同的重要依赖,将若干注意力结果拼接构成方面挖掘注意力模块输出的语义特征z=[r1,…,rl],rl表示第L层图卷积网络指导产生的注意力结果。
S10:对方面挖掘注意力模块输出的语义特征进行融合处理,使用的是全连接层,使用三分类即消极、中性、积极进行情感分析,总的损失函数是交叉熵损失函数加上L2正则化项。
u=softmax(Wu*z+bu)
公式(7)中,u表示三种分类结果的概率分布,即消极、中性、积极的联合概率分布,选择最大概率作为分类结果,η表示损失函数,Wu和bu是训练参数,J代表训练样本数目,ui是真实标签,是预测标签,Θ代表所有的训练参数,‖Θ‖2表示L2正则化项,λ是L2正则化项的系数。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (7)
1.一种基于循环注意力的方面级情感分析方法,其特征在于,具体包括以下步骤:
S1:输入待进行情感分析的文本,并指定输入文本中的目标方面;
S2:对文本进行数据预处理,构建输入序列;
所述S2中,词序列的构建方法为:对文本内容进行分词、去噪,解析获取句子的句法依赖树,利用句法依赖树构建n×n的依赖矩阵A,其中n代表句子中词语的数目,最后输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices,组合成三元组<sentence,A,aspect_indices>作为输入词序列;
S3:对S2中的输入序列进行词向量构建得到词向量序列,再对词向量序列进行编码,得到具有上下文关系的词语编码向量集合HE;
所述S3包括:
S3-1:使用预训练的GloVe向量将输入词序列转换成对应的词向量序列X=[x1,x2,…,xτ+1,…,xτ+m,…,xn],其中n代表句子的数目,τ+1表示长度为m的方面词的开始位置,τ+m表示方面词的结束位置,xn表示第n个词向量;
S3-2:采用BI-LSTM编码器对词向量进行编码,编码过程如下:
公式(1)中,是前向传播LSTM在位置i的输出,E表示当前向量是BI-LSTM编码器的输出结果,/>是后向传播LSTM在位置i的输出,/>表示前向传播LSTM在位置i的状态,/>表示后向传播LSTM在位置i的状态,/>表示向量的加操作,xi表示i位置上的词向量,/>表示位置i上的具有上下文关系的词语编码向量;
将各个位置的词语编码向量进行集合得到具有上下文关系的词语编码向量集合 表示位置n上的具有上下文关系的词语编码向量;
S4:对词语编码向量集合HE进行卷积操作,获得包含情感特征的卷积结果集合HC,再对卷积向量集合HC进行最大池化,得到循环注意力模型的初始状态e0,用以激活循环注意力,从而输出et到图卷积模块;
所述S4包括:
S4-1:对S3中输出的包含上下文关系的词语编码向量进行卷积操作,获得卷积结果集合 表示位置n上的卷积结果,C表示当前向量是卷积输出结果;再对卷积结果集合HC进行最大池化,得到循环注意力模型的初始状态e0,用以激活循环注意力;
e0=MAXPOOL(HC) (2)
公式(2)中,表示位置i上的包含情感特征的卷积结果,HEi:i+k表示BI-LSTM编码器编码结果中第i到i+k的向量,Wc和bc代表卷积过程中的参数,MAXPOOL代表最大池化操作;
S4-2:循环注意力模块采用GRU架构,循环注意力模块的初始输入是HE在位置τ+1至τ+m的词语编码向量的均值池化,之后的每一次输入/>产生自图卷积神经模块的输出HL,图卷积模块和循环注意力模块交互循环更新,t时刻的状态输入是模型中t-1时刻的状态输出et-1:
公式(3)中,表示HL在位置τ+1至τ+m的词语编码向量的均值池化;/>表示位置i上的具有上下文关系的词语编码向量;r代表重置门;z代表更新门;/>代表t时刻的情感依赖信息;Wr、Ur、Wz、Uz、Wx、Wg是训练参数,et-1表示t-1时刻循环注意力模型的状态输出,⊙表示乘积,et表示t时刻循环注意力模型的状态输出;
S5:图卷积模块利用循环注意力模块的输出et作为查询,对每一个词向量的依赖词做注意力增强的图卷积,输出词向量表示第L层图卷积网络在位置i的输出词向量;
所述图卷积模块的输入是上下文编码模块的输出结果HE、循环注意力模块的输出et以及依赖矩阵A;
S6:将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询,从而对词语编码向量集合HE进行注意力操作,输出语义特征;
S7:对语义特征进行融合处理,得到文本的情感分析类别。
2.如权利要求1所述的一种基于循环注意力的方面级情感分析方法,其特征在于,所述S5中,注意力增强的图卷积过程为:
公式(4)中,表示第l层图卷积神经网络在位置j的注意力分数,/>表示第l-1层的图卷积神经网络在位置j上的输出词向量,Aij表示词语i、j之间的依赖关系,若Aij=1则表示词语i、j之间存在依赖,若Aij=0则表示词语i、j之间不存在依赖,/>表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数,/>表示基于注意力结果的依赖权重,/>表示输入句子中词语i的邻接词集合,k表示第k个邻接词,/>表示图卷积模块的输出结果,/>表示第L层图卷积网络在位置i的输出词向量,Wl和bl表示训练参数。
3.如权利要求1所述的一种基于循环注意力的方面级情感分析方法,其特征在于,所述S6中,注意力操作公式如下:
公式(5)中,表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数,/>表示位置i上的词在第L层图卷积网络的注意力分数,/>表示位置i上的具有上下文关系的词语编码向量,/>表示归一化的注意力分数,rl表示第L层图卷积网络指导产生的注意力结果,/>表示第L层图卷积网络在位置i的输出词向量,/>是上下文编码模块在位置t的输出向量;
将每层图卷积网络输出的注意力结果拼接构成语义特征z=[r1,…,rl],rl表示第L层图卷积网络指导产生的注意力结果。
4.基于权利要求1-3任一项所述方法的一种基于循环注意力的方面级情感分析***,其特征在于,包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块;其中,
所述循环注意力模块,用于对文本进行注意力操作,得到更新的依赖矩阵;
所述方面挖掘注意力模块,用于将每一层图卷积神经网络对句子方面的编码分别作为Query,对文本做注意力操作,挖掘文本中关于方面情感的语义信息,输出语义特征;
所述特征融合分类模块,使用全连接层对语义特征进行融合处理,再进行情感分类。
5.如权利要求4所述的一种基于循环注意力的方面级情感分析***,其特征在于,还包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块和图卷积模块;
所述数据预处理模块,用于对输入的文本进行分词、去噪,构建基于三元组<词序列,依赖矩阵,目标方面>的输入词序列;
所述词向量构建模块,用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列;
所述上下文编码模块,用于对输入的词向量序列进行重新编码,输出包含上下文关系的词语编码向量;
所述卷积池化模块,利用上下文中的情感特征激活循环注意力模块;
所述图卷积模块,用于利用循环注意力模块更新得到的依赖矩阵更新情感上下文。
6.如权利要求4所述的一种基于循环注意力的方面级情感分析***,其特征在于,还包括位置信息融合模块,用于对图卷积模块更新的情感上下文注入位置信息。
7.如权利要求4所述的一种基于循环注意力的方面级情感分析***,其特征在于,所述情感分类包括消极、中性、积极。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210088035.XA CN114429122B (zh) | 2022-01-25 | 2022-01-25 | 一种基于循环注意力的方面级情感分析***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210088035.XA CN114429122B (zh) | 2022-01-25 | 2022-01-25 | 一种基于循环注意力的方面级情感分析***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114429122A CN114429122A (zh) | 2022-05-03 |
CN114429122B true CN114429122B (zh) | 2024-06-11 |
Family
ID=81313669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210088035.XA Active CN114429122B (zh) | 2022-01-25 | 2022-01-25 | 一种基于循环注意力的方面级情感分析***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114429122B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115936077B (zh) * | 2022-12-30 | 2023-09-15 | 湖北工业大学 | 基于依赖树的方面级情感分析交互卷积网络 |
CN115858791B (zh) * | 2023-02-17 | 2023-09-15 | 成都信息工程大学 | 短文本分类方法、装置、电子设备和存储介质 |
CN116308754B (zh) * | 2023-03-22 | 2024-02-13 | 广州信瑞泰信息科技有限公司 | 一种银行信贷风险预警***及其方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3877947A1 (en) * | 2018-11-08 | 2021-09-15 | Netflix, Inc. | Identifying image aesthetics using region composition graphs |
CN109902293B (zh) * | 2019-01-30 | 2020-11-24 | 华南理工大学 | 一种基于局部与全局互注意力机制的文本分类方法 |
CN111259142B (zh) * | 2020-01-14 | 2020-12-25 | 华南师范大学 | 基于注意力编码和图卷积网络的特定目标情感分类方法 |
CN111563164B (zh) * | 2020-05-07 | 2022-06-28 | 成都信息工程大学 | 一种基于图神经网络的特定目标情感分类方法 |
CN111814450B (zh) * | 2020-07-10 | 2023-08-11 | 重庆大学 | 一种基于残差注意力的方面级情感分析方法 |
CN112528672B (zh) * | 2020-12-14 | 2021-07-30 | 北京邮电大学 | 一种基于图卷积神经网络的方面级情感分析方法及装置 |
CN112579778B (zh) * | 2020-12-23 | 2022-08-26 | 重庆邮电大学 | 基于多层次的特征注意力的方面级情感分类方法 |
CN112667818B (zh) * | 2021-01-04 | 2022-06-14 | 福州大学 | 融合gcn与多粒度注意力的用户评论情感分析方法及*** |
-
2022
- 2022-01-25 CN CN202210088035.XA patent/CN114429122B/zh active Active
Non-Patent Citations (2)
Title |
---|
Aspect-level sentiment analysis via convolution over dependency tree;Kai Sun等;《ACL Anthology》;20191231;5678-5688 * |
基于自注意力门控图卷积网络的特定目标情感分析;王直杰等;《计算机应用 》;20200810;第40卷(第8期);2202-2206 * |
Also Published As
Publication number | Publication date |
---|---|
CN114429122A (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114429122B (zh) | 一种基于循环注意力的方面级情感分析***和方法 | |
CN112784092B (zh) | 一种混合融合模型的跨模态图像文本检索方法 | |
CN110287481B (zh) | 命名实体语料标注训练*** | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及*** | |
CN111897941A (zh) | 对话生成方法、网络训练方法、装置、存储介质及设备 | |
Hou et al. | BERT-based Chinese relation extraction for public security | |
CN110427616B (zh) | 一种基于深度学习的文本情感分析方法 | |
CN110390397A (zh) | 一种文本蕴含识别方法及装置 | |
US20220138185A1 (en) | Scene graph modification based on natural language commands | |
CN113761893B (zh) | 一种基于模式预训练的关系抽取方法 | |
CN112199504B (zh) | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** | |
CN115048447B (zh) | 一种基于智能语义补全的数据库自然语言接口*** | |
CN114398976A (zh) | 基于bert与门控类注意力增强网络的机器阅读理解方法 | |
CN114780831A (zh) | 基于Transformer的序列推荐方法及*** | |
CN114168707A (zh) | 一种面向推荐的情绪型对话方法 | |
CN113254782A (zh) | 问答社区专家推荐方法及*** | |
CN114692605A (zh) | 一种融合句法结构信息的关键词生成方法及装置 | |
CN114036934A (zh) | 一种中文医学实体关系联合抽取方法和*** | |
CN115223021A (zh) | 一种基于视觉问答的果树全生长期农事作业决策方法 | |
CN108364066A (zh) | 基于n-gram和wfst模型的人工神经网络芯片及其应用方法 | |
D'Ulizia et al. | A learning algorithm for multimodal grammar inference | |
CN112182439A (zh) | 一种基于自注意力网络的搜索结果多样化方法 | |
CN114970557B (zh) | 基于知识增强的跨语言结构化情感分析方法 | |
CN114298011B (zh) | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 | |
CN116910190A (zh) | 多任务感知模型获取方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |