CN113705197A - 一种基于位置增强的细粒度情感分析方法 - Google Patents
一种基于位置增强的细粒度情感分析方法 Download PDFInfo
- Publication number
- CN113705197A CN113705197A CN202111000430.XA CN202111000430A CN113705197A CN 113705197 A CN113705197 A CN 113705197A CN 202111000430 A CN202111000430 A CN 202111000430A CN 113705197 A CN113705197 A CN 113705197A
- Authority
- CN
- China
- Prior art keywords
- word
- layer
- vector
- words
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 69
- 238000004458 analytical method Methods 0.000 title claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 39
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 86
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000005755 formation reaction Methods 0.000 claims 1
- 230000003313 weakening effect Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 6
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明提出了一种基于位置增强的细粒度情感分析方法,用于解决现有技术对文本进行细粒度情感分析导致的精度低的问题。首先将文本进行预处理,再通过细粒度情感分析模型进行情感分析。模型包括嵌入层、语义表征层、信息交互层和输出层。嵌入层将句子映射为上下文词嵌入和方面词嵌入,语义表征层通过位置强化注意力机制来增强模型的文本语义表征能力,信息交互层通过使用记忆网络增强方面词与其上下文的交互性,将基于方面的上下文语义增强表示作为与方面交互的外部记忆单元,使得外部存储记忆单元能够学习到复杂文本中的语义信息,最后输出层进行情感预测。本发明通过合理界定对方面进行情感表达的上下文范围,提高了细粒度情感分析准确度。
Description
技术领域
本发明属于信息处理技术领域,是一种基于位置增强的细粒度情感分析方法。
背景技术
社交网络和电商购物平台的迅速发展使得人们可以更方便的在网络平台上发表观点和表达意见,从而产生大量的包含用户情感信息的文本数据,蕴含着巨大的实用价值。而产品具有多维属性,消费者会从不同角度对产品和服务发表评论,如质量、价格和服务等方面。传统的文本情感分析技术通常是在整体上给出一个情感判断,无法满足在评论文本中对不同方面进行情感倾向性判断的需求,所以文本的情感分析粒度需要更加细化。例如句子“这家餐厅的食物太好吃了,但服务质量比较差。”,细粒度情感分析任务旨在判断方面“食物”和“服务”的情感倾向(食物,正面)和(服务,负面)。例句中的“食物”和“服务”称作方面,而不属于方面的其他文本“这家餐厅的太好吃了,但质量比较差。”称为上下文。该任务是自然语言处理领域中的热门研究方向,其有助于消费者的选择与企业在产品方面的决策,有着广泛的商业前景和应用价值。
随着深度学习技术不断趋于成熟,在文本情感分析领域开始得到有效应用。细粒度文本情感分析的研究方法主要集中在对神经网络的基本结构改进上。由于注意力机制使深度学习模型拥有更强大的文本表征能力和数据处理能力,在细粒度情感分析研究任务中取得了不错的进展。但由于语言结构的复杂性和隐式的情感属性表达,使得合针对特定方面的文本特征表示仍然存在挑战。
发明内容
为了解决现有技术对文本进行细粒度情感分析导致的精度低的问题,本发明提出了一种基于位置增强的细粒度情感分析方法。本发明首先将文本进行预处理和词向量构建,再通过细粒度情感分析模型进行情感分析。模型由嵌入层、语义表征层、信息交互层和输出层组成。首先嵌入层根据词向量,将文本中的句子映射为上下文词嵌入和方面词嵌入表示,其次语义表征层通过位置强化注意力机制来增强模型的文本语义表征能力,然后信息交互层通过使用记忆网络增强方面词与其上下文的交互性,将基于特定方面的上下文语义增强表示作为与方面交互的外部记忆单元,使得外部存储记忆单元能够学习到复杂文本中的语义信息,最后输出层进行特定方面词的情感预测。
为实现上述目的,本发明采用如下的技术方案
一种基于位置增强的细粒度情感分析方法,包括以下步骤:
步骤1文本预处理
(1)大小写转换:将存在的所有大写字母转换为小写字母。
(2)分词:采用通用的语言分词模块对文本数据集进行分词。
(3)去除停用词:去除文本数据中一些没有实际意义的词。
(4)利用屏蔽机制对文本数据构造位置权重矩阵M,根据句子中词的位置计算其权重大小,计算公式如下:
其中hmax表示为输入句子的最大长度。所述的屏蔽机制根据句子中方面词与上下文词的相对位置计算其位置权重,Mij表示以方面词wi为中心的词对的位置权重,i和j为词的位置索引。词对距离在hmax/2内时,根据距离的大小赋予权重,否则将Mij设定为0。
步骤2构建词向量
将预处理后文本数据的每一个词映射到向量空间,每个词对应一个维度为d的向量。对文本数据中的每一个词,若该词在预训练的词向量表中存在,则使用词向量表中的词向量作为该词的词向量,若该词在预训练词向量表中不存在,则使用正态分布随机初始化向量作为该词的词向量。
步骤3构建细粒度情感分析模型,并利用细粒度情感分析模型对待分析文本进行方面级情感的细粒度情感预测,该模型具体如下:
3.1嵌入层
文本数据中每个句子含有1个或多个方面,每个方面有对应的情感值。根据步骤2已构建的词向量,将文本数据中每个句子映射为低维稠密的词嵌入表示向量,其中分为方面词嵌入和上下文词嵌入。每个句子由方面和方面的上下文构成,相应的词嵌入表示分为上下文词嵌入和方面词嵌入。上下文是指句子中不包括方面的其他部分。如果方面由多个词组合而成的,则将多个词的词嵌入向量表示进行平均池化作为方面的向量表示。
3.2语义表征层
语义表征层用于提取文本的高度抽象表示,由块(Block)通过串联组成,通过不断迭代计算,从而得到文本的更深层次的抽象特征H。其中每个Block由位置权重融合机制和前馈神经网络两个子模块,经过残差连接和层归一化后组合而成。单个Block中位置权重融合机制和前馈神经网络两个子模块的输出都可以形式化表示为:
output=LayerNorm(x+Sublayer(x)) (公式2)
其中LayerNorm()为层归一化,Sublayer()为子模块本身所实现的函数每个Block详细设计如下:
(1)使用自注意力机制。上下文词嵌入E被线性映射到三个不同的空间,得到对应的查询矩阵Q、键矩阵K和值矩阵V,利用键值对注意力机制,以查询向量和键向量计算出上下文词对之间的相互依赖关系。其中,上下文词嵌入E中的第i个词嵌入ei(i=1,2,…,n)的线性映射表示为查询向量qi、键向量ki和值向量vi,这里n表示上下文词的数目,线性映射过程表示如下:
其中Wq、Wk和Wv分别为线性映射的参数矩阵,Q、K和V分别为查询向量qi、键向量ki和值向量vi构成的矩阵。
(2)使用位置权重融合机制。在自注意力机制中,通过位置权重矩阵M对关联性权重矩阵加入权重增强和权重屏蔽的措施,用于增强与方面词关联性较高的信息,减弱无关信息或错误情感信息的影响。权重的增强或屏蔽由上下文词距离方面词的远近作为度量。
首先将每个查询向量qi分别与键向量kj利用兼容函数f做关联分数计算,得到词对之间的关联分数矩阵S∈Rn×n,查询向量qi与键向量kj的关联分数Sij表示如下:
Sij=f(qi,kj)=wTσ(Wqi+Vkj)i,j∈{1,2,…,n} (公式4)
其中W,V,w是待训练参数,σ是Sigmoid激活函数,n为上下文词数目。
然后通过给关联分数f(qi,kj)增加位置权重Mij来加强和减弱上下文对方面的影响,并结合值向量vi进行信息聚合,提取特征head=[h1,h2,…,hn],每个特征hi的计算表示如下:
(3)使用多头自注意力机制。用于捕获不同方面的文本信息,计算如下:
LF-MultiHead(Q,K,V)=Concat(head1,…,headh)WO (公式7)
其中Concat(·)表示向量拼接,WO表示线性压缩变换,将多头注意力机制所形成的矩阵压缩到原有的维度,h表示方面的数目,headi为第i个方面通过自注意力机制提取的特征;
(4)使用残差连接和层归一化操作。残差连接以上下文词嵌入为输入,与多头自注意力机制的结果融合后一起进行层归一化操作,得到位置权重融合机制的输出。
(5)将位置权重融合机制的输出作为前馈神经网络层的输入,并再次通过残差连接和归一化操作,其结果作为Block最终输出。其中前馈神经网络采用全连接层和Relu激活函数实现。
3.3信息交互层
使用记忆网络进行交互,用于增强抽象特征H与方面之间的联系,保证方面和其上下文具有交互性。记忆网络以语义表征层得到的抽象文本特征H=[h1,h2,…,hn]作为记忆单元,由L个计算层组成.第1个计算层以方面词嵌入vaspect作为初始输入,以记忆单元的加权组合r作为输出,其输出作为下一个计算层的输入,每层依次迭代计算。加权组合公式如下:
其中n为记忆容量大小,αi∈[0,1]是记忆单元hi的权重且∑i=1αi=1。权重αi通过前馈神经网络计算方面与上下文的语义相关性得到,计算如下所示:
ωi=tanh(Watt[hi;vaspect]+batt) (公式9)
其中Watt∈R1×2n为参数向量,batt∈R1×1为偏置,αi为记忆单元hi的权值分配。
3.4输出层
在方面信息与记忆单元进行多次交互之后,得到的最终表示将作为特定方面所对应的情感特征,最后输入到softmax函数中得到情感分布,预测方面情感。
模型在预测前需要经过训练,具体如下:
通过最小化交叉熵损失函数和L2正则化项来训练细粒度情感分析模型,整个损失函数通过梯度下降来优化模型参数。损失函数如下所示:
其中D为训练数据集合,c表示句子的上下文,e表示句子的方面,l表示方面的情感标签,S为情感类别集合,ys为根据情感类别生成的独热编码,fs(c;e;θ)为模型的预测情感分布,λ为正则化项系数,控制正则化强弱,θ为模型权重系数。
有益效果
(1)本发明充分考虑位置信息对特定方面情感预测的影响,通过位置强化注意力机制界定对方面进行情感表达的上下文范围,增强了模型针对特定方面的文本语义表征能力;本发明通过合理界定对方面进行情感表达的上下文范围,来增强情感分析***的文本语义表征能力和信息交互作用,提高了细粒度情感分析准确度。
(2)本发明将基于特定方面的上下文语义增强表示作为与方面交互的外部记忆单元,改善记忆网络因将外部存储记忆单元建立在单一的词向量之上,难以学习到较复杂的文本中的语义信息问题;
(3)本发明在模型训练中能够实现并行化计算,提高了模型训练的效率。
附图说明
图1模型结构流程图;
图2位置嵌入模型结构图;
图3基于位置增强的细粒度情感分析模型结构。
具体实施方式
对本发明的具体实施方式作进一步的详细描述,以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明以语义评测比赛SemEval-2014 Task4所包含的电脑笔记本领域和餐厅领域的公开数据集和多方面情感数据集MAMS作为模型的训练语料,以此来验证该模型的有效性。其具体实施步骤如下:
步骤1文本预处理
首先对训练语料进行文本预处理,处理步骤如下:
(1)大小写转换:将存在的所有大写字母转换为小写字母。
(2)分词:采用通用的语言分词模块对文本数据集进行分词。
(3)去除停用词:去除文本数据中一些没有实际意义的词。
(4)构造位置权重矩阵M:根据句子中词的相对位置计算其权重大小,计算公式如下:
其中hmax表示为输入句子的最大长度。所述的屏蔽机制根据句子中方面词与上下文词的相对位置计算其位置权重,Mij表示以方面词wi为中心的词对的位置权重,i和j为词的位置索引。词对距离在hmax/2内时,根据距离的大小赋予权重,否则将Mij设定为0。
这里以句子“The food in this restaurant is delicious,but the serviceis relatively poor”为例,说明位置权重矩阵M的构建。j句子长度为13,句子中的方面为“food”和“service”,在去除停用词后,句子表示为s={(food,2),(restaurant,5),(delicious,7),(service,10),(relatively,12),(poor,13)},词“poor”相对于方面“service”的位置权重M10,13=1-|10-13|/13=0.769。
所述的方面词及上下文词是在训练语料中已经做好标注,方面词的自动识别方式不在本发明研究范围之内。
步骤2:词向量构建
对于预处理后的训练样本,通过Glove词向量将训练样本中的每一个词映射到向量空间,则每个词对应一个维度为d=300的向量。对训练样本中的每一个词,若该词在预训练的词向量表中存在,则使用词向量表中词向量作为该词的词向量,若该词在预训练词向量表中不存在,则使用随机分布U(-0.25,0.25)随机初始化向量作为该词的词向量。
步骤3构建细粒度情感分析模型,并利用训练完成的细粒度情感分析模型对待分析文本进行细粒度情感分析。
3.1嵌入层
首先对于句子s={w1,w2,…,wn}利用Glove词嵌入技术将词wi(i=1,2,…,n)映射为低维稠密的向量,作为词嵌入表示。词嵌入表示分为上下文词嵌入E=[e1,e2,…,en]和方面词嵌入vaspect,如果方面由多个词组合而成的,则将多个词的向量表示进行平均池化作为方面的向量表示。
3.2语义表征层
语义表征层由6个块(Block)组成,每个Block是由位置权重融合机制和前馈神经网络两个子模块串联组合而成,并且每个子模块进行了残差连接和层归一化。每个子层的输出可形式化表示如下:
output=LayerNorm(x+Sublayer(x)) (公式2)
其中LayerNorm()为层归一化,Sublayer()为子层本身所实现的函数,x为输入的特征。
Block具体设计步骤如下:
首先,将上下文词嵌入E线性映射到三个不同的空间,对于每个词嵌入ei(i=1,2,…,n)都可得到对应的查询向量qi、键向量ki和值向量vi。线性映射过程表示如下:
其中Wq、Wk和Wv分别为线性映射的参数矩阵,而Q、K和V分别为查询向量qi、键向量ki和值向量vi构成的矩阵。
其次,进行位置权重融合。在自注意力机制中加入了权重增强和权重屏蔽的措施,而权重的增强或屏蔽是由距离方面词的远近作为度量,增强与方面词关联性较高的信息,减弱无关信息或错误情感信息的影响。首先将每个查询向量qi分别与键向量ki利用兼容函数f做关联分数计算,得到关于词对间关联分数矩阵S∈Rn×n,表示如下:
Sij=f(qi,kj)=wTσ(Wqi+Vkj)i,j∈{1,2,…,n} (公式4)
其中W和V是待训练参数,σ是Sigmoid激活函数。
然后通过给关联分数f(qi,kj)增加位置权重Mij来加强和减弱上下文对方面的影响,并结合值向量vi进行信息聚合,提取特征head=[h1,h2,…,hn],计算表示如下:
其中Am∈Rn×n为位置融合后的权重矩阵,Mij为词的相对位置权重,β为位置权重扩张系数,取值为10。
为捕获不同方面的文本信息,将自注意力机制扩展为多头自注意力机制,表示如下:
LF-MultiHead(Q,K,V)=Concat(head1,…,headh)WO (公式7)
其中Concat(·)表示向量拼接,WO表示线性压缩变换,h表示方面的数目,headi为第i个方面词通过自注意力机制提取的特征;
最后,将词嵌入通过位置权重融合机制得到的输出作为前馈神经网络层的输入,并通过残差连接和归一化操作得到Block的输出,其中前馈神经网络采用全连接层和Relu激活函数实现,前馈神经网络表示如下:
FFN(x)=Relu(xW1+b1)W2+b2 (公式8)
其中W1和W2为训练参数,b1和b2为偏置项。
整个语义表征层是由多个Block层之间通过串联不断迭代计算,从而得到文本的更深层次的抽象特征H,深度挖掘针对特定方面的情感语义信息。
3.3信息交互层
信息交互层使用记忆网络保证了方面和其上下文具有交互性。以基于位置增强的语义表征层提取的文本特征H=[h1,h2,…,hn]作为记忆单元,由3个计算层组成,方面词向量v作为初始输入,自适应地从上下文隐藏状态H中选择加权组合r作为下一计算层的输入,加权组合公式如下:
其中n为记忆容量大小,αi∈[0,1]是记忆单元hi的权重且∑i=1αi=1。由于上下文对特定目标的情感判定具有不同的影响,所以采用前馈神经网络计算方面与上下文的语义相关性。这样可以根据外部记忆单元hi与方面的语义关系,自适应的为记忆单元hi分配权重。评分函数计算如下所示:
ωi=tanh(Watt[hi;vaspect]+batt) (公式10)
其中Watt∈R1×2n为参数向量,batt∈R1×1为偏置,αi为记忆单元hi的权值分配。
3.4输出层
在方面信息与记忆单元进行多次交互之后,得到的最终表示将作为特定目标所对应的情感特征,输入到softmax层预测方面情感。
在使用细粒度情感分析模型进行情感分析前,需要对模型进行训练,具体通过最小化交叉熵损失函数和L2正则化项来训练模型,整个损失函数通过梯度下降来优化模型参数,损失函数如下所示:
其中S为情感类别集合,D为训练数据集合,ys为根据情感类别生成的独热编码,fs(c;e;θ)为模型的预测情感分布,λ为正则化项系数,取值为0.001,控制正则化强弱,θ为模型权重系数。L2正则化衰减系数设置为10e-4。训练中的所有权重矩阵用均匀分布U(-0.01,-0.01)进行随机初始化,偏置初始化为0。
步骤4实验分析
为了验证模型的性能,在Restaurant、Laptop和MAMS三个数据集上进行了实验并与其他基线模型进行比较,验证了方法的有效性
表1实验结果对比
Claims (6)
1.一种基于位置增强的细粒度情感分析方法,其特征在于包括以下步骤:
步骤1文本预处理;
步骤2词向量构建:将预处理后的文本数据中的每一个词映射到向量空间,得到每个词的词向量;
步骤3利用细粒度情感分析模型对待分析文本进行方面级情感的细粒度情感预测,其中细粒度情感分析模型包括嵌入层、语义表征层、信息交互层和输出层,
具体预测过程为:
首先,嵌入层根据步骤2得到的词向量,将文本中的句子映射为上下文词嵌入和方面词嵌入表示;
然后,语义表征层对上下文词嵌入使用自注意力机制,再通过方面词位置信息强化注意力机制来增强模型的文本语义表征能力;
接下来,通过信息交互层增强方面词与其上下文的交互性;
最后,输出层进行方面词的情感预测。
3.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法,其特征在于包括以下步骤:步骤2中所述词向量的获取方式为:对文本数据中的每一个词,若该词在预训练的词向量表中存在,则使用词向量表中的词向量作为该词的词向量,若该词在预训练词向量表中不存在,则使用正态分布随机初始化向量作为该词的词向量。
4.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法,其特征在于:所述细粒度情感分析模型每个层的具体步骤如下:
嵌入层根据步骤2得到所有词的词向量,将文本中的句子映射为低维稠密向量形式的词嵌入表示,已经标记方面的句子看作由方面和方面的上下文构成,相应的词嵌入表示分为上下文词嵌入和方面词嵌入,如果一个方面由多个词构成,则将多个词的向量表示进行平均池化作为方面的向量表示;
语义表征层用于提取文本的高度抽象表示,语义表征层的网络具体结构由K个Block通过串联组成,通过不断迭代计算,从而得到文本的更深层次的抽象特征H,其中每个Block在注意力机制中加入了位置权重,并使用残差连接、层归一化和前馈神经网络层处理;
信息交互层使用记忆网络进行交互,用于增强抽象特征H与方面之间的联系,保证方面和其上下文具有交互性;记忆网络以语义表征层得到的抽象文本特征H=[h1,h2,…,hn]作为记忆单元,由L个计算层组成,第1个计算层以方面词嵌入vaspect作为初始输入,以记忆单元的加权组合r作为输出,其输出作为下一个计算层的输入,每层依次迭代计算,加权组合公式如下:
其中n为记忆容量大小,αi∈[0,1]是记忆单元hi的权重且∑i=1αi=1,权重αi通过前馈神经网络计算方面与上下文的语义相关性得到,计算如下所示:
ωi=tanh(Watt[hi;vaspect]+batt) (公式3)
其中Watt∈R1×2n为参数向量,batt∈R1×1为偏置,αi为记忆单元hi的权值分配;
输出层以信息交互层的结果为输入,利用softmax函数预测方面情感。
5.根据权利要求4所述的一种基于位置增强的细粒度情感分析方法,其特征在于包括以下步骤:步骤3中所述语义表征层的Block设计如下:
(1)使用自注意力机制:上下文词嵌入E被线性映射到三个不同的空间,得到对应的查询矩阵Q、键矩阵K和值矩阵V,其中,上下文词嵌入E中的第i个词嵌入ei(i=1,2,…,n)的线性映射表示为查询向量qi、键向量ki和值向量vi,这里n表示上下文词的数目,线性映射过程表示如下:
其中Wq、Wk和Wv分别为线性映射的参数矩阵,Q、K和V分别为查询向量qi、键向量ki和值向量vi构成的矩阵;
(2)使用位置权重融合机制:在自注意力机制中加入了权重增强和权重屏蔽的措施,用于增强与方面词关联性较高的信息,减弱无关信息或错误情感信息的影响,权重的增强或屏蔽由上下文词距离方面词的远近作为度量,具体如下:
首先将每个查询向量qi分别与键向量kj利用兼容函数f做关联分数计算,得到词对之间的关联分数矩阵S∈Rn×n,查询向量qi与键向量kj的关联分数Sij表示如下:
Sij=f(qi,kj)=wTσ(Wqi+Vkj) i,j∈{1,2,…,n} (公式6)
其中W,V,w是待训练参数,σ是Sigmoid激活函数,n为上下文词数目;
然后通过给关联分数f(qi,kj)增加位置权重Miij来加强和减弱上下文对方面的影响,并结合值向量vi进行信息聚合,提取特征head=[h1,h2,…,hn],计算表示如下:
(3)使用多头自注意力机制,用于捕获不同方面的文本信息,计算如下:
LF-MultiHead(Q,K,V)=Concat(head1,…,headh)WO (公式9)
其中Concat(·)表示向量拼接,WO表示线性压缩变换,将多头注意力机制所形成的矩阵压缩到原有的维度,h表示方面的数目,headi为第i个方面通过自注意力机制提取的特征;
(4)使用残差连接和层归一化操作:残差连接以上下文词嵌入为输入,与多头自注意力机制的结果一起进行层归一化操作,得到位置权重融合机制的输出;
(5)将位置权重融合机制的输出作为前馈神经网络层的输入,并再次通过残差连接和归一化操作,其结果作为Block层最终输出,其中前馈神经网络采用全连接层和Relu激活函数实现。
6.根据权利要求1所述的一种基于位置增强的细粒度情感分析方法,其特征在于包括以下步骤:训练细粒度情感分析模型:通过最小化交叉熵损失函数和L2正则化项来训练模型,整个损失函数通过梯度下降来优化模型参数,损失函数如下所示:
Loss=∑(c,e,l)∈D∑s∈Syslog fs(c;e;θ)+λ||θ||2 (公式11)
其中D为训练数据集合,c表示句子的上下文,e表示句子的方面,l表示方面的情感标签,S为情感类别集合,ys为根据情感类别生成的独热编码,fs(c;e;θ)为模型的预测情感分布,λ为正则化项系数,控制正则化强弱,θ为模型权重系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111000430.XA CN113705197B (zh) | 2021-08-30 | 2021-08-30 | 一种基于位置增强的细粒度情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111000430.XA CN113705197B (zh) | 2021-08-30 | 2021-08-30 | 一种基于位置增强的细粒度情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705197A true CN113705197A (zh) | 2021-11-26 |
CN113705197B CN113705197B (zh) | 2024-04-02 |
Family
ID=78656373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111000430.XA Active CN113705197B (zh) | 2021-08-30 | 2021-08-30 | 一种基于位置增强的细粒度情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705197B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118013045A (zh) * | 2024-04-02 | 2024-05-10 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522548A (zh) * | 2018-10-26 | 2019-03-26 | 天津大学 | 一种基于双向交互神经网络的文本情感分析方法 |
CN110472042A (zh) * | 2019-07-02 | 2019-11-19 | 桂林电子科技大学 | 一种细粒度情感分类方法 |
US20200356724A1 (en) * | 2019-05-06 | 2020-11-12 | University Of Electronic Science And Technology Of China | Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments |
CN112100376A (zh) * | 2020-09-11 | 2020-12-18 | 湖南大学 | 用于细粒度情感分析的相互增强转换网络 |
WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
-
2021
- 2021-08-30 CN CN202111000430.XA patent/CN113705197B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522548A (zh) * | 2018-10-26 | 2019-03-26 | 天津大学 | 一种基于双向交互神经网络的文本情感分析方法 |
US20200356724A1 (en) * | 2019-05-06 | 2020-11-12 | University Of Electronic Science And Technology Of China | Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments |
CN110472042A (zh) * | 2019-07-02 | 2019-11-19 | 桂林电子科技大学 | 一种细粒度情感分类方法 |
WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
CN112100376A (zh) * | 2020-09-11 | 2020-12-18 | 湖南大学 | 用于细粒度情感分析的相互增强转换网络 |
Non-Patent Citations (3)
Title |
---|
XINYU CAO 等: "Microblog-oriented Multi-scale CNN Multi-label Sentiment Classification Model", 2020 IEEE/WIC/ACM INTERNATIONAL JOINT CONFERENCE ON WEB INTELLIGENCE AND INTELLIGENT AGENT TECHNOLOGY (WI-IAT), 24 June 2021 (2021-06-24) * |
YINGHONG SUN 等: "A High-Dimensional and Multi-granularity Feature Selection Method Based on CNN and RF", ADVANCES IN NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY, 31 January 2020 (2020-01-31) * |
徐德华 等: "基于深度记忆网络的在线评论细粒度情感分类", 电子制作, no. 01, 1 January 2020 (2020-01-01) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118013045A (zh) * | 2024-04-02 | 2024-05-10 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
CN118013045B (zh) * | 2024-04-02 | 2024-06-18 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113705197B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
CN110490946B (zh) | 基于跨模态相似度和生成对抗网络的文本生成图像方法 | |
CN111554268B (zh) | 基于语言模型的语言识别方法、文本分类方法和装置 | |
CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN112347268A (zh) | 一种文本增强的知识图谱联合表示学习方法及装置 | |
CN110287323B (zh) | 一种面向目标的情感分类方法 | |
CN113312500A (zh) | 一种面向大坝安全运行的事件图谱构建方法 | |
CN110889282B (zh) | 一种基于深度学习的文本情感分析方法 | |
CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
CN111984791B (zh) | 一种基于注意力机制的长文分类方法 | |
CN111414481A (zh) | 基于拼音和bert嵌入的中文语义匹配方法 | |
CN110765240A (zh) | 多相关句子对的语义匹配评估方法 | |
CN112232053A (zh) | 一种基于多关键词对匹配的文本相似度计算***、方法、及存储介质 | |
CN111400492B (zh) | 基于sfm-dcnn的层次特征文本分类方法和*** | |
CN111241303A (zh) | 一种大规模非结构化文本数据的远程监督关系抽取方法 | |
CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN114693397A (zh) | 一种基于注意力神经网络的多视角多模态商品推荐方法 | |
CN114841151B (zh) | 基于分解-重组策略的医学文本实体关系联合抽取方法 | |
CN112269874A (zh) | 一种文本分类方法及*** | |
CN114881042A (zh) | 基于图卷积网络融合句法依存与词性的中文情感分析方法 | |
CN114004220A (zh) | 一种基于cpc-ann的文本情绪原因识别方法 | |
CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及*** | |
CN115563314A (zh) | 多源信息融合增强的知识图谱表示学习方法 | |
CN116187349A (zh) | 一种基于场景图关系信息增强的视觉问答方法 | |
CN116976505A (zh) | 基于信息共享的解耦注意网络的点击率预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |