CN114298011B - 神经网络、训练方法、方面级情感分析方法、装置及存储介质 - Google Patents
神经网络、训练方法、方面级情感分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114298011B CN114298011B CN202111659500.2A CN202111659500A CN114298011B CN 114298011 B CN114298011 B CN 114298011B CN 202111659500 A CN202111659500 A CN 202111659500A CN 114298011 B CN114298011 B CN 114298011B
- Authority
- CN
- China
- Prior art keywords
- analyzed
- emotion
- sentence
- training
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 173
- 238000012549 training Methods 0.000 title claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 50
- 238000004458 analytical method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种神经网络、训练方法、方面级情感分析方法、装置及存储介质,神经网络包括:BERT词嵌入模块获得输入文本的语义信息和输入文本中待分析语句所有单词的词向量;第一全连接层基于语义信息获得语义特征向量;第二全连接层基于词向量获取单词特征向量;潜在狄利克雷分布模块分别提取待分析语句的主题分布和方面情感对的主题分布;特征融合层判断待分析语句是否与方面情感对匹配;解码标注模块在解码序列中标记出目标词语位置获得标记序列;输出层为基于特征融合层输出的判断结果输出情感分析结果。实现多任务输出,通过特征融合层将语义信息与主题分布进行特征融合,学习到特定领域的词汇,提升模型的情感分类任务效果。
Description
技术领域
本发明涉及自然语言处理及人工智能领域,特别是涉及一种神经网络、训练方法、方面级情感分析方法、装置及存储介质。
背景技术
随着互联网技术的蓬勃发展,无论人们是在互联网上进行购物、社交还是选择餐饮服务等,都开始热衷于发表自己的观点,由此产生了大量的网络评论。而这些以文本为载体的评论包含了人们对某一实体以及实体不同方面的情感表达。通过对用户评论进行情感分析,企业可以明确自身产品或者服务的缺陷以及不足之处,从而可以更有针对性地对其产品或者服务进行改善,提升企业的竞争力,而用户也可以获得更符合自己心意的产品或服务,得到更高的心理满足感。所以,在当前的大数据时代掌握一项准确分析用户观点情感自动化技术,避免消耗大量的人工成本,也能够更为高效、全面、客观的对用户的偏好、期望和不满等信息进行分析,促进企业更好更快的发展,还能让企业抓住新的发展机遇。
在实际的应用场景中,方面级情感分析方法拥有巨大的价值以及广阔的应用场景,如在全球各大知名电商平台上,如淘宝、京东、拼多多和Amazon等,都有利用方面级情感分析技术来对用户的评论数据进行挖掘,从描绘出同一商品不同方面的优缺点,在方便用户做决策的同时,也能让平台能够根据挖掘出的用户喜好信息来实现更精准的商品推荐。2018年由互联网巨头美团、搜狗等联合举办的细粒度用户评论情感分析比赛,吸引来自全球各地的上万支队伍参加,足以看出挖掘方面级情感对工业界有至关重要的作用。
目前方面级的情感分析方法大致有两类:
第一类是基于构建传统的语义规则和情感词典的方法,其主要根据完全人为定义的情感词典和语义规则,对文本中各方面信息所对应的情感词进行提取并根据情感词典对其进行打分,然后根据情感单元所得的情感总分来对情感进行分类。例如专利CN109376239B公开了一种用于中文微博情感分类的特定情感词典的生成方法,该方法需要建立微博语料的情感传播图,并根据其计算好的标准中心度选取子情感单元,通过构建的情感词典对子情感单元进行情感标注,最后获取所有情感单元的情感分进而对微博语料的情感进行分类。这种方法需要完全人工构建情感词典,以及复杂的语义规则定义,由此浪费巨大的时间成本去准备基本的底层工作,并且这种方法在不同的特定领域下,需要构建不同的词典与规则,可扩展性较差且情感分析效果提升并不明显。
另一类则是基于深度学习的方法。这种方法主要基于各种各样的深度学习模型对数据进行建模,而后输入语料库对模型进行训练,从而就可以利用已经训练的模型来进行情感分析。为此,专利CN113535904A公开了一种基于图神经网络的方面级别情感分类模型及方法,其通过预训练语言模型BERT来训练出词向量,通过BiLSTM层捕获到词向量中的上下文特征,随后通过多跳注意力图神经网络提取语义特征并且将方面目标词和语义进行交互,最后通过softmax得到方面级情感分析。
综上所述,目前公开的方面级情感分析的专利和文献中,大多数方法都没有考虑到如何更好地构建特定领域的词向量,并且对于模型的困难样本以及低频率词汇的学习也考虑欠佳,故此,本领域亟待一种解决此类问题的方面级情感分析方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种神经网络、训练方法、方面级情感分析方法、装置及存储介质。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种神经网络,包括:BERT词嵌入模块,被配置为对输入文本进行词嵌入处理,对词嵌入处理结果进行编码处理获得所述输入文本的语义信息和输入文本中待分析语句所有单词的词向量,其中,所述输入文本包括待分析语句和方面情感对;第一全连接层,被配置为基于所述语义信息获得语义特征向量;第二全连接层,被配置为基于所述词向量获取单词特征向量;潜在狄利克雷分布模块,被配置为分别提取待分析语句的主题分布和方面情感对的主题分布;特征融合层,被配置为结合所述语义特征向量、待分析语句的主题分布和方面情感对的主题分布判断待分析语句是否与方面情感对匹配;解码标注模块,被配置为根据特征融合层输出的判断结果对待分析语句的所有单词特征向量进行解码获得解码序列,并在解码序列中标记出目标词语位置获得标记序列;输出层,被配置为基于特征融合层输出的判断结果输出情感分析结果。
上述技术方案:该神经网络为端到端的神经网络,实现对输入文本中的目标,方面和情感进行建模,增强词向量在特定领域的性能。该神经网络结构具备两个任务,第一任务为特征融合层判断输入文本中待分析语句是否与方面情感对匹配,第二任务为解码标注模块根据特征融合层输出的判断结果获取待分析语句的标记有目标词语位置的标记序列,实现了多任务输出。通过特征融合层将语义信息与潜在狄利克雷分类模型提取出的主题分布进行特征融合,从而学习到特定领域的词汇,帮助BERT词嵌入模型进行微调,提升模型的情感分类任务(即待分析语句是否与方面情感对匹配的判断结果)的效果,有助于模型更好地情感分析。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种神经网络训练方法,包括:步骤A,构建训练样本集;获取每个训练样本中待分析语句是否与方面情感对匹配的判断结果,记为真实判断结果y;获取每个训练样本中待分析语句对应的标记有目标词语位置的真实标记序列Τ;步骤B,利用全部或部分训练样本对本发明第一方面所述的神经网络进行训练获得初始模型参数θ0;步骤C,采用多任务对抗训练方法对步骤B训练后获得的神经网络进一步训练。
上述技术方案:提出了一种基于多任务的对抗训练方法,在BERT词嵌入模型训练阶段向单词矩阵添加最优扰动,将得到的对抗样本与干净样本一起训练,不仅增强了神经网络模型的鲁棒性,还能够增加神经网络模型的泛化能力,从而让神经网络模型学习到困难样本以及低频率词汇。
为了实现本发明的上述目的,根据本发明的第三个方面,本发明提供了一种方面级情感分析方法,包括:设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,所述N和M均为正整数;获取待分析语句,将所述待分析语句和不同的方面情感对构建出不同的输入文本;对每个输入文本进行如下处理:将输入文本输入本发明第一方面的神经网络,所述神经网络输出所述输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据所述判断结果输出情感分析结果。
上述技术方案:将待分析语句和不同的方面情感对进行组合获得不同的输入文本,将不同的输入文本输入神经网络进行待分析语句和方面情感对是否匹配判断并在两者匹配时输出目标词语位置的标记序列,能够很好地分析具有多方面的文本的情感,显著提高方面级文本情感分析效果,准确地提取(目标、方面、情感)三元组,具有较高的泛化能力。
为了实现本发明的上述目的,根据本发明的第四个方面,本发明提供了一种方面级情感分析装置,包括:方面情感对设置模块,设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,所述N和M均为正整数;输入文本构建模块,获取待分析语句,将所述待分析语句和不同的方面情感对构建出不同的输入文本;神经网络模块,对输入文本进行处理,输出所述输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据所述判断结果输出情感分析结果。
上述技术方案:将待分析语句和不同的方面情感对进行组合获得不同的输入文本,将不同的输入文本输入神经网络进行待分析语句和方面情感对是否匹配判断并在两者匹配时输出目标词语位置的标记序列,能够很好地分析具有多方面的文本的情感,显著提高方面级文本情感分析效果,准确地提取(目标、方面、情感)三元组,具有较高的泛化能力。
为了实现本发明的上述目的,根据本发明的第五个方面,本发明提供了一种存储有计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行本发明第一方面或第二方面所述方法中的步骤。
上述技术方案:将待分析语句和不同的方面情感对进行组合获得不同的输入文本,将不同的输入文本输入神经网络进行待分析语句和方面情感对是否匹配判断并在两者匹配时输出目标词语位置的标记序列,能够很好地分析多方面文本的情感,显著提高方面级文本情感分析效果,准确地提取(目标、方面、情感)三元组,具有较高的泛化能力。
附图说明
图1是本发明一具体实施方式中神经网络的结构示意图;
图2是本发明一具体实施方式中神经网络处理过程示意图;
图3是本发明一具体实施方式中情感分析结果示意图;
图4是本发明一具体实施方式中多任务对抗训练方法的算法示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种神经网络,在一种优选实施方式中,如图1所示,该神经网络包括:
BERT词嵌入模块,被配置为对输入文本进行词嵌入处理,并对词嵌入处理结果进行编码处理获得该输入文本的语义信息和输入文本中待分析语句所有单词的词向量,其中,输入文本包括待分析语句和方面情感对。待分析语句可以是一个短语、一句话或多句话,里面可以包括多个方面、多个目标以及多种情感。如图2所示,语义信息表示为T(CLS),T(CLS)为d维向量。待分析语句中n个单词的词向量分别表示为T1、T2……Tn。
第一全连接层,被配置为基于语义信息T(CLS)获得语义特征向量P[CLS]=tanh(W1T(CLS)+b1),用于对语义信息进行降维和提取语义特征。其中,tanh(·)表示tanh激活函数。W1表示第一全连接层的权重向量,W1∈Rd×2,即W1的维度为d×2。b1表示第一全连接层的偏置向量,b1∈R2,b1的维度为2。
第二全连接层,被配置为基于词向量Ti获取单词特征向量Pi,i∈[1,n],用于对词向量进行降维和提取单词特征。第i个单词特征向量为Pi=tanh(W2Ti+b2),Ti表示第i个词向量。W2表示第二全连接层的权重向量,W2∈Rd×n,即W2的维度为d×n。b2表示第一全连接层的偏置向量,b2∈Rn,b2的维度为n。R表示实数。
潜在狄利克雷分布模块,被配置为分别提取待分析语句的主题分布和方面情感对的主题分布。通过待分析语句的主题分布和方面情感对的主题分布能够判别到一些特定领域的特定词,通过融入主题之后更能判断出待分析语句与方面情感对是否匹配以及其是否存在目标词语。为了提高BERT词嵌入模块的语义信息分类效果,引入了潜在狄利克雷分布模型LDA,通过该模型提取主题信息来学习特定领域词汇,进行提升BERT的微调性能。将待分析语句定义为第一句子S1,方面情感对定义为第二句子S2,将句子S1和S2分别进行编码,在进行预料清洗等一些列操作后输入到LDA模型中预测两个句子的主题分布,得到:
第一句子S1的主题分布为:D1=LDA([T1,...,Tn])∈Rt;
第二句子S2的主题分布为:D2=LDA([T1,T2,T3])∈Rt;
其中,t表示超参数话题的数量。
特征融合层,被配置为结合语义特征向量、待分析语句的主题分布和方面情感对的主题分布判断待分析语句是否与方面情感对匹配。优选地,如图2所示,特征融合层包括softmax激活函数,语义特征向量、待分析语句的主题分布和方面情感对的主题分布一起输入softmax激活函数后,softmax激活函数输出待分析语句与方面情感对是否匹配的判断结果,即YES的概率和NO的概率。具体的,通过softmax激活函数得到待分析语句与方面情感对是否匹配的判断结果的概率分布为F:F=softmax([P[CLS];D1;D2])∈R2。
解码标注模块,被配置为根据特征融合层输出的判断结果对待分析语句的所有单词特征向量进行解码获得解码序列,并在解码序列中标记出目标词语位置获得标记序列。为便于观察,可采用如下方式进行标记:将解码序列中目标词语位置处的元素赋值为第一数值,将解码序列中非目标词语位置处的元素赋值为第二数值,第一数值与第二数值不同。第一数值优选但不限于为字符,如字符B。第二数值优选但不限于为字符,如字符O。解码标注模块优选但不限于为现有的条件随机(CRF)场解码器。
输出层,被配置为基于特征融合层输出的判断结果输出情感分析结果。
在本实施方式中,方面是指用户自定义的多个目标的总称。可预先设定多个方面,方面可为总体环境(ambience general)、总体服务(service general)、食物质量(foodquality)、食物价格(food prices)等。每个方面包括多个目标,比如方面总体环境(ambience general)可包括地板、桌椅、声音、噪音、光线等目标,每个目标的实际词语可能有多种形式,比如地板的目标词语可为瓷砖、木地板、水泥地等。总体服务(servicegeneral)可包括服务员态度、优惠项目、上菜速度等目标。情感可包括多个分类,可根据细粒度要求越高设置分类数量越多,如情感包括三个分类时可以是positive(好),negative(差),neutral(中性)。方面情感对是指方面+情感的组合,比如总体环境好、总体服务好、食物质量差等。
在本实施方式中,输入文本为与BERT词嵌入模型输入形式匹配的文本,具体形式为:[CLS]+句子+[SEP]+(方面情感)+[SEP],其中,[CLS]和[SEP]是BERT词嵌入模块中的一种特殊标签,并且[CLS]代表着整个输入文本的整体语义表示,用于情感分类。其中输入文本的长度为句子中单词的数量n加上长度为3的方面情感对,以及3个特殊的BERT标签,因此整个输入的长度为n+6。
在本实施方式中,如图2所示,BERT词嵌入模块对输入文本进行词嵌入处理,包括符号(Token)嵌入、片段(Segment)嵌入、位置(Pos ition)嵌入,分别获得对应的单词矩阵E、片段矩阵、位置矩阵。
在一种优选实施方式中,解码标注模块具体执行过程为:
当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,对待分析语句的所有单词特征向量进行解码获得解码序列,在解码序列中标记出目标词语位置获得标记序列。在特征融合层输出的判断结果为待分析语句与方面情感对匹配时,即如图2所示,YES的概率大于NO的概率,判断结果为YES。当解码标注模块能够从待分析语句中识别到目标词语时,标记序列可为:O B O O O O O O O O O O O,B的位置为目标词语位置。情感识别结果可为:YES O B O O O O O O O O O O O。当解码标注模块不能够从待分析语句中识别到目标词语时,即这时为隐含目标场景,标记序列可为:O O O O O O O O O O O O O,情感识别结果可为:YES O O O O O O O O O O O O O。当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时,不对待分析语句的单词特征向量处理。
在一种优选实施方式中,输出层具体执行过程为:当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,输出情感分析结果,如图3所示,情感分析结果包括特征融合层的判断结果和标记序列;当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时,输出匹配失败,如FAIL。
在一种优选实施方式中,当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,情感分析结果还包括目标词语、方面、情感组成的三元组,实现了三元组准确提取,当标注序列中没有目标词语时,单元组中目标词语处可为空(NULL)。其中,目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。
本发明还公开了一种神经网络训练方法,在一种优选实施方式中,训练方法具体包括:
步骤A,构建训练样本集;获取每个训练文本中待分析语句是否与方面情感对匹配的判断结果,记为真实判断结果y,如y为YES或No;获取每个训练文本中待分析语句对应的标记有目标词语位置的真实标记序列Τ。获取现有的数据集,该数据集中包括多个待分析的语句,将待分析的语句与方面情感组合构成训练样本,根据训练样本获得真实判断结果,当真实判断结果为两者匹配时,继续获得训练样本的真实标记序列,当真实判断结果为两者不匹配时,不获取训练样本的真实标记序列。真实判断结果和真实标记序列的获取优选但不限于通过专家设置的模式。训练样本格式也可如图2所示,包括S1+S2。因此,一个训练样本对应有一个真实判断结果,或者对应有一个真实判断结果和一个真实标记序列。
步骤B,利用全部或部分训练样本对本发明提供的上述神经网络进行训练获得初始模型参数θ0。
步骤C,采用多任务对抗训练方法对步骤B训练后获得的神经网络进一步训练。
在一种优选实施方式中,步骤C包括:
步骤C1,神经网络设有两个任务,第一任务为特征融合层判断训练样本中待分析语句是否与方面情感对匹配,第二任务为解码标注模块根据特征融合层输出的判断结果获取待分析语句的标记有目标词语位置的标记序列。
步骤C2,进行K次迭代对抗训练,t∈[1,K],第t次迭代过程为:
步骤C21,获取一个训练样本,在训练样本被词嵌入处理后的单词矩阵中加入(t-1)次迭代获得的扰动rt-1获得对抗样本;对抗样本相较训练样本在单词矩阵中加入了(t-1)次迭代获得的扰动rt-1。
步骤C22,将对抗样本输入神经网络进行训练获得第一任务训练结果和第二任务训练结果;
步骤C23,基于第一任务训练结果与训练样本的真实判断结果获得第一任务损失,基于第二任务训练结果与训练样本的真实标记序列获得第二任务损失,结合第一任务损失和第二任务损失获得第t次迭代的扰动rt和模型参数梯度gt。
进一步优选地,第t次迭代的扰动rt为:
其中,a表示迭代权重,α∈[0,1];gadv表示对抗梯度,gadv通过求取第一任务损失和第二任务损失对扰动的梯度上升得到,即/>||gadv||F表示对抗梯度的F范数;rt-1表示第(t-1)次迭代获得的扰动。
进一步优选地,第t次迭代的模型参数梯度gt为:
其中,gt-1表示第(t-1)次迭代获得的模型参数梯度;lossCLS(E;y;θ0)表示第一任务损失;E表示本次迭代加入了扰动后的单词矩阵;y表示获取的训练样本的真实判断结果;Τ表示获取的训练样本的真实标记序列。K表示允许的最大迭代次数。
lossNER(E;Τ;θ0)表示第二任务损失;表示对[lossCLS(E;y;θ0)+lossNER(E;Τ;θ0)]求取梯度下降。
Fi'表示F中的第i'个元素,I(·)为指示函数。lossNER(E;Τ;θ0)=-log(p(Τ|P)),p(Τ\P)表示为预测序列的概率分布,P由P1,...,Pn组成的n×3矩阵。
步骤C24,优化第一任务损失和第二任务损失,具体的,为便于同时同步优化,优选地,将整个神经网络的总损失定义为:N'表示训练样本总数,j表示训练样本索引,j∈[1,N']。/>表示第j个训练样本的第一任务损失。/>表示第j个训练样本的第二任务损失。优选地,采用Adam优化器优化第一任务损失和第二任务损失。
步骤C3,基于第K次迭代获得的模型参数梯度gK更新初始模型参数θ0获得最终模型参数θ,θ=θ-l*gK,其中,l表示模型学习率,l的取值范围为e-5到3e-5。
在本发明提供的神经网络训练方法的一种应用场景中,采用分批次训练的方式进行训练,每个批次按照上述步骤A、B、C进行训练,具体算法如图4所示,设置扰动r的初始值为其中,Nr表示添加的扰动的数量,具体为n+6;U(-ε,ε)表示1除以-ε到ε的距离;模型参数梯度g的初始值设置为g0=0。
本发明还公开了一种方面级情感分析方法,在一种优选实施方式中,该方面级情感分析方法包括:
设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,N和M均为正整数。获取待分析语句,将待分析语句和不同的方面情感对构建出不同的输入文本。优选地,为减少运算量,可以将与待分析语句相关的方面情感对与其匹配构建输入文本。对每个输入文本进行如下处理:将输入文本输入本发明提供的上述神经网络,神经网络输出所述输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据该判断结果输出情感分析结果。
本发明还提供了一种方面级情感分析装置,在一种优选实施方式中,该装置包括:方面情感对设置模块,设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,N和M均为正整数;输入文本构建模块,获取待分析语句,将待分析语句和不同的方面情感对构建出不同的输入文本;神经网络模块,对输入文本进行处理,输出输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据判断结果输出情感分析结果。
本发明还提供了一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行本发明提供的神经网络训练方法或方面级情感分析方法中的步骤。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种应用于方面级情感分析的神经网络构建方法,其特征在于,包括构建:
BERT词嵌入模块,被配置为对输入文本进行词嵌入处理,对词嵌入处理结果进行编码处理获得所述输入文本的语义信息和输入文本中待分析语句所有单词的词向量,其中,所述输入文本包括待分析语句和方面情感对;
第一全连接层,被配置为基于所述语义信息获得语义特征向量;
第二全连接层,被配置为基于所述词向量获取单词特征向量;
潜在狄利克雷分布模块,被配置为分别提取待分析语句的主题分布和方面情感对的主题分布;
特征融合层,被配置为结合所述语义特征向量、待分析语句的主题分布和方面情感对的主题分布判断待分析语句是否与方面情感对匹配;当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,情感分析结果还包括目标词语、方面、情感组成的三元组;其中,所述目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词
解码标注模块,被配置为根据特征融合层输出的判断结果对待分析语句的所有单词特征向量进行解码获得解码序列,并在解码序列中标记出目标词语位置获得标记序列;
输出层,被配置为基于特征融合层输出的判断结果输出情感分析结果;
解码标注模块具体执行过程为:
当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,对待分析语句的所有单词特征向量进行解码获得解码序列,在所述解码序列中标记出目标词语位置获得标记序列;
当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时,不对待分析语句的单词特征向量处理。
2.如权利要求1所述的应用于方面级情感分析的神经网络的构建方法,其特征在于,所述输出层具体执行过程为:
当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,输出情感分析结果,所述情感分析结果包括特征融合层的判断结果和标记序列;
当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时,输出匹配失败。
3.一种神经网络训练方法,其特征在于,包括:
步骤A,构建训练样本集;获取每个训练样本中待分析语句是否与方面情感对匹配的判断结果,记为真实判断结果y;获取每个训练样本中待分析语句对应的标记有目标词语位置的真实标记序列T;
步骤B,利用全部或部分训练样本对按照权利要求1或2所述的应用于方面级情感分析的神经网络构建方法构建的神经网络进行训练获得初始模型参数θ0;
步骤C,采用多任务对抗训练方法对步骤B训练后获得的神经网络进一步训练。
4.如权利要求3所述的神经网络训练方法,其特征在于,所述步骤C包括:
步骤C1,所述神经网络设有两个任务,第一任务为特征融合层判断训练文本中待分析语句是否与方面情感对匹配,第二任务为解码标注模块根据特征融合层输出的判断结果获取待分析语句的标记有目标词语位置的标记序列;
步骤C2,进行K次迭代对抗训练,t∈[1,K],第t次迭代过程为:
步骤C21,获取一个训练样本,在训练样本被词嵌入处理后的单词矩阵中加入(t-1)次迭代获得的扰动rt-1获得对抗样本;
步骤C22,将对抗样本输入所述神经网络进行训练获得第一任务训练结果和第二任务训练结果;
步骤C23,基于第一任务训练结果与所述训练样本的真实判断结果获得第一任务损失,基于第二任务训练结果与所述训练样本的真实标记序列获得第二任务损失,结合第一任务损失和第二任务损失获得第t次迭代的扰动rt和模型参数梯度gt;
步骤C24,优化第一任务损失和第二任务损失;
步骤C3,基于第K次迭代获得的模型参数梯度gK更新初始模型参数θ0获得最终模型参数θ。
5.如权利要求4所述的神经网络训练方法,其特征在于,在所述步骤C23中,第t次迭代的扰动rt为:其中,α表示迭代权重;gadv表示对抗梯度,gadv通过求取第一任务损失和第二任务损失对扰动的梯度上升得到;||gadv||F表示对抗梯度的F范数;rt-1表示第(t-1)次迭代获得的扰动;
和/或第t次迭代的模型参数梯度gt为:
其中,gt-1表示第(t-1)次迭代获得的模型参数梯度;lossCLS(E;y;θ0)表示第一任务损失;E表示本次迭代加入了扰动后的单词矩阵;T表示获取的训练样本的真实标记序列;lossNER(E;T;θ0)表示第二任务损失;表示对[lossCLS(E;y;θ0)+lossNER(E;T;θ0)]求取梯度下降;K表示允许的最大迭代次数。
6.一种方面级情感分析方法,其特征在于,包括:
设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,所述N和M均为正整数;
获取待分析语句,将所述待分析语句和不同的方面情感对构建出不同的输入文本;
对每个输入文本进行如下处理:
将输入文本输入按照权利要求1或2所述的应用于方面级情感分析的神经网络构建方法构建的神经网络,所述神经网络输出所述输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据所述判断结果输出情感分析结果。
7.一种方面级情感分析装置,用于实现权利要求6所述的方面级情感分析方法,其特征在于,包括:
方面情感对设置模块,设置N个方面和M个情感,将全部或部分方面分别与不同的情感组合获得多个方面情感对,所述N和M均为正整数;
输入文本构建模块,获取待分析语句,将所述待分析语句和不同的方面情感对构建出不同的输入文本;
神经网络模块,对输入文本进行处理,输出所述输入文本中待分析语句与方面情感对是否匹配的判断结果,并根据所述判断结果输出情感分析结果。
8.一种存储有计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行权利要求3或4或5或6所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111659500.2A CN114298011B (zh) | 2021-12-30 | 2021-12-30 | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111659500.2A CN114298011B (zh) | 2021-12-30 | 2021-12-30 | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114298011A CN114298011A (zh) | 2022-04-08 |
CN114298011B true CN114298011B (zh) | 2024-06-25 |
Family
ID=80974248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111659500.2A Active CN114298011B (zh) | 2021-12-30 | 2021-12-30 | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114298011B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115099240B (zh) * | 2022-06-17 | 2023-12-26 | 北京百度网讯科技有限公司 | 文本生成模型训练方法和装置、文本生成方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140250032A1 (en) * | 2013-03-01 | 2014-09-04 | Xerox Corporation | Methods, systems and processor-readable media for simultaneous sentiment analysis and topic classification with multiple labels |
CN110532378B (zh) * | 2019-05-13 | 2021-10-26 | 南京大学 | 一种基于主题模型的短文本方面提取方法 |
CN113157920B (zh) * | 2021-04-08 | 2023-01-03 | 西安交通大学 | 一种基于机器阅读理解范式的方面级情感分析方法及*** |
CN113283234B (zh) * | 2021-05-28 | 2022-05-06 | 天津大学 | 一种基于胶囊网络的情感分类方法 |
-
2021
- 2021-12-30 CN CN202111659500.2A patent/CN114298011B/zh active Active
Non-Patent Citations (2)
Title |
---|
TopicBERT: A Topic-Enhanced Neural Language Model Fine-Tuned for Sentiment Classification;Yuxiang Zhou 等;《 IEEE Transactions on Neural Networks and Learning Systems》;20210806;380 - 393 * |
方面级情感分类中的情感特征选择研究基于深度学习的关联目标方面级情感分析研究;张兴;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215;I138-769 * |
Also Published As
Publication number | Publication date |
---|---|
CN114298011A (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493166B (zh) | 一种针对电子商务导购场景任务型对话***的构建方法 | |
CN109753566B (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
CN108021616B (zh) | 一种基于循环神经网络的社区问答专家推荐方法 | |
Lai et al. | Fine-grained emotion classification of Chinese microblogs based on graph convolution networks | |
CN111259127B (zh) | 一种基于迁移学习句向量的长文本答案选择方法 | |
CN111488931B (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
CN108363695B (zh) | 一种基于双向依赖语法树表征的用户评论属性抽取方法 | |
CN107025284A (zh) | 网络评论文本情感倾向的识别方法及卷积神经网络模型 | |
CN110427616B (zh) | 一种基于深度学习的文本情感分析方法 | |
CN115115913A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN110263325A (zh) | 中文分词*** | |
CN112905739B (zh) | 虚假评论检测模型训练方法、检测方法及电子设备 | |
CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN111914556A (zh) | 基于情感语义转移图谱的情感引导方法及*** | |
US20230073602A1 (en) | System of and method for automatically detecting sarcasm of a batch of text | |
Zhang et al. | A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews | |
CN116661805B (zh) | 代码表示的生成方法和装置、存储介质及电子设备 | |
Uddin et al. | Depression analysis of bangla social media data using gated recurrent neural network | |
CN116402066A (zh) | 多网络特征融合的属性级文本情感联合抽取方法及*** | |
CN110569495A (zh) | 一种基于用户评论的情感倾向分类方法、装置及存储介质 | |
CN114298011B (zh) | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 | |
CN115129807A (zh) | 基于自注意的社交媒体主题评论的细粒度分类方法及*** | |
CN116522165B (zh) | 一种基于孪生结构的舆情文本匹配***及方法 | |
Shan | Social Network Text Sentiment Analysis Method Based on CNN‐BiGRU in Big Data Environment | |
CN116662924A (zh) | 基于双通道与注意力机制的方面级多模态情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |