CN113255366A - 一种基于异构图神经网络的方面级文本情感分析方法 - Google Patents

一种基于异构图神经网络的方面级文本情感分析方法 Download PDF

Info

Publication number
CN113255366A
CN113255366A CN202110593991.9A CN202110593991A CN113255366A CN 113255366 A CN113255366 A CN 113255366A CN 202110593991 A CN202110593991 A CN 202110593991A CN 113255366 A CN113255366 A CN 113255366A
Authority
CN
China
Prior art keywords
text
node
evaluation
embedded
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110593991.9A
Other languages
English (en)
Other versions
CN113255366B (zh
Inventor
田锋
安文斌
陈妍
徐墨
高瞻
郭倩
文华
郑庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110593991.9A priority Critical patent/CN113255366B/zh
Publication of CN113255366A publication Critical patent/CN113255366A/zh
Application granted granted Critical
Publication of CN113255366B publication Critical patent/CN113255366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于异构图神经网络的方面级文本情感分析方法，属于语言处理领域。本发明根据文本中单词与句子的共现关系以及句子中包含的评价方面，构建单词‑句子‑评价方面的三级图结构网络；之后获得各结点的初始嵌入向量表示；再使用图注意力网络训练模型参数，通过多头注意力机制，根据图网络中各结点的连接关系，不断更新图网络中结点的嵌入向量表示，最后预测文本的方面级情感倾向。根据最终得到的句子结点及评价方面结点的嵌入向量表示，利用自注意力机制计算二者之间的相关性，从而得到预测的文本方面级情感倾向。本发明有效的提升了模型的表达能力以及泛化能力。

Description

一种基于异构图神经网络的方面级文本情感分析方法
技术领域
本发明属于语言处理领域，尤其是一种基于异构图神经网络的方面级文本情感分析方法。
背景技术
方面级情感分析(Aspect-Based Sentiment Analysis,ABSA)是一种细粒度的文本情感分析方法，相较于传统的情感分析，它能提供更加细致丰富的情感信息。方面级情感分析主要用于分析文本在不同方面对应的情感倾向(积极、中立、消极)，可以分为两类子任务：基于方面的情感分类(ATSA)和基于类别的情感分类(ACSA)。例如对于文本“食物很好吃，就是服务员态度太差了”，ACSA需要针对评价方面“食物”给出积极情感，针对评价方面“服务”给出消极情感。
现阶段大部分模型都是基于注意力机制和神经网络。利用神经网络捕捉文本的语义信息，同时利用注意力机制捕获评价方面的信息，同时强化文本语义与评价方面之间的关注度。从网络结构来分类，现有方法大致可以分为以下四类：1、基于循环神经网络(RNN)的方法，如Wang等提出了基于注意力的长短期记忆网络(LSTM)来生成评价方面的嵌入表示。2、基于卷积神经网络(CNN)的方法，如Xue等提出了卷积门控单元来提取文本特征以及评价方面特征。3、基于图神经网络(GNN)的方法，如Li等提出了使用图神经网络来建模文本的语法结构来辅助分类。4、基于预训练模型的方法，如Sun等利用预训练模型BERT建模文本与评价方面之间的语义关系。上述四类技术方案存在如下的缺点：第一，现有模型均假设输入文本之间是独立同分布的，然而方面级情感分析的主要研究对象—评论性质的文本之间往往存在较强相关性，忽略这种相关性会导致损失大量信息，使得模型性能下降。第二，现有模型均忽略了针对相同评价方面具有相同情感的文本之间具有结构相似性特征，这导致了文本之间信息无法共享，使得模型的表达能力变差。第三，现有模型均忽略了针对相同评价方面具有相同情感的文本之间具有语义表达多样性特征，这种多样性信息的损失会导致模型的泛化能力变差。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种基于异构图神经网络的方面级文本情感分析方法。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于异构图神经网络的方面级文本情感分析方法，包括以下步骤：
(1)、根据单词与文本的共现关系以及文本中涉及的评价方面，构建单词-句子-评价方面三级的图网络结构；
(2)、使用预训练的模型初始化图网络结构中各结点的嵌入向量表示，分别得到单词结点的初始嵌入表示矩阵
Figure BDA0003090309170000021
文本结点的初始嵌入表示矩阵
Figure BDA0003090309170000022
以及评价方面的初始嵌入表示矩阵
Figure BDA0003090309170000023
(3)、采用图注意力网络GAT训练模型，根据图网络结构以及文本间的语义关系，通过多头自注意力机制不断更新图网络结构中各结点的嵌入表示，使得各结点间不断进行信息交换，从而得到在(t+1)步时各结点的嵌入表示矩阵
Figure BDA0003090309170000024
最终得到文本嵌入表示矩阵
Figure BDA0003090309170000025
以及评价方面嵌入表示矩阵
Figure BDA0003090309170000026
(4)、利用所述文本嵌入表示矩阵
Figure BDA0003090309170000027
和评价方面嵌入表示矩阵
Figure BDA0003090309170000028
通过自注意力机制，计算文本与评价方面各情感倾向之间的相关性，取相关性最大的情感作为文本在所述评价方面上的预测情感，通过损失函数计算预测的情感去倾向与文本真实情感倾向之间的差异，最后通过反向传播优化模型参数，直至预测的情感倾向与文本的真实情感倾向的接近度在预设范围，得到训练好的模型；
(5)、将待分类文本输入训练好的模型进行特征提取，将提取到的文本特征向量与训练好的评价方面向量采用自注意力机制计算相关性，最后使用softmax分类器进行分类。
进一步的，所述图网络结构G表示为：G＝{Vw,Vs,Va,Ews,Esa}；
其中，Vw表示文本中包含的单词结点；Vs表示文本结点；Va表示评价方面结点；Ews表示单词结点与文本结点之间的边，其权重表示单词在文本中出现的位置；Esa表示文本结点与评价方面结点之间的边。
进一步的，步骤(2)中的单词结点嵌入向量初始化的具体操作为：
针对图网络结构中的单词结点，使用预训练的GloVe词向量库对所述单词结点进行初始化，得到单词嵌入向量，将所有单词嵌入向量拼接，得到单词初始嵌入矩阵。
进一步的，步骤(2)中的文本结点嵌入向量初始化的具体操作为：
针对图网络结构中的文本结点，使用预训练语言模型BERT对所述文本结点进行初始化，得到初始嵌入向量，将所有文本初始嵌入向量拼接，得到文本初始嵌入矩阵。
进一步的，步骤(2)中的评价方面结点嵌入向量初始化的具体操作为：
针对图网络结构中的评价方面结点，使用独热编码对所述评价方面结点进行编码，并利用一层参数可学习的全连接网络FCN将编码向量映射到特征空间，得到评价方面结点的初始嵌入向量，将所有评价方面初始嵌入向量进行拼接，得到评价方面初始嵌入矩阵。
进一步的，步骤(3)中更新图网络结构中各结点嵌入表示的具体操作为：
对于图网络结构中的给定结点的嵌入向量hi及与所述给定结点相连的邻居Ni，使用多头注意力机制获得给定结点新的嵌入向量表示
Figure BDA0003090309170000041
给定结点n在t步时的嵌入表示记为
Figure BDA0003090309170000042
给定结点的邻居在t步时的嵌入表示记为
Figure BDA0003090309170000043
记给定结点n在(t+1)时的嵌入表示为
Figure BDA0003090309170000044
基于给定结点新的嵌入向量表示
Figure BDA0003090309170000045
构建
Figure BDA0003090309170000046
三者之间的关系：
Figure BDA0003090309170000047
基于图网络结构中的单词结点、文本结点和评价方面结点对应的初始嵌入矩阵，通过公式(5)反复迭代，得到(t+1)步时各结点的嵌入表示矩阵
Figure BDA0003090309170000048
进一步的，步骤(4)中，计算文本与评价方面各情感倾向之间的相关性，计算公式为：
Figure BDA0003090309170000049
Figure BDA00030903091700000410
Figure BDA00030903091700000411
其中，
Figure BDA00030903091700000412
为
Figure BDA00030903091700000413
中第i个文本结点对应的嵌入向量；
Figure BDA00030903091700000414
为
Figure BDA00030903091700000415
中第j个评价方面对应的嵌入向量；βij为文本结点向量与评价方面结点向量之间的注意力权重；
Figure BDA00030903091700000416
为注意力权重加权后的文本结点嵌入表示；
Figure BDA00030903091700000417
表示预测文本在当前评价方面上情感倾向的概率分布；Wa,ba为可学习参数；softmax()为指数归一化函数，计算公式为：
Figure BDA00030903091700000418
进一步的，步骤(4)中，将预测的文本情感倾向分布
Figure BDA0003090309170000051
与文本真实情感标签
Figure BDA0003090309170000052
进行比对，通过交叉熵损失函数
Figure BDA0003090309170000053
计算二者之间的差异，在全部样本上的损失为对所有文本结点i及所有评价方面结点j进行求和：
Figure BDA0003090309170000054
最后通过反向传播算法，不断更新模型参数，直至预测的情感倾向与文本的真实情感倾向的接近度在预设范围。
与现有技术相比，本发明具有以下有益效果：
本发明的基于异构图神经网络的方面级文本情感分析方法，根据文本中单词与句子的共现关系以及句子中包含的评价方面，构建单词-句子-评价方面的三级图结构网络；之后生成图网络中各结点的嵌入表示，使用预训练的语言模型分别初始化图网络中的单词结点，句子结点以及评价方面结点，从而获得各结点的初始嵌入向量表示；再使用图注意力网络训练模型参数，通过多头注意力机制，根据图网络中各结点的连接关系，不断更新图网络中结点的嵌入向量表示，最后预测文本的方面级情感倾向。根据最终得到的句子结点及评价方面结点的嵌入向量表示，利用自注意力机制计算二者之间的相关性，从而得到预测的文本方面级情感倾向。本发明借助图神经网络捕获具有相同评价方面以及情感倾向的文本间的结构相似性信息以及语义表达多样性信息，通过模型训练得到文本及评价方面结点的嵌入向量表示，有效的提升了模型的表达能力以及泛化能力。
附图说明
图1为本发明的网络结构的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对现有的模型存在的问题，本发明提出结合图神经网络，对具有相同评价方面和情感倾向的文本之间的关系以及文本与评价方面之间的关系进行建模，使得模型可以学到相似文本之间的结构相似性特征，从而提高模型的表达能力；同时模型也可以学到文本之间的语义多样性特征，从而提高模型的泛化能力。
下面结合附图对本发明做进一步详细描述：
步骤1：根据单词与文本的共现关系以及文本中涉及的评价方面，构建单词-句子-评价方面的三级图网络结构；
图结构G表示为：G＝{Vw,Vs,Va,Ews,Esa}，其中，Vw表示文本中包含的单词结点，Vs表示文本结点，Va表示评价方面结点，Ews表示单词结点与文本结点之间的边，其权重表示单词在文本中出现的位置，Esa表示文本结点与评价方面结点之间的边；
步骤2：针对图网络结构中的单词结点，使用预训练的GloVe词向量对单词结点进行初始化得到单词嵌入向量，将所有单词嵌入向量拼接，得到单词初始嵌入矩阵；
针对单词w，通过其在词典中的序号查阅GloVe词向量库，得到单词w初始嵌入向量为
Figure BDA0003090309170000074
其中，dw为单词嵌入向量的维度，将所有单词嵌入向量拼接，得到单词初始嵌入矩阵
Figure BDA0003090309170000071
其中，n为单词数量。
步骤3：针对图网络结构中的文本结点，使用预训练语言模型BERT对其进行初始化，得到文本的初始嵌入向量，将所有文本初始嵌入向量拼接，得到文本初始嵌入矩阵；
对于文本s＝w1,w2,…,wl,其中，wi(i∈1…l)为构成文本的单词，l为句子长度，文本s的初始嵌入向量为：
Xs＝MeanPooling(BERT(s))#(1)
其中，MeanPooling表示对BERT模型最终的输出做平均池化，
Figure BDA0003090309170000072
ds为文本嵌入向量的维度，将所有文本初始嵌入向量拼接，得到文本初始嵌入矩阵
Figure BDA0003090309170000073
其中m为文本数量。
步骤4：针对图网络结构中的评价方面结点，使用独热编码进行编码，利用一层参数可学习的全连接网络(FCN)将编码向量映射到特征空间，得到编码向量的初始嵌入向量，将所有评价方面初始嵌入向量进行拼接，得到评价方面初始嵌入矩阵；
对于评价方面节点a，其初始嵌入向量为：
Xa＝FCN(OneHot(a))#(2)
其中，OneHot表示独热编码；FCN表示全连接网络，
Figure BDA0003090309170000081
da为评价方面嵌入向量的维度；将所有评价方面初始嵌入向量进行拼接，得到评价方面初始嵌入矩阵
Figure BDA0003090309170000082
k为评价侧面数量。
步骤5：对于图网络结构中的给定节点的嵌入向量hi及与其相连的邻居节点Ni，使用多头注意力机制获得给定结点新的嵌入向量，给定节点新的嵌入向量
Figure BDA0003090309170000083
为：
Figure BDA0003090309170000084
其中，||表示向量的拼接操作，σ表示ReLU激活函数，Wn为可学习参数，
Figure BDA0003090309170000085
为结点i和结点j在第n个头的注意力分数，
Figure BDA0003090309170000086
计算公式为：
Figure BDA0003090309170000087
其中，
Figure BDA0003090309170000088
为可学习参数，eij表示结点i和结点j之间边的权重，其取决于单词结点在文本中出现的位置。
给定结点n在t步时的嵌入表示
Figure BDA0003090309170000089
其邻居在t步时的嵌入表示记为
Figure BDA00030903091700000810
记结点n在(t+1)时的嵌入表示为
Figure BDA00030903091700000811
计算公式如公式(3)所示，记为：
Figure BDA00030903091700000812
步骤6：针对图网络结构中的单词结点，文本结点和评价方面结点，对应的初始嵌入矩阵已经给定，通过公式(5)反复迭代，在得到其t步的嵌入
Figure BDA00030903091700000813
后，在(t+1)步的嵌入表示计算公式为：
Figure BDA00030903091700000814
Figure BDA00030903091700000815
Figure BDA0003090309170000091
Figure BDA0003090309170000092
Figure BDA0003090309170000093
Figure BDA0003090309170000094
Figure BDA0003090309170000095
其中，
Figure BDA0003090309170000096
为计算的中间值；FFN()为前馈网络，其输入为计算中间值与t时刻的嵌入表示的残差连接，这样做的好处在于可以大幅提升模型的表达能力并有利于模型快速收敛，其计算公式为：
FFN(x)＝max(0,xW1+b1)W2+b2
其中，max()表示取两个元素中的较大值，W1,W2,b1,b2为可学习参数。
步骤7：给定最终的文本嵌入表示矩阵
Figure BDA0003090309170000097
以及评价方面嵌入表示矩阵
Figure BDA0003090309170000098
采用自注意力机制计算二者之间的相关性，计算公式为：
Figure BDA0003090309170000099
Figure BDA00030903091700000910
Figure BDA00030903091700000911
其中，
Figure BDA00030903091700000912
为
Figure BDA00030903091700000913
中第i个文本结点对应的嵌入向量；
Figure BDA00030903091700000914
为
Figure BDA00030903091700000915
中第j个评价方面对应的嵌入向量；βij为文本结点向量与评价方面结点向量之间的注意力权重，其值表示二者之间的相关性权重分布；
Figure BDA00030903091700000916
为注意力权重加权后的文本结点嵌入表示；
Figure BDA00030903091700000917
表示预测文本在当前评价方面上情感倾向的概率分布；Wa,ba为可学习参数；softmax()为指数归一化函数，其计算公式为：
Figure BDA00030903091700000918
步骤8：将预测的文本情感倾向分布
Figure BDA00030903091700000919
与文本真实情感标签
Figure BDA00030903091700000920
进行比对，通过交叉熵损失函数
Figure BDA0003090309170000101
计算二者之间的差异，在全部样本上的损失为对所有文本结点i及所有评价方面结点j进行求和：
Figure BDA0003090309170000102
最后通过反向传播算法，不断更新模型参数，使得文本的预测情感倾向不断接近其真实情感倾向。
步骤9：模型训练
使用Adam优化器更新梯度，学习率设置为0.001，Adam的一阶动量参数为0.1，二阶动量参数为0.999，数据集训练迭代次数(Epoch)设置为200次，预训练BERT模型的参数固定，预训练GloVe词向量为300维。
模型使用：
将待分类文本输入模型进行特征提取，将提取到的文本特征向量与训练好的评价方面向量采用自注意力机制计算相关性，最后使用softmax分类器进行分类。
参见图1，图1为本发明的网络模型的示意图，本发明的网络模型主要包括了结点嵌入表示初始化模块，图注意力模块以及预测模块。结点嵌入表示初始化模块用于初始化单词，文本，评价方面结点的嵌入表示；图注意力模块用于迭代更新网络结点的嵌入表示；预测模块使用最终的结点嵌入表示预测文本的情感倾向。
为了衡量模型性能，在五个广泛使用的公开数据集上进行了对比试验，数据集的训练集，测试集划分以及包含不同情感的文本数量如表1所示。表2为对比实验的结果，与十三个常用模型在指标准确率(Acc.)和F1值上进行了对比，从表中可以看出，本发明的模型HAGNN-GloVe和HAGNN-BERT在大部分指标上都取得了最好的结果，相较于传统方法在模型性能上有较大提升。
表1用于衡量模型性能的数据集的统计信息
Figure BDA0003090309170000111
表2为对比模型在不同数据集上的准确率(Acc.)和F1值，其中HAGNN-GloVe和HAGNN-BERT为本发明的两种方法，其采用了不同的初始化数据。
表2对比模型在不同数据集上的准确率(Acc.)和F1值
Figure BDA0003090309170000112
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于异构图神经网络的方面级文本情感分析方法，其特征在于，包括以下步骤：
(1)、根据单词与文本的共现关系以及文本中涉及的评价方面，构建单词-句子-评价方面三级的图网络结构；
(2)、使用预训练的模型初始化图网络结构中各结点的嵌入向量表示，分别得到单词结点的初始嵌入表示矩阵
Figure FDA0003090309160000011
文本结点的初始嵌入表示矩阵
Figure FDA0003090309160000012
以及评价方面的初始嵌入表示矩阵
Figure FDA0003090309160000013
(3)、采用图注意力网络GAT训练模型，根据图网络结构以及文本间的语义关系，通过多头自注意力机制不断更新图网络结构中各结点的嵌入表示，使得各结点间不断进行信息交换，从而得到在(t+1)步时各结点的嵌入表示矩阵
Figure FDA0003090309160000014
最终得到文本嵌入表示矩阵
Figure FDA0003090309160000015
以及评价方面嵌入表示矩阵
Figure FDA0003090309160000016
(4)、利用所述文本嵌入表示矩阵
Figure FDA0003090309160000017
和评价方面嵌入表示矩阵
Figure FDA0003090309160000018
通过自注意力机制，计算文本与评价方面各情感倾向之间的相关性，取相关性最大的情感作为文本在所述评价方面上的预测情感，通过损失函数计算预测的情感去倾向与文本真实情感倾向之间的差异，最后通过反向传播优化模型参数，直至预测的情感倾向与文本的真实情感倾向的接近度在预设范围，得到训练好的模型；
(5)、将待分类文本输入训练好的模型进行特征提取，将提取到的文本特征向量与训练好的评价方面向量采用自注意力机制计算相关性，最后使用softmax分类器进行分类。
2.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，所述图网络结构G表示为：G＝{Vw，Vs，Va，Ews，Esa}；
其中，Vw表示文本中包含的单词结点；Vs表示文本结点；Va表示评价方面结点；Ews表示单词结点与文本结点之间的边，其权重表示单词在文本中出现的位置；Esa表示文本结点与评价方面结点之间的边。
3.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(2)中的单词结点嵌入向量初始化的具体操作为：
针对图网络结构中的单词结点，使用预训练的GloVe词向量库对所述单词结点进行初始化，得到单词嵌入向量，将所有单词嵌入向量拼接，得到单词初始嵌入矩阵。
4.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(2)中的文本结点嵌入向量初始化的具体操作为：
针对图网络结构中的文本结点，使用预训练语言模型BERT对所述文本结点进行初始化，得到初始嵌入向量，将所有文本初始嵌入向量拼接，得到文本初始嵌入矩阵。
5.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(2)中的评价方面结点嵌入向量初始化的具体操作为：
针对图网络结构中的评价方面结点，使用独热编码对所述评价方面结点进行编码，并利用一层参数可学习的全连接网络FCN将编码向量映射到特征空间，得到评价方面结点的初始嵌入向量，将所有评价方面初始嵌入向量进行拼接，得到评价方面初始嵌入矩阵。
6.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(3)中更新图网络结构中各结点嵌入表示的具体操作为：
对于图网络结构中的给定结点的嵌入向量hi及与所述给定结点相连的邻居Ni，使用多头注意力机制获得给定结点新的嵌入向量表示
Figure FDA0003090309160000031
给定结点n在t步时的嵌入表示记为
Figure FDA0003090309160000032
给定结点的邻居在t步时的嵌入表示记为
Figure FDA0003090309160000033
记给定结点n在(t+1)时的嵌入表示为
Figure FDA0003090309160000034
基于给定结点新的嵌入向量表示
Figure FDA0003090309160000035
构建
Figure FDA0003090309160000036
三者之间的关系：
Figure FDA0003090309160000037
基于图网络结构中的单词结点、文本结点和评价方面结点对应的初始嵌入矩阵，通过公式(5)反复迭代，得到(t+1)步时各结点的嵌入表示矩阵
Figure FDA0003090309160000038
7.根据权利要求1所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(4)中，计算文本与评价方面各情感倾向之间的相关性，计算公式为：
Figure FDA0003090309160000039
Figure FDA00030903091600000310
Figure FDA00030903091600000311
其中，
Figure FDA00030903091600000312
为
Figure FDA00030903091600000313
中第i个文本结点对应的嵌入向量；
Figure FDA00030903091600000314
为
Figure FDA00030903091600000315
中第j个评价方面对应的嵌入向量；βij为文本结点向量与评价方面结点向量之间的注意力权重；
Figure FDA00030903091600000316
为注意力权重加权后的文本结点嵌入表示；
Figure FDA00030903091600000317
表示预测文本在当前评价方面上情感倾向的概率分布；Wa，ba为可学习参数；softmax()为指数归一化函数，计算公式为：
Figure FDA00030903091600000318
8.根据权利要求7所述的基于异构图神经网络的方面级文本情感分析方法，其特征在于，步骤(4)中，将预测的文本情感倾向分布
Figure FDA00030903091600000319
与文本真实情感标签
Figure FDA00030903091600000320
进行比对，通过交叉熵损失函数
Figure FDA0003090309160000041
计算二者之间的差异，在全部样本上的损失为对所有文本结点i及所有评价方面结点j进行求和：
Figure FDA0003090309160000042
最后通过反向传播算法，不断更新模型参数，直至预测的情感倾向与文本的真实情感倾向的接近度在预设范围。
CN202110593991.9A 2021-05-28 2021-05-28 一种基于异构图神经网络的方面级文本情感分析方法 Active CN113255366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593991.9A CN113255366B (zh) 2021-05-28 2021-05-28 一种基于异构图神经网络的方面级文本情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593991.9A CN113255366B (zh) 2021-05-28 2021-05-28 一种基于异构图神经网络的方面级文本情感分析方法

Publications (2)

Publication Number Publication Date
CN113255366A true CN113255366A (zh) 2021-08-13
CN113255366B CN113255366B (zh) 2022-12-09

Family

ID=77185252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593991.9A Active CN113255366B (zh) 2021-05-28 2021-05-28 一种基于异构图神经网络的方面级文本情感分析方法

Country Status (1)

Country Link
CN (1) CN113255366B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491029A (zh) * 2022-01-18 2022-05-13 四川大学 基于图神经网络的短文本相似度计算方法
CN116386895A (zh) * 2023-04-06 2023-07-04 之江实验室 基于异构图神经网络的流行病舆情实体识别方法与装置
CN116662554A (zh) * 2023-07-26 2023-08-29 之江实验室 基于异构图卷积神经网络的传染病方面级情感分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488734A (zh) * 2020-04-14 2020-08-04 西安交通大学 基于全局交互和句法依赖的情感特征表示学习***及方法
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112560432A (zh) * 2020-12-11 2021-03-26 中南大学 基于图注意力网络的文本情感分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488734A (zh) * 2020-04-14 2020-08-04 西安交通大学 基于全局交互和句法依赖的情感特征表示学习***及方法
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112560432A (zh) * 2020-12-11 2021-03-26 中南大学 基于图注意力网络的文本情感分析方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491029A (zh) * 2022-01-18 2022-05-13 四川大学 基于图神经网络的短文本相似度计算方法
CN116386895A (zh) * 2023-04-06 2023-07-04 之江实验室 基于异构图神经网络的流行病舆情实体识别方法与装置
CN116386895B (zh) * 2023-04-06 2023-11-28 之江实验室 基于异构图神经网络的流行病舆情实体识别方法与装置
CN116662554A (zh) * 2023-07-26 2023-08-29 之江实验室 基于异构图卷积神经网络的传染病方面级情感分类方法
CN116662554B (zh) * 2023-07-26 2023-11-14 之江实验室 基于异构图卷积神经网络的传染病方面级情感分类方法

Also Published As

Publication number Publication date
CN113255366B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN111274398B (zh) 一种方面级用户产品评论情感分析方法及***
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及***
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN112733541A (zh) 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及***
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN112560432A (zh) 基于图注意力网络的文本情感分析方法
CN108170848B (zh) 一种面向***智能客服的对话场景分类方法
CN112784532B (zh) 用于短文本情感分类的多头注意力记忆***
CN113705238B (zh) 基于bert和方面特征定位模型的方面级情感分析方法及***
CN115831102A (zh) 基于预训练特征表示的语音识别方法、装置及电子设备
CN114547299A (zh) 一种基于复合网络模型的短文本情感分类方法及装置
CN112988970A (zh) 一种服务于智能问答***的文本匹配算法
CN115935975A (zh) 一种情感可控的新闻评论生成方法
CN114722835A (zh) 基于lda和bert融合改进模型的文本情感识别方法
CN114579741B (zh) 融合句法信息的gcn-rn方面级情感分析方法和***
CN114036298B (zh) 一种基于图卷积神经网络与词向量的节点分类方法
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN112989803B (zh) 一种基于主题向量学习的实体链接预测方法
JPH0934863A (ja) ニューラルネットワークによる情報統合処理方法
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及***
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant