CN114297390A - 一种长尾分布场景下的方面类别识别方法及*** - Google Patents
一种长尾分布场景下的方面类别识别方法及*** Download PDFInfo
- Publication number
- CN114297390A CN114297390A CN202111681644.8A CN202111681644A CN114297390A CN 114297390 A CN114297390 A CN 114297390A CN 202111681644 A CN202111681644 A CN 202111681644A CN 114297390 A CN114297390 A CN 114297390A
- Authority
- CN
- China
- Prior art keywords
- vector
- category
- embedding
- module
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 132
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000008901 benefit Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000004927 fusion Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 13
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 10
- 239000002775 capsule Substances 0.000 description 6
- 230000008451 emotion Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 102100035709 Acetyl-coenzyme A synthetase, cytoplasmic Human genes 0.000 description 1
- 101000783232 Homo sapiens Acetyl-coenzyme A synthetase, cytoplasmic Proteins 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种长尾分布场景下的方面类别识别方法及***,属于自然语言处理技术领域。本发明的方法基于一种在长尾分布场景下的的方面类别识别***,该***聚焦数据长尾分布特点,首先得到句子细粒度方面特征向量,提供额外的上下文方面级语义信息;然后加入一种基于长尾分布的融合上下文方面级语义信息的注意力机制,加强模型捕捉与方面类别最相关的信息的能力,同时提出一种改进的分布平衡损失函数缓解长尾多标签文本分类任务中的标签共现以及负类优势的问题,有效地提升了具有长尾分布特点的方面类别识别效果。
Description
技术领域
本发明涉及一种长尾分布场景下的方面类别识别方法及***,属于自然语言处理技术领域。
背景技术
方面类别识别(Aspect Category Detection,ACD)作为方面级情感分析重要的子任务之一,旨在从一组预先定义的方面类别中检测出句子中包含的方面类别。方面类别识别是整个方面级情感分析的基础任务。情感分析在生活的各个领域有着广泛的应用,例如针对用户在社交媒体、餐厅评价、网上购物等表达的对于各种话题的看法的情感分析,可以帮助用户有更好的消费体验,同时可以帮助商家了解市场需求。
然而在实际研究中,方面类别分布往往呈现不平衡甚至是长尾分布的特点,使得模型无法充分提取尾部方面类别的特征,这为方面类别识别任务带来极大的挑战。
一些现有的工作利用经典机器学习模型或深度学习模型的解决这个问题。例如,Ghadery,E等人(Ghadery,E.,et al.,MNCN:A Multilingual Ngram-Based ConvolutionalNetwork for Aspect Category Detection in Online Reviews.2019.33:p.6441-6448.)以多语言词嵌入作为网络的输入,使用深度卷积神经网络提取特征,然后使用不同的全连接层分别学习和识别不同的方面类别。Hu,M等人(Hu,M.,et al.,CAN:ConstrainedAttention Networks for Multi-Aspect Sentiment Analysis.2018.)引入稀疏正则化和正交正则化来计算多个方面的注意力权重。这使得多个方面的注意力权重集中在不同部分的同时,每个方面的注意力权重只集中在几个词上。Movahedi,S.等人(Movahedi,S.,etal.,Aspect Category Detection via Topic-Attention Network.2019.)提出了一个主题注意网络模型,该模型可以通过关注句子的不同部分来检测给定句子的方面类别。Li,Y.等人(Li,Y.,et al.Multi-Instance Multi-Label Learning Networks for Aspect-Category Sentiment Analysis.in Proceedings of the 2020 Conference onEmpirical Methods in Natural Language Processing(EMNLP).2020.)提出一种多实例多标签学习的方面情感分析的联合模型,其中基于注意力的ACD为不同的方面类别产生有效的注意力权重。
然而,采集自实际场景中的数据分布往往是不平衡的,甚至是呈现长尾分布的特点,即少数的类别(也称为头部类)占据了大部分数据,而大多数的类别(也称为尾部类)样本很少。而上述的现有方法均忽略了在训练模型时这样的样本数量差距。不同类别的训练样本数目差距过大会使模型对于样本数有限的方面类别的识别无法取得很好的效果。方面类别不均衡,甚至造成的长尾分布会对学习过程产生影响,导致识别效果差。
发明内容
为了解决目前存在的长尾分布导致的,不同类别的训练样本数目差距过大会使模型对于样本数有限的方面类别的识别无法取得很好的效果问题,本发明提供了一种长尾分布场景下的方面类别识别方法及***。
本发明第一个目的在于提供一种长尾分布场景下的方面类别识别方法,其特征在于,所述方法对数据集中的N个句子进行方面类别的识别,其中,Sl={w1,w2,...,wn}为所述数据集D中的第l个句子,由n个词组成,wn表示所述第l个句子Sl中第n个词;是所述第l个句子Sl对应的方面类别标签;
所述方法包括:
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
步骤5:将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制;
其中Wj∈Rd×d,bj∈Rd以及uj∈Rd为可学习参数,β∈R1×m,代表预先学习到的长尾分布特点,为训练集中有效样本的数量倒数,αj∈Rn是注意力权重向量;
可选的,所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括:
步骤41:对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m,如公式(4)所示:
步骤42:对所述交互注意力权重矩阵的每一行进行softmax计算,如公式(5)所示:
其中,kij为矩阵k∈Rn×m的第i行第j列元素,k表示文本对方面的注意力权重,Iij为矩阵I中第i行第j列的元素;
步骤43:然后对于矩阵k引入数据长尾分布特点,如公式(6)所示:
其中,s∈R1×d。
可选的,所述方法采用改进的A-DB损失函数训练识别模型,所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数,具体包括:
其中,γ为协调权重超参数;
为了避免负标签的优势导致的少数类过度抑制,引入负类抑制超参数λ以及特定的偏置τj,如公式(11)所示:
其中ρj为第j个类别与总样本数量之比,η为比例超参数;
所述A-DB损失函数如公式(12)所示:
可选的,所述分类阈值为0.5。
本发明的第二个目的在于提供一种长尾分布场景下的方面类别识别***,其特征在于,所述***包括:输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块;
所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接;
所述输入模块用于输入预先定义的方面类别组合和待识别的文本;所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵,并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量;所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态;所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量;所述融合模块用于融合上下文方面级语义信息,并生成融合向量;所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量;所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
步骤5:将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制;
其中Wj∈Rd×d,bj∈Rd以及uj∈Rd为可学习参数,β∈R1×m,代表预先学习到的长尾分布特点,为训练集中有效样本的数量倒数,αj∈Rn是注意力权重向量;
可选的,所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括:
步骤41:对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m,如公式(4)所示:
步骤42:对所述交互注意力权重矩阵的每一行进行softmax计算,如公式(5)所示:
其中,kij为矩阵k∈Rn×m的第i行第j列元素,k表示文本对方面的注意力权重,Iij为矩阵I中第i行第j列的元素;
步骤43:然后对于矩阵k引入数据长尾分布特点,如公式(6)所示:
其中,s∈R1×d。
可选的,所述***采用改进的A-DB损失函数训练识别模型,所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数,具体包括:
其中,γ为协调权重超参数;
为了避免负标签的优势导致的少数类过度抑制,引入负类抑制超参数λ以及特定的偏置τj,如公式(11)所示:
其中ρj为第j个类别与总样本数量之比,η为比例超参数;
所述A-DB损失函数如公式(12)所示:
本发明有益效果是:
本发明针对呈长尾分布数据特点的方面类别识别问题,将方面类别识别建模为多标签分类问题,提出一种基于长尾分布的融合方面向量的方面类别识别模型;
1)通过引入一种适用于多标签长尾分布问题的A-DB损失函数来训练识别模型,能有效适用于具有长尾分布特点的数据,提升具有长尾分布特点的方面类别识别效果;
2)引入具有数据长尾分布特点的交互注意力模块,即IAN-LoT机制,该机制引入数据长尾分布特点,能够得到句子细粒度方面特征向量,提供额外的上下文方面级语义信息,可以有效地提升尾部类别的识别效果;
3)在得到细粒度方面特征向量后,本发明还提出一种融合上下文方面级语义信息的注意力机制,将方面向量与上下文信息融合并可以关注方面相关正确信息,加强模型捕捉与方面类别最相关的信息的能力,在长尾分布的方面类别识别任务上更具有效性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的模型结构图。
图2是本发明的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一:
本实施例提供一种长尾分布场景下的方面类别识别方法,所述方法对数据集 中的N个句子进行方面类别的识别,其中,Sl={w1,w2,…,wn}为所述数据集D中的第l个句子,由n个词组成,wn表示所述第l个句子Sl中第n个词;是所述第l个句子Sl对应的方面类别标签;
所述方法包括:
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
步骤5:将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制;
其中Wj∈Rd×d,bj∈Rd以及uj∈Rd为可学习参数,β∈R1×m,代表预先学习到的长尾分布特点,为训练集中有效样本的数量倒数,αj∈Rn是注意力权重向量;
实施例二:
本实施例提供一种长尾分布场景下的方面类别识别方法,本实施例的方法引入具有数据长尾分布特点的交互注意力模块,即IAN-LoT机制,能够得到句子细粒度方面特征向量,提供额外的上下文方面级语义信息。在得到细粒度方面特征向量后,该模型还加入一种基于长尾分布的融合上下文方面级语义信息的注意力机制,加强模型捕捉与方面类别最相关的信息的能力,并通过使用一种改进的适用于长尾分布的多标签分类损失函数进行训练。
本实施例对数据集中的N个句子进行方面类别的识别,其中,Sl={w1,w2,…,wn}为所述数据集D中的第l个句子,由n个词组成,wn表示所述第l个句子Sl中第n个词;是所述第l个句子Sl对应的方面类别标签;
所述方法包括:
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
步骤41:对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m,如公式(1)所示:
步骤42:对所述交互注意力权重矩阵的每一行进行softmax计算,如公式(2)所示:
其中,kij为矩阵k∈Rn×m的第i行第j列元素,k表示文本对方面的注意力权重,Iij为矩阵I中第i行第j列的元素;
步骤43:然后对于矩阵k引入数据长尾分布特点,如公式(3)所示:
其中,s∈R1×d。
步骤5:将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制;
其中Wj∈Rd×d,bj∈Rd以及uj∈Rd为可学习参数,β∈R1×m,代表预先学习到的长尾分布特点,为训练集中有效样本的数量倒数,αj∈Rn是注意力权重向量;
本实施例的方法采用改进的A-DB损失函数训练识别模型,所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数,具体包括:
其中,γ为协调权重超参数;
为了避免负标签的优势导致的少数类过度抑制,引入负类抑制超参数λ以及特定的偏置τj,如公式(11)所示:
其中ρj为第j个类别与总样本数量之比,η为比例超参数;
所述A-DB损失函数如公式(12)所示:
实施例三:
本实施例提供一种长尾分布场景下的方面类别识别***,所述***包括:输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块;
所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接;
所述输入模块用于输入预先定义的方面类别组合和待识别的文本;所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵,并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量;所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态;所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量;所述融合模块用于融合上下文方面级语义信息,并生成融合向量;所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量;所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。
例如一条餐厅评论中“When we sat down,the waiter barely looked in ourdirection and abruptly shoved our menus on the table.”我们将这个句子以及预定义好的一组方面类别:food、staff、miscellaneous、place、service、menu、price、ambience输入到图1所示的模型中,用我们的模型最终可以预测出一组结果,其中1为这句话包含对应方面类别,0则为不包含,如表1所示:
Category | food | staff | miscellaneous | place | service | menu | price | ambience |
label | 0 | 1 | 0 | 0 | 0 | 1 | 0 | 0 |
为了进一步说明本发明能够达到的有益效果,进行如下实验:
本发明使用6个基线方法作为对比:
(1)方面类别识别模型:
TextCNN[34]:利用卷积神经网络对文本分类的方法,是较为基础的模型;
LSTM[24]:使用一个LSTM网络进行训练,最后一个隐藏状态作为最终形式进行分类;
SVR[35]:将一个句子的词向量组合成一个向量作为输入,用机器学习分类器进行分类的方法;
SCAN[36]:一种基于句子成分感知网络的方面类别情感分析方法。
(2)ACD任务和ACSA任务联合训练模型:
AS-Capsules[37]:通过共享组件来利用方面类别和情感之间的相关性进行方面类别情感分析的方法;
AC-MIMLLN[6]:提出一种多实例多标签学习的方面情感分析的联合模型,其中基于注意力的ACD为不同的方面类别产生有效的注意力权重。我们对于此类模型使用其ACD的预测结果进行比较。
表2为本发明的方法以及其他对比方法在MAMS-LT和SemEval2014-LT数据集上ACD任务的Macro F1实验结果对比。
表2数据对比结果
为了更好的研究对长尾分布问题,本发明参考(Wu,T.,et al.,Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets.2020:Computer Vision–ECCV 2020.)创建满足长尾分布的多标签图像数据集的方法,将现有的SemEval-2014任务4(Pontiki,M.,et al.,SemEval-2014 Task 4:Aspect BasedSentiment Analysis.2014.)和MAMS数据集(Jiang,Q.,et al.A Challenge Dataset andEffective Models for Aspect-Based Sentiment Analysis.in Proceedings of the2019 Conference on Empirical Methods in Natural Language Processing and the9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP).2019.)创建成更加符合长尾分布的情感分析数据集,分别命名为SemEval2014-LT和MAMS-LT。表1给出了基线方法以及本发明方法在MAMS-LT数据集和SemEval2014-LT数据集的Macro F1得分,得分越高,分类效果越好。
根据实验结果,我们可以得出以下结论:
首先,本发明的方法在MAMS-LT数据集和SemEval2014-LT数据集上优于所有基线方法,表明本发明的方法在具有长尾分布特点的数据集上具有更好的方面类别检测能力。
其次,相比于得分最好的基线方法AS-Capsules,本发明的方法在两个数据集上分别高了2.28%和1.92%,表明在MAMS-LT数据集上,本发明方法的Macro F1得分具有明显优势,这证明了本发明的方法对于包含多个方面的句子进行方面类别检测具有更好的效果。
第三,本发明的方法在SemEval2014-LT数据集的效果没有MAMS-LT数据集好的原因可能是前者的数据集句子有多数只包含一个方面类别,这可能使我们针对标签共现问题所设计的重平衡权重的效果减弱,但可以看出在每个句子包含两个方面及以上的MAMS-LT数据集上效果提升明显。
表3为在SemEval2014-LT数据集中,AS-Capsules和本发明的方法对于每个方面的Macro F1得分实验结果。
表3 SemEval2014-LT数据集上AS-Capsules与本发明方法的结果对比
本发明构建的SemEval2014-LT数据集分别包含头部类、中部类和尾部类的1、2和2个类。结果显示:
首先,对于尾部类,比如price和ambience,Macro F1得分分别高5.99%和7.88%,这表明本发明的方法对于尾部类的方面类别的检测效果有明显提高。其中,对于尾部类“price”的预测结果甚至优于头部类“food”,而对于AS-Capsules对于尾部类“price”的预测要比头部类“food”的预测降低了9.83%。因此,这也从实验的角度证明本发明提出的长尾分布工作的有效性。
其次,对于头部类“food”,本发明的方法低于对比方法AS-Capsules,可能的原因有两点,其一是本发明的模型更多在于对尾部类的处理,在细粒度的方面融合时为尾部类分配了更多的权重,因此在使用注意力机制时关注更多的尾部类的信息;其二是重平衡权重的使用:在改进的损失函数中,本发明降低了头部类的权重,头部类的数量占比越大,则抑制效果越明显,因此头部类的预测效果可能因此有一定的减弱。
本发明实施例中的部分步骤,可以利用软件实现,相应的软件程序可以存储在可读取的存储介质中,如光盘或硬盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种长尾分布场景下的方面类别识别方法,其特征在于,所述方法对数据集 中的N个句子进行方面类别的识别,其中,Sl={w1,w2,…,wn}为所述数据集D中的第l个句子,由n个词组成,wn表示所述第l个句子Sl中第n个词;是所述第l个句子Sl对应的方面类别标签;
所述方法包括:
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
2.根据权利要求1所述的方法,其特征在于,所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括:
步骤41:对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m,如公式(2)所示:
步骤42:对所述交互注意力权重矩阵的每一行进行softmax计算,如公式(3)所示:
其中,kij为矩阵k∈Rn×m的第i行第j列元素,k表示文本对方面的注意力权重,Iij为矩阵I中第i行第j列的元素;
步骤43:然后对于矩阵k引入数据长尾分布特点,如公式(4)所示:
其中,s∈R1×d。
4.根据权利要求3所述的方法,其特征在于,所述方法采用改进的A-DB损失函数训练识别模型,所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数,具体包括:
其中,γ为协调权重超参数;
为了避免负标签的优势导致的少数类过度抑制,引入负类抑制超参数λ以及特定的偏置τj,如公式(11)所示:
其中ρj为第j个类别与总样本数量之比,η为比例超参数;
所述A-DB损失函数如公式(12)所示:
5.根据权利要求1所述的方法,其特征在于,所述分类阈值为0.5。
6.一种长尾分布场景下的方面类别识别***,其特征在于,所述***包括:输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块;
所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接;
所述输入模块用于输入预先定义的方面类别组合和待识别的文本;所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵,并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量;所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态;所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量;所述融合模块用于融合上下文方面级语义信息,并生成融合向量;所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量;所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。
步骤4:将所述隐藏状态Hw和Ha输入到IAN-LoT机制中,得到融合长尾分布特点的总的方面向量表示s;
8.根据权利要求7所述的***,其特征在于,所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括:
步骤41:对于输入的隐藏状态Hw和Ha计算交互注意力权重矩阵I∈Rn×m,如公式(2)所示:
步骤42:对所述交互注意力权重矩阵的每一行进行softmax计算,如公式(3)所示:
其中,kij为矩阵k∈Rn×m的第i行第j列元素,k表示文本对方面的注意力权重,Iij为矩阵I中第i行第j列的元素;
步骤43:然后对于矩阵k引入数据长尾分布特点,如公式(4)所示:
其中,s∈R1×d。
10.根据权利要求9所述的***,其特征在于,所述***采用改进的A-DB损失函数训练识别模型,所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数,具体包括:
其中,γ为协调权重超参数;
为了避免负标签的优势导致的少数类过度抑制,引入负类抑制超参数λ以及特定的偏置τj,如公式(11)所示:
其中ρj为第j个类别与总样本数量之比,η为比例超参数;
所述A-DB损失函数如公式(12)所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681644.8A CN114297390B (zh) | 2021-12-30 | 2021-12-30 | 一种长尾分布场景下的方面类别识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681644.8A CN114297390B (zh) | 2021-12-30 | 2021-12-30 | 一种长尾分布场景下的方面类别识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114297390A true CN114297390A (zh) | 2022-04-08 |
CN114297390B CN114297390B (zh) | 2024-04-02 |
Family
ID=80975589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111681644.8A Active CN114297390B (zh) | 2021-12-30 | 2021-12-30 | 一种长尾分布场景下的方面类别识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114297390B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115563284A (zh) * | 2022-10-24 | 2023-01-03 | 重庆理工大学 | 一种基于语义的深度多实例弱监督文本分类方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190143415A (ko) * | 2018-06-20 | 2019-12-30 | 강원대학교산학협력단 | 자질 선별을 통한 고성능 기계독해 방법 |
CN111581981A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 基于评价对象强化和带约束标签嵌入的方面类别检测***及方法 |
CN112199504A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** |
CN112686056A (zh) * | 2021-03-22 | 2021-04-20 | 华南师范大学 | 一种情感分类方法 |
CN113222059A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 利用协作式神经网络链的多标签情感分类方法 |
WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
-
2021
- 2021-12-30 CN CN202111681644.8A patent/CN114297390B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190143415A (ko) * | 2018-06-20 | 2019-12-30 | 강원대학교산학협력단 | 자질 선별을 통한 고성능 기계독해 방법 |
WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
CN111581981A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 基于评价对象强化和带约束标签嵌入的方面类别检测***及方法 |
CN112199504A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** |
US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
CN112686056A (zh) * | 2021-03-22 | 2021-04-20 | 华南师范大学 | 一种情感分类方法 |
CN113222059A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 利用协作式神经网络链的多标签情感分类方法 |
Non-Patent Citations (3)
Title |
---|
王家乾;龚子寒;薛云;庞士冠;古东宏;: "基于混合多头注意力和胶囊网络的特定目标情感分析", 中文信息学报, no. 05, 15 May 2020 (2020-05-15) * |
邓立明;魏晶晶;吴运兵;余小燕;廖祥文;: "基于知识图谱与循环注意力网络的视角级情感分析", 模式识别与人工智能, no. 06, 15 June 2020 (2020-06-15) * |
黄露;周恩国;李岱峰;: "融合特定任务信息注意力机制的文本表示学习模型", 数据分析与知识发现, no. 09, 31 December 2020 (2020-12-31) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115563284A (zh) * | 2022-10-24 | 2023-01-03 | 重庆理工大学 | 一种基于语义的深度多实例弱监督文本分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114297390B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ishaq et al. | Aspect-based sentiment analysis using a hybridized approach based on CNN and GA | |
CN112084335B (zh) | 一种基于信息融合的社交媒体用户账号分类方法 | |
Ye et al. | Advise: Symbolism and external knowledge for decoding advertisements | |
Jain et al. | Sentiment classification of twitter data belonging to renewable energy using machine learning | |
Lopez Barbosa et al. | Evaluating hotels rating prediction based on sentiment analysis services | |
Oraby et al. | " How May I Help You?" Modeling Twitter Customer ServiceConversations Using Fine-Grained Dialogue Acts | |
Syed | Applying sentiment and emotion analysis on brand tweets for digital marketing | |
CN112861541A (zh) | 一种基于多特征融合的商品评论情感分析方法 | |
CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
CN112307336A (zh) | 热点资讯挖掘与预览方法、装置、计算机设备及存储介质 | |
Ara et al. | Understanding customer sentiment: Lexical analysis of restaurant reviews | |
CN112667813A (zh) | 用于裁判文书的敏感身份信息的识别方法 | |
Gandhi et al. | Multimodal sentiment analysis: review, application domains and future directions | |
Nareshkumar et al. | Interactive deep neural network for aspect-level sentiment analysis | |
Fouladfar et al. | Predicting the helpfulness score of product reviews using an evidential score fusion method | |
CN114297390A (zh) | 一种长尾分布场景下的方面类别识别方法及*** | |
JP4054046B2 (ja) | 意見性判定データベース作成方法及び装置及びプログラム及び意見性判定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
CN107291686B (zh) | 情感标识的辨识方法和情感标识的辨识*** | |
CN109902174B (zh) | 一种基于方面依赖的记忆网络的情感极性检测方法 | |
CN114969341A (zh) | 一种针对餐饮行业评论的细粒度情感分析方法及装置 | |
CN111340329A (zh) | 演员评估方法、装置及电子设备 | |
Plaza et al. | EXIST 2024: sEXism Identification in Social neTworks and Memes | |
Tuah et al. | Sentiment analysis of political party news on the online news portal detik. com using lstm and cnn | |
Li et al. | Deep recommendation based on dual attention mechanism | |
Khaliq et al. | Modeling sentiment terminologies: Target based polarity phenomena |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |