CN113723075B - 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法 - Google Patents

融合词屏蔽数据增强与对抗学习的特定目标情感分析方法 Download PDF

Info

Publication number
CN113723075B
CN113723075B CN202110999219.7A CN202110999219A CN113723075B CN 113723075 B CN113723075 B CN 113723075B CN 202110999219 A CN202110999219 A CN 202110999219A CN 113723075 B CN113723075 B CN 113723075B
Authority
CN
China
Prior art keywords
word
sample
representing
adv
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110999219.7A
Other languages
English (en)
Other versions
CN113723075A (zh
Inventor
刘小洋
代尚宏
高绿苑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202110999219.7A priority Critical patent/CN113723075B/zh
Publication of CN113723075A publication Critical patent/CN113723075A/zh
Application granted granted Critical
Publication of CN113723075B publication Critical patent/CN113723075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出了一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，包括以下步骤：S1，运用屏蔽目标实体的方式对句子进行同义词替换和随机***单词生成有效的样本并与原始样本进行融合，从而实现词屏蔽数据增强；S2，构建了基于BERT‑BASE的对抗学习特定目标情感分类模型，运用干净样本和对抗样本一起训练情感分类模型，使模型具有对抗防御的功能；S3，分别将原始样本和数据增强后的样本进行对抗学习。本发明采用了数据增强与对抗训练，具有较强鲁棒性，能够取得更优的结果。

Description

融合词屏蔽数据增强与对抗学习的特定目标情感分析方法
技术领域
本发明涉及自然语言处理领域，尤其涉及一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法。
背景技术
随着社交媒体(Microblog、Twitter、Facebook等)的快速发展，情感分析变成了一项极其重要的任务。特定目标情感分析(Aspect-based Sentiment Analysis,ABSA)是文本分类领域的基础任务，目的是利用深度学习及自然语言处理(Natural LanguageProcessing,NLP)技术分析在线社交网络文本数据细粒度情感倾向，方便用户对在线社交网络评论数据特定实体(Aspect)隐藏的情感极性(Sentiment Polarity)和态度(Attitude)有明确的认识。一个句子中包含一个或多个实体，每个实体的情感极性各不相同，例如，给出一条评论“Great food but the service was dreadful！”，实体“food”的情感极性为“positive”，而实体“service”的情感极性为“negative”。相比句子级别情感分析，ABSA能够为用户展示更加精确细粒度实体的情感关键信息。
情感分析任务采用机器学习、深度学习取得了显著成功。例如，Kiritchenko等采用机器学习方法构建了人工特征提取模型，将提取的特征通过支持向量机(SupportVector Machine,SVM)训练情感分类模型，但是人工提取特征繁琐、效率低。为了解决人工提取特征的繁琐性，采用深度学习方法自动提取更复杂的深层次特征。例如，Li等采用自适应递归神经网络，对句子中不同的目标变换依存树，得到多个不同的特征组合函数从而利用神经网络训练模型。由于句子具有序列性，许多模型采用长短期记忆网络(Long Short-Term Memory,LSTM)来提取句子长期依赖关系信息，Tang等采用两个LSTM对特定目标实体上下文特征向量拼接得到情感分类模型，但是可能会丢失长距离词的情感信息。为了能够获取文本长距离特征信息，Bahdanau等首次将注意力机制运用到自然语言处理中，随后许多研究者将注意力机制引入到情感分析任务中。Wang等利用LSTM和注意力加权获得句子表示向量，Tang等将注意力机制中加入特征词与目标实体相对距离信息，并利用多注意力得到最后的实体表示。Chen等构造RAM(Recurrent Attention on Memory)结构捕获上下文语义信息以及将注意力集中，通过多注意力机制融合了长难句中的重要特征。
由于循环神经网络(Recurrent Neural Network,RNN)并行度不高，Vaswani等设计了Transformer结构，完全抛弃了RNN结构思想提高了并行度，采用自注意力和多头注意力机制，并且加入了位置嵌入信息帮助模型理解语言的顺序，更能够捕获长距离依赖关系特征信息。Devlin等用Transformer结构中的Encoder部分，设计了双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)，该结构在文本分类任务上展现了优越的结果，同时在ABSA任务上较其他模型有显著提升。
然而，深度学习模型容易受到对抗样本(Adversarial Examples)的攻击，从图1可看出模型在ABSA任务上受到对抗样本攻击后的识别效果。最近研究表明对抗样本训练可以构造健壮的神经网络模型提高模型的鲁棒性。对抗学习过程是从输入样本中，通过梯度产生较小扰动的对抗样本，将对抗样本输入模型中继续学习。在自然语言处理领域中，传统的文本对抗样本是通过对单词或者句子进行扰动，例如，Eger等选择每个字符的近邻字符进行形近字替换，Jin等采用基于贪心词方法替换原始词。有对抗攻击就会有对抗防御，例如，Goodfellow等提出快速梯度法(Fast Gradient Method,FGM)对抗训练在文本分类任务上优于其他基线方法。
上述研究中还未将数据增强与对抗训练运用到ABSA任务中，并且都是从模型入手提升效果。针对目前公开ABSA数据集较少，很难使模型有足够的泛化能力和模型鲁棒性以及模型效率。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法。
为了实现本发明的上述目的，本发明提供了一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，包括以下步骤：
S1，运用屏蔽目标实体的方式对句子进行同义词替换和随机***单词生成有效的样本并与原始样本进行融合，从而实现词屏蔽数据增强；
S2，构建了基于BERT-BASE的对抗学习特定目标情感分类模型，将S1融合后的数据作为模型的输入，运用干净样本和对抗样本一起训练情感分类模型；
S3，最终得到特定目标情感分析结果，使模型具有对抗防御的功能。
进一步地，还包括步骤：
S4，分别将原始样本和数据增强后的样本进行对抗学习，通过评价指标进行评价；所述评价指标包括：Accuracy和/或F1值。
进一步地，在步骤S1中同义词替换的计算方法为：
Figure BDA0003235073600000031
其中，SSr表示同义词替换后的数据；
FSR(·)表示同义词替换数据增强函数；
SIn表示原始语料库的输入；
Figure BDA0003235073600000032
是一条原始样本的第i个单词；
aspect表示特定目标实体；
Rep(·)表示单词替换函数；
Figure BDA0003235073600000033
表示需要替换的第id个单词；
idSr表示单词替换的位置；
Figure BDA0003235073600000041
表示根据第i个单词
Figure BDA0003235073600000042
在Wordnet库中随机寻找num1个同义词；
！＝表示不等于。
进一步地，在步骤S1中随机***单词的计算方法为：
Figure BDA0003235073600000043
其中，SRi表示随机***后的数据；
FRI(·)表示随机***数据增强函数；
Insert(·)表示在第id个的单词后面***单词；
Figure BDA0003235073600000044
表示需要***的第id个单词；
idRI表示在句子中要***单词的前一个位置；
Ran(Wordnet,num)表示在Wordnet库中随机寻找num2个单词。
进一步地，所述S2包括：
将数据增强后的DaOut作为干净样本，DaOut＝SSr∪SRi；对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本；Adv-BERT模型进行对抗样本的每个batch训练，使用BERT进行干净样本的每个batch训练。
进一步地，所述干净样本的每个batch训练的损失函数计算如下：
Figure BDA0003235073600000045
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数；
对抗样本每个batch的损失函数计算如下：
Figure BDA0003235073600000046
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数。
进一步地，还包括：
最小化干净样本和对抗样本的每个batch的损失函数：
Figure BDA0003235073600000051
其中L(·)表示模型损失函数，
Figure BDA0003235073600000052
表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数。
进一步地，所述BERT模型的隐藏层采用采用高斯误差线性单元作为激活函数：
Figure BDA0003235073600000053
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh为双曲正切函数。
进一步地，所述对抗学习包括：
将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-logp(y|Ew+radv,aspect；θ)         (1)
其中
Figure BDA0003235073600000054
p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，radv表示对抗扰动，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，argmin表示使目标函数最小时的r变量，然后让这个r值赋值给radv，
Figure BDA0003235073600000055
表示添加扰动r后的预测概率。
进一步地，所述对抗学习还包括：
使用快梯度下降法寻找对抗扰动，在神经网络中可以用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，对抗扰动radv计算如下：
Figure BDA0003235073600000056
其中
Figure BDA0003235073600000061
Figure BDA0003235073600000062
因此ABSA的对抗样本损失函数如下：
Figure BDA0003235073600000063
其中对抗样本Eadv表示如下：
Figure BDA0003235073600000064
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；▽表示梯度算子，Ew表示干净样本的词嵌入张量，
Figure BDA0003235073600000065
表示干净样本情感预测概率，aspect表示特定目标实体，
Figure BDA0003235073600000066
表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，
Figure BDA0003235073600000067
表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，
Figure BDA0003235073600000068
表示张量相加，
Figure BDA0003235073600000069
表示一个样本第1个词的词嵌入，
Figure BDA00032350736000000610
一个样本对应第1个词嵌入的对抗扰动，
Figure BDA00032350736000000611
表示一个样本第2个词的词嵌入，
Figure BDA00032350736000000612
一个样本对应第2个词嵌入的对抗扰动，
Figure BDA00032350736000000613
表示一个样本第i+1个词的词嵌入，
Figure BDA00032350736000000614
一个样本对应第i+1个词嵌入的对抗扰动，
Figure BDA00032350736000000615
表示一个样本第n个词的词嵌入，
Figure BDA00032350736000000616
一个样本对应第n个词嵌入的对抗扰动，
Figure BDA00032350736000000617
表示一个样本第n+1个词的词嵌入，
Figure BDA00032350736000000618
一个样本对应第n+1个词嵌入的对抗扰动。
综上所述，由于采用了上述技术方案，本发明的优势有：
(1)选取BERT-BASE作为基准模型，在Laptop、Restaurant两个数据集上进行实验，提出了一种基于现有的特定目标情感分析语料库进行文本词屏蔽数据增强方法(保持语义及句法结构不变的同义词替换、随机***情感词汇等)，构建了一个有效的特定目标情感分析新语料库；
(2)提出了一种数据增强对抗训练方法，将生成的新语料库(原始语料库和数据增强语料库进行融合)输入模型中，然后对模型的词嵌入层进行细微的对抗扰动，得到具有较强鲁棒性的特定目标情感分析模型；
(3)利用提出的融合词屏蔽数据增强与对抗学习的特定目标情感分类模型分别验证了数据增强样本能够有效提高模型的性能，只利用原始数据进行对抗训练能够提高模型的性能，最后融合两个数据特征进行对抗学习能够取得更优的结果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是现有技术的深度学习模型对抗攻击情感识别的示意图。
图2是本发明WMDE-AL模型网络结构示意图。
图3是本发明不同大小α下的对抗训练Accuracy的示意图。
图4是本发明不同大小α的对抗训练评价指标增长幅度的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
1.相关工作
ABSA也称细粒度情感分析，一直以来是国内外的研究热点。该任务主要工作为确定每个句子中特定目标实体的情感分类，尽管目前研究采用深度学习方法已经取得表现较好的结果，但是存在训练数据少导致泛化能力弱，模型的准确性和鲁棒性不能兼得等问题。
传统的深度学习方法是采用复杂的神经网络结构提取特征，针对文本分类问题，采用递归神经网络(Recursive Neural Network,RNN)，循环神经网络(RNN)，长短期记忆网络(LSTM)等能够获取上下文特性信息，但是这些传统的神经网络都未考虑特定目标实体。为了将特定目标实体加入到特征编码中，Tang等提出TD-LSTM将目标实体的上文和下文分别用两个LSTM进行编码，以便将目标实体考虑到特征编码中。Wang等提出利用注意力机制获取LSTM编码后的目标实体重要信息。Chen等提出RAM利用多注意力机制捕获长难句中的目标实体特征信息，解决了上下文注意力分散的问题。但是这些模型没有考虑句法约束和远距离单词依赖问题，导致错误判断目标实体情感。Zhang等提出AS-GCN在句子依存树上建立图卷积神经网络来获取句法信息和单词依存。Karimi等提出BERT对抗训练体系结构，使用对抗训练微调BERT模型，提升神经网络泛化能力。
对抗学***级对抗扰动改进对抗训练的初始化，并且通过字符水平级标准化强制约束扰动大小，解决了扰动约束问题。为了克服生成的对抗样本语义不一致和语言不流畅，Li等提出BERT-ATTACK对抗样本生成器，首先查找输入序列容易受到攻击的单词，再通过BERT生成易攻击单词的替代词，利用BERT能捕获上下文语义的优点，生成流畅且合理的对抗样本。以上研究可以提升模型鲁棒性，但是缺少利用对抗训练来提升模型准确性的研究。Xie等提出AdvProp对抗训练方法，在图像分类任务中使用对抗样本和干净样本共同训练来解决特征分配不均匀的问题，验证了图像对抗样本可以提升分类准确性。
文本数据增强思想来源于图像领域，但是与图像数据增强做法不同，数据增强应用于当数据集较小时防止网络过拟合。NLP任务中常用的数据增强方式有回译、同义词替换、句子缩写等，最近研究表明文本数据增强可以提升NLP任务的性能。例如，Zhu等提出根据可答问题、原文和答案来自动生成相关的不可答问题，进而作为一种数据增强的方法来提升阅读理解***的表现。除了在阅读理解中进行数据增强外，文本分类中也需要数据增强。Wei等提出同义词替换、随机***、随机交换、随机删除四种数据增强技术，这四种方法只对原文进行修改，并未对数据标签进行更改。如果修改后的语义发生了改变，那么就是无效数据。
2.提出的方法
本发明专利公式以及模型中使用的符号定义如表1所示。本发明专利所提出的融合词屏蔽数据增强与对抗学习模型(Word-masking Data Enhancement and AdversarialLearning,WMDE-AL)框架图如图2所示。WMDE-AL借鉴了简单的文本数据增强方法和文本对抗训练训练，通过改进简单的数据增强方法从而增强特定目标语料库。
表1模型中所有符号的定义
Figure BDA0003235073600000091
Figure BDA0003235073600000101
图2中包括词屏蔽数据增强(Word-masking Data Enhancement,WMDE)和对抗学习(Adversarial Learning,AL)两个模块。(1)WMDE模块将原始语料库样本SIn通过屏蔽aspect进行同义词替换(约束条件：保持语句流畅，语义不改变)、随机***(约束条件：保持句子结构不变)的方法进行数据增强，然后将生成的数据和原始数据合并在一起得到BERT的输入SBertIn；(2)AL模块结合BERT模型和Adv-BERT模型同时学习了干净样本和对抗样本的特征，弥补样本特征分布不均匀的问题。
3.1ABSA对抗学习
对抗学习在分类问题中是一种提高模型鲁棒性的方法，目标是在原始数据中加入对抗扰动，以最小化最大误差分类优化参数θ。将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，假设在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-logp(y|Ew+radv,aspect；θ)         (1)
其中
Figure BDA0003235073600000111
其中p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，Ew表示干净样本的词嵌入张量，radv表示对抗扰动，aspect表示特定目标实体，θ表示神经网络参数，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，argmin表示使目标函数最小时的r变量，然后让这个r值赋值给radv，
Figure BDA0003235073600000112
表示添加扰动r后的预测概率；公式(2)的主要含义是随机对样本添加一个扰动，使损失函数的相反数最小，也就是在最大化损失函数的情况寻找最后的扰动变量radv。
为了解决上面最小化问题，试图寻找最坏的样本干扰最小化损失函数，使用快梯度下降法寻找对抗扰动，在神经网络中可以用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，通过神经网络中的反向传播来计算对抗扰动radv，计算过程如下：
Figure BDA0003235073600000113
其中
Figure BDA0003235073600000114
Figure BDA0003235073600000115
因此ABSA的对抗样本损失函数如下：
Figure BDA0003235073600000116
其中对抗样本Eadv表示如下：
Figure BDA0003235073600000121
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；▽表示梯度算子，Ew表示干净样本的词嵌入张量，
Figure BDA0003235073600000122
表示干净样本情感预测概率，aspect表示特定目标实体，
Figure BDA0003235073600000123
表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，
Figure BDA0003235073600000124
表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，
Figure BDA0003235073600000125
表示张量相加，
Figure BDA0003235073600000126
表示一个样本第1个词的词嵌入，
Figure BDA0003235073600000127
一个样本对应第1个词嵌入的对抗扰动，
Figure BDA0003235073600000128
表示一个样本第2个词的词嵌入，
Figure BDA0003235073600000129
一个样本对应第2个词嵌入的对抗扰动，
Figure BDA00032350736000001210
表示一个样本第i+1个词的词嵌入，
Figure BDA00032350736000001211
一个样本对应第i+1个词嵌入的对抗扰动，
Figure BDA00032350736000001212
表示一个样本第n个词的词嵌入，
Figure BDA00032350736000001213
一个样本对应第n个词嵌入的对抗扰动，
Figure BDA00032350736000001214
表示一个样本第n+1个词的词嵌入，
Figure BDA00032350736000001215
一个样本对应第n+1个词嵌入的对抗扰动。
通过上述的对抗训练方法，可以得到对抗样本的损失函数，和对抗样本特征分布即将对抗样本通过模型提取的特征，探究干净样本和对抗样本联合特征分布是否能提升模型鲁棒性和准确性，并探究如何提取有效特征是本发明专利的主要工作。接下来将介绍如何借助Adv-BERT解决特征分布不均匀的问题。
3.2提出的WMDE-AL模型
对于小数据集，数据增强是一种最简单的提升特征多样化策略，因此使用同义词替换和随机***进行数据增强，为了保持句子中目标实体不发生改变，采取WMDE方法进行数据增强，增强后的样本统计如表2所示。
FSR(·)计算公式如下：
Figure BDA0003235073600000139
其中SSr表示同义词替换后的数据，FSR(·)表示同义词替换数据增强函数，SIn表示原始语料库的输入，
Figure BDA0003235073600000131
是一条原始样本的第i个单词，aspect表示特定目标实体，Rep(·)单词替换函数，
Figure BDA0003235073600000132
表示需要替换的第id个单词，idSr表示单词替换的位置，
Figure BDA0003235073600000133
表示根据第i个单词
Figure BDA0003235073600000134
在Wordnet库中随机寻找num1个同义词；！＝表示不等于。
FRI(·)计算公式如下：
Figure BDA0003235073600000135
其中SRi表示随机***后的数据，FRI(·)表示随机***数据增强函数，Insert(·)表示在第id个的单词后面***单词，
Figure BDA0003235073600000136
表示需要***的第id个单词，idRI表示在句子中要***单词的前一个位置，Ran(Wordnet,num)表示在Wordnet中随机寻找num2个单词。
表2数据增强后的样本统计
Figure BDA0003235073600000137
将数据增强后的DaOut作为干净样本，DaOut＝SSr∪SRi；对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本，再利用Adv-BERT进行对抗样本训练。使用BERT进行干净样本的每个batch训练，Adv-BERT进行对抗样本的每个batch训练。其中干净样本每个batch损失函数计算如下：
Figure BDA0003235073600000138
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数，yi表示第i个样本的真实标签，Ei表示第i个干净样本的嵌入层张量，aspecti表示第i个干净样本特定目标实体，θ表示神经网络参数，
对抗样本每个batch的损失函数计算如下：
Figure BDA0003235073600000141
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个干净样本特定目标实体，θ表示神经网络参数；
最后最小化两个样本每个batch的损失函数：
Figure BDA0003235073600000142
其中L(·)表示模型损失函数，
Figure BDA0003235073600000143
表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数；
本发明专利实验选取BERT-BASE的特定目标情感分类作为基线，将分别进行单独使用数据增强方式、单独使用对抗学习方式、数据增强的对抗学习方式实验，与BERT-BASE基准模型进行比较，由于BERT模型的嵌入层有三个向量，分别为词嵌入(WordEmbeddings)、段嵌入(Segment Embeddings)、位置嵌入(Position Embeddings)。实验中只针对词嵌入进行对抗攻击，从而生成词嵌入对抗样本，其余两个嵌入不发生改变。WMDE-AL算法1所示：
Figure BDA0003235073600000144
Figure BDA0003235073600000151
算法1中包括WMDE和AL两个函数，WMDE中描述了文本词屏蔽数据增强算法过程，AL中描述了ABSA对抗学习过程。
4.实验结果分析
4.1实验准备
(1)数据集：本发明专利实验使用SemEval2014中Laptop和Restaurant两个数据集，特定目标实体有积极、中性、消极、冲突四种情感极性，由于冲突极性所占比例较小，借鉴了其他研究者们去除冲突极性语料的方法进行预处理，各数据集三种情感极性数量统计如表2所示。数据集使用Pytorch-Transformers工具中的BertTokenizer进行分词，使用NLTK工具中的Wordnet同义词库进行数据增强。
(2)对抗攻击：本发明专利使用FGM作为对抗攻击方法，选取不同大小的α进行FGM攻击，使用FGM对BERT模型的词嵌入层进行对抗扰动生成对抗样本，再通过Adv-BERT进行对抗样本训练。
(3)基准模型：本发明专利使用BERT-BASE(L＝12,H＝768,A＝12,TotalParameters＝110M)作为ABSA基准模型，其中L表示网络隐藏层个数(Numbers of HiddenLayers)，H表示网络隐藏层大小(Hidden Size)，A表示自注意力头个数(Numbers of Self-Attention Heads)。BERT模型隐藏层的激活函数采用高斯误差线性单元(Gaussian ErrorLinear Units,gelu)，计算公式如下：
Figure BDA0003235073600000161
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh表示双曲正切函数；
(4)实验环境以及超参数设置：本发明专利实验使用GPU(GeForce RTX 3090)，24G显存，PyTorch 1.8.1框架实现。超参数设置如表3所示。
表3实验超参数统计表
参数 Value
批次(batch)大小 16
学习率 2e-5
对抗扰动缩放因子α α∈[0.01,0.09]
L2正则化 0.01
Dropout率 0.1
初始化器 xavier_uniform_
优化器 adam
训练次数 5
最大序列长度 128
4.2结果分析
为了验证提出的WMDE方法有效性，实验分别对Laptop和Restaurant数据集进行数据增强，将每个句子进行屏蔽特定目标词的同义词替换、随机***单词生成两条增强数据，然后合并原始数据输入BERT-BASE模型中进行特定目标情感分类，表5中给出了WMDE方法与其他模型性能比较，以及与BERT-BASE基准模型的性能比较。当基准模型为BERT-BASE时，Laptop数据集WMDE增强后情感分类准确率为79.00％，相比原始数据训练准确率76.65％提升了2.35％。同样的，Restaurant数据集WMDE增强后情感分类准确率为84.38％，相比原始数据训练准确率84.02％提升了0.36％。实验结果表明，针对Laptop和Restaurant方面级情感分类数据集进行WMDE数据增强生成新的训练数据能够有效提升模型，Laptop小数据集提升效果较好。
通过上述实验结果对比，在WMDE方法中，通过词屏蔽方法进行同义词替换，保持aspect不变并且替换词性相同，保证生成语句流畅，语义不发生改变。随机***单词时，采用***副词的方式，保证生成语句与原语句的含义和句法结构不改变，在最后样本融合时将新样本与原始样本进行相似度计算。因此WMDE方法的作用是在不改变原始数据含义和句法结构的前提下，通过原始数据生成更精确的增强样本，使模型能够学习更多的有效特征。在实验过程中，分别验证了同义词替换和随机***算法对模型特征学习的有效性，最后结合两种增强方式，结果表明结合两种增强方式效果最优。
将数据增强样本和原始样本进行融合作为模型的输入样本，分别在Laptop和Restaurant数据集上使用扰动系数范围从0.01到0.09，增加步长为0.01。利用本发明专利提出的WMDE-AL模型设置不同大小的扰动系数α与BERT-BASE模型对比实验的Accuracy如图3所示，其中图3中(a)子图表示Laptop数据集不同大小α下的对抗训练Accuracy的示意图，图3中(b)子图表示Restaurant数据集不同大小α下的对抗训练Accuracy的示意图，；图3中每个子图包括BERT-BASE、BERT-WMDE、BERT-AL、BERT-WMDE-AL四种方法的性能。基于BERT-BASE使用不同大小的α对抗训练评价指标增长幅度如图4所示，其中雷达图的刻度表示对抗扰动α的大小，图4中(a)子图表示Laptop数据集Accuracy和F1值的增长情况，根据该子图可以得出WMDE-AL方法增长幅度高于AL方法；图4中(b)子图表示Restaurant数据集Accuracy和F1值的增长情况，根据该子图可以得出WMDE-AL方法增长幅度略低于AL方法。对于Laptop数据集而言，使用BERT-AL训练方式，当α＝0.02时，准确率达到最大值79.94％，比使用BERT-BASE训练方式提升3.29％；使用BERT-WMDE-AL训练方式，当α＝0.01时，准确率达到最大值80.88％，比使用BERT-BASE、BERT-WMDE训练方式分别提升4.23％、1.88％，加入词屏蔽数据增强对抗训练的准确率较未加入词屏蔽数据增强对抗训练准确率提升0.94％。对于Restaurant数据集而言，使用BERT-AL训练方式，当α＝0.08时，准确率达到最大值85.71％，比使用BERT-BASE训练方式提升1.69％；使用BERT-WMDE-AL训练方式，当α＝0.02时，准确率达到最大值85.27％，比使用BERT-BASE、BERT-WMDE训练方式分别提升1.25％、0.89％，加入词屏蔽数据增强对抗训练的准确率较未加入词屏蔽数据增强对抗训练准确率降低0.44％。通过对抗训练实验结果表明，同样对于小数据集而言，WMDE-AL性能较好，并且与基准模型相比有明显的提升。但是对于稍大数据集则是直接使用AL方法的性能略优于WMDE-AL方法的性能。由以上结果分析可以得出，AL方法和WMDE-AL方法都能有效提升样本特征多样性，利用对抗样本提升文本表示的质量，从而提升特定目标情感分类的性能。
表4数据增强BERT-BASE对抗训练的Accuracy值
Figure BDA0003235073600000181
4.3模型对比
模型性能对比包括：(1)本发明专利提出的WMDE、AL、WMDE-AL三种方法与BERT-BASE的性能进行比较，同时通过将这三种方法进行比较；(2)与当前在Laptop和Restaurant数据集上表现较好的模型进行比较。评价指标为Accuracy和F1值，基准模型性能如表5所示，可以得出：
(1)TD-LSTM(Tang et al.2016)采用深度学习模型提取特征，在Laptop和Restaurant数据集上准确率分别为71.83％和78.00％。深度学习特定目标情感分类模型解决了机器学习解决了繁琐的人工特征提取问题，并且深度学习模型的性能大多数优于最好的机器学习性能。
(2)MemNet(Tang et al.2016)采用线性组合对多注意力进行结合，提取目标实体特征信息，从而达到提升特定目标情感分类性能，其准确率分别为72.20％和81.00％。
(3)RAM(Chen et al.2017)采用GRU网络结构组合多注意力权重，以非线性方式组合不同注意力情感特征向量，其准确率分别为74.49％和80.23％。
(4)MGAN(Fan et el.2018)采用细粒度和粗粒度的注意力捕获目标实体和句子之间的词级交互关系，然后进行特定目标情感分类，其准确率分别为75.39％和81.25％。
(5)RepWalk(Zheng et al.2020)采用基于语法树的随机复制游走，捕获句子信息的上下文特征，有效地利用句法结构来改善句子表示，其准确率分别为78.20％和83.80％。
(6)BERT-PT(Xu et al.2019)采用大规模特定目标领域语料库重新训练上下文信息BERT模型，提高最终任务单词表示的质量，其准确率分别为78.07％和84.95％。
表5 Laptop和Restaurant数据集上特定目标情感分类模型总体性能比较
Figure BDA0003235073600000191
Figure BDA0003235073600000201
表5中，#表示本发明专利的实验结果，*表示其参考文献的中的实验结果“-”表示未记录，其余数据表示来自原始文献。
为了评估本发明专利提出的方法在特定目标情感分析任务上的性能，采用BERT-BASE作为对抗训练的目标模型，分别做了下述三个对比实验：(1)首先验证了WMDE生成新语料的有效性，通过五次WMDE实验，选取最优结果作为实验结果，在Laptop和Restaurant数据集上的准确率分别为79.00％和84.38％；(2)验证原始数据集进行AL的有效性，利用干净样本和对抗样本进行对抗训练，其准确率分别为79.94％和85.71％，比BERT-PT模型准确率分别高1.87％和0.76％；(3)验证通过AL生成新的训练样本以及融合原始样本进行对抗训练，即本发明专利提出的WMDE-AL方法，其准确率分别为80.88％和85.27％，比BERT-PT模型准确率分别高2.81％和0.32％。
5结论
词屏蔽数据增强和对抗学***的BERT-PT模型。主要结论如下：(1)通过同义词替换和随机***单词对特定目标领域语料库进行词屏蔽数据增强，保持句子语义和语法结构不改变并屏蔽实体单词不被替换，有效地对该领域数据集进行数据增强；(2)分别对原数据和数据增强后的数据进行对抗学习，利用干净样本和对抗样本提升特定目标情感分类辨识度，达到对抗防御的目的。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，包括以下步骤：
S1，运用屏蔽目标实体的方式对句子进行同义词替换和随机***单词生成有效的样本并与原始样本进行融合；
S2，构建了基于BERT-BASE的对抗学习特定目标情感分类模型，将S1融合后的数据作为模型的输入，运用干净样本和对抗样本一起训练情感分类模型：
将数据增强后的DaOut作为干净样本，DaOut＝SSr∪SRi，SSr为同义词替换后的数据，SRi为随机***后的数据；对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本；Adv-BERT模型进行对抗样本的每个batch训练，使用BERT模型进行干净样本的每个batch训练；
所述情感分类模型包括BERT模型和Adv-BERT模型；
所述对抗学习包括：将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，SBertIn表示BERT模型的输入，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-log p(y|Ew+radv,aspect；θ)    (1)
其中
p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，radv表示对抗扰动，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，arg min表示使目标函数最小时的r变量，然后让这个r值赋值给radv，表示添加扰动r后的预测概率，Ew表示干净样本的词嵌入张量，θ表示神经网络参数，表示神经网络分类器当前参数的常量集；
S3，最终得到特定目标情感分析结果。
2.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，还包括步骤：
S4，分别将原始样本和数据增强后的样本进行对抗学习，通过评价指标进行评价；所述评价指标包括：Accuracy和/或F1值。
3.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，在步骤S1中同义词替换的计算方法为：
其中，SSr表示同义词替换后的数据；
FSR(·)表示同义词替换数据增强函数；
SIn表示原始语料库的输入；
是一条原始样本的第i个单词；
aspect表示特定目标实体；
Rep(·)表示单词替换函数；
表示需要替换的第id个单词；
idSr表示单词替换的位置；
表示根据第i个单词在Wordnet库中随机寻找num1个同义词；
！＝表示不等于。
4.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，在步骤S1中随机***单词的计算方法为：
其中，SRi表示随机***后的数据；
FRI(·)表示随机***数据增强函数；
Insert(·)表示在第id个的单词后面***单词；
表示需要***的第id个单词；
idRI表示在句子中要***单词的前一个位置；
Ran(Wordnet,num2)表示在Wordnet库中随机寻找num2个单词。
5.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，所述干净样本的每个batch训练的损失函数计算如下：
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数，yi表示第i个样本的真实标签，Ei表示第i个干净样本的嵌入层张量，aspecti表示第i个样本的特定目标实体；
对抗样本每个batch的损失函数计算如下：
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数，Eadv(i)表示第i个对抗样本的嵌入层张量。
6.根据权利要求5所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，还包括：
最小化干净样本和对抗样本的每个batch的损失函数：
其中L(·)表示模型损失函数，表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数。
7.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，所述BERT模型的隐藏层采用采用高斯误差线性单元作为激活函数：
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh为双曲正切函数。
8.根据权利要求1所述的一种融合词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，所述对抗学习还包括：
使用快梯度下降法寻找对抗扰动，在神经网络中用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，对抗扰动radv计算如下：
其中
因此ABSA的对抗样本损失函数如下：
其中对抗样本Eadv表示如下：
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；表示梯度算子，Ew表示干净样本的词嵌入张量，表示干净样本情感预测概率，aspect表示特定目标实体，表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，gw H表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，表示张量相加，表示一个样本第1个词的词嵌入，一个样本对应第1个词嵌入的对抗扰动，表示一个样本第2个词的词嵌入，一个样本对应第2个词嵌入的对抗扰动，表示一个样本第i+1个词的词嵌入，一个样本对应第i+1个词嵌入的对抗扰动，表示一个样本第n个词的词嵌入，一个样本对应第n个词嵌入的对抗扰动，表示一个样本第n+1个词的词嵌入，一个样本对应第n+1个词嵌入的对抗扰动。
CN202110999219.7A 2021-08-28 2021-08-28 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法 Active CN113723075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110999219.7A CN113723075B (zh) 2021-08-28 2021-08-28 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110999219.7A CN113723075B (zh) 2021-08-28 2021-08-28 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法

Publications (2)

Publication Number Publication Date
CN113723075A CN113723075A (zh) 2021-11-30
CN113723075B true CN113723075B (zh) 2023-04-07

Family

ID=78678668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110999219.7A Active CN113723075B (zh) 2021-08-28 2021-08-28 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法

Country Status (1)

Country Link
CN (1) CN113723075B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781352B (zh) * 2022-04-07 2024-06-28 重庆邮电大学 一种基于语法依赖类型和方面间关联的情感分析方法
CN114880586A (zh) * 2022-06-07 2022-08-09 电子科技大学 一种通过移动性上下文感知基于对抗的社交圈推理方法
CN115392259B (zh) * 2022-10-27 2023-04-07 暨南大学 一种基于对抗训练融合bert的微博文本情感分析方法及***
CN115858791B (zh) * 2023-02-17 2023-09-15 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN116776884A (zh) * 2023-06-26 2023-09-19 中山大学 一种用于医学命名实体识别的数据增强方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159416A (zh) * 2020-04-02 2020-05-15 腾讯科技（深圳）有限公司 语言任务模型训练方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117482B (zh) * 2018-09-17 2021-07-06 武汉大学 一种面向中文文本情感倾向性检测的对抗样本生成方法
CN110245229B (zh) * 2019-04-30 2023-03-28 中山大学 一种基于数据增强的深度学习主题情感分类方法
US20210142181A1 (en) * 2019-11-07 2021-05-13 Microsoft Technology Licensing, Llc Adversarial training of machine learning models
CN110909164A (zh) * 2019-11-22 2020-03-24 科大国创软件股份有限公司 一种基于卷积神经网络的文本增强语义分类方法及***
CN111324744B (zh) * 2020-02-17 2023-04-07 中山大学 一种基于目标情感分析数据集的数据增强方法
CN112528675A (zh) * 2020-12-14 2021-03-19 成都易书桥科技有限公司 一种基于局部扰动的对抗样本防御算法
CN112580337A (zh) * 2020-12-29 2021-03-30 南京航空航天大学 基于数据增强的情感分类模型及情感分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159416A (zh) * 2020-04-02 2020-05-15 腾讯科技（深圳）有限公司 语言任务模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113723075A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113723075B (zh) 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法
Logeswaran et al. Sentence ordering and coherence modeling using recurrent neural networks
Xia et al. Xgpt: Cross-modal generative pre-training for image captioning
CN113705678B (zh) 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法
Dos Santos et al. Deep convolutional neural networks for sentiment analysis of short texts
CN111738003B (zh) 命名实体识别模型训练方法、命名实体识别方法和介质
Zhuo et al. Segment-level sequence modeling using gated recursive semi-markov conditional random fields
CN113723076B (zh) 基于词屏蔽数据增强与对抗学习的特定目标情感分析方法
CN115658954B (zh) 一种基于提示学习的跨模态检索对抗防御方法
Choi et al. MEM-KGC: Masked entity model for knowledge graph completion with pre-trained language model
CN113220865B (zh) 一种文本相似词汇检索方法、***、介质及电子设备
Guo et al. Implicit discourse relation recognition via a BiLSTM-CNN architecture with dynamic chunk-based max pooling
Alsmadi et al. Adversarial machine learning in text processing: a literature survey
Zhang et al. Deep learning based robust text classification method via virtual adversarial training
Glaser et al. Summarization of German court rulings
Kitada et al. Making attention mechanisms more robust and interpretable with virtual adversarial training
Kim et al. Multi-Domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models.
CN115309898A (zh) 基于知识增强bert的字粒度中文语义近似对抗样本生成方法
Wu et al. Multi-Tasking for Aspect-Based Sentiment Analysis via Constructing Auxiliary Self-Supervision ACOP Task
Li et al. Adaptive feature discrimination and denoising for asymmetric text matching
Zhu et al. Generating semantically valid adversarial questions for tableqa
Li et al. Textual Adversarial Attacks on Named Entity Recognition in a Hard Label Black Box Setting
Chen et al. Self-discriminative learning for unsupervised document embedding
Liu Effective Transfer Learning for Low-Resource Natural Language Understanding
Im et al. Multilayer CARU model for text summarization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant