CN112364138A - 一种基于对抗攻击技术的视觉问答数据增强方法及装置 - Google Patents
一种基于对抗攻击技术的视觉问答数据增强方法及装置 Download PDFInfo
- Publication number
- CN112364138A CN112364138A CN202011082774.5A CN202011082774A CN112364138A CN 112364138 A CN112364138 A CN 112364138A CN 202011082774 A CN202011082774 A CN 202011082774A CN 112364138 A CN112364138 A CN 112364138A
- Authority
- CN
- China
- Prior art keywords
- foreign language
- original
- text
- adv
- answer data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于对抗攻击技术的视觉问答数据增强方法及装置，该方法包括：将生成原始外文问题Q对应的对抗样本qadv并保存；利用对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。该装置包括：对抗样本单元以及网络训练单元；对抗样本单元用于生成原始外文问题Q对应的对抗样本qadv并保存；网络训练单元用于利用对抗样本qadv进行训练，计算损失函数，更新网络参数，直至网络收敛。通过本发明，解决了视觉问答数据增强中图像、问题以及答案三种语义匹配难题，以及现有视觉问答的数据增强方法没有做到图像与文本的双增强。
Description
技术领域
本发明涉及视觉问答技术领域，特别涉及一种基于对抗攻击技术的视觉问答数据增强方法及装置。
背景技术
近年来，计算机视觉和自然语言处理在许多问题上都取得了巨大的进展。视觉问答是一个融合计算机视觉和自然语言处理技术的研究领域。视觉问答算法的目的是根据图像预测给定问题的正确答案。最近的研究表明，视觉问答算法的性能取决于训练数据的数量，现有的算法总是能从更多的训练数据中获益。这表明，不使用人工注释的数据增强方法是提高视觉问答算法性能的一种最直接的尝试。现有的数据增加方法大致分为两类：数据扭曲和过采样。1.数据扭曲转换数据并保留其标签，典型的例子包括几何和颜色变换、随机擦除、对抗训练和神经风格迁移；2.过采样将生成合成的样本添加到训练集中。国内外研究证明数据增强能有效缓解深度神经网络的过拟合问题。
然而，由于保持图像、问题、答案三者语义匹配是一个难题，关于视觉问答领域的数据增强研究很少。无论是几何变换还是随机擦除，都不能保证原来的答案的正确。例如，当询问“计算机的位置是什么？”、“汽车是在垃圾桶的左边还是右边？”，翻转或旋转图像后得到的答案是相反的。这种图像增强方法定制的答案，而这些答案是难得到的。在文本方面，自然语言处理中的通用数据增强技术还没有得到充分的探索。因此，研究视觉问答领域的数据增强技术是很重要的。
国内外专家和学者有提出基于图像内容和答案生成问题的技术，即视觉问题生成技术。然而，由这种技术生成的文本有语法错误或措辞怪异的问题。此外，该技术学习同一个目标数据集中的问题和图像，会使生成的数据和原始数据具有相同分布，因此生成的数据无助于缓解过拟合。
发明内容
本发明针对上述现有技术中存在的问题，提出一种基于对抗攻击技术的视觉问答数据增强方法及装置，解决了视觉问答数据增强中图像、问题以及答案三种语义匹配难题，以及现有视觉问答的数据增强方法没有做到图像与文本的双增强。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明第一方面，提供一种基于对抗攻击技术的视觉问答数据增强方法，其包括：
S11：生成原始外文问题Q对应的对抗样本qadv并保存；
S12：利用所述S11生成的所述对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
较佳地，所述S11进一步包括：
S111：基于机器翻译的编码-解码技术，将原始外文问题
翻译成至少一种其他外文文本，得到关于所述其他外文文本的分布得分；
S112：再将所述S111中的得到的所述其他外文文本翻译回原始外文，得到单个原始外文单词得分；
当其他外文文本包括一种时，所述原始外文单词得分为所述其他外文文本的分布得分；
当其他外文文本包括多种时，所述原始外文单词得分为多种所述其他外文文本的分布得分的平均值；
S113：将至少一种其他外文文本的每种其他外文文本的得分最高的K个其他外文文本翻译得到的原始外文单词得分求和；
S114：得到等义文本句子的分布P(Q′|Q)，其中Q′是等义文本；
S115：利用上述分布构造衡量等义文本与原始文本相似性的分数
所述相似性的分数值越高代表两个文本语义相似度越高；
S116：选取所述相似性分数最高的一个等义文本作为所述原始外文问题的对抗样本qadv，并将qadv保存下来。
较佳地，所述S115与所述S116之间还包括：
S117：对所述S115中相似性的分数值加入编辑距离惩罚。具体为：当生成文本与原始文本的编辑距离大于一设定阈值时，所述相似性的分数值减去一设定数值。
较佳地，所述S12进一步包括：
S121：设定超参：(start，end)为需要加入对抗样本的训练阶段区间；
S122：将所述S11得到的对抗样本qadv以及原始外文问题放入训练；
S123：在训练阶段e时，获取一批原始图像样本vb，原始外文问题样本qb，生成的对抗
样本，以及答案ab；
S124：若
跳至S127；
S125：根据Iterative Fast Gradient Sign Method算法计算出两种图像的对抗样本:
S126：构成新的网络损失函数：
通过最小化该损失函数更新网络参数，重复步骤S124，直至网络收敛；
S127：最小化损失函数
重复步骤S124，直至网络收敛。
本发明第二方面，本发明还提供一种基于对抗攻击技术的视觉问答数据增强装置，用于实现上述的基于对抗攻击技术的视觉问答数据增强方法，其包括：对抗样本单元以及网络训练单元；其中，
所述对抗样本单元用于生成原始外文问题Q对应的对抗样本qadv并保存；
所述网络训练单元用于利用所述对抗样本单元生成的所述对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
本发明第三方面，还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一所述的基于对抗攻击技术的视觉问答数据增强方法。
本发明第四方面，还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一所述的基于对抗攻击技术的视觉问答数据增强方法。
相较于现有技术，本发明实施例具有以下至少一种有益效果：
(1)本发明提供的基于对抗攻击技术的视觉问答数据增强方法及装置，通过生成原始外文问题Q对应的对抗样本，并在训练过程中生成原始图像v的对抗样本，解决了视觉问答数据增强中图像、问题以及答案三种语义匹配难题，以及现有视觉问答的数据增强方法没有做到图像与文本的双增强；
(2)本发明提供的基于对抗攻击技术的视觉问答数据增强方法及装置，利用对抗样本不改变数据语义信息的特性，分别生成了图像和问题的对抗样本作为增强数据；
(3)本发明提供的基于对抗攻击技术的视觉问答数据增强方法及装置，通过S121～S127的对抗训练框架，能够充分利用上述生成的增强数据提高原始算法的准确性和鲁棒性。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的基于对抗攻击技术的视觉问答数据增强方法的流程图；
图2为本发明一较佳实施例的基于对抗攻击技术的视觉问答数据增强方法的流程图；
图3为本发明一较佳实施例的原始问题文本与其对应的等义文本的示例图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明一实施例的基于对抗攻击技术的视觉问答数据增强方法的流程图。
请参考图1，本实施例的基于对抗攻击技术的视觉问答数据增强方法包括以下步骤：
S11：生成原始外文问题Q对应的对抗样本qadv并保存；
S12：利用S11生成的对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
如图2所示为本发明一较佳实施例的基于对抗攻击技术的视觉问答数据增强方法的流程图。
请参考图2，较佳实施例中，S11进一步包括：
S111：基于机器翻译的编码-解码技术，将原始英文问题
翻译成葡萄牙语FPo和法语FFr文本，得到关于葡萄牙语文本的分布得分
和法语的分布得分
S112：再将上述得到的葡萄牙语和法语文本翻译回英语，得到单个英语单词得分：
P(yt＝w|y＜t，FPo，FFr)＝1/2(P(FPo|Q)·P(yt＝w|y＜t，FPo)+P(FFr|Q)·P(yt＝w|y＜t，FFr))；；
S113：利用得分最高的K个葡萄牙语文本
和法语文本
故将S112中由K个中间语言翻译得到的单词得分求和
S114：得到等义文本句子的分布
其中Q′是生成的等义文本，
是等义文本的长度；
S115：利用上述分布构造一个衡量等义文本与原始文本语义相似性的分数
其中P(Q′|Q)是S114中的等式，该分数越高代表两个文本语义相似度越高；
S116：选取语义相似性的分数最高的一个等义文本作为问题的增强数据qadv，并将qadv保存下来。
进一步地，较佳实施例中，为了能使生成文本与原始文本尽可能相似，S115与S116之间还包括：
S117：在S115中的相似性的分数加入了编辑距离惩罚。具体的，当生成文本与原始文本的编辑距离大于一设定阈值时，所述相似性的分数值减去一设定数值。比如，在本实施例中，可以按照以下设定的阈值和数值进行：当生成文本与原始文本编辑距离大于4的时候，S115中的在语义相似性的分数上减100。当然，在其他实施例中，也可以根据需要设定其他阈值和数值，并不局限于本实施例的参数。
请参考图2，较佳实施例中，S12进一步包括：
S121:设定超参：(start，end)为需要加入增强数据的训练阶段区间。
S122:将S11得到的qadv和原始数据放入训练；
S123:在训练阶段e时，获取一批原始图像样本vb，原始问题样本qb，生成的增强问题
以及答案ab；
S124:若
跳至S127；
S125:根据Iterative Fast Gradient Sign Method(IFGSM)算法计算出两种图像的对抗样本:
S126:构成新的网络损失函数：
通过最小化该损失函数更新网络参数，重复S124，直至网络收敛；
S127：最小化损失函数
重复S124，直至网络收敛。
上述实施例中，原始外文文本采用英文文本为例，不同实施例中，也可为其他语言文本。另外，上述实施例中，其他外文文本以葡萄牙语和法语文本两种语言文本为例，不同实施例中，也可采用葡萄牙语和法语文本之外的其他外文文本，其他外文文本的数量也不一定为两种，也可以为一种或两种以上。
如图3所示为本发明一较佳实施例的原始问题文本与其对应的等义文本的示例图。该图加粗文本是原始问题，原始问题下面是本发明生成的等义文本，括号里的数字表示等义文本的语义相似性分数，括号里单词表示该文本作为算法输入后得到的答案。可以看到本发明生成的文本与原始文本语义大致相同但能混淆算法的判断，符合对抗样本的属性。
在本发明另一实施例中，还提供一种基于对抗攻击技术的视觉问答数据增强装置，其用于实现上述任一实施例的基于对抗攻击技术的视觉问答数据增强方法，其包括：对抗样本单元以及网络训练单元。其中，对抗样本单元用于生成原始外文问题Q对应的对抗样本qadv并保存；网络训练单元用于利用对抗样本单元生成的对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
本发明上述实施例中基于对抗攻击技术的视觉问答数据增强装置，其中的各单元具体实现的技术可以采用基于对抗攻击技术的视觉问答数据增强方法步骤中对应的技术，在此不再赘述。
在本发明另一实施例中，还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一实施例中所述的基于对抗攻击技术的视觉问答数据增强方法。
在本发明另一实施例中，还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一实施例中所述的基于对抗攻击技术的视觉问答数据增强方法。
为了更好说明本发明上述实施例的效果，以下结合具体实验来说明：
依据上述基于对抗攻击技术的视觉问答数据增强方法和装置，在常用的视觉问答数据集VQAv2.0上进行测试。该数据集被分成了验证集，测试-开发集和测试集。该数据集以预测出准确的答案的数量百分比作为评价指标，同时也将问题分为了是非判断,数量问题和其他问题三种类型，分别评估算法回答该类问题的准确率。表1是本发明在VQAv2.0数据集上与现有的数据增强方法的性能对比。BUTD作为基准模型，带有“+”的算法表示在BUTD上实施的各种数据增强方法。可以看到本发明在基准模型上的提升明显优于其他算法。表2是本发明在训练集大小有限的情况下对基准模型的准确率提升对比，该表表明本发明在训练集越小的情况下准确率提升越明显。
表1
表2
| 训练集大小 | BUTD | +本发明 |
| 80％ | 62.77 | 64.27 |
| 60％ | 61.55 | 63.11 |
| 40％ | 59.47 | 61.35 |
| 20％ | 55.45 | 57.39 |
实验表明，本实施例采用的方法能够获得有效的图像和文本的增强数据，提高视觉问答算法的准确率。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。
Claims (10)
1.一种基于对抗攻击技术的视觉问答数据增强方法，其特征在于，包括以下步骤：
S11：生成原始外文问题Q对应的对抗样本qadv并保存；
S12：利用所述S11生成的所述对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
2.根据权利要求1所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，所述S11包括：
S111：基于机器翻译的编码-解码技术，将原始外文问题
翻译成至少一种其他外文文本，得到关于所述其他外文文本的分布得分；
S112：再将所述S111中的得到的所述其他外文文本翻译回原始外文，得到单个原始外文单词得分；
S113：将至少一种其他外文文本的每种其他外文文本的得分最高的K个其他外文文本翻译得到的原始外文单词得分求和；
S114：得到等义文本句子的分布P(Q′|Q)，其中Q′是等义文本；
S115：利用上述分布构造衡量等义文本与原始文本相似性的分数
所述相似性的分数值越高代表两个文本语义相似度越高；
S116：选取所述相似性分数最高的一个等义文本作为所述原始外文问题的对抗样本qadv，并将qadv保存下来。
3.根据权利要求2所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，S112中，当其他外文文本包括一种时，所述原始外文单词得分为所述其他外文文本的分布得分。
4.根据权利要求2所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，S112中，当其他外文文本包括多种时，所述原始外文单词得分为多种所述其他外文文本的分布得分的平均值。
5.根据权利要求2所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，所述S115与所述S116之间还包括：
S117：对所述S115中相似性的分数值加入编辑距离惩罚。
6.根据权利要求5所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，所述S117，具体为：当生成文本与原始文本的编辑距离大于一设定阈值时，所述相似性的分数值减去一设定数值。
7.根据权利要求1至6任一项所述的基于对抗攻击技术的视觉问答数据增强方法，其特征在于，所述S12，包括：
S121：设定超参：(start，end)为需要加入对抗样本的训练阶段区间；
S122：将所述S11得到的对抗样本qadv以及原始外文问题放入训练；
S123：在训练阶段e时，获取一批原始图像样本vb，原始外文问题样本qb，生成的对抗
样本，以及答案ab；
S124：若
跳至S127；
S125：根据Iterative Fast Gradient Sign Method算法计算出两种图像的对抗样本:
其中
N是计算对抗样本的迭代次数,∈是扰动幅度，v表示原始图像，a表示每一次迭代的步长，于是有一批的图像对抗样本
根据上述所生成的对抗样本，组成四组增强数据样本：
S126：构成新的网络损失函数：
通过最小化该损失函数更新网络参数，重复S124，直至网络收敛；
S127：最小化损失函数
重复S124，直至网络收敛。
8.一种基于对抗攻击技术的视觉问答数据增强装置，其特征在于，用于实现如权利要求1至7任一项所述的基于对抗攻击技术的视觉问答数据增强方法，包括：对抗样本单元以及网络训练单元；其中，
所述对抗样本单元用于生成原始外文问题Q对应的对抗样本qadv并保存；
所述网络训练单元用于利用所述对抗样本单元生成的所述对抗样本qadv进行训练，并在训练过程中动态生成原始图像v的对抗样本vadv，计算损失函数，更新网络参数，直至网络收敛。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7任一所述的基于对抗攻击技术的视觉问答数据增强方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7任一所述的基于对抗攻击技术的视觉问答数据增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011082774.5A CN112364138A (zh) | 2020-10-12 | 2020-10-12 | 一种基于对抗攻击技术的视觉问答数据增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011082774.5A CN112364138A (zh) | 2020-10-12 | 2020-10-12 | 一种基于对抗攻击技术的视觉问答数据增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364138A true CN112364138A (zh) | 2021-02-12 |
Family
ID=74506582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011082774.5A Pending CN112364138A (zh) | 2020-10-12 | 2020-10-12 | 一种基于对抗攻击技术的视觉问答数据增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364138A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819091A (zh) * | 2021-02-22 | 2021-05-18 | 武汉工程大学 | 面向跨语言描述的对抗性数据增强方法、***及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334808A (zh) * | 2019-06-12 | 2019-10-15 | 武汉大学 | 一种基于对抗样本训练的对抗攻击防御方法 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
-
2020
- 2020-10-12 CN CN202011082774.5A patent/CN112364138A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334808A (zh) * | 2019-06-12 | 2019-10-15 | 武汉大学 | 一种基于对抗样本训练的对抗攻击防御方法 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 马超: "Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering", 《ARXIV》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819091A (zh) * | 2021-02-22 | 2021-05-18 | 武汉工程大学 | 面向跨语言描述的对抗性数据增强方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110895561B (zh) | 基于多模态知识感知的医疗问答检索方法、***、装置 | |
| CN109344236B (zh) | 一种基于多种特征的问题相似度计算方法 | |
| Grishman | Information extraction | |
| US11222175B2 (en) | Structured term recognition | |
| CN106844658A (zh) | 一种中文文本知识图谱自动构建方法及*** | |
| CN117573843B (zh) | 一种基于知识校准和检索增强的医疗辅助问答方法及*** | |
| CN105068997B (zh) | 平行语料的构建方法及装置 | |
| CN110931128B (zh) | 非结构化医疗文本无监督症状自动识别方法、***、装置 | |
| CN112417171B (zh) | 面向知识图谱表示学习的数据增广方法 | |
| CN106844356A (zh) | 一种基于数据选择改善英中机器翻译质量的方法 | |
| CN115545041B (zh) | 一种增强医疗语句语义向量表示的模型构造方法及*** | |
| Chatterjee et al. | Online automatic post-editing for MT in a multi-domain translation environment | |
| CN113822054A (zh) | 基于数据增强的中文语法纠错方法及装置 | |
| CN112364138A (zh) | 一种基于对抗攻击技术的视觉问答数据增强方法及装置 | |
| CN113254609B (zh) | 一种基于负样本多样性的问答模型集成方法 | |
| CN113670609A (zh) | 基于灰狼优化算法的故障检测方法、***、装置及介质 | |
| CN111125329A (zh) | 一种文本信息筛选方法、装置及设备 | |
| CN115035304A (zh) | 一种基于课程学习的图像描述生成方法及*** | |
| JP2009176148A (ja) | 未知語判定システム、方法及びプログラム | |
| He et al. | Representation transfer and data cleaning in multi-views for text simplification | |
| US20240086768A1 (en) | Learning device, inference device, non-transitory computer-readable medium, learning method, and inference method | |
| Hu et al. | Topic models for translation domain adaptation | |
| CN117556002A (zh) | 一种用于对话大模型的多轮对话训练方法 | |
| Zhao et al. | Research on Correcting the Accuracy of English Translation Based on Improved Particle Swarm Optimization Algorithm | |
| Parry | Finding the Answers with Definition Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210212 |
|
| WD01 | Invention patent application deemed withdrawn after publication |