CN113936140B - 一种基于增量式学习的对抗样本攻击模型的评估方法 - Google Patents
一种基于增量式学习的对抗样本攻击模型的评估方法 Download PDFInfo
- Publication number
- CN113936140B CN113936140B CN202111367546.7A CN202111367546A CN113936140B CN 113936140 B CN113936140 B CN 113936140B CN 202111367546 A CN202111367546 A CN 202111367546A CN 113936140 B CN113936140 B CN 113936140B
- Authority
- CN
- China
- Prior art keywords
- model
- incremental learning
- learning
- attack
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 238000004821 distillation Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 12
- 238000000605 extraction Methods 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 241001494479 Pecora Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于增量式学习的对抗样本攻击模型的评估方法，由于使用Deeplab v2语义分割模型结合知识蒸馏的增量式学习方法对样本数据进行特征提取获取语义分割图，再分别在不同的扰动值下使用不同的攻击算法对该采用不同学习方法的模型进行攻击获取攻击成功率，最终通过对比采用不同学习方法的模型的攻击成功率，得出增量式学习方法可以在不存储旧任务图像的情况下学习新知识，从而减少时间上和空间上的浪费，也可以解决深度学习模型使用批量式学习时产生的灾难性遗忘问题，同时，也得出了针对无人驾驶场景中的深度学习模型在执行增量学习任务时，对抗样本攻击对深度学习模型所产生的影响。
Description
技术领域
本发明涉及一种基于增量式学习的对抗样本攻击模型的评估方法。
背景技术
随着人工智能的兴起，无人驾驶汽车的出现可以缓解道路交通拥堵，降低交通事故的风险，其中深度学习已成为其关键技术之一。但是，深度学习模型已经被许多工作证明了存在脆弱性并且容易受到对抗样本的攻击。攻击者通过在原始图片上添加一些细微的扰动就可以导致分类模型输出的分类结果错误，从而达到攻击的目的。对于无人驾驶***而言，安全性是至关重要的。因此，对抗样本的攻击将影响无人驾驶场景中人工智能的部署，也存在着巨大的安全隐患。此外，深度学习模型还存在灾难性遗忘问题。随着无人驾驶汽车在道路上行驶，它们需要学习新的类别和其不同的表示形式。当***需要模型来学习新知识而同时不忘记旧知识时，它们会表现出严重的性能下降。最近，已经观察到增量学习技术可以解决上述挑战。然而，先前针对无人驾驶场景中的对抗样本攻击的研究主要集中在批量学习上。尚不清楚在执行增量学习任务时，使用对抗样本攻击对深度学习模型产生多大影响。这个问题暴露了无人驾驶***的潜在安全隐患，同时也增加了研究的机会。
发明内容
为解决上述问题，提供一种基于增量式学习的对抗样本攻击模型的评估方法，本发明采用了如下技术方案：
本发明提供了一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于，包括以下步骤：步骤S1，基于预定数据集获取训练数据，训练数据包含若干个类别；步骤S2，采用预定的语义分割模型对训练数据分别进行非增量式学习、L'D式增量学习以及EqL'D式增量学习；步骤S3，基于预定的语义分割模型对学习后的训练数据进行特征提取，分别获取非增量式学习的第一语义分割图、L'D式增量学习的第二语义分割图以及EqL'D式增量学习的第三语义分割图；步骤S4，采用若干类预定的攻击算法在不同的扰动值下分别对第一语义分割图、第二语义分割图以及第三语义分割图进行攻击，并分别获取对应的攻击成功率；步骤S5，通过对攻击成功率进行对比，从而评估基于增量式学习的模型的鲁棒性。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，预定的语义分割模型为DeepLab v2模型，该模型包括空洞卷积、空洞空间金字塔池化以及条件随机场，DeepLab v2模型通过使用DCNN获得近似的语义分割结果，根据双线性差值将特征图恢复到原始图像分辨率，并采用完全连接的条件随机场完善语义分割结果。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，预定的攻击算法包括FGSM攻击算法、DeepFool攻击算法以及MI-FGSM攻击算法。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，预定数据集为Pascal VOC2012数据集，样本数据包含21个类别。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，两组实验数据分别为：将样本数据的21个类别分为前20个类别以及最后1个类别的第一组实验数据，将样本数据的21个类别分为前16个类别以及最后5个类别的第二组实验数据。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，在步骤S2中基于第一组实验数据进行学习的过程为：对第一组实验数据中的前20个类别进行非增量式学习，对第一组实验数据中的最后1个类别分别进行非增量式学习、L'D式增量学习以及EqL'D式增量学习；在步骤S2中基于第二组实验数据进行学习的过程为：对第二组实验数据中的前16个类别进行非增量式学习，对第二组实验数据中的最后5个类别分别进行非增量式学习、L'D式增量学习以及EqL'D式增量学习。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，L'D式增量学习为在预定的语义分割模型的输出层上进行知识蒸馏以获得蒸馏损失L'D，EqL'D式增量学习为在预定的语义分割模型的输出层上进行知识蒸馏的同时冻结编码器，在编码器冻结时获得蒸馏损失EqL'D。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，蒸馏损失L'D为：
式中，是指每个步骤的新的训练样本，k是索引的增量步骤，k＝1,2,…，以便模型每次学习一组新的类，Mk(Xn[c])反映了类别c的评价分数，Sk-1是以前学过的所有类别的结合。
本发明提供的一种基于增量式学习的对抗样本攻击模型的评估方法，还可以具有这样的技术特征，其中，步骤S5还包括对基于增量式学习的模型进行对抗训练以提升该模型的鲁棒性，对抗训练为：采用对抗样本算法针对被攻击的基于增量式学习的模型生成对抗样本，将对抗样本以及样本数据输入至基于增量式学习的模型进行训练，并采取有监督学习方式进行学习。
发明作用与效果
根据本发明的基于增量式学习的对抗样本攻击模型的评估方法，由于使用Deeplab v2语义分割模型结合知识蒸馏的增量式学习方法对样本数据进行特征提取获取语义分割图，再分别在不同的扰动值下使用不同的攻击算法对该采用不同学习方法的模型进行攻击获取攻击成功率，最终通过对比采用不同学习方法的模型的攻击成功率，得出增量式学习方法可以在不存储旧任务图像的情况下学习新知识，从而减少时间上和空间上的浪费，也可以解决深度学习模型使用批量式学习时产生的灾难性遗忘问题。同时，也得出了针对无人驾驶场景中的深度学习模型在执行增量学习任务时，对抗样本攻击对深度学习模型所产生的影响。
附图说明
图1是本发明实施例中的基于增量式学习的对抗样本攻击模型的评估方法的流程图；
图2是本发明实施例中的DeepLab v2模型中的ASPP模块示意图；
图3是本发明实施例中的第k个增量学习步骤的框架示意图；
图4是本发明实施例中第k个增量步骤中编码器的冻结方案示意图；
图5是本发明实施例中第一组实验数据的语义分割结果示意图；
图6是本发明实施例中第二组实验数据的语义分割结果示意图；
图7是本发明实施例中基于第一组实验数据得到的攻击成功率；
图8是本发明实施例中基于第二组实验数据得到的攻击成功率。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于增量式学习的对抗样本攻击模型的评估方法作具体阐述。
<实施例>
本发明的基于增量式学习的对抗样本攻击模型的评估方法以无人驾驶为场景进行实验。该实验环境设置为：实验硬件配置为Intel(R)Core(TM)i7-7800X CPU，NVIDIAGeForce RTX 2080Ti GPU和24GB RAM，在Ubuntu环境下基于Tensorflow框架运行，其中主要环境配置为python 3.6。
图1是本发明实施例中的基于增量式学习的对抗样本攻击模型的评估方法的流程图。
如图1所示，基于增量式学习的对抗样本攻击模型的评估方法包括以下步骤：
步骤S1，基于预定数据集获取包含若干个类别的样本数据。
本实施例中，预定数据集为Pascal VOC 2012数据集，包含21个类别(background、aeroplane、bicycle、bird、boat、bottle、bus、car、cat、chair、cow、dining table、dog、horse、motorbike、person、potted plant、sheep、sofa、train、tv/monitor)，共有10582张训练图像和1449张验证图像。
此外，该数据集含有6类(bicycle、bus、car、motorbike、person、train)是无人驾驶场景中常见的类别。因此，它不仅可以用于评估基于无人驾驶场景中增量式技术的对抗样本攻击算法的性能而且更具有一般性。
步骤S2，将样本数据分为两组作为实验数据，采用预定的语义分割模型对实验数据分别进行两组的非增量式学习、L'D式增量学习以及EqL'D式增量学习。
本实施例中，预定的语义分割模型为DeepLab v2模型，该模型包括空洞卷积、空洞空间金字塔池化(ASPP)以及条件随机场(CRF)。
图2是本发明实施例中DeepLab v2模型中的ASPP模块示意图。
其中，ASPP模块(如图2所示)是受SPP模块的启发，将SPP模块中普通卷积层替换为并行的多个不同扩张率的孔洞卷积来提取图像特征，进而采集不同尺度的全局和局部特征信息，获取多种感受野，以此来提高最终的分割准确度。
其中，两组实验数据分别为：
将样本数据的21个类别分为前20个类别以及最后1个类别的第一组实验数据；将样本数据的21个类别分为前16个类别以及最后5个类别的第二组实验数据。
在该步骤S2中基于第一组实验数据进行学习的过程为：
对第一组实验数据中的前20个类别进行非增量式学习，对第一组实验数据中的最后1个类别(即tv/monitor)分别进行非增量式学习、L'D式增量学习以及EqL'D式增量学习。
在该步骤S2中基于第二组实验数据进行学习的过程为：
对第二组实验数据中的前16个类别进行非增量式学习，对第二组实验数据中的最后5个类别(potted plant、sheep、sofa、train、tv/monitor)分别进行非增量式学习、L'D式增量学习以及EqL'D式增量学习。
图3是本发明实施例中第k个增量学习步骤的框架示意图。
如图3所示，L'D式增量学习为在DeepLab v2模型的输出层上进行知识蒸馏以获得蒸馏损失L'D，L'D是掩盖由先前ZENsoftmax层的输出与当前模型Mk中的softmax层的输出所产生的对数交叉熵损失(假设当前处于第k个增量学习步骤)。这是因为我们想通过引导学习过程来保存它们，所以交叉熵被掩盖，这对于考虑已经看到的类是非常有用的。
其中，蒸馏损失L'D为：
式中，是指每个步骤的新的训练样本，k是索引的增量步骤，k＝1,2,…，以便模型每次学习一组新的类，Mk(Xn[c])反映了类别c的评价分数，Sk-1是以前学过的所有类别的结合。
图4是本发明实施例中第k个增量步骤中编码器的冻结方案示意图。
EqL'D式增量学习为在DeepLab v2模型的输出层上进行知识蒸馏的同时冻结编码器，在编码器冻结时获得蒸馏损失EqL'D。
该增量式学习方法则是在第一种增量式学习方法L'D的基础上进行的修改，编码器旨在提取一些中间特征的表示，修改也是基于此点。这种方法允许网络仅通过解码器来学习新类别。与之前的训练阶段相比，它保留了相同的特征提取功能，如图4所示，其中Mk-1是上一步的整个模型。
其中，知识蒸馏是将从一个复杂模型或多个模型中学习到的知识迁移到另一个简单模型上。上述两种增量式学习方法是最具挑战性的设置，不存储(不浪费存储空间)、之前的性能不会降低来自旧任务的图像并且不能将其用于帮助增量过程，这特别适合类似于无人驾驶汽车这样的***，既涉及隐私问题，对存储也有要求。
步骤S3，基于DeepLab v2模型对学习后的两组实验数据进行特征提取，分别获取与两组实验数据分别对应的非增量式学习的第一语义分割图、L'D式增量学习的第二语义分割图以及EqL'D式增量学习的第三语义分割图。
实施例中，DeepLab v2模型通过使用DCNN获得近似的语义分割结果，根据双线性差值将特征图恢复到原始图像分辨率，并采用完全连接的条件随机场完善语义分割结果。
图5是本发明实施例中第一组实验数据的语义分割结果示意图，图6是本发明实施例中第二组实验数据的语义分割结果示意图。
如图5所示，DeepLab v2模型分别对基于非增量式学习(图中GT列)、L'D式增量学习(图中L'D列)以及式增量学习(图中EqL'D列)的最后1个类别即tv/monitor(图中RGB列)进行特征提取，得到对应的语义分割示例图。
如图6所示，DeepLab v2模型分别对基于非增量式学习(图中GT列)、L'D式增量学习(图中L'D列)以及式增量学习(图中EqL'D列)的最后5个类别：potted plant、sheep、sofa、train、tv/monitor(图中RGB列)进行特征提取，得到对应的语义分割示例图。
步骤S4，采用若干类预定的攻击算法在不同的扰动值下分别对两组实验数据中的第一语义分割图、第二语义分割图以及第三语义分割图进行攻击，并分别获取两组对应的攻击成功率。
近几年有关对抗样本攻击的研究主要可以分为以下三种类型：白盒攻击、黑盒攻击以及物理攻击。
其中，白盒攻击的前提是可以充分获取模型的体系结构，包括其各层的参数值以及模型的组成，并且可以完整控制模型的输入，对输入的控制粒度甚至可以到比特级别。它的优点是计算速度相对较快，但需要目标网络的梯度信息。白盒攻击算法主要包括以下几种算法：快速梯度算法(FGSM)、显著图攻击算法(JSMA)、DeepFool算法、动量迭代快速梯度算法(MI-FGSM)以及C&W算法等。
本实施例中，采用FGSM攻击算法、DeepFool攻击算法以及MI-FGSM攻击算法分别在扰动值ε设置为ε＝0.3，ε＝0.2，ε＝0.1时对基组实验数据分别进行学习所获取的语义分割图进行攻击以获取对应的攻击成功率。
步骤S5，通过对每一组中的攻击成功率进行对比，从而评估基于增量式学习的模型的鲁棒性。
图7是本发明实施例中基于第一组实验数据得到的攻击成功率。
本实施例中，基于第一组实验数据进行的学习中，将非增量式学习的模型记作M(0-20)，将L'D式增量学习的模型记作M(0-19)+M(20)(L'D)，将EqL'D式增量学习的模型记作M(0-19)+M(20)(EqL'D)。
如图7所示，首先选择在扰动值ε＝0.3时的FGSM攻击算法进行详细分析：
当采用L'D式增量学习时，攻击成功率可以达到94.55％；
当采用EqL'D式增量学习时，攻击成功率可以达到92.10％；
当采用非增量式学习时，攻击成功率仅达到了86.12％。
因此，增量式学习可以使对模型的攻击成功率提高8.43％，从仅对前20类的攻击结果，可以发现在增量式学习之后攻击成功率确实提高了。
然后，对于DeepFool攻击算法分析扰动值ε＝0.2的攻击成功率：
当采用L'D式增量学习时，攻击成功率可以达到83.71％；
当采用EqL'D式增量学习时，攻击成功率可以达到81.52％；
当采用非增量式学习时，攻击成功率仅达到了80.18％。
因此，当扰动值ε＝0.2时，增量学习可以使对模型的攻击成功率提高3.53％。
类似的，对MI-FGSM攻击算法分析当扰动值ε＝0.3时，采用L'D式增量学习可以使攻击成功率提高2.59％。
另外，EqL'D式增量学习也可以提高一定的攻击成功率，但是没有L'D式增量学习提高的多，所以可以得出EqL'D式增量学习比L'D式增量学习的对抗鲁棒性更好，即当模型采用增量式进行学习时，对抗样本攻击该模型的攻击成功率均高于非增量式学习的模型。
图8是本发明实施例中基于第二组实验数据得到的攻击成功率。
本实施例中，基于第二组实验数据进行的学习中，将非增量式学习的模型记作M(0-15)，将L'D式增量学习的模型记作M(0-15)+M(16-20)(L'D)，将EqL'D式增量学习的模型记作M(0-15)+M(16-20)(EqL'D)。
如图8所示，首先选择在扰动值ε＝0.3时的FGSM攻击算法进行详细分析：
当采用L'D式增量学习时，攻击成功率可以达到92.14％；
当采用EqL'D式增量学习时，攻击成功率可以达到93.75％；
当采用非增量式学习时，攻击成功率仅达到了86.12％。
因此，增量式学习可以使对模型的攻击成功率有所提高。
然后，对于DeepFool攻击算法分析扰动值ε＝0.3的攻击成功率：
当采用L'D式增量学习时，攻击成功率可以达到82.23％；
当采用EqL'D式增量学习时，攻击成功率可以达到83.39％；
当采用非增量式学习时，攻击成功率仅达到了81.16％。
此时，EqL'D式增量学习可以使得攻击成功率提高2.23％。
类似的，对MI-FGSM攻击算法分析当扰动值ε＝0.1时，EqL'D式增量学习可以使得攻击成功率提高3.08％。
因此，由上可知，基于增量式学习的对抗样本攻击模型具有更高的攻击成功率。其中，在第二组实验中，EqL'D式增量学习比L'D式增量学习方法的攻击成功率更高。
因此，当模型采用增量式学习方法进行样本学习时，能够实现不存储旧任务图像的情况下学习新知识，从而减少时间上和空间上的浪费，也可以解决深度学习架构的灾难性遗忘问题，但是模型的鲁棒性会降低。
本实施例中，为了进一步的提高采用增量式学习的模型的鲁棒性，还加入了对抗训练。具体地：
首先使用FGSM攻击算法、DeepFool攻击算法以及MI-FGSM攻击算法等常见的对抗样本算法，针对被攻击模型生成大量的对抗样本，然后把对抗样本和原始数据放到该模型里重新训练，进行有监督学习，从而获得加固后的模型。
实施例作用与效果
根据本实施例提供的基于增量式学习的对抗样本攻击模型的评估方法，由于使用Deeplab v2语义分割模型结合知识蒸馏的增量式学习方法对样本数据进行特征提取获取语义分割图，再分别在不同的扰动值下使用不同的攻击算法对该采用不同学习方法的模型进行攻击获取攻击成功率，最终通过对比采用不同学习方法的模型的攻击成功率，得出增量式学习方法可以在不存储旧任务图像的情况下学习新知识，从而减少时间上和空间上的浪费，也可以解决深度学习模型使用批量式学习时产生的灾难性遗忘问题。同时，也得出了针对无人驾驶场景中的深度学习模型在执行增量学习任务时，对抗样本攻击对深度学习模型所产生的影响。
实施例中，预定数据集为Pascal VOC 2012数据集，该数据集含有6类(bicycle、bus、car、motorbike、person、train)是无人驾驶场景中常见的类别。因此，它不仅可以用于评估基于无人驾驶场景中增量式技术的对抗样本攻击算法的性能而且更具有一般性。
实施例中，由于采用对抗训练对基于增量式学习的模型进行了加固，使得该模型的鲁棒性得到了有效提升，降低了对抗样本攻击基于增量式学习的模型的影响。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (6)
1.一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于，包括以下步骤：
步骤S1，基于预定数据集获取包含若干个类别的样本数据；
步骤S2，将所述样本数据分为两组作为实验数据，采用预定的语义分割模型对所述实验数据分别进行两组的非增量式学习、L'D式增量学习以及EqL'D式增量学习；
步骤S3，基于所述预定的语义分割模型对学习后的两组所述实验数据进行特征提取，分别获取与两组所述实验数据分别对应的所述非增量式学习的第一语义分割图、L'D式增量学习的第二语义分割图以及所述EqL'D式增量学习的第三语义分割图；
步骤S4，采用若干类预定的攻击算法在不同的扰动值下分别对两组所述实验数据中的所述第一语义分割图、所述第二语义分割图以及所述第三语义分割图进行攻击，并分别获取两组对应的攻击成功率；
步骤S5，通过对每一组中的所述攻击成功率进行对比，从而评估基于增量式学习的模型的鲁棒性，
其中，所述预定的语义分割模型为DeepLab v2模型，该模型包括空洞卷积、空洞空间金字塔池化以及条件随机场，
所述DeepLab v2模型通过使用DCNN获得近似的语义分割结果，根据双线性差值将特征图恢复到原始图像分辨率，并采用完全连接的条件随机场完善所述语义分割结果，
所述L'D式增量学习为在所述预定的语义分割模型的输出层上进行知识蒸馏以获得蒸馏损失L'D，
所述EqL'D式增量学习为在所述预定的语义分割模型的输出层上进行知识蒸馏的同时冻结编码器，在所述编码器冻结时获得蒸馏损失EqL'D，
所述蒸馏损失L'D为：
式中，是指每个步骤的新的训练样本，k是索引的增量步骤，k＝1,2,…，以便模型每次学习一组新的类，Mk(Xn[c])反映了类别c的评价分数，Sk-1是以前学过的所有类别的结合。
2.根据权利要求1所述的一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于：
其中，所述预定的攻击算法包括FGSM攻击算法、DeepFool攻击算法以及MI-FGSM攻击算法。
3.根据权利要求1所述的一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于：
其中，所述预定数据集为PascalVOC 2012数据集，所述样本数据包含21个类别。
4.根据权利要求3所述的一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于：
其中，所述两组实验数据分别为：
将所述样本数据的21个类别分为前20个类别以及最后1个类别的第一组实验数据，
将所述样本数据的21个类别分为前16个类别以及最后5个类别的第二组实验数据。
5.根据权利要求4所述的一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于：
其中，在所述步骤S2中基于所述第一组实验数据进行学习的过程为：
对所述第一组实验数据中的所述前20个类别进行所述非增量式学习，
对所述第一组实验数据中的所述最后1个类别分别进行所述非增量式学习、所述L'D式增量学习以及所述EqL'D式增量学习；
在所述步骤S2中基于所述第二组实验数据进行学习的过程为：
对所述第二组实验数据中的所述前16个类别进行所述非增量式学习，
对所述第二组实验数据中的所述最后5个类别分别进行所述非增量式学习、所述L'D式增量学习以及所述EqL'D式增量学习。
6.根据权利要求1所述的一种基于增量式学习的对抗样本攻击模型的评估方法，其特征在于：
其中，所述步骤S5还包括对所述基于增量式学习的模型进行对抗训练以提升该模型的鲁棒性，
所述对抗训练为：
采用对抗样本算法针对被攻击的所述基于增量式学习的模型生成对抗样本，将所述对抗样本以及所述样本数据输入至所述基于增量式学习的模型进行训练，并采取有监督学习方式进行学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111367546.7A CN113936140B (zh) | 2021-11-18 | 2021-11-18 | 一种基于增量式学习的对抗样本攻击模型的评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111367546.7A CN113936140B (zh) | 2021-11-18 | 2021-11-18 | 一种基于增量式学习的对抗样本攻击模型的评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936140A CN113936140A (zh) | 2022-01-14 |
| CN113936140B true CN113936140B (zh) | 2024-06-18 |
Family
ID=79286934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111367546.7A Active CN113936140B (zh) | 2021-11-18 | 2021-11-18 | 一种基于增量式学习的对抗样本攻击模型的评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936140B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708436B (zh) * | 2022-06-02 | 2022-09-02 | 深圳比特微电子科技有限公司 | 语义分割模型的训练方法、语义分割方法、装置和介质 |
| CN114724014B (zh) * | 2022-06-06 | 2023-06-30 | 杭州海康威视数字技术股份有限公司 | 基于深度学习的对抗样本攻击检测方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232434A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 基于相关性分析的对抗攻击协同防御方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11768932B2 (en) * | 2019-06-28 | 2023-09-26 | Baidu Usa Llc | Systems and methods for fast training of more robust models against adversarial attacks |
| KR102225579B1 (ko) * | 2020-05-14 | 2021-03-10 | 아주대학교산학협력단 | 학습성능이 향상된 지식 증류법 기반 의미론적 영상 분할 방법 |
| CN113297572B (zh) * | 2021-06-03 | 2022-05-17 | 浙江工业大学 | 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 |
-
2021
- 2021-11-18 CN CN202111367546.7A patent/CN113936140B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232434A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 基于相关性分析的对抗攻击协同防御方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 面向智能驾驶视觉感知的对抗样本攻击与防御方法综述;杨弋鋆;邵文泽;王力谦;葛琦;鲍秉坤;邓海松;李海波;;南京信息工程大学学报(自然科学版);20191128(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936140A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | Ape-gan: Adversarial perturbation elimination with gan | |
| Shen et al. | Ape-gan: Adversarial perturbation elimination with gan | |
| CN113936140B (zh) | 一种基于增量式学习的对抗样本攻击模型的评估方法 | |
| US9798972B2 (en) | Feature extraction using a neurosynaptic system for object classification | |
| CN110110323B (zh) | 一种文本情感分类方法和装置、计算机可读存储介质 | |
| Kwon et al. | Multi-targeted backdoor: Indentifying backdoor attack for multiple deep neural networks | |
| CN113887789B (zh) | 一种基于循环神经网络的改进船舶轨迹预测方法及其装置 | |
| Jiang et al. | Dfnet: Semantic segmentation on panoramic images with dynamic loss weights and residual fusion block | |
| Zhang et al. | Towards cross-task universal perturbation against black-box object detectors in autonomous driving | |
| Guan et al. | Multi-scale object detection with feature fusion and region objectness network | |
| Shan et al. | Class-incremental semantic segmentation of aerial images via pixel-level feature generation and task-wise distillation | |
| Luo et al. | Random mask: Towards robust convolutional neural networks | |
| Husnoo et al. | Do not get fooled: defense against the one-pixel attack to protect IoT-enabled deep learning systems | |
| CN116432736A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN116486285B (zh) | 一种基于类别掩码蒸馏的航拍图像目标检测方法 | |
| Hui et al. | FoolChecker: A platform to evaluate the robustness of images against adversarial attacks | |
| Kang et al. | A transfer learning based abnormal can bus message detection system | |
| CN116824334A (zh) | 一种基于频域特征融合再构的模型后门攻击对抗方法 | |
| CN116958910A (zh) | 一种基于注意力机制的多任务交通场景检测算法 | |
| Jing et al. | Lightweight Vehicle Detection Based on Improved Yolox-nano. | |
| CN115758337A (zh) | 基于时序图卷积网络的后门实时监测方法、电子设备、介质 | |
| CN112200055B (zh) | 联合对抗生成网络的行人属性识别方法、***及装置 | |
| CN114693973A (zh) | 一种基于Transformer模型的黑盒对抗样本生成方法 | |
| Miron et al. | Efficient cnn architecture for multi-modal aerial view object classification | |
| Lee et al. | Damage detection and safety diagnosis for immovable cultural assets using deep learning framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |