CN113297572A - 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 - Google Patents

基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 Download PDF

Info

Publication number
CN113297572A
CN113297572A CN202110620693.4A CN202110620693A CN113297572A CN 113297572 A CN113297572 A CN 113297572A CN 202110620693 A CN202110620693 A CN 202110620693A CN 113297572 A CN113297572 A CN 113297572A
Authority
CN
China
Prior art keywords
deep learning
attack
learning model
sample
neuron activation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110620693.4A
Other languages
English (en)
Other versions
CN113297572B (zh
Inventor
陈晋音
金海波
鲍亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Third Research Institute of the Ministry of Public Security
Original Assignee
Zhejiang University of Technology ZJUT
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT, Third Research Institute of the Ministry of Public Security filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110620693.4A priority Critical patent/CN113297572B/zh
Publication of CN113297572A publication Critical patent/CN113297572A/zh
Application granted granted Critical
Publication of CN113297572B publication Critical patent/CN113297572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置，包括以下步骤：构建用于目标识别的深度学习模型，深度学习模型包括卷积层、池化层以及分类层；从深度学习模型的网络层中提取特征图构建神经元激活模式，神经元激活模式和交叉熵函数组成损失函数；利用正常图像样本对深度学习模型进行训练时，采用构建的损失函数优化深度学习模型的参数；根据损失函数的梯度得到像素增量作为防御对抗攻击的扰动；利用参数优化的深度学习模型进行目标识别时，将待识别的图像添加扰动后输入至深度学习模型，经计算得到目标识别结果。该方法能够有效地防御多种对抗攻击，并且不影响正常样本的正确率。

Description

基于神经元激活模式的深度学习样本级对抗攻击防御方法及 其装置
技术领域
本发明属于信息安全领域，具体涉及一种基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置。
背景技术
深度学习定义了一种新的数据驱动的编程范式，该范式通过一组训练数据来构建神经元网络的内部***逻辑，从样本数据中学习到数据的内在规律和表示层次，能够获得比一般算法更准确的分类结果，具有强大的特征表达能力。由于深度学习具有与人类性能相匹配甚至超越人类性能的能力，因此在许多安全关键的场景中得以广泛应用。原则上而言，深度学习模型需要较强的鲁棒性和安全性，以便良好的抵御任何潜在的风险。
然而，深度学习本身缺乏可解释性，这就意味着容易遭受到一些潜在攻击。一些学者着力于探究深度学习的脆弱点，以尽可能的深入探究深度学习模型内部。目前针对深度学习的攻击可以根据攻击的阶段分为对抗攻击和中毒攻击。对抗攻击发生在模型测试阶段，攻击者通过在原始数据上添加精心设计的微小扰动得到对抗样本，从而对深度学习模型进行愚弄，使其以较高置信度误判的恶意攻击。中毒攻击发生在模型训练阶段，攻击者将中毒样本注入训练数据集，从而在训练完成的深度学习模型中嵌入后门触发器，在测试阶段输入毒药样本，则触发攻击。对于深度学习模型而言，对抗攻击的影响更加深远。从攻击的实现角度来说，对抗攻击方法可以分为基于梯度的攻击，基于优化的攻击或者其他，都将在测试与部署阶段对模型的性能造成不可估量的后果。
对于对抗样本的防御方法，目前防御措施沿着三个主要的方向发展：使用修改的输入进行训练或测试，其中包括了对抗性训练；对网络参数或结构进行修改，添加更多层/子网络、改变损失/激活函数等；对模型添加额外插件，用外部模型作为附加网络。这些防御的方法，都是在一定程度上通过改变模型对于样本的特征提取能力，使得模型重识别样本正确的感知特性，这其中的代价就会将十分巨大且不利于部署阶段的应用。此外，深度学习模型或存在一种通用扰动，通过生成跨越所有类分类边界的扰动致使分类出错。传统防御方法对此类攻击很难有效防御。对于以上问题，一方面，在输入测试样本阶段需要对异常数据进行辨别并拒绝异常数据的输入。另一方面，对于深度学习模型来说，需要具有自我防御机制，具有抵御任何潜在攻击的能力。有鉴于此，本发明提出了一种基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置，通过对输入样本增加防御逆扰动，在保证正常样本感知正确的情况下，对恶意样本的输入起修正感知结果的效果，从而使深度学习模型在实际部署和应用时更加安全可靠。
发明内容
鉴于上述，本发明的目的是提供一种基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置，实现对对抗攻击的防御。
第一方面，实施例提供了一种基于神经元激活模式的深度学习样本级对抗攻击防御方法，包括以下步骤：
构建用于目标识别的深度学习模型，深度学习模型包括卷积层、池化层以及分类层；
从深度学习模型的网络层中提取特征图构建神经元激活模式，神经元激活模式和交叉熵函数组成损失函数；
利用正常图像样本对深度学习模型进行训练时，采用构建的损失函数优化深度学习模型的参数；
根据损失函数的梯度得到像素增量作为防御对抗攻击的扰动；
利用参数优化的深度学习模型进行目标识别时，将待识别的图像添加扰动后输入至深度学习模型，经计算得到目标识别结果。
第二方面，实施例提供的一种基于神经元激活模式的深度学习样本级对抗攻击防御装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，所述处理器执行计算机程序时实现第一方面所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法。
上述是实施例提供的一种基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置，具有的有益效果至少包括：
通过对原图像样本的特征提取出神经元激活模式，通过包含神经元激活模式的损失函数的梯度上升计算防御扰动，通过对抗样本叠加防御扰动来实现模型的防御，该方法具有良好的适用性，能够有效的防御多种对抗攻击和对未知的攻击仍然具有一定防御能力，并且不影响正常图像样本的正确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是一实施例提供的基于神经元激活模式的深度学习样本级对抗攻击防御方法的流程图；
图2是一实施例提供的深度学习模型的训练流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了防止在进行目标识别时，对抗攻击影响目标识别结果，实施例提供了一种基于神经元激活模式的深度学习样本级对抗攻击防御方法和装置，通过对原图像样本的特征提取出神经元激活模式，通过包含神经元激活模式的损失函数的梯度上升计算防御扰动，通过对抗样本叠加防御扰动来实现模型的防御。方法和装置适用于各种类型的目标识别，例如应用在自动驾驶领域的交通环境中车辆和指示牌的识别，应用在公安***领域的人脸识别，以及在流动商贩领域中室外贩卖商品的识别。
图1是一实施例提供的基于神经元激活模式的深度学习样本级对抗攻击防御方法的流程图。如图1所示，实施例提供的深度学习样本级对抗攻击防御方法，包括以下步骤：
步骤1，构建用于目标识别的深度学习模型和正常图像样本集。
深度学习模型用于进行目标识别，其采用由包括卷积层、池化层以及分类层的深度学习网络，可以是LeNet-5模型，VGG-19模型，AlexNet模型。
正常图像样本集可以为常用于图像分类的MNIST数据集、CIFAR-10数据集和ImageNet数据集，其包含有正常图像样本x和每张图像样本对应的标签y，组成训练样本，每个训练样本输入至深度学习模型之前，需要进行编码。实施例中，可以采用one-hot编码将图片数据集中每个样本的标签转化为一维向量其格式，如[0,0,1,0,0,0]表示的样本的标签为6个类别中的第3个。
步骤2，从深度学习模型的网络层中提取特征图构建神经元激活模式，神经元激活模式和交叉熵函数组成损失函数。
深度学***滑层(Flatten)用于观察神经元激活模式，既满足了像素特征的一维表示，又对高维特征起到导向作用。
实施例中，神经元激活模式包括显著神经元激活模式SFP和非显著神经元激活模式TFP；
在构建显著神经元激活模式SFP时，将获得的分类相关权重与激活的特征图进行相乘，将对于模型具有正影响的定义为显著神经元激活模式SFP，具体表示为：
Figure BDA0003099746080000051
在构建非显著神经元激活模式TFP时，获得与分类最不相关的分类权重，通过对分类相关与特征图相乘后的激活值位于尾部的神经元定义为非显著神经元激活模式TFP，表示为：
Figure BDA0003099746080000052
Figure BDA0003099746080000061
表示神经元被用于分类到c类的重要性，其为反向传播的梯度，表示为：
Figure BDA0003099746080000062
Ak表示深度学习模型的最后一层池化层的第k张激活的特征图，yc表示类标为c的正常图像样本x对应的输入分类层的特征图，该特征图中包含分类神经元属性，i表示特征图的宽度，j表示特征图的长度，Z表示特征图中的像素特征，
Figure BDA0003099746080000063
Relu(·)表示激活函数，Index(·)表示取神经元的序号，t表示选取尾部神经元的个数，max(·)表示为激活值的排序从大到小。
基于以上构建的显著神经元激活模式SFP和非显著神经元激活模式TFP，通过增大显著神经元激活模式来对样本的分类特征具体化，通过减小非显著神经元激活模式来对样本的无关分类特征模糊化，与模型的交叉熵损失函数一起构建深度学习模型的损失函数loss为：
Figure BDA0003099746080000064
其中，Hi(yi,y′i)表示第i个正常图像样本的标签yi与预测置信度y′i的交叉熵函数，n表示正常图像样本个数，λ1和λ2表示平衡超参数，用于决定神经元激活模式的影响程度。
步骤3，利用正常图像样本对深度学习模型进行训练时，采用构建的损失函数优化深度学习模型的参数。
如图2所示，实施例中，利用构建的正常图像样本集训练深度学习模型，并利用构建的损失函数优化深度学习模型的参数，参数优化过程中，采用小批量梯度下降的训练方法进行训练，使得损失函数值最小来更新深度学习模型的权重，直至训练完成。
步骤4，根据损失函数的梯度得到像素增量作为防御对抗攻击的扰动。
实施例中，在对深度学习模型进行训练的过程中国，还通过对损失函数梯度上升对原始图像x的像素特征进行改变，获得像素增量grads：
Figure BDA0003099746080000071
获得的像素增量grads作为防御对抗攻击的扰动，用于添加到图像上，以防御攻击预测。
步骤5，利用参数优化的深度学习模型进行目标识别时，将待识别的图像添加扰动后输入至深度学习模型，经计算得到目标识别结果。
实施例中，在进行待测图像的目标识别应用时，将步骤4获得的像素增量grads增加到待识别的图像上，然后将增加有像素增量grads的图像输入至深度学习模型中，经计算得到目标识别结果，由于增加了具有防御对抗扰动的像素增量grads，使得识别结果能够抵御防御效果。
为了符合真实世界物理场景以及人类语义理解特性，改变后的图像的像素值需满足处于(0,255)范围内，因此，将扰动添加到图像之后，还需要对图像的像素进行约束处理。具体地，约束处理过程为：
Figure BDA0003099746080000072
其中，x'表示添加有扰动的图像，L(x')表示图像x'的像素值，min(·)和max(·)分别表示取最小值和最大值。
步骤6，基于正常图像样本构建扰动图像样本，利用扰动图像样本评估参数优化的深度学习模型的防御能力。
为了评估参数优化的深度学习模型的防御能力，需要构建扰动图像样本，利用扰动图像样本进行防御能力的评估。
实施例中，基于正常图像样本构建扰动图像样本，在构建扰动图像样本时，采用FGSM攻击、MI-FGSM攻击、C&W攻击、DeepFool攻击、JSMA攻击以及UAP攻击，攻击正常图像样本得到扰动图像样本。
其中，FGSM攻击是利用深层神经网络的设计的高维线性，计算对抗扰动。MI-FGSM攻击是在FGSM攻击的基础上增加了动量。C&W攻击是通过限制1-范数、2-范数和∞-范数使得扰动无法被察觉。DeepFool攻击是通过最小扰动推动决策边界偏移进行攻击。JSMA攻击是通过计算输入的显著图改变几个像素的值产生扰动，而不是整张图。UAP攻击是增加扰动将所有图像都推出决策边界，同一个扰动针对所有样本。这些攻击方法尽可能保证攻击者攻击后的图像尽可能隐蔽，但攻击具有高攻击成功率。
实施例中，评估评估参数优化的深度学习模型的防御能力时，采用以下三种指标：评估扰动图像样本的攻击成功率ASR；评估正常图像样本叠加扰动后，分类错误的假阳性率FPR；评估扰动图像样本叠加扰动后，分类正确的防御成功率DSR。
对于深度学习模型而言，FPR应越小越小，这保证了产生的扰动对于原始样本误分类的情况产生；DSR应越大越好，这表明产生的对抗防御扰动能够对大部分的对抗样本实现防御效果，还能实现对部分未知攻击进行防御。ASR、FPR和DSR计算公式为：
Figure BDA0003099746080000081
Figure BDA0003099746080000082
Figure BDA0003099746080000083
其中，NX_adv表示扰动图像样本攻击成功的数量，N表示样本总数量，xi表示正常图像样本，X表示正常图像样本集合，f(xi+grads)！＝f(xi)表示增加扰动grads的正常图像样本xi在深度学习模型f(·)中的预测输出与正常图像样本xi在深度学习模型f(·)中的预测输出不相等，|xi|xi∈Xandf(xi+grads)！＝f(xi)|表示不相等的数量，x″表示扰动图像样本，f(x″i+grads)＝f(x″i)表示增加扰动grads的扰动图像样本x″i在深度学习模型f(·)中的预测输出与扰动图像样本x″i在深度学习模型f(·)中的预测输出相等，|x″i|x″i∈X_advand f(x″i+grads)＝f(x″i)|表示相等的数量，X_adv表示扰动图像样本集合。
上述基于神经元激活模式的深度学习样本级对抗攻击防御方法，具有良好的适用性，能够有效的防御多种对抗攻击和对未知的攻击仍然具有一定防御能力，并且不影响正常图像样本的正确率。
实施例还提供了一种基于神经元激活模式的深度学习样本级对抗攻击防御装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，处理器执行计算机程序时实现上述面向成员推理攻击的基于特征增强的深度模型隐私保护方法，具体包括以下步骤：
步骤1，构建用于目标识别的深度学习模型和正常图像样本集。
步骤2，从深度学习模型的网络层中提取特征图构建神经元激活模式，神经元激活模式和交叉熵函数组成损失函数。
步骤3，利用正常图像样本对深度学习模型进行训练时，采用构建的损失函数优化深度学习模型的参数。
步骤4，根据损失函数的梯度得到像素增量作为防御对抗攻击的扰动。
步骤5，利用参数优化的深度学习模型进行目标识别时，将待识别的图像添加扰动后输入至深度学习模型，经计算得到目标识别结果。
步骤6，基于正常图像样本构建扰动图像样本，利用扰动图像样本评估参数优化的深度学习模型的防御能力。
实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于神经元激活模式的深度学习样本级对抗攻击防御方法步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，包括以下步骤：
构建用于目标识别的深度学习模型，深度学习模型包括卷积层、池化层以及分类层；
从深度学习模型的网络层中提取特征图构建神经元激活模式，神经元激活模式和交叉熵函数组成损失函数；
利用正常图像样本对深度学习模型进行训练时，采用构建的损失函数优化深度学习模型的参数；
根据损失函数的梯度得到像素增量作为防御对抗攻击的扰动；
利用参数优化的深度学习模型进行目标识别时，将待识别的图像添加扰动后输入至深度学习模型，经计算得到目标识别结果。
2.如权利要求1所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，所述神经元激活模式包括显著神经元激活模式SFP和非显著神经元激活模式TFP；
其中，显著神经元激活模式SFP表示为：
Figure FDA0003099746070000011
非显著神经元激活模式TFP表示为：
Figure FDA0003099746070000012
Figure FDA0003099746070000013
表示神经元被用于分类到c类的重要性，其为反向传播的梯度，表示为：
Figure FDA0003099746070000021
Ak表示深度学习模型的最后一层池化层的第k张激活的特征图，yc表示类标为c的正常图像样本x对应的输入分类层的特征图，i表示特征图的宽度，j表示特征图的长度，Z表示特征图中的像素特征，Relu(·)表示激活函数，Index(·)表示取神经元的序号，t表示选取尾部神经元的个数，max(·)表示为激活值的排序从大到小。
3.如权利要求2所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，构建的损失函数loss为：
Figure FDA0003099746070000022
其中，Hi(yi,y′i)表示第i个正常图像样本的标签yi与预测置信度y′i的交叉熵函数，n表示正常图像样本个数，λ1和λ2表示平衡超参数。
4.如权利要求1所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，将扰动添加到图像之后，还需要对图像的像素进行约束处理。
5.如权利要求4所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，约束处理过程为：
Figure FDA0003099746070000023
其中，x'表示添加有扰动的图像，L(x')表示图像x'的像素值，min(·)和max(·)分别表示取最小值和最大值。
6.如权利要求1所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，还包括：基于正常图像样本构建扰动图像样本，利用扰动图像样本评估参数优化的深度学习模型的防御能力；
在构建扰动图像样本时，采用FGSM攻击、MI-FGSM攻击、C&W攻击、DeepFool攻击、JSMA攻击以及UAP攻击，攻击正常图像样本得到扰动图像样本。
7.如权利要求6所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法，其特征在于，评估评估参数优化的深度学习模型的防御能力时，采用以下三种指标：
评估扰动图像样本的攻击成功率ASR；
评估正常图像样本叠加扰动后，分类错误的假阳性率FPR；
评估扰动图像样本叠加扰动后，分类正确的防御成功率DSR。
8.一种基于神经元激活模式的深度学习样本级对抗攻击防御装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1～7任一项所述的基于神经元激活模式的深度学习样本级对抗攻击防御方法。
CN202110620693.4A 2021-06-03 2021-06-03 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 Active CN113297572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620693.4A CN113297572B (zh) 2021-06-03 2021-06-03 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620693.4A CN113297572B (zh) 2021-06-03 2021-06-03 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置

Publications (2)

Publication Number Publication Date
CN113297572A true CN113297572A (zh) 2021-08-24
CN113297572B CN113297572B (zh) 2022-05-17

Family

ID=77327021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620693.4A Active CN113297572B (zh) 2021-06-03 2021-06-03 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置

Country Status (1)

Country Link
CN (1) CN113297572B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936140A (zh) * 2021-11-18 2022-01-14 上海电力大学 一种基于增量式学习的对抗样本攻击模型的评估方法
CN114565051A (zh) * 2022-03-03 2022-05-31 余姚市亿盛金属制品有限公司 基于神经元影响程度的产品分类模型的测试方法
CN114615010A (zh) * 2022-01-19 2022-06-10 上海电力大学 一种基于深度学习的边缘服务器端入侵防御***设计方法
CN114708460A (zh) * 2022-04-12 2022-07-05 济南博观智能科技有限公司 一种图像分类方法、***、电子设备及存储介质
CN115333825A (zh) * 2022-08-10 2022-11-11 浙江工业大学 针对联邦学习神经元梯度攻击的防御方法
CN116958644A (zh) * 2023-06-07 2023-10-27 中国人民解放军国防科技大学 一种基于特征一致性约束的图像分类对抗样本防御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
CN109416763A (zh) * 2016-07-01 2019-03-01 英特尔公司 对抗性环境中的机器学习
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法
CN111460426A (zh) * 2020-04-02 2020-07-28 武汉大学 基于对抗演化框架的抗深度学习文本验证码生成***及方法
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN112364885A (zh) * 2020-10-12 2021-02-12 浙江大学 一种基于深度神经网络模型可解释性的对抗样本防御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316281A1 (en) * 2016-04-28 2017-11-02 Microsoft Technology Licensing, Llc Neural network image classifier
CN109416763A (zh) * 2016-07-01 2019-03-01 英特尔公司 对抗性环境中的机器学习
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法
CN111460426A (zh) * 2020-04-02 2020-07-28 武汉大学 基于对抗演化框架的抗深度学习文本验证码生成***及方法
CN112115963A (zh) * 2020-07-30 2020-12-22 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法
CN112364885A (zh) * 2020-10-12 2021-02-12 浙江大学 一种基于深度神经网络模型可解释性的对抗样本防御方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C. T. B. GARROCHO ET AL: "Real-Time Systems Implications in the Blockchain-Based Vertical Integration of Industry 4.0", 《COMPUTER》 *
杨浚宇: "基于迭代自编码器的深度学习对抗样本防御方案", 《信息安全学报》 *
王赛男: "信息安全领域中鲁棒的深度学习及其应用研究", 《智能计算机与应用》 *
陈晋音: "一种面向图神经网络的图重构防御方法", 《计算机研究与发展》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936140A (zh) * 2021-11-18 2022-01-14 上海电力大学 一种基于增量式学习的对抗样本攻击模型的评估方法
CN114615010A (zh) * 2022-01-19 2022-06-10 上海电力大学 一种基于深度学习的边缘服务器端入侵防御***设计方法
CN114615010B (zh) * 2022-01-19 2023-12-15 上海电力大学 一种基于深度学习的边缘服务器端入侵防御***设计方法
CN114565051A (zh) * 2022-03-03 2022-05-31 余姚市亿盛金属制品有限公司 基于神经元影响程度的产品分类模型的测试方法
CN114565051B (zh) * 2022-03-03 2024-05-24 余姚市亿盛金属制品有限公司 基于神经元影响程度的产品分类模型的测试方法
CN114708460A (zh) * 2022-04-12 2022-07-05 济南博观智能科技有限公司 一种图像分类方法、***、电子设备及存储介质
CN115333825A (zh) * 2022-08-10 2022-11-11 浙江工业大学 针对联邦学习神经元梯度攻击的防御方法
CN115333825B (zh) * 2022-08-10 2024-04-09 浙江工业大学 针对联邦学习神经元梯度攻击的防御方法
CN116958644A (zh) * 2023-06-07 2023-10-27 中国人民解放军国防科技大学 一种基于特征一致性约束的图像分类对抗样本防御方法
CN116958644B (zh) * 2023-06-07 2024-06-11 中国人民解放军国防科技大学 一种基于特征一致性约束的图像分类对抗样本防御方法

Also Published As

Publication number Publication date
CN113297572B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN113297572B (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN110941794A (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111915437A (zh) 基于rnn的反洗钱模型的训练方法、装置、设备及介质
CN110874471B (zh) 保护隐私安全的神经网络模型的训练方法和装置
CN113283599B (zh) 基于神经元激活率的对抗攻击防御方法
CN109840413B (zh) 一种钓鱼网站检测方法及装置
CN112182585B (zh) 源代码漏洞检测方法、***及存储介质
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及***
CN112052933B (zh) 基于粒子群优化的深度学习模型的安全性测试方法和修复方法
CN112926661A (zh) 一种增强图像分类鲁棒性的方法
CN114091594A (zh) 模型训练方法及装置、设备、存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN117155706A (zh) 网络异常行为检测方法及其***
CN115048983A (zh) 数据流形拓扑感知的人工智能***对抗样本防御方法
CN112613032B (zh) 基于***调用序列的主机入侵检测方法及装置
CN116188439A (zh) 一种基于身份识别概率分布的伪造换脸图像检测方法和装置
CN115758337A (zh) 基于时序图卷积网络的后门实时监测方法、电子设备、介质
CN115187789A (zh) 基于卷积层激活差异的对抗图像检测方法及装置
CN114095268A (zh) 用于网络入侵检测的方法、终端及存储介质
CN113902954A (zh) 基于主特征增强的图像中毒防御方法、装置及其应用
CN113392901A (zh) 一种基于深度学习模型神经通路激活特征的对抗样本检测方法
Li et al. Forest fire recognition based on lightweight convolutional neural network
CN113283537B (zh) 面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置
CN115086082B (zh) 基于深度学习的网络安全评估方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant