CN117011508A - 一种基于视觉变换和特征鲁棒的对抗训练方法 - Google Patents

一种基于视觉变换和特征鲁棒的对抗训练方法 Download PDF

Info

Publication number
CN117011508A
CN117011508A CN202310882386.2A CN202310882386A CN117011508A CN 117011508 A CN117011508 A CN 117011508A CN 202310882386 A CN202310882386 A CN 202310882386A CN 117011508 A CN117011508 A CN 117011508A
Authority
CN
China
Prior art keywords
image
neural network
training
challenge
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310882386.2A
Other languages
English (en)
Inventor
蒋雯
李祥
邓鑫洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202310882386.2A priority Critical patent/CN117011508A/zh
Publication of CN117011508A publication Critical patent/CN117011508A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉变换和特征鲁棒的对抗训练方法，构建了一个视觉化图像对抗训练框架VTFR，主要包含两部分：视觉变换模块(VT)和特征鲁棒(FR)损失函数；视觉变换模块(VT)通过对图像进行预处理，实现对图像中的主体信息强化，并且弱化背景信息和消除扰动噪声。特征鲁棒(FR)损失函数通过约束网络在相似图像上的特征相似度，增强网络特征提取部分抗扰动的能力。视觉化图像对抗训练框架能够大幅提高模型在对抗样本上的性能，并且提高其对抗鲁棒性和泛化能力。

Description

一种基于视觉变换和特征鲁棒的对抗训练方法
技术领域
本发明属于深度学习技术领域，具体涉及一种基于视觉变换和特征鲁棒的对抗训练方法。
背景技术
深度神经网络(DNN)在一系列领域都表现出了显著的成就，其应用场景也越来越多样化，如计算机视觉、语音识别和自然语言处理。然而，神经网络存在一个安全问题，即它们很容易被对抗性样本所欺骗。对抗性样本是一种特殊的输入，它被设计成能够欺骗神经网络，使其产生错误的输出。这种攻击方式可以通过对原始数据进行微小的修改来实现，这些修改对人类来说几乎不可察觉，但对神经网络却具有极大的影响。对抗性攻击可能会导致神经网络在现实世界中产生的决策错误，从而对人类造成严重的危害。DNN的脆弱性导致了对人工智能安全的担忧。提高DNN对对抗性样本的鲁棒性已经变得越来越重要，这给深度学习的应用带来了新的挑战。
众多的防御技术已经出现，以增强DNN的对抗性鲁棒性。对抗训练被学术界广泛认为是对对抗性攻击最有力的防御策略。对抗性训练的主要概念是在训练期间将DNN暴露在对抗性样本中，以便获得对对抗性样本的免疫力。然而，在对抗性训练中过度利用训练集的例子会导致DNN被过度拟合。这意味着DNN在面对来自训练集的对抗性样本时表现特别好，而当遇到DNN从未见过的来自测试集的对抗性样本时，性能就会明显下降。这表明，对抗性训练不能完全解决DNNs的脆弱性，对抗性攻击仍然代表着对DNNs的严重威胁。
深度学习对抗训练的过程包括以下几个步骤：
一、生成对抗性样本：在训练过程中，研究人员会生成一些对抗性样本，这些样本是通过对原始数据进行微小的修改而生成的。这些修改通常是针对特定的神经网络，以使其产生错误的输出。
二、将对抗性样本加入训练数据中：生成的对抗性样本会被加入到训练数据中，与原始数据一起用于训练神经网络。这样可以使神经网络更好地学习如何识别和分类对抗性样本，从而提高其鲁棒性。
三、重新训练神经网络：在加入对抗性样本后，研究人员会重新训练神经网络，以使其能够更好地抵御对抗性攻击。
这个过程可能需要多次迭代，以达到最佳的效果。
现有对抗训练算法的改进方式主要设计步骤一和三，在步骤一中的改进方法包括生成对抗样本时使用不同的对抗攻击算法生成对抗样本，和同一种算法生成不同强度的对抗样本来进行对抗训练。步骤三中的改进方法主要是通过设计更有效的损失函数来对网络进行训练。
为了提高DNN的鲁棒性和泛化能力，最近的一些工作从不同角度改进了对抗性训练方法，如提前结束训练、优化损失函数、改进对抗性样本生成模式和优化参数更新策略。尽管现有的方法在增强鲁棒性和泛化方面取得了重大进展，但这些改进并没有关注网络的感兴趣区域。众所周知，图像中的前景和背景对分类任务的贡献应该是不同的，但网络对图像上的每个像素点都赋予了相同的重要性。这在一定程度上限制了DNNs的鲁棒性和泛化能力。
有研究表明，DNN在训练过程中既能学习稳定的特征，也能学习不稳定的特征，其中不稳定的特征会导致网络的鲁棒性差。相比之下，视觉刺激的小扰动似乎对人类视觉的鲁棒性影响不大。这可能归因于人类视觉***的采样机制，视网膜上锥体细胞的不均匀分布导致了视觉刺激的空间采样不均匀。采样密度在图像上的注视点是最高的，并随着与注视点的距离而降低。这种非均匀取样使人类视觉***能够实现更高的鲁棒性，使注意力落在关键区域，从而提高对目标的注意力，减少背景的影响。相反，在DNN的网络结构中，同一个卷积核被用来不加区分地卷积样本上的所有像素点。这种机制意味着DNNs对样本上的每个像素点都赋予相同的重要性，这可能会引导DNNs学习一些不稳定的特征，从而导致鲁棒性和泛化能力差。
综上，现有技术的缺点为：
(1)对抗训练的过程中由于过度使用训练集样本，导致模型出现过拟合现象。
(2)几乎没有方法尝试通过增强样本关键区域来改进对抗训练。
发明内容
为了克服现有技术的不足，本发明提供了一种基于视觉变换和特征鲁棒的对抗训练方法，构建了一个视觉化图像对抗训练框架VTFR，主要包含两部分：视觉变换模块(VT)和特征鲁棒(FR)损失函数；视觉变换模块(VT)通过对图像进行预处理，实现对图像中的主体信息强化，并且弱化背景信息和消除扰动噪声。特征鲁棒(FR)损失函数通过约束网络在相似图像上的特征相似度，增强网络特征提取部分抗扰动的能力。视觉化图像对抗训练框架能够大幅提高模型在对抗样本上的性能，并且提高其对抗鲁棒性和泛化能力。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：构建神经网络模型f1，并在训练数据集上进行训练；
步骤2：构建神经网络模型f2，并进行随机初始化；
步骤3：对神经网络模型的训练数据集通过PGD对抗攻击算法，在神经网络模型f2上生成对抗样本数据集/>
步骤4：将训练数据集与对抗样本数据集/>进行视觉变换，得到用于训练的数据集/>和/>
步骤5：将和/>成对输入神经网络模型f2用于训练，分别计算对抗样本的分类损失、对抗样本与干净样本之间的特征损失；用这两部分损失和计算梯度，对神经网络模型f2的参数进行更新；
步骤6：判断神经网络是否收敛，若不收敛，跳回步骤3，否则输出神经网络，得到训练后有对抗鲁棒性的神经网络模型f2。
优选地，所述PGD对抗攻击算法具体表示为：
其中，α表示单步攻击强度，sign()表示符号函数，projx,∈()表示投影函数。
优选地，所述步骤4具体为：
步骤4-1：对训练数据集在神经网络模型f1上使用Grad-CAM算法得到图像的注意力图，将热力图上各像素点的值视为该位置的权重，对整张图像位置进行加权求和得到图像的物体的中心位置；
其中，Z为特征图中像素个数，y为标签类别的得分，为第k个特征图中点(i,j)的值，/>为第k个特征图的权重，(x,y)是物体在图像中的中心位置；
步骤4-2：针对数据集和/>在以中心位置为坐标原点的极坐标系中进行非均匀采样；
rk+1＝rk+dk
其中，r0＝0，c为给定的采样曲率，k＝0,1,…,s-1,s为输入图像尺寸，m为采样密度，即限制采样边界为给定采样曲率的图像边界，h为图像高度；
步骤4-3：针对数据集和/>对得到的非均匀采样图周围进行高斯模糊，得到最终用于训练的图像；
其中，dx,dy表示从(x,y)到模糊像素点的距离,w(x,y)表示像素值权重，I表示非均匀采样后的图像，IVT表示高斯模糊后的图像；σ是超参数，通过控制σ来控制模糊程度，当进行高斯模糊时，距离物体中心位置越近，σ越小。
优选地，所述分类损失和特征损失分别为：
Lfea＝L′(F(θ,x),F(θ,x))
L＝Lcla+Lfea
其中，CE是交叉熵损失函数，KL为KL散度损失函数，x′表示对抗样本，y和y′分别表示样本标签和对抗样本的预测结果，F、F′分别表示从模型中提取的干净样本和对抗样本的高维特征。
本发明的有益效果如下：
本发明方法能极大的提高网络对于对抗样本的识别精度，提高网络的鲁棒性和泛化能力。
附图说明
图1是本发明方法总体框架图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
对抗训练算法虽然增强了神经网络对于对抗样本的抵抗力，但也使得模型出现严重过拟合问题。为了解决对抗训练所引起的模型过拟合问题，从人类视觉***中得到启发，本发明提出了视觉化图像对抗训练框架，用于改善具有视觉转换和特征鲁棒性的对抗训练，命名为VTFR。在该框架中主要包含两部分：一个是用于图像的视觉转换(VT)模块，它通过非均匀采样加强了样本的重要区域，削弱了背景信息，并通过高斯模糊破坏了干扰信息。另一个模块是特征鲁棒性(FR)损失函数，用于增强网络的泛化能力。该模块通过约束对抗性样本和清洁样本之间的特征差异，使深度网络从类似的样本中提取类似的高维特征。
一种基于视觉变换和特征鲁棒的对抗训练方法，包含以下步骤：
步骤一、构建神经网络模型f1，并在训练数据集上进行训练，得到性能良好的模型f1；
步骤二、构建神经网络模型f2，并进行随机初始化；
步骤三、对神经网络模型的训练数据集通过PGD对抗攻击算法，在网络模型f2上生成对抗样本数据集/>
步骤四、将训练数据集与对抗样本数据集/>进行视觉变换，得到用于训练的数据集/>和/>
步骤五、将和/>成对输入网络模型f2用于训练，分别计算对抗样本的分类损失和对抗样本与干净样本之间的特征损失；用这两部分损失和计算梯度，对神经网络模型f2的参数进行更新；
步骤六、神经网络是否收敛，若不收敛，跳回步骤二，否则输出神经网络，得到训练后有对抗鲁棒性的神经网络模型f2。
步骤三中生成对抗样本的PGD算法具体表示为：
步骤四具体细化为：
4-1、对干净样本在神经网络模型f1上使用Grad-CAM算法得到图像的注意力图，将热力图上各像素点的值视为该位置的权重，对整张图像位置进行加权求和得到图像的物体的中心位置；
4-2、针对数据集和/>在以中心位置为坐标原点的极坐标系中进行非均匀采样；
rk+1＝rk+dk
4-3、针对数据集和/>对得到的非均匀采样图周围进行高斯模糊，得到最终用于训练的图像；
步骤五中所提到的分类损失和特征损失分别为：
Lfea＝L′(F(θ,x),F(θ,x))
L＝Lcla+Lfea
具体实施例：
以在CIFAR-10数据集上应用本发明方法为例对本发明方法进行说明：
步骤一、构建神经网络模型f1，并在训练数据集上进行训练，得到性能良好的模型f1；
步骤二、构建神经网络模型f2，并进行随机初始化；
步骤三、对神经网络模型的训练数据集通过PGD对抗攻击算法，在网络模型f2上生成对抗样本数据集/>PGD攻击参数为∈＝8/255,α＝2/255,T＝10；
步骤四、将和/>成对输入网络模型f2用于训练，分别计算对抗样本的分类损失和对抗样本与干净样本之间的特征损失；用这两部分损失和计算梯度，对神经网络模型f2的参数进行更新；
步骤五、神经网络是否收敛，若不收敛，跳回步骤二，否则输出神经网络，得到训练后有对抗鲁棒性的神经网络模型f2。

Claims (4)

1.一种基于视觉变换和特征鲁棒的对抗训练方法，其特征在于，包括如下步骤：
步骤1：构建神经网络模型f1，并在训练数据集上进行训练；
步骤2：构建神经网络模型f2，并进行随机初始化；
步骤3：对神经网络模型的训练数据集通过PGD对抗攻击算法，在神经网络模型f2上生成对抗样本数据集/>
步骤4：将训练数据集与对抗样本数据集/>进行视觉变换，得到用于训练的数据集/>和/>
步骤5：将和/>成对输入神经网络模型f2用于训练，分别计算对抗样本的分类损失、对抗样本与干净样本之间的特征损失；用这两部分损失和计算梯度，对神经网络模型f2的参数进行更新；
步骤6：判断神经网络是否收敛，若不收敛，跳回步骤3，否则输出神经网络，得到训练后有对抗鲁棒性的神经网络模型f2。
2.根据权利要求1所述的一种基于视觉变换和特征鲁棒的对抗训练方法，其特征在于，所述PGD对抗攻击算法具体表示为：
其中，α表示单步攻击强度，sign()表示符号函数，projx,∈()表示投影函数。
3.根据权利要求2所述的一种基于视觉变换和特征鲁棒的对抗训练方法，其特征在于，所述步骤4具体为：
步骤4-1：对训练数据集在神经网络模型f1上使用Grad-CAM算法得到图像的注意力图，将热力图上各像素点的值视为该位置的权重，对整张图像位置进行加权求和得到图像的物体的中心位置；
其中，Z为特征图中像素个数，y为标签类别的得分，为第k个特征图中点(i,j)的值，为第k个特征图的权重，(x,y)是物体在图像中的中心位置；
步骤4-2：针对数据集和/>在以中心位置为坐标原点的极坐标系中进行非均匀采样；
rk+1＝rk+dk
其中，r0＝0，c为给定的采样曲率，k＝0,1,…,s-1,s为输入图像尺寸，m为采样密度，即限制采样边界为给定采样曲率的图像边界，h为图像高度；
步骤4-3：针对数据集和/>对得到的非均匀采样图周围进行高斯模糊，得到最终用于训练的图像；
其中，dx,dy表示从(x,y)到模糊像素点的距离,w(x,y)表示像素值权重，I表示非均匀采样后的图像，IVT表示高斯模糊后的图像；σ是超参数，通过控制σ来控制模糊程度，当进行高斯模糊时，距离物体中心位置越近，σ越小。
4.根据权利要求3所述的一种基于视觉变换和特征鲁棒的对抗训练方法，其特征在于，所述分类损失和特征损失分别为：
Lfea＝L′(F(θ,x),F(θ,x))
L＝Lcla+Lfea
其中，CE是交叉熵损失函数，KL为KL散度损失函数，x′表示对抗样本，y和y′分别表示样本标签和对抗样本的预测结果，F、F′分别表示从模型中提取的干净样本和对抗样本的高维特征。
CN202310882386.2A 2023-07-18 2023-07-18 一种基于视觉变换和特征鲁棒的对抗训练方法 Pending CN117011508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310882386.2A CN117011508A (zh) 2023-07-18 2023-07-18 一种基于视觉变换和特征鲁棒的对抗训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310882386.2A CN117011508A (zh) 2023-07-18 2023-07-18 一种基于视觉变换和特征鲁棒的对抗训练方法

Publications (1)

Publication Number Publication Date
CN117011508A true CN117011508A (zh) 2023-11-07

Family

ID=88572073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310882386.2A Pending CN117011508A (zh) 2023-07-18 2023-07-18 一种基于视觉变换和特征鲁棒的对抗训练方法

Country Status (1)

Country Link
CN (1) CN117011508A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876221A (zh) * 2024-03-12 2024-04-12 大连理工大学 基于神经网络结构搜索的对抗鲁棒图像拼接方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876221A (zh) * 2024-03-12 2024-04-12 大连理工大学 基于神经网络结构搜索的对抗鲁棒图像拼接方法

Similar Documents

Publication Publication Date Title
CN109948658B (zh) 面向特征图注意力机制的对抗攻击防御方法及应用
Wong et al. Understanding data augmentation for classification: when to warp?
CN110276377B (zh) 一种基于贝叶斯优化的对抗样本生成方法
CN107292887B (zh) 一种基于深度学习自适应权重的视网膜血管分割方法
CN111881935B (zh) 一种基于内容感知gan的对抗样本生成方法
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
CN111598805A (zh) 一种基于vae-gan的对抗样本防御方法及***
CN108399625B (zh) 一种基于深度卷积生成对抗网络的sar图像定向生成方法
CN113255816B (zh) 定向攻击对抗补丁生成方法及装置
Ying et al. Human ear recognition based on deep convolutional neural network
CN111915486B (zh) 基于图像超分辨重建的对抗样本防御方法
CN108664911A (zh) 一种基于图像稀疏表示的鲁棒人脸识别方法
CN117011508A (zh) 一种基于视觉变换和特征鲁棒的对抗训练方法
CN112597993A (zh) 基于补丁检测的对抗防御模型训练方法
Wang et al. Generating semantic adversarial examples via feature manipulation
Song et al. A handwritten Chinese characters recognition method based on sample set expansion and CNN
CN113935396A (zh) 基于流形理论的对抗样本攻击方法及相关装置
Chhabra et al. Attack agnostic adversarial defense via visual imperceptible bound
CN114332446B (zh) 在物理世界下具有旋转鲁棒性的图像对抗样本生成方法
CN112381176B (zh) 一种基于双目特征融合网络的图像分类方法
CN115063847A (zh) 一种面部图像获取模型的训练方法及装置
CN115187449A (zh) 一种基于透视变换的提高对抗样本迁移性的方法
CN114842242A (zh) 一种基于生成模型的鲁棒对抗样本生成方法
CN113673324A (zh) 一种基于时序移动的视频识别模型攻击方法
CN113344814A (zh) 一种基于生成机制的高分辨率对抗样本的合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination