CN111881935B - 一种基于内容感知gan的对抗样本生成方法 - Google Patents

Abstract

本发明公开一种基于内容感知GAN的对抗样本生成方法，在WGAN_GP的基础上改变训练过程，通过输入随机噪声直接生成有目标的对抗样本，增加内容特征提取部分，在不影响攻击效果的条件下约束生成样本的质量，使对抗样本能够尽量保留内容特征不做改变。包括生成器G，判别器D、目标模型f、扰动评估部分和特征提取网络，生成器负责从随机噪声中生成样本，根据判别器D、目标模型f、扰动评估部分和特征提取网络的损失函数对生成器进行训练，让生成器直接从噪声中生成不受限的对抗样本。本发明基于生成对抗网络，关注样本的语义信息，面向直接生成对抗样本的方式而不是叠加扰动的方式，使用非监督的GAN训练实现了指定目标的对抗样本的直接生成，加快样本生成速度，提高生成样本质量，在保持较高攻击成功率的同时减少了对抗样本在内容特征区域的变化。

Description

一种基于内容感知GAN的对抗样本生成方法

技术领域

本发明属于深度学习领域，尤其涉及基于内容感知GAN的对抗样本生成方法。

背景技术

人工智能是近年来用来解决各个领域问题的热点方法，深度学习作为机器学习领域的其中之一，逐渐成为计算机视觉领域中的研究热点。随着深度神经网络模型的不断发展，越来越多的深度学习训练框架和开源工具被开发出来，同时随着训练使用的GPU等硬件的性能不断提升，训练复杂模型的软件和硬件条件变得越来越容易获得，这些都极大地推进了深度学习在现实生活中各个领域的应用，计算机视觉解决方案也逐渐进入对安全性要求至关重要的领域中。研究者发现，深度神经网络模型很容易受到精心设计的对抗样本的影响，仅通过在图片上添加微小的扰动就能够让模型做出置信度很高的错误分类，由此提出了在深度学习中的对抗攻击问题。

由于深度学习被广泛认为是一种黑盒技术，虽然具有良好效果，但其中的原理并不能有完善的解释。对抗攻击问题的本质则是通过在深度学习模型的输入样本中增加微小扰动等方式，产生能够混淆模型判断的对抗样本，对抗样本对人类来说是不可察觉的，进行对抗样本的生成需要满足一个重要标准，即被干扰的样本应该在人眼中看起来像原始样本，但可以使模型输出非正确的结果甚至认为指定的错误结果。

由于以上种种现象，深度学习的对抗攻击和防御工作引起了人们极大的关注。最近几年有越来越多的人关注深度学习的安全领域，集中在对现有深度学习模型提出对抗攻击方法以证明模型存在的安全性问题，以及针对安全性问题提出增强模型鲁棒性的尝试上。通过对对抗样本这类问题的研究，人们可以发现深度学习模型中一些之前未关注的方向和深层的问题。对深度学习模型的鲁棒性的研究，有助于建立更健壮的深度学习模型，使深度学习解决方案在解决实际问题的同时，拥有更高的安全性。

如何对深度学习模型进行有效地对抗攻击，是分析深度学习模型安全性、提高模型鲁棒性的重要手段。传统的对抗攻击方法聚焦在计算原始图像的扰动上面，通过单步计算或者迭代计算方式，对原始样本进行扰动，进而生成新的对抗样本，然而传统攻击方法生成速度慢、计算量较大，并且大多是白盒攻击，计算中需要目标模型相应信息，适用性较窄。因此最新的对抗攻击方向转向使用神经网络，尤其是生成对抗网络进行对抗样本的生成。这些工作在实现对抗攻击的方法上各不相同，但或多或少都存在一些问题，如生成的对抗样本的质量不高，添加的扰动容易被人识别，攻击成功率不高，攻击迁移性低等。

发明内容

本发明提出一种基于内容感知GAN的对抗样本生成方法，通过内容特征约束来生成高质量的对抗样本，借助内容特征提取网络对生成样本的语义信息进行约束，使GAN能够生成逼近原始样本分布的对抗样本，在不影响攻击效果的前提下提高对抗样本的质量，降低对人类的可感知程度。

本发明提供一种基于内容感知GAN的对抗样本生成方法，包括以下步骤：

1)采用了基于WGAN_GP的生成对抗网络进行对抗样本的生成工作。设置了两个阶段的模型训练，使得生成器最终学习到对抗样本的分布，通过输入随机噪声z直接生成有目标的对抗样本。

2)正常训练部分使用噪声z作为生成器输入，生成样本G(z)和真实样本x作为判别器输入，初始化生成器G和判别器D，使用WGAN_GP原始损失函数L_GAN作为目标函数，每轮训练完成后更新生成器G和判别器D的参数，获得学习到正常样本分布的生成器和判别器。

3)对抗性训练部分在步骤2)得到的生成器和判别器的基础上，使生成器能够从噪声z中学习到对抗样本的分布。在继续优化WGAN_GP损失L_GAN的前提下，新增加目标模型f、扰动评估部分以及特征提取网络N_feature，组成模型的对抗性训练结构。在生成对抗样本时保持内容特征尽可能不变，生成的对抗样本对人类的不可见性提高，对抗样本既能欺骗目标模型，也能保持原本的语义特征。

进一步的，所述正常训练过程包括：

a)生成器负责从随机噪声z生成样本G(z)；

b)判别器D负责判别生成器生成的样本图片G(z)与原始样本x的真伪，以激励生成器生成更加真实的图片；

c)判别器D根据输入的已知样本标签，更新参数以提高判别能力。

d)正常训练部分的损失函数L_GAN为：

进一步的，所述对抗性训练过程包括：

a)生成器G_adv和判别器D基于上一步训练好的模型；

b)生成器G_adv生成的对抗样本G_adv(z)作为目标模型f的输入，定义对抗性部分的输出为对抗性损失

其中y_target是定义的目标攻击类别，用来表示生成器生成的对抗样本 G_adv(z)的目标攻击类别与预测类别之间的距离，以混淆目标模型，对抗性损失为：

c)为了限制对抗样本G_adv(z)的扰动范围，定义了扰动评估部分的衡量扰动的损失为：L_perturb＝||G(z)-G_adv(z)||₂

d)为了约束内容特征，使用预训练的VGG-16模型作为特征提取网络N_feature，VGG-16模型包含了16个隐藏层，可以分为5 个卷积结构，其中有13个卷积层和3个全连接层，用多个3*3的卷积核替代较大卷积核，减少了网络参数，更有利于保持图像特征。选取VGG-16的第三个卷积结构的第三个卷积层的激活值作为内容特征的计算，将G(z)和G_adv(z)作为特征提取网络的输入，使用MSE损失构造内容特征损失函数为：

e)对抗性训练部分的总损失函数为：L_total＝L_GAN+λ₁L_adv+ λ₂L_perturb+λ₃L_content，其中λ₁，λ₂，λ₃为训练时控制对抗性损失和扰动损失比例的超参数。

利用本发明的方法可以使目标生成器生成的对抗样本接近真实样本的分布，直接从噪声中生成不受限的对抗样本，与现有技术相比具有以下优点：

1、本发明使用生成对抗网络来训练，无需针对每个样本进行扰动计算，实现一次训练多次生成，大大的提高了生成样本的速度。

2、本发明在WGAN_GP的基础上改变训练过程，设置了两个阶段的模型训练，使得生成器最终学习到对抗样本的分布，通过输入随机噪声z直接生成有目标的对抗样本，提高了在图像分类器为目标的攻击中的攻击成功率。

3、本发明通过内容特征约束来生成高质量的对抗样本，借助内容特征提取网络对生成样本的语义信息进行约束，在不影响攻击效果的前提下提高对抗样本的质量，降低对人类的可感知程度。

附图说明

图1为一种基于内容感知GAN的对抗样本生成方法流程图。

图2为正常训练阶段中正常训练结构图。

图3为对抗性训练阶段中对抗性训练结构图。

图4为内容特征提取中所使用的VGG-16特征提取网络结构图。

具体实施方式

为使本发明的上述特点和优点更明显易懂，下面结合具体实施方式和附图对本发明作进一步详细说明。

本发明设计的对抗样本生成方法基于基础攻击方法WGAN_GP，通过使用两个不同目标的无监督训练阶段，设计了模型对抗训练阶段的损失函数，使GAN模型能够从随机噪声中学习对抗样本的分布，批量生成不受限的对抗样本，对目标模型进行对抗攻击。具体训练流程如图1所示，其主要步骤包括：

步骤100、训练WGAN_GP学习到正常样本的数据分布，正常训练阶段结构图如图2所示。

进一步的，步骤100具体包括：

步骤101、输入随机噪声z，真实样本x，每批次样本数大小m， Adam优化器超参数α，β₁，β₂，梯度惩罚系数λ，生成器惩罚周期n。

步骤102、初始化生成器参数θ₀，初始化梯度惩罚参数ω₀。

步骤103、选取真实样本x～P_data，生成随机噪声z～p(z)，随机值ε∈U[0，1]。

步骤104、生成器从随机噪声z生成样本

步骤105、对真实样本x和生成样碎

进行线性插值

步骤106、计算梯度惩罚项

步骤107、计算判别器损失

步骤108、重复执行步骤102～107，循环共m次。

步骤109、更新梯度惩罚参数

步骤110、重复执行步骤108～109，循环共n次。

步骤111、选取m数量的随机噪声

步骤112、计算生成器损失L_G＝-D_ω(G_θ(z))。

步骤113、更新生成器参数

步骤114、重复步骤110～113并且当θ收敛时停止训练。

本发明将图像的内容特征x_content考虑在内，引入内容特征提取网络N_feature，由于内容特征代表了图像的语义，在生成对抗样本时如果保持内容特征不变，则生成的对抗样本对人类的不可见性就会变高，对抗样本既能欺骗目标模型，也能保持原本的语义特征。

步骤200、训练WGAN_GP学习到对抗样本的数据分布，对抗性训练阶段结构图如图3所示。

进一步的，步骤200具体包括：

步骤201、输入随机噪声z，真实样本x，批次样本数大小m，Adam 优化器超参数α，β₁，β₂，梯度惩罚系数λ，惩罚周期n，攻击目标类别y_target。

步骤202、使用步骤100中生成器参数θ₁，初始化惩罚参数ω₀。

步骤203、选取真实样本x～P_data，生成随机噪声z～p(z)，随机值ε∈U[0，1]。

步骤204、生成器从随机噪声z生成对抗样本x′←G_adv(z)。

步骤205、对真实样本x和对抗样本x′进行线性插值

步骤206、计算梯度惩罚项

步骤207、计算判别器损失

步骤208、重复执行步骤203～207，循环共m次。

步骤209、更新梯度惩罚参数

步骤210、重复执行步骤208～209，循环共n次。

步骤211、选取m数量的随机噪声

步骤212、生成器从随机噪声z生成对抗样本x′←G_adv(z)。

步骤213、原始生成器从随机噪声z正常样本

步骤214、计算生成器损失

步骤215、计算L₂范数距离

步骤216、将对抗样本x′和正常样本

输入特征提取网络N_feature，特征提取网络使用VGG-16特征提取网络，计算内容特征损失

VGG-16特征提取网络结构图如图4所示。

进一步的，在步骤216中，VGG-16模型包含了16个隐藏层，分为5个卷积结构，其中有13个卷积层和3个全连接层，使用了多个3*3的卷积核来替代较大卷积核的设计，用卷积的特征图激活值来表示图片的内容特征：

其中i和j分别代表第i个卷积结构的第j个特征图。

进一步的，在步骤216中，在两张图片x₁，x₂上可以计算出每张大小为C×H×W的特征图i，两张图片的内容特征损失函数为：

进一步的，在步骤216中，选取VGG-16的第三个卷积结构的第三个卷积层的激活值作为内容特征的计算。

步骤217、将对抗样本x′输入目标模型f，计算分类预测值作为对抗性损失L_adv＝log_f(x′，y_target)。

步骤218、更新生成器参数

步骤219、重复步骤210～218并且当θ收敛时停止训练。

本发明提出了一种基于内容感知GAN的对抗样本生成方法，通过无监督训练便能够更好地实现搜索对抗样本数据分布，增加内容特征提取网络，生成目标类别的对抗样本时不改变样本的语义信息，具有更好的质量，更符合人类的判断标准。

本发明通过直接生成对抗样本，避开了原始样本叠加扰动方法的限制，能够更快地批量生成不受限的对抗样本。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于内容感知GAN的对抗样本生成方法，其特征在于，包括：

A、基于WGAN_GP的生成对抗网络进行对抗样本的生成工作，通过使用两个不同目标的无监督训练阶段，正常训练阶段学习正常样本分布，对抗性训练部分学习对抗样本的分布，使GAN模型能够从随机噪声中学习对抗样本的分布，批量生成不受限的对抗样本，对目标模型进行对抗攻击；

B、正常训练部分：使用噪声z作为生成器输入，生成样本G(z)和真实样本x作为判别器输入，初始化生成器G和判别器D，使用WGAN_GP原始损失函数L_GAN作为目标函数，每轮训练完成后更新生成器G和判别器D的参数，获得学习到正常样本分布的生成器和判别器；

C、对抗性训练部分：在正常训练部分得到的生成器和判别器的基础上，使生成器能够从噪声z中学习到对抗样本的分布，在继续优化WGAN_GP损失L_GAN的前提下，新增加目标模型f、扰动评估部分以及特征提取网络N_feature，组成模型的对抗性训练结构，在生成对抗样本时保持内容特征尽可能不变；

D、通过内容特征约束来生成高质量的对抗样本，定义图像x和图像的内容特征x_content，基于CNN的特征提取能力，借助内容特征提取网络N_fe-ture对生成样本的语义信息进行约束，引入了新的样本质量约束损失函数L_content，改进基础攻击模型的对抗性训练流程，在不影响攻击效果的前提下提高对抗样本的质量，降低对人类的可感知程度。

2.根据权利要求1所述的基于内容感知GAN的对抗样本生成方法，其特征在于，步骤B进一步包括以下步骤：

B1、输入随机噪声z，真实样本x，生成器G从随机噪声z生成样本

B2、将B1得到的生成样本

和真实样本x输入判别器D中，所述判别器D区分生成样本

和真实样本x，得到判别器D的损失函数

判别器D的损失函数

具体为：

其中

为梯度惩罚项,λ为梯度惩罚系数；

B3、更新梯度惩罚参数

其中m为批次样本大小，α,β₁,β₂为Adam优化器超参数；

B4、选取批次样本大小m数量的随机噪声

计算生成器损失L_G，生成器G损失的损失函数L_G具体为：

L_G＝-D_ω(G_θ(z))；

B5、更新生成器参数

直到生成器参数θ收敛，得到训练好的生成器。

3.根据权利要求1所述的基于内容感知GAN的对抗样本生成方法，其特征在于，步骤C进一步包括以下步骤：

C1、输入随机噪声z，真实样本x，用步骤B中训练好的生成器G和判别器D取代初始化，生成器从随机噪声z生成对抗样本x′←G_adv(z)；

C2、将C1得到的对抗样本x′和真实样本x输入判别器D中，所述判别器D区分对抗样本x′和真实样本x，得到判别器D的损失函数

判别器D的损失函数

具体为：

其中

为梯度惩罚项，λ为梯度惩罚系数；

C3、更新梯度惩罚参数

其中m为批次样本大小，α,β₁,β₂为Adam优化器超参数；

C4、选取批次样本大小m数量的随机噪声

生成器G_adv从随机噪声z生成对抗样本x′←G_adv(z)，原始生成器G从随机噪声z生成正常样本

C5、根据正常训练的损失函数为L_GAN、目标模型f的损失函数

扰动评估部分的损失函数L_perturb和内容特征损失函数L_content，构建对抗性训练部分的总损失函数L_total，

目标模型f的损失函数

具体为：

其中y_target是定义的目标攻击类别，

使用L₂范数距离作为扰动评估部分损失L_perturb的衡量，具体为：

L_perturb＝||G(z)-G_adv(z)||₂

内容特征损失函数L_content具体为：

对抗性训练部分的总损失函数L_total具体为：

其中λ₁，λ₂，λ₃为训练时控制对抗性损失和扰动损失比例的超参数；

C6、更新生成器参数

直到生成器参数θ收敛，使生成器生成的对抗样本接近真实样本的分布，直接从噪声中生成不受限的对抗样本。

4.根据权利要求1所述的基于内容感知GAN的对抗样本生成方法，其特征在于，步骤D进一步包括以下步骤：

D1、使用预训练的VGG-16模型作为特征提取网络N_feature,包含16个隐藏层，分为5个卷积结构，其中有13个卷积层和3个全连接层，使用多个3*3的卷积核替代较大卷积核；

D2、使用一张224*224分辨率的图像输入模型进行计算，获得各卷积结构经过Relu激活函数后的输出，进行可视化处理，输出对图像有较好的内容表示能力的特征图；

D3、使用卷积的特征图激活值来表示图片的内容特征，内容特征为：

其中i和j分别代表第i个卷积结构的第j个特征图，

选取VGG-16的第三个卷积结构的第三个卷积层的激活值作为内容特征的计算；

D4、在两张图片x₁，x₂上可以计算出每张大小为C×H×W的特征图i，两张图片的内容特征损失函数为：

Images