CN111950635A - 一种基于分层特征对齐的鲁棒特征学习方法 - Google Patents

一种基于分层特征对齐的鲁棒特征学习方法 Download PDF

Info

Publication number
CN111950635A
CN111950635A CN202010809932.6A CN202010809932A CN111950635A CN 111950635 A CN111950635 A CN 111950635A CN 202010809932 A CN202010809932 A CN 202010809932A CN 111950635 A CN111950635 A CN 111950635A
Authority
CN
China
Prior art keywords
feature
sample
features
model
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010809932.6A
Other languages
English (en)
Other versions
CN111950635B (zh
Inventor
张笑钦
王金鑫
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202010809932.6A priority Critical patent/CN111950635B/zh
Publication of CN111950635A publication Critical patent/CN111950635A/zh
Application granted granted Critical
Publication of CN111950635B publication Critical patent/CN111950635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了本发明提供一种基于分层特征对齐的鲁棒特征学习方法，包括以下步骤：从输入的不同领域的样本中使用深度卷积神经网络进行深度特征的分层提取；对于提取的分层特征，通过图卷积神经网络给特征的通道和空间关系加以限制，从而使得模型学得更加丰富的特征表示；使用基于最优传输理论的Wasserstein distance来准确的度量不同领域样本特征表示之间的差异；将从不同领域样本中提取的分层特征之间的差异作为模型损失函数的一部分来帮助模型学习更加鲁棒的特征，从而提升深度神经网络模型的对抗鲁棒性。上述技术方案，使得深度网络模型可以学习到鲁棒的特征，避免对抗攻击方法的破坏，从而得到安全、可靠的深度***。

Description

一种基于分层特征对齐的鲁棒特征学习方法
技术领域
本发明涉及鲁棒机器学习技术领域，具体涉及一种基于分层特征对齐的鲁棒特征学习方法。
背景技术
近几年，深度卷积神经网络在如图像分类、目标检测等众多计算机视觉任务上面都取得了突破。然而，研究人员发现这些深度卷积神经网络容易受到那些经过特殊设计的包含人眼不易察觉的对抗扰动样本的欺骗。这些由对抗攻击方法生成的对抗样本给那些对于安全性、稳定性具有较高要求的***带来了严峻的挑战，这些***包括自动驾驶***、医疗诊断***和安防***等。另外，如果一个深度网络模型在给了带有少量扰动的样本作为输入就以很高的置信度改变它的预测结果，那么就可以判断这些模型并没有很好的从头输入样本中学习到任务相关的固有属性，也无法从样本中学习到鲁棒的视觉概念。因此，设计对于对抗扰动具有足够鲁棒性的深度网络模型对于安全可靠的计算机视觉应用来说是至关重要的。
在近几年的研究工作中，研究人员提出多种对抗防御机制来克服不同的对抗攻击方法。这些防御机制可以被粗略的分为两种类别。第一种类别的防御方法主要采用在输入图像上进行多种预处理来克服对抗攻击。Dziugaite等人和Das等人把JPEG图像压缩作为对抗防御手段。这些方法在输入图像领域中使用离散傅立叶变换来处理对抗噪声。但是，这些基于JPEG像压缩的方法远未达到成功去除对抗噪声的目的。通过充分利用生成对抗网络强大的表示能力，Defense-GAN方法被Samangouei等人提出来防御多种对抗攻击；该方法通过重新生成和输入图像足够相似的图像来达到去除对抗噪声的目地。Mustafa等人提出把图像超分辨作为一种对抗防御的手段，通过把深度超分辨网络作为一个映射函数，该方法把样本从对抗领域映射到正常领域，从而达到去除对抗噪声的目的，最后把映射后的图像输入到图像识别***中进行正常的识别。另外一种对抗防御手段主要通过修改训练过程或者网络结构来处理对抗扰动从而来提升模型的对抗鲁棒性。对抗训练是一种有效的提升模型对抗鲁棒性的手段，它通过在训练数据中加上特殊设计的对抗样本来达到此目的。Goodfellow等人在干净样本中加入使用FGSM(Fast Gradient Sign Method,快速梯度符号方法)对抗攻击方法生成的对抗样本来训练网络模型。Madry等人使用Min-Max优化方法进行对抗训练，该方法使用PGD(Project Gradient Descent,映射梯度下降)攻击方法产生对抗样本。集成对抗训练也是一种新颖的对抗防御方法，该方法使用从多种不同的深度网络生成的对抗样本作为训练数据来优化模型参数。另外，为了提升深度模型对于对抗样本的泛化能力，Song等人使用领域自适应的方法进行网络模型的训练。
尽管上述方法在提升深度卷积神经网络的对抗鲁棒性上取得了不错的进展，然而，对于不同种类的白盒攻击方法，受限于模型较差的泛化性能，它们往往无法取得令人满意的结果。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于分层特征对齐的鲁棒特征学习方法，该方法使得基于深度卷积神经网络的模型可以通过分层特征对齐的操作学到更鲁棒的图像特征，从而解决现有技术存在的针对不同领域对抗样本模型泛化能力受限的问题，为深度模型***的部署与应用提供有效的可靠性和安全性保障。
为实现上述目的，本发明提供了如下技术方案：一种基于分层特征对齐的鲁棒特征学习方法，包括以下步骤：
(1)从不同领域的样本中使用深度卷积神经网络提起不同层次的深度特征；
(2)对于提取的分层特征，通过图卷积神经网络给特征的通道和空间关系加以限制，从而使得模型学得更加丰富的特征表示；
(3)使用基于最优传输理论的Wasserstein distance来准确的度量不同领域样本特征表示之间的差异；
(4)将从不同领域样本中提取的分层特征之间的差异作为模型损失函数的一部分来帮助模型学习更加鲁棒的特征，从而提升深度神经网络模型的对抗鲁棒性。
作为优选的，所述不同领域的图像样本包括正常领域图像样本和对抗领域图像样本。
作为优选的，步骤(1)，使用ResNet-110网络结构来进行图像的特征提取，分为4个不同的结构层次，输入正常样本或对抗样本后，在网络进行正向推理的时，在4个不同的结构层次处，使用卷积结构提取不同尺度、不同抽象程度的图像特征。
作为优选的，步骤(2)，使用两个一维卷积进行图卷积的操作，该图卷积操作公式化为如下形式：
公式(1)：
GCN(f)＝Conv1D[Conv1D(f)]
其中，在公式(1)中，GCN(﹒)表示图卷积神经网络，f表示经过降维处理的特征向量，f表示图卷积操作的输入；此外，Conv1D(﹒)表示一个一维卷积操作，使用两个方向不同的一维图卷积操作进行特征提取，在经过充分的端到端训练后，该图卷积操作加强对于特征中不同区域之间关系的表示能力。
作为优选的，步骤(3)，采用X表示从正常领域内样本中使用深度神经网络提取的在某一层的特征，Y表示从对抗领域内样本中使用同样的深度神经网络提取的在同一个层处的特征，这两个特征分布X与Y之间的最优传输距离被公式化为如下形式：
公式(2)：
Figure BDA0002628485790000041
公式(2)即为Wasserstein distance(推土机距离)的定义。其中，：＝表示这是一个定义，把右边的计算结果定义左边的表示形式，PX和PY分别表示特征X和Y的边缘分布形式，并且P(X～PX，Y～PY)表示特征X和Y的联合分布，c(x，y)是任意的可测误差函数，它度量了X与Y之间的距离；此外，E(X，Y)～Γ表示计算的是联合概率下的数学期望，inf表示这里计算是数学期望的下确界，因此，Wc(PX，PY)就被定义为在可测误差函数c的前提下，以特征X与Y的边缘分布PX和PY为输入，在所有的度量距离方式中，X到Y距离最小的方式被称为最优传输方式，计算出的距离值为需要的最优传输距离。
作为优选的，步骤(4)，具体包括从正常领域图像样本和对抗领域图像样本中分层提取的特征表示，在使用图卷积进行处理后，使用Wasserstein distance计算它们之间的差异，将不同层次中对抗样本特征表示和正常样本特征表示的Wasserstein distance加入到优化网络参数使用的最终损失函数中去，通过充分的端到端训练，让网络模型逐渐的利用特征对齐来学习到更加鲁棒的特征表示；
最终的损失函数如下所示：
公式(3)：
Figure BDA0002628485790000051
其中，在公式(3)中，F表示用于图像分类的深度神经网络，θ为该深度神经网络的参数，该参数是在网络端到端训练时进行学习的，LCE表示交叉熵损失函数，同时计算了正常样本和相应的对抗样本的交叉熵损失，使得网络能对正常样本和对抗样本成功分类；xclean表示正常样本，xadv表示对抗样本，ytrue表示数据的正确标签，
Figure BDA0002628485790000052
和
Figure BDA0002628485790000053
分别表示在深度神经网络F的第l层处从正常样本以及对抗样本中提取的图像特征表示,l＝1，2或l＝1，2，3，4；LC表示对特征进行线性组合；λ表示多个损失函数之间的相对权重，在使用训练集对模型进行训练时，使用公式(3)所示最终的损失函数计算分类误差以及不同领域样本特征之间的差异，然后根据这些误差使用随机梯度下降算法对网络的模型参数进行优化，最终找到最优的模型参数。
本发明的优点是：与现有技术相比，本发明从领域自适应的角度提出了一种新颖的分层特征对齐方法，使得深度卷积神经网络可以从对抗样本中学习到鲁棒的特征表示；在通过渐进式地沿着模型网络结构提升对抗样本特征与正常样本特征相似度时，为了更好的让模型学得鲁棒特征表示，本发明提供了一种基于最优传输理论的Wassersteindistance来度量对抗样本特征与正常样本特征之间的差异。
本发明提供的方法可以有效的提升基于深度卷积神经网络的模型对于不同对抗领域样本的泛化能力，即使受到以往方法难以处理的白盒攻击，本发明也给提供有效的防御；
本发明基于深度卷积神经网络的模型可以通过分层特征对齐的操作学到更鲁棒的图像特征，从而解决现有技术存在的针对不同领域对抗样本模型泛化能力受限的问题，为深度模型***的部署与应用提供有效的可靠性和安全性保障。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例为对抗防御提出模型结构示意图；
图3为本发明实施例在对抗样本上面的鲁棒特征学习过程示意图；
图4为本发明实施例在三种典型分类数据集上面分别对正常样本和对抗样本决策空间的可视化示意图。
具体实施方式
参见图1、图2和图3，本发明公开的一种基于分层特征对齐的鲁棒特征学习方法，包括以下步骤：
(1)从不同领域的样本中使用深度卷积神经网络提起不同层次的深度特征；
(2)对于提取的分层特征，通过图卷积神经网络给特征的通道和空间关系加以限制，从而使得模型学得更加丰富的特征表示；
(3)使用基于最优传输理论的Wasserstein distance来准确的度量不同领域样本特征表示之间的差异；
(4)将从不同领域样本中提取的分层特征之间的差异作为模型损失函数的一部分来帮助模型学习更加鲁棒的特征，从而提升深度神经网络模型的对抗鲁棒性。
步骤(1)，具体过程为，使用PGD(Project Gradient Descent，映射梯度下降)攻击方法从正常领域内的图像样本产生相对应的带有不同程度扰动的对抗领域图像样本。对于正常领域图像样本和对抗领域图像样本，本方法使用深度卷积神经网络来进行图像的多层次特征提取。为了使得提取的特征更具有代表性，我们将深度网络按照其结构分为多个层次。由于本发明所提出的是一个框架，因此，我们使用不同的“层”来表示这些被划分的用来进行特征提取的结构层次，而不是明确指定是网络的哪一个层，本发明提出的结构层次划分标准如图2所示。
以图2所示结构为例，我们使用ResNet-110(“ResNet-110”此处指具有110个网络层的残差网络)网络结构来进行图像的特征提取，在此处我们将其分为4个不同的结构层次。输入正常样本或对抗样本后，在网络进行正向推理的时，在4种不同的层次处，使用卷积结构提取不同尺度、不同抽象程度的图像特征。
在进行模型训练时，为了更好的进行特征对齐的操作，本发明提出首先在干净样本上面进行模型的训练，然后再共同使用干净样本和相对应的对抗样本进行基于分层特征对齐的鲁棒特征学习过程的模型训练。
步骤(2)，具体过程为，在使用深度卷积神经网络提取不同层次处的图像特征后，对于这些具有代表性的图像特征，为了使网络学得更加丰富的图像特征表示，我们使用图卷积神经网络来对提取的不同层次的特征进行处理。图卷积可以更好的从全局的角度捕捉深度特征中不同区域之间关系；同时也可以为后续进行特征对齐时给特征加上更强的限制。由于在计算最优传输Wasserstein distance时候，我们计算的是特征向量之间的距离，因此，我们将张量形式的图像特征转为特征向量的形式；并且，为了加快该距离度量的计算，我们将采取了一系列特征选择与降维的操作。
为了降低降维的复杂度，我们使用了具有代表性的特征线性组合的方式来对提取的特征从通道以及特征结点两个方面进行处理，
经过降维后，我们使用两个一维卷积进行图卷积的操作，该图卷积操作可以公式化为以下形式：
公式(1)：
GCN(f)＝Conv1D[Conv1D(f)]
在公式(1)中，GCN(﹒)表示图卷积神经网络，f表示经过降维处理的特征向量，此处，f表示图卷积操作的输入；此外，Conv1D(﹒)表示一个一维卷积操作，在此处我们使用两个方向不同的一维图卷积操作进行特征提取。在经过充分的端到端训练后，该图卷积操作可以加强对于特征中不同区域之间关系的表示能力。
具体细节信息如图2所示。在经过充分的端到端训练后，该图卷积操作可以加强对于特征中不同区域之间关系的表示能力。另外，对于在不同网络结构层次处从正常样本中提取的特征和从对抗样本中提取的特征，在计算它们之间的Wasserstein distance之前，本发明都会使用图卷积对特征进行处理。如图2所示，在使用ResNet-110结构时，我们计算了4个不同位置处的Wasserstein distance来进行不同领域样本特征差异的度量。
步骤(3)，具体过程为，在使用步骤(1)进行层次图像特征提取，并且使用步骤(2)进行特征选择、降维、图卷积操作后，我们使用带有正则化项的最优传输Wassersteindistance来计算不同领域样本之间的差异，这一步是为了进行不同领域样本特征之间的特征对齐操作,将对抗样本的层次特征向正常样本的层次特征进行对齐，从而使得神经模型具有足够的鲁棒性。
在本实施例中，我们使用X与Y表示两个不同分布的特征向量的集合，更具体来说，X表示从正常领域内样本中使用深度神经网络提取的在某一层的特征，Y表示从对抗领域内样本中使用同样的深度神经网络提取的在同一个层处的特征，这两个特征分布X与Y之间的最优传输距离可以被公式化为如下形式：
公式(2)：
Figure BDA0002628485790000091
公式(2)即为Wasserstein distance(推土机距离)的定义。其中，符号：＝表示这是一个定义，我们把右边的计算结果定义左边的表示形式。在公式中，PX和PY分别表示特征X和Y的边缘分布形式，并且P(X～PX，Y～PY)表示特征X和Y的联合分布。c(x，y)是任意的可测误差函数，它度量了X与Y之间的距离。此外，在公式中，E(X，Y)～Γ表示计算的是联合概率下的数学期望，inf表示这里计算是数学期望的下确界。因此，Wc(PX，PY)就被定义为在可测误差函数c的前提下，以特征X与Y的边缘分布PX和PY为输入，在所有的度量距离方式中，X到Y距离最小的方式被称为最优传输方式，计算出的距离值即为这里需要的最优传输距离。
在本实施例，使用
Figure BDA0002628485790000092
来计算特征向量之间的距离。因此，该公式可以用如下公式表示：
Figure BDA0002628485790000093
在实际应用中，可以将其离散化为如下公式形式：
Figure BDA0002628485790000094
其中，在公式中<·，·>表示矩阵P与C之间的哈达玛德(Hadamard)乘积，由于P与C都是二维矩阵形式，因此此处表示矩阵P与矩阵C每一个对应位置处元素的乘积之和,min表示这里是一个计算最小值的优化问题。由于方法随着数据量的增大，其计算代价会快速上升，因此，本发明使用了熵正则化的方式来对算法进行改进，并且使用Sinkhorn迭代算法进行优化。关于矩阵P的熵正则化项如下公式所示：
Figure BDA0002628485790000101
因此，可以得到带有正则化的最优传输Wasserstein distance计算方法：
Figure BDA0002628485790000102
其中，在公式中，∈用来平衡该正则化问题与原始问题的逼近程度，当∈趋向于0时，上述正则化问题就转变为原始问题，在本发明中，∈＝0.1。此外，由于该问题是一个凸优化问题，因此它具有唯一的解。另外，在本发明中，Wasserstein distance被用来度量从正常样本和对抗样本中使用深度卷积神经网络提取的中间特征表示之间的差异。
另外，在优化该最优传输距离时，我们选择使用Sinkhorn迭代算法。
步骤(4)，具体过程为，我们将不同层次中对抗样本特征表示和正常样本特征表示的Wasserstein distance加入到优化网络参数使用的最终损失函数中去，通过充分的端到端训练，让网络模型逐渐的利用特征对齐来学习到更加鲁棒的特征表示。
最终的损失函数如下公式所示：
公式(3)
Figure BDA0002628485790000103
其中，在公式(3)中，F表示用于图像分类的深度神经网络，θ为该深度神经网络的参数，该参数是在网络端到端训练时进行学习的，LCE表示交叉熵损失函数，同时计算了正常样本和相应的对抗样本的交叉熵损失，使得网络能对正常样本和对抗样本成功分类；xclean表示正常样本，xadv表示对抗样本，ytrue表示数据的正确标签，
Figure BDA0002628485790000111
和
Figure BDA0002628485790000112
分别表示在深度神经网络F的第l层处从正常样本以及对抗样本中提取的图像特征表示,l＝1，2或l＝1，2，3，4；LC表示对特征进行线性组合；λ表示多个损失函数之间的相对权重，在使用训练集对模型进行训练时，使用公式(3)所示最终的损失函数计算分类误差以及不同领域样本特征之间的差异，然后根据这些误差使用随机梯度下降算法对网络的模型参数进行优化，最终找到最优的模型参数。
本发明实施例，具有以下有益效果：
与现有技术相比，本发明从领域自适应的角度提出了一种新颖的分层特征对齐方法，使得深度卷积神经网络可以从对抗样本中学习到鲁棒的特征表示；在通过渐进式地沿着模型网络结构提升对抗样本特征与正常样本特征相似度时，为了更好的让模型学得鲁棒特征表示，本发明提供了一种基于最优传输理论的Wasserstein distance来度量对抗样本特征与正常样本特征之间的差异。
本发明提供的方法可以有效的提升基于深度卷积神经网络的模型对于不同对抗领域样本的泛化能力，即使受到以往方法难以处理的白盒攻击，本发明也给提供有效的防御；
本发明基于深度卷积神经网络的模型可以通过分层特征对齐的操作学到更鲁棒的图像特征，从而解决现有技术存在的针对不同领域对抗样本模型泛化能力受限的问题，为深度模型***的部署与应用提供有效的可靠性和安全性保障。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明做出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (6)

1.一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：包括以下步骤：
(1)从不同领域的样本中使用深度卷积神经网络提起不同层次的深度特征；
(2)对于提取的分层特征，通过图卷积神经网络给特征的通道和空间关系加以限制，从而使得模型学得更加丰富的特征表示；
(3)使用基于最优传输理论的Wasserstein distance来准确的度量不同领域样本特征表示之间的差异；
(4)将从不同领域样本中提取的分层特征之间的差异作为模型损失函数的一部分来帮助模型学习更加鲁棒的特征，从而提升深度神经网络模型的对抗鲁棒性。
2.根据权利要求1所述的一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：所述不同领域的图像样本包括正常领域图像样本和对抗领域图像样本。
3.根据权利要求2所述的一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：步骤(1)，使用ResNet-110网络结构来进行图像的特征提取，分为4个不同的结构层次，输入正常样本或对抗样本后，在网络进行正向推理的时，在4个不同的结构层次处，使用卷积结构提取不同尺度、不同抽象程度的图像特征。
4.根据权利要求3所述的一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：步骤(2)，使用两个一维卷积进行图卷积的操作，该图卷积操作公式化为以下形式：
GCN(f)＝Conv1D[Conv1D(f)]
其中，在公式中，GCN(﹒)表示图卷积神经网络，f表示经过降维处理的特征向量，f表示图卷积操作的输入；此外，Conv1D(﹒)表示一个一维卷积操作，使用两个方向不同的一维图卷积操作进行特征提取，在经过充分的端到端训练后，该图卷积操作加强对于特征中不同区域之间关系的表示能力。
5.根据权利要求4所述的一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：步骤(3)，采用X表示从正常领域内样本中使用深度神经网络提取的在某一层的特征，Y表示从对抗领域内样本中使用同样的深度神经网络提取的在同一个层处的特征，这两个特征分布X与Y之间的最优传输距离被公式化为如下形式：
Figure FDA0002628485780000021
其中，在公式中，
Figure FDA0002628485780000023
表示这是一个定义，把右边的计算结果定义左边的表示形式，PX和PY分别表示特征X和Y的边缘分布形式，并且P(X～PX，Y～PY)表示特征X和Y的联合分布，c(x，y)是任意的可测误差函数，它度量了X与Y之间的距离；此外，E(X，Y)～Γ表示计算的是联合概率下的数学期望，inf表示这里计算是数学期望的下确界，因此，Wc(PX，PY)就被定义为在可测误差函数c的前提下，以特征X与Y的边缘分布PX和PY为输入，在所有的度量距离方式中，X到Y距离最小的方式被称为最优传输方式，计算出的距离值为需要的最优传输距离。
6.根据权利要求5所述的一种基于分层特征对齐的鲁棒特征学习方法，其特征在于：步骤(4)，具体包括从正常领域图像样本和对抗领域图像样本中分层提取的特征表示，在使用图卷积进行处理后，使用Wasserstein distance计算它们之间的差异，将不同层次中对抗样本特征表示和正常样本特征表示的Wasserstein distance加入到优化网络参数使用的最终损失函数中去，通过充分的端到端训练，让网络模型逐渐的利用特征对齐来学习到更加鲁棒的特征表示；
最终的损失函数如下公式所示：
Figure FDA0002628485780000022
其中，在公式中，F表示用于图像分类的深度神经网络，θ为该深度神经网络的参数，该参数是在网络端到端训练时进行学习的，LCE表示交叉熵损失函数，同时计算了正常样本和相应的对抗样本的交叉熵损失，使得网络能对正常样本和对抗样本成功分类；xclean表示正常样本，xadv表示对抗样本，ytrue表示数据的正确标签，
Figure FDA0002628485780000031
和
Figure FDA0002628485780000032
分别表示在深度神经网络F的第l层处从正常样本以及对抗样本中提取的图像特征表示,l＝1，2或l＝1，2，3，4；LC表示对特征进行线性组合；λ表示多个损失函数之间的相对权重，在使用训练集对模型进行训练时，最终的损失函数计算分类误差以及不同领域样本特征之间的差异，然后根据这些误差使用随机梯度下降算法对网络的模型参数进行优化，最终找到最优的模型参数。
CN202010809932.6A 2020-08-12 2020-08-12 一种基于分层特征对齐的鲁棒特征学习方法 Active CN111950635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010809932.6A CN111950635B (zh) 2020-08-12 2020-08-12 一种基于分层特征对齐的鲁棒特征学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010809932.6A CN111950635B (zh) 2020-08-12 2020-08-12 一种基于分层特征对齐的鲁棒特征学习方法

Publications (2)

Publication Number Publication Date
CN111950635A true CN111950635A (zh) 2020-11-17
CN111950635B CN111950635B (zh) 2023-08-25

Family

ID=73331806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010809932.6A Active CN111950635B (zh) 2020-08-12 2020-08-12 一种基于分层特征对齐的鲁棒特征学习方法

Country Status (1)

Country Link
CN (1) CN111950635B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465019A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种基于扰动的对抗样本生成与对抗性防御方法
CN113436073A (zh) * 2021-06-29 2021-09-24 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
US20190128989A1 (en) * 2017-11-01 2019-05-02 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US20190303720A1 (en) * 2018-03-30 2019-10-03 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110738622A (zh) * 2019-10-17 2020-01-31 温州大学 基于多尺度卷积的轻量级神经网络单图像去雾方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111178504A (zh) * 2019-12-17 2020-05-19 西安电子科技大学 基于深度神经网络的鲁棒压缩模型的信息处理方法及***
CN111242227A (zh) * 2020-01-16 2020-06-05 天津师范大学 一种基于异构深度特征的多模态地基云识别方法
US20200234110A1 (en) * 2019-01-22 2020-07-23 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
US20190128989A1 (en) * 2017-11-01 2019-05-02 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US20190303720A1 (en) * 2018-03-30 2019-10-03 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification
US20200234110A1 (en) * 2019-01-22 2020-07-23 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110738622A (zh) * 2019-10-17 2020-01-31 温州大学 基于多尺度卷积的轻量级神经网络单图像去雾方法
CN111178504A (zh) * 2019-12-17 2020-05-19 西安电子科技大学 基于深度神经网络的鲁棒压缩模型的信息处理方法及***
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111242227A (zh) * 2020-01-16 2020-06-05 天津师范大学 一种基于异构深度特征的多模态地基云识别方法
CN111476200A (zh) * 2020-04-27 2020-07-31 华东师范大学 基于生成对抗网络的人脸去识别化生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范宝杰，等: "基于卷积对抗网络的多通道图像修复方法", 《计算机应用与软件》, vol. 37, no. 7, pages 176 - 179 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465019A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种基于扰动的对抗样本生成与对抗性防御方法
CN113436073A (zh) * 2021-06-29 2021-09-24 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置

Also Published As

Publication number Publication date
CN111950635B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN110941794B (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111275115B (zh) 一种基于生成对抗网络的对抗攻击样本的生成方法
CN113554089B (zh) 一种图像分类对抗样本防御方法、***及数据处理终端
CN112396129B (zh) 一种对抗样本检测方法及通用对抗攻击防御***
CN112364915B (zh) 一种不可察觉的对抗补丁生成方法及应用
CN111461307A (zh) 一种基于生成对抗网络的通用扰动生成方法
CN107844743A (zh) 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN113283599B (zh) 基于神经元激活率的对抗攻击防御方法
CN111754519B (zh) 一种基于类激活映射的对抗防御方法
CN111178504B (zh) 基于深度神经网络的鲁棒压缩模型的信息处理方法及***
CN111967006A (zh) 基于神经网络模型的自适应黑盒对抗攻击方法
Suzuki et al. Adversarial example generation using evolutionary multi-objective optimization
CN115860112B (zh) 基于模型反演方法的对抗样本防御方法和设备
CN113627543B (zh) 一种对抗攻击检测方法
CN111950635A (zh) 一种基于分层特征对齐的鲁棒特征学习方法
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及***
CN115239760B (zh) 一种目标跟踪方法、***、设备及存储介质
CN114626042B (zh) 一种人脸验证攻击方法和装置
CN114387449A (zh) 一种应对神经网络对抗性攻击的图像处理方法及***
CN116912568A (zh) 基于自适应类别均衡的含噪声标签图像识别方法
CN115062306A (zh) 一种针对恶意代码检测***的黑盒对抗攻击方法
CN113935396A (zh) 基于流形理论的对抗样本攻击方法及相关装置
CN116109649A (zh) 一种基于语义错误修正的3d点云实例分割方法
CN113177599B (zh) 一种基于gan的强化样本生成方法
CN113487506A (zh) 基于注意力去噪的对抗样本防御方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant