CN108520202A - 基于变分球面投影的对抗鲁棒性图像特征提取方法 - Google Patents
基于变分球面投影的对抗鲁棒性图像特征提取方法 Download PDFInfo
- Publication number
- CN108520202A CN108520202A CN201810212070.1A CN201810212070A CN108520202A CN 108520202 A CN108520202 A CN 108520202A CN 201810212070 A CN201810212070 A CN 201810212070A CN 108520202 A CN108520202 A CN 108520202A
- Authority
- CN
- China
- Prior art keywords
- feature
- spherical projection
- model
- sample
- weights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000009977 dual effect Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000000644 propagated effect Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 15
- 241000208340 Araliaceae Species 0.000 claims description 10
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 10
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 10
- 235000008434 ginseng Nutrition 0.000 claims description 10
- 238000013434 data augmentation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 239000011324 bead Substances 0.000 description 4
- 241000256602 Isoptera Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于变分球面投影的对抗鲁棒性图像特征提取方法，包括步骤：1)模型初始化；2)数据集预处理；3)变分球面投影前向传播；4)损失函数计算；5)对抗训练正则化；6)反向传播计算梯度，更新权值；7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。本发明在CASIA‑webface数据集进行训练，在LFW数据集上进行测试，能够保证模型的对抗鲁棒性的同时，特征具有高可分性。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是指一种基于变分球面投影的对抗鲁棒性图像特征提取方法。
背景技术
近些年来计算硬件GPU计算力的提升，大量的标注数据集的出现，使得深度神经网络训练成为可能。自从深度卷积网络赢得ImageNet官方举办的大型视觉识别比赛(ILSVRC)冠军后，深度网络结构不断推陈出新，逐渐在特定任务上媲美或者超越人类的水平。此后深度学习网络被广泛应用在人脸识别特征提取和相似图片检索上。从表示学习的角度来看，深度特征提取的成功在于通过大量的数据学习得到一个显著而稳定的特征表示方式，通过对原始输入空间到特征空间的映射，实现类别概念距离到欧式距离或者到余弦角距离的映射，让未见过样本依旧能在特征空间依据通过阈值进行分类，特征可分性越高，识别验证越准确。
利用深度神经网络作为可区分性特征提取器的训练方法通常有两种,一种是对训练数据进行精心挑选和重新组合得到符合测度学习的数据集，再通过测度学习损失函数来进行训练；而另一种训练方式则通过定制的损失函数，以直接训练常规分类器的方式间接得到一个可分性高的特征提取器。
然而最近一些关于深度神经网络的研究表明,深度神经网络对于输入空间的划分存在局部非稳定性，特定方向上的人眼难以察觉的微小扰动就可以造成深度神经网络的误分类。在高维度空间下，线性分类器每个分量上的微小变动即可导致线性模型的输出结果大相径庭。在多层线性网络下，通过逐层的累积放大，输入空间仅需要特定方向更加微小的变化即可轻易改变深度神经网络的表示特征，然后影响最后分类器的分类结果。
针对深度网络的局部非稳定性，攻击者可以利用网络的信息对输入进行不同范数测度类型的引导性失真得到对应的对抗样本，从而达到使深度神经网络分类器对该对抗样本误分类的目的，这种攻击方式可称为对抗攻击，而模型对于抵抗这种攻击的能力称为对抗鲁棒性。
正是由于局部非稳定性以及对应该性质的对抗攻击的存在，给深度特征提取器的应用带来了严重的安全隐患。比如自动驾驶中，摄像头对路标的识别特征被蓄意攻击导致误分类，从而造成不可以测的行为结果；又比如在广泛应用了深度神经网络作为特征提取的人脸识别***，蓄意攻击人脸特征将导致***错误授权予不法分子，从而造成用户财产隐私，甚至生命的安全收到威胁。
目前为止，提高深度神经网络分类器的对抗鲁棒性一般有三种方式，第一种是对模型参数本身进行正则化约束,但是以往的经典结构，如：多层卷积作为特征提取同时线性网络作为分类器的结构；或者变分参数编码器结构，在较大的正则化参数下，每一层的权重过于平滑，模型表达能力大幅下降，导致特征空间的可分性、分类器的分类性能会大幅度下降。第二种对训练集的进行标签平滑化，蒸馏学***滑，但模型的损失分类性能。第三种是对抗训练,利用模型的梯度生成原始样本的对抗样本，然后加入训练集，使得模型在不损失分类性能的前提下增加模型的鲁棒性，然而现有的方法均不能保证深度特征提取模型在特征空间上阈值可分，不适用用作未见过样本的特征提取。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于变分球面投影的对抗鲁棒性图像特征提取方法，利用变分参数编码器结构在采样上的灵活性，在深度变分信息瓶颈模型(DVIB)的基础上对其采样过程进行改进提出变分球面投影模型(VSP)，通过对采样均值参数进行平衡缩放，再对进行特定半径的球面采样得到特征，配合对抗训练使的采样参数在球面映射训练信号下类内特征聚拢、类间特征更加分离，兼顾特征的高可分性和深度特征提取器的对抗鲁棒性。
为实现上述目的，本发明所提供的技术方案为：基于变分球面投影的对抗鲁棒性图像特征提取方法，包括以下步骤：
1)模型初始化
定义深度特征提取器的网络结构，对深度特征提取器和线性分类器进行权值初始化；
2)数据集预处理
对图像数据进行归一化和数据增广；
3)变分球面投影前向传播
先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；然后高斯分布参数特征的对均值参数进行缩放至相同L2范数；接着在标准正太分布上进行采样得到采样特征并进行L2规范化使采样特征投影至单位球面上，得到单位球面随机采样特征；最后对单位球面随机采样特征根据上面得到的高斯分布参数特征进行重参数化得到球面投影特征；
4)损失函数计算
计算变分正则化的损失函数值；将球面投影特征传入无偏置线性分类器，将特征映射至标签空间；利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值；
5)利用对抗训练进行正则化
利用步骤4)得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，并重新进行变分球面投影前向传播和损失函数计算得到新的损失值；然后将新的损失值和上一步的损失值进行加权平均，得到对抗训练的正则化损失值；
6)反向传播计算梯度，更新权值；
利用对抗训练正则化得到的损失值，对深度特征提取器和无偏置线性分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
在步骤1)中，定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性模型g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵和偏置项其中Wf l表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，表示第l层偏置项，表示最后一层偏置项；对深度特征提取器的每一层权值和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
其中，其中Wforg表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.0001的正态分布。
在步骤2)中，所述数据集预处理包括以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置进行特定大小的裁剪，得到模型的训练输入图像。
在步骤3)中，所述变分球面投影前向传播包括以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示得高斯分布在每一维度上的均值参数后m维表示每一维度上的标准差参数
3.2)对均值参数进行缩放至相同L2范数：
其中，s为参数控制特征空间均值参数的大小；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
其中zsample～N(0,1)表示zsample服从标准正太分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
其中，为哈达玛乘积，为参数编码得到的每个维度上的标准差。
在步骤4)中，所述损失函数计算包括以下步骤：
4.1)计算变分正则化损失值
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，通常取σr＝s，s为参数控制特征空间均值参数的大小；表示样本xi经过参数编码后得到的第j个分量，表示样本xi经过参数编码后得到的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
其中，scoreik表示第i个样本属于第k类的分数值；条件概率中的为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
其中，β为拉格朗日系数，控制项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
在步骤5)中，所述对抗训练正则化包括以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
其中，∈为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s；
5.2)将对抗样本重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
其中，α为可选参数，通常取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
在步骤6)通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
其中，t表示迭代次数，ηt表示学习率，和分别代表第t次迭代时深度特征提取器的权值和偏置，表示第t次迭代时无偏置线性分类器的权值。
在步骤7)中，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
本发明原理：利用变分参数编码器结构在采样上的灵活性，在深度变分信息瓶颈模型(DVIB)的基础上对其采样过程进行改进提出变分球面投影模型(VSP)，通过对采样参数进行平衡缩放，再对进行特定半径的球面采样得到特征。在变分球面投影方法的训练完成时，每个类的特征均会以m维半径为σx的小球的形式分布在一个半径为s的大球表面上，此时参数均值也就是最后特征将聚拢在小球的球心处，小球与小球之间相互接邻，保证球心之间约有两倍σx的距离，从而保证了特征的可分性，具有增大特征间隔的作用。此外，在VSP结构下固定数据增广的可行方向，因此对抗训练不仅提高了模型的对抗鲁棒性还可以提高模型提取特征的可区分性。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提出的特征提取方法首次同时兼顾特征提取器的对抗鲁棒性和特征的可区分性，提高了深度特征提取器的适用范围。
2、本发明提出的特征提取方法利用变分参数编码器结构的灵活性，限定采样特征的扰动半径和范围，从而使得对抗训练不仅提高模型的对抗鲁棒性也能一定成度上进一步提高特征的可区分性。
3、本发明提出的特征提取方法易于实现，且对未见过样本有较好的泛化能力。
附图说明
图1是本发明的深度特征提取模型训练流程图。
图2是本发明的变分球面投影具体细节流程图。
图3是本发明的对抗鲁棒性图像特征提取流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于变分球面投影的对抗鲁棒性图像特征提取方法，包括以下步骤：
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
1)模型初始化，包含以下步骤：
定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性模型g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵和偏置项其中Wf l表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，表示第l层偏置项，表示最后一层偏置项；对深度特征提取器的每一层权值和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
其中，其中Wforg表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.0001的正态分布。
2)数据集预处理，包含以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置进行特定大小的裁剪，得到模型的训练输入图像。
3)变分球面投影前向传播，包含以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示得高斯分布在每一维度上的均值参数后m维表示每一维度上的标准差参数
3.2)对均值参数进行缩放至相同L2范数：
其中，s为参数控制特征空间均值参数的大小；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
其中zsample～N(0,1)表示zsample服从标准正太分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
其中，为哈达玛乘积，为参数编码得到的每个维度上的标准差。
4)损失函数计算，包含以下步骤：
4.1)计算变分正则化损失值
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，通常取σr＝s，s为参数控制特征空间均值参数的大小；表示样本xi经过参数编码后得到的第j个分量，表示样本xi经过参数编码后得到的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
其中，scoreik表示第i个样本属于第k类的分数值；条件概率中的为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
其中，β为拉格朗日系数，控制项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
5)利用对抗训练进行正则化，包含以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
其中，∈为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s；
5.2)将对抗样本重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
其中，α为可选参数，通常取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
6)反向传播计算梯度，更新权值
通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
其中，t表示迭代次数，ηt表示学习率，和分别代表第t次迭代时深度特征提取器的权值和偏置，表示第t次迭代时无偏置线性分类器的权值。
7)，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
下面结合具体参数对本实施例上述方法进行进一步说明，具体步骤如下：
1、模型初始化步骤：深度卷积网络以卷积层加上激活函数层为一个模块，如Conv(64,3,2,1)+pReLU表示卷积层卷积核数量为64，大小为3x3，卷积间隔为2，图像边缘填充像素为1，激活函数为pReLU。多个模块组成一个阶段。定义深度特征提取器的网络结构为Sphere20a，分为5个阶段，第1个阶段由1个Conv(64,3,2,1)+pReLU和2个Conv(64,3,1,1)+pReLU组成；第2阶段由1个Conv(128,3,2,1)+pReLU和2个Conv(128,3,1,1)+pReLU组成；第3阶段由一个Conv(256,3,2,1)+pReLU和8个Conv(256,3,1,1)+pReLU组成；第4阶段由一个Conv(512,3,2,1)+pReLU和两个Conv(512,3,1,1)+pReLU组成，最后阶段输出为线性层输出人脸特征维度为512维，深度特征提取器输出维度为1024维；无偏置线性分类器最后输出维度等于训练集标签类别数。对深度特征提取器和无偏置线性分类器进行权值初始化。
2、数据集预处理步骤：(1)对CASIA-webface和LFW的6000对人脸数据集进行五官标定对齐，对图像RBG三个通道[0,255]的值映射至[0.0,1.0]，然后每个通道减去0.5并乘以2.0使得图片范围规范化至[-1.0,1.0]；(2)将图像裁剪至116x100，然后随机裁剪至112x96，并随机水平翻转。以CASIA-webface数据集(剔除掉LFW6000对数据中出现的人)为训练集，LFW6000对人脸数据为测试集。
3、变分球面投影前向传播步骤：如图2所示，(1)先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；(2)对均值参数特征进行缩放至相同L2范数，另所有均值参数特征的L2范数为s＝10；(3)在标准正太分布上进行一次采样得到采样特征并进行L2规范化使采样特征投影至半径为1的球面上；(4)对采样特征根据得到的高斯分布参数特征进行重参数化平移缩放得到球面投影特征。
4、损失函数计算步骤：(1)计算变分正则化的损失函数值，其中正则化项中的σr＝s，s为均值参数特征的L2范数；(2)将球面投影特征传入线性分类器，将特征映射至标签空间；(3)利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值，此时拉格朗日系数β＝0.1。
5、对抗训练正则化步骤：(1)利用上一步得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，此时设置∈＝2.0，得到对抗样本；(2)重新用对抗样本进行变分球面投影前向传播和损失函数计算得到新的损失值；新的损失值和上一步的损失值进行加权平均，加权系数α＝0.5，得到对抗训练的正则化损失值。
6、反向传播计算梯度，更新权值步骤：利用对抗训练正则化得到的损失值，对深度特征提取器和线性分类器进行反向传播得到对应模型中权值的梯度，再通过随机梯度下降来优化更新模型的权值，其中初始学习率为η0＝0.1,在训练轮数到第8,10,15轮时，学习率衰减(学习率乘以0.1)。
7、最后重复前面四个过程直至模型收敛，得到深度特征提取模型；应用时以参数编码过程的参数均值为特征，即可得到高可区分性特征，如图3所示。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (8)
1.基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于，包括以下步骤：
1)模型初始化
定义深度特征提取器的网络结构，对深度特征提取器和线性分类器进行权值初始化；
2)数据集预处理
对图像数据进行归一化和数据增广；
3)变分球面投影前向传播
先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；然后高斯分布参数特征的对均值参数进行缩放至相同L2范数；接着在标准正太分布上进行采样得到采样特征并进行L2规范化使采样特征投影至单位球面上，得到单位球面随机采样特征；最后对单位球面随机采样特征根据上面得到的高斯分布参数特征进行重参数化得到球面投影特征；
4)损失函数计算
计算变分正则化的损失函数值；将球面投影特征传入无偏置线性分类器，将特征映射至标签空间；利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值；
5)利用对抗训练进行正则化
利用步骤4)得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，并重新进行变分球面投影前向传播和损失函数计算得到新的损失值；然后将新的损失值和上一步的损失值进行加权平均，得到对抗训练的正则化损失值；
6)反向传播计算梯度，更新权值；
利用对抗训练正则化得到的损失值，对深度特征提取器和无偏置线性分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
2.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤1)中，定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性模型g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵和偏置项其中Wf l表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，表示第l层偏置项，表示最后一层偏置项；对深度特征提取器的每一层权值和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
其中，其中Wforg表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.0001的正态分布。
3.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤2)中，所述数据集预处理包括以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置进行特定大小的裁剪，得到模型的训练输入图像。
4.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤3)中，所述变分球面投影前向传播包括以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示得高斯分布在每一维度上的均值参数后m维表示每一维度上的标准差参数
3.2)对均值参数进行缩放至相同L2范数：
其中，s为参数控制特征空间均值参数的大小；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
其中zsample～N(0,1)表示zsample服从标准正太分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
其中，为哈达玛乘积，为参数编码得到的每个维度上的标准差。
5.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤4)中，所述损失函数计算包括以下步骤：
4.1)计算变分正则化损失值DKL：
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，通常取σr＝s，s为参数控制特征空间均值参数的大小；表示样本xi经过参数编码后得到的第j个分量，表示样本xi经过参数编码后得到的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
其中，scoreik表示第i个样本属于第k类的分数值；条件概率中的为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
L(x,y,Θ)＝CLF+β·DKL (12)
其中，β为拉格朗日系数，控制DKL项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
6.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤5)中，所述对抗训练正则化包括以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
其中，为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s；
5.2)将对抗样本重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
其中，α为可选参数，通常取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和均值参数的L2范数s。
7.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤6)通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
其中，t表示迭代次数，ηt表示学习率，和分别代表第t次迭代时深度特征提取器的权值和偏置，表示第t次迭代时无偏置线性分类器的权值。
8.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤7)中，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212070.1A CN108520202B (zh) | 2018-03-15 | 2018-03-15 | 基于变分球面投影的对抗鲁棒性图像特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212070.1A CN108520202B (zh) | 2018-03-15 | 2018-03-15 | 基于变分球面投影的对抗鲁棒性图像特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108520202A true CN108520202A (zh) | 2018-09-11 |
| CN108520202B CN108520202B (zh) | 2020-06-19 |
Family
ID=63433271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810212070.1A Expired - Fee Related CN108520202B (zh) | 2018-03-15 | 2018-03-15 | 基于变分球面投影的对抗鲁棒性图像特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520202B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583454A (zh) * | 2018-11-14 | 2019-04-05 | 天津大学 | 基于对抗神经网络的图像特征提取方法 |
| CN109598191A (zh) * | 2018-10-23 | 2019-04-09 | 北京市商汤科技开发有限公司 | 行人重识别残差网络训练方法及装置 |
| CN109784249A (zh) * | 2019-01-04 | 2019-05-21 | 华南理工大学 | 一种基于变分级联信息瓶颈的置乱人脸识别方法 |
| CN110210281A (zh) * | 2019-03-29 | 2019-09-06 | 清华大学 | 基于球面分形卷积神经网络的三维点云识别方法及装置 |
| CN110264505A (zh) * | 2019-06-05 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110378092A (zh) * | 2019-07-26 | 2019-10-25 | 北京积加科技有限公司 | 身份识别***及客户端、服务器和方法 |
| CN110751288A (zh) * | 2019-09-17 | 2020-02-04 | 平安科技（深圳）有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
| WO2020207177A1 (zh) * | 2019-04-09 | 2020-10-15 | 北京京东尚科信息技术有限公司 | 图像增广与神经网络训练方法、装置、设备及存储介质 |
| CN112115963A (zh) * | 2020-07-30 | 2020-12-22 | 浙江工业大学 | 一种基于迁移学习生成无偏见深度学习模型的方法 |
| CN112633310A (zh) * | 2019-09-24 | 2021-04-09 | 博世有限公司 | 具有改进的训练鲁棒性地对传感器数据进行分类的方法和*** |
| CN113808061A (zh) * | 2019-04-28 | 2021-12-17 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| CN102184536A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 一种提取图像中直线和/或线段端点的方法及*** |
| CN103530689A (zh) * | 2013-10-31 | 2014-01-22 | 中国科学院自动化研究所 | 一种基于深度学习的聚类方法 |
| CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
| CN106355550A (zh) * | 2016-10-31 | 2017-01-25 | 微景天下（北京）科技有限公司 | 图像拼接***和图像拼接方法 |
-
2018
- 2018-03-15 CN CN201810212070.1A patent/CN108520202B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| CN102184536A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 一种提取图像中直线和/或线段端点的方法及*** |
| CN103530689A (zh) * | 2013-10-31 | 2014-01-22 | 中国科学院自动化研究所 | 一种基于深度学习的聚类方法 |
| CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
| CN106355550A (zh) * | 2016-10-31 | 2017-01-25 | 微景天下（北京）科技有限公司 | 图像拼接***和图像拼接方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598191A (zh) * | 2018-10-23 | 2019-04-09 | 北京市商汤科技开发有限公司 | 行人重识别残差网络训练方法及装置 |
| CN109583454A (zh) * | 2018-11-14 | 2019-04-05 | 天津大学 | 基于对抗神经网络的图像特征提取方法 |
| CN109784249A (zh) * | 2019-01-04 | 2019-05-21 | 华南理工大学 | 一种基于变分级联信息瓶颈的置乱人脸识别方法 |
| CN109784249B (zh) * | 2019-01-04 | 2020-09-22 | 华南理工大学 | 一种基于变分级联信息瓶颈的置乱人脸识别方法 |
| CN110210281A (zh) * | 2019-03-29 | 2019-09-06 | 清华大学 | 基于球面分形卷积神经网络的三维点云识别方法及装置 |
| WO2020207177A1 (zh) * | 2019-04-09 | 2020-10-15 | 北京京东尚科信息技术有限公司 | 图像增广与神经网络训练方法、装置、设备及存储介质 |
| CN113808061A (zh) * | 2019-04-28 | 2021-12-17 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
| CN110264505B (zh) * | 2019-06-05 | 2021-07-30 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110264505A (zh) * | 2019-06-05 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110378092A (zh) * | 2019-07-26 | 2019-10-25 | 北京积加科技有限公司 | 身份识别***及客户端、服务器和方法 |
| CN110751288A (zh) * | 2019-09-17 | 2020-02-04 | 平安科技（深圳）有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
| CN110751288B (zh) * | 2019-09-17 | 2024-05-07 | 平安科技（深圳）有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
| CN112633310A (zh) * | 2019-09-24 | 2021-04-09 | 博世有限公司 | 具有改进的训练鲁棒性地对传感器数据进行分类的方法和*** |
| CN112115963A (zh) * | 2020-07-30 | 2020-12-22 | 浙江工业大学 | 一种基于迁移学习生成无偏见深度学习模型的方法 |
| CN112115963B (zh) * | 2020-07-30 | 2024-02-20 | 浙江工业大学 | 一种基于迁移学习生成无偏见深度学习模型的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108520202B (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520202A (zh) | 基于变分球面投影的对抗鲁棒性图像特征提取方法 | |
| CN108717568B (zh) | 一种基于三维卷积神经网络的图像特征提取与训练方法 | |
| CN105069468B (zh) | 基于脊波和深度卷积网络的高光谱图像分类方法 | |
| CN104866829B (zh) | 一种基于特征学习的跨年龄人脸验证方法 | |
| CN104978580B (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
| CN106407903A (zh) | 基于多尺度卷积神经网络的实时人体异常行为识别方法 | |
| CN110298266A (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| CN110427832A (zh) | 一种基于神经网络的小数据集手指静脉识别方法 | |
| CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
| CN108549893A (zh) | 一种任意形状的场景文本端到端识别方法 | |
| CN105512680A (zh) | 一种基于深度神经网络的多视sar图像目标识别方法 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN106372581A (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN107748895A (zh) | 基于dct‑cnn模型的无人机着陆地貌图像分类方法 | |
| CN107316015A (zh) | 一种基于深度时空特征的高精度面部表情识别方法 | |
| CN109308483A (zh) | 基于卷积神经网络的双源图像特征提取及融合识别方法 | |
| CN106096535A (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
| CN104636732B (zh) | 一种基于序列深信度网络的行人识别方法 | |
| CN107480649A (zh) | 一种基于全卷积神经网络的指纹汗孔提取方法 | |
| CN109583379A (zh) | 一种基于随机擦除行人对齐网络的行人重识别方法 | |
| CN110070078A (zh) | 一种基于传感器与机器视觉的酒驾检测方法及*** | |
| CN109817276A (zh) | 一种基于深度神经网络的蛋白质二级结构预测方法 | |
| CN106096652A (zh) | 基于稀疏编码和小波自编码器的极化sar图像分类方法 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200619 |