CN109165735B - 基于生成对抗网络与自适应比例生成样本图片的方法 - Google Patents

基于生成对抗网络与自适应比例生成样本图片的方法 Download PDF

Info

Publication number
CN109165735B
CN109165735B CN201810762313.9A CN201810762313A CN109165735B CN 109165735 B CN109165735 B CN 109165735B CN 201810762313 A CN201810762313 A CN 201810762313A CN 109165735 B CN109165735 B CN 109165735B
Authority
CN
China
Prior art keywords
picture
sample picture
network
input sample
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810762313.9A
Other languages
English (en)
Other versions
CN109165735A (zh
Inventor
郭春生
夏尚琴
都文龙
应娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810762313.9A priority Critical patent/CN109165735B/zh
Publication of CN109165735A publication Critical patent/CN109165735A/zh
Application granted granted Critical
Publication of CN109165735B publication Critical patent/CN109165735B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络与自适应比例生成新图片的方法，包括以下步骤:S1，在输入图片上直接添加由生成对抗网络生成的与输入图片分布接近的噪声；S2根据图片方差构造自适应比例，将输入图片与生成对抗网络生成的噪声以该比例进行融合生成新图片,新图片根据自适应比例调节噪声与输入图片比重；S3通过图片和噪声像素相加的操作为新图片补充原图片信息，生成有益于提高DNN检测率的最终图片。采用本方法提高了DNN的准确率，成本相对较小的，复杂度也更低。

Description

基于生成对抗网络与自适应比例生成样本图片的方法
技术领域
本发明属于深度神经网络的技术领域，具体涉及一种基于生成对抗网络与自适应比例生成样本图片的方法。
背景技术
计算机视觉主要是利用机器试图建立能够从图像或者多维数据中获取“信息”的人工智能***，具体来说是指利用摄影机和电脑等代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。而深度神经网络(DNN)是计算机视觉应用的基础，近几年随着计算机硬件能力的不断提高，DNN技术的发展也突飞猛进，尤其是在计算机视觉领域如图像分类，目标定位等，DNN的准确率甚至超过人眼。为了进一步提高DNN的准确率，大量的研究主要关注于构造更深更复杂的模型和采集更多的图片扩充训练集方面。然而，DNN本身具有非常庞大的参数，更深的模型将会大量增加网络参数，使得计算成本上升，训练难度也增大。采集更多的图片扩展训练集虽然能够明显提高网络性能，但是由于长尾现象，当数据达到一定量时，准确率的提升非常小，并且采集图片的成本非常昂贵。
因此，在常用数据集上，利用经典或者构造合理的DNN来提升性能就十分重要。简单神经网络的优化问题是凸优化问题，“凸优化”是指一种比较特殊的优化，具体是指求取最小值的目标函数为凸函数的一类优化问题，其通过一些常用算法如Gradient Descend(GD)、Stochastic Gradient Descend(SGD)等能够快速收敛到最小值；而DNN的优化问题则是一个非凸优化问题，网络中存在大量的鞍点，在模型参数中加入噪声扰动或者根据Hessian矩阵找出鞍点逃逸方向的方法能够提升模型性能，但是改变模型参数直接影响梯度更新算法性能，可能导致模型收敛下降，并且需要严格的理论证明改变后的优化算法的收敛性。
因此仍需要进一步研究一种新的方法来提高DNN的准确率。
发明内容
本发明的目的是为了解决上述问题，提供一种基于生成对抗网络与自适应比例生成新图片的方法，提高了DNN的准确率，成本相对较小的，复杂度也更低。
为了达到上述发明目的，本发明采用以下技术方案：
基于生成对抗网络与自适应比例生成新图片的方法，包括以下步骤:
S1，在输入图片上直接添加由生成对抗网络生成的与输入图片分布接近的噪声；
S2根据图片方差构造自适应比例，将输入图片与生成对抗网络生成的噪声以该比例进行融合生成新图片,新图片根据自适应比例调节噪声与输入图片比重；
S3通过图片和噪声像素相加的操作得到新图片补充输入图片信息，生成有益于提高DNN检测率的最终图片。
作为优选的技术方案，所述步骤S1具体包括：
步骤一，生成对抗网络中的生成网络使用四个卷积层对输入图片Xi进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对隐变量进行上采样操作，将其映射回高维数据空间，得到与输入图片相似的噪声；其中，Xi为输入图片，假设图片总数为N，i∈[1，N]，N是一个有限的实数，其大小等于训练集中图片的总数，训练集确定下来后，N的大小也随之确定；
步骤二，将输入图片与噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入图片的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是所需要的最终的噪声。
作为优选的技术方案，所述步骤一具体为：
假设输入图片Xi的分布为Pdata，生成网络利用若干卷积层将输入图片映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg的新图片，该新图片就是步骤S1所需要添加到Xi上的噪声，用符号G(X)表示生成网路根据Xi生成新图片的过程；D(X)表示X来自于Pdata或Pg；训练鉴别网络时最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近真实分布。用公式表示为：
minG minD V(D，G) (1)
其中，
Figure GDA0002214394540000031
令V(D，G)关于D(X)的导数为0，有公式(2)；
Figure GDA0002214394540000032
那么，最优鉴别网络如公式(3)所示；
Figure GDA0002214394540000041
从公式(3)中可以看出，一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例；如果Pdata(X)＝0，Pg(X)≠0，最优鉴别网络的概率0；如果 Pdata(X)＝Pg(X)，说明图片是真假的概率各占一半，最优鉴别网络的概率为0.5；将最优鉴别网络带入V(D，G)，进行简单变换最终到公式(4)；
Figure GDA0002214394540000046
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，在对抗机制下，Pg慢慢逼近Pdata，从而得到步骤S1所需的与输入图片相似的噪声。
作为优选的技术方案，所述步骤S2具体包括：
步骤三，提取一个批量上所有图片的方差，并将该批量上所有图片方差归一化，当前图片Xi的方差用vari表示，vari与所有当前批量图片之和
Figure GDA0002214394540000042
的比值就是自适应比例ratioi，将该自适应比例作为原图片的权重，将该1-ratioi作为步骤二中生成噪声的权重，生成新图片
Figure GDA0002214394540000043
用公式表示为：
Figure GDA0002214394540000044
当损失函数比较陡峭时，增大vari，增大ratioi，减小新图片
Figure GDA0002214394540000045
中的噪声比例，避免损失函数越过最小值；当损失函数比较平坦时，减小vari，减小ratioi，增大新图片中的噪声比例，有助于加快网络的收敛速度。
作为优选的技术方案，所述步骤三包括：输入图片方差与DNN中损失函数Hessian矩阵的关系的建立、损失函数的Hessian矩阵与损失函数最小值的关系的建立，从而得到输入图片方差与损失函数最小值之间的关系，根据输入图片方差设计自适应比例，最终帮助梯度更新算法寻找损失函数最小值点，提高 DNN的检测率。
作为优选的技术方案，所述输入图片方差与损失函数的Hessian矩阵的关系的建立具体为：
假设第i个图片为Xi，经过一个线性模型后得到h(θ，Xi)；
h(θ，Xi)＝θTXi (5) 其中，θ表示模型参数，i∈[1，N]；
采用DNN中常用的损失函数最小均方误差(MSE)，假设损失函数为f(θ，X)， f(θ，X)表示预测值h(θ，Xi)与真实值yi之间差值的平方，
Figure GDA0002214394540000051
其中，系数1/2无限定意义，仅为了便于计算；
在GD算法中，每次迭代都用到所有图片，参数更新如下：
Figure GDA0002214394540000052
Figure GDA0002214394540000053
其中，j表示迭代次数，j≥0，η是一个超参数，根据具体应用，赋予其合适的常数值；
在SGD中使用一个图片进行梯度更新，即
Figure GDA0002214394540000054
中的N等于1，每一次更新参数使用一个图片；在图片量超过几十万的情况下，那么只用其中几万条或者几千条的图片，就能够将θ迭代到最优解，SGD参数更新如下，
Figure GDA0002214394540000055
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法计算一个批量的梯度，此时将公式(9)中的gj写成公式(11)gB的形式，
Figure GDA0002214394540000061
其中，
Figure GDA00022143945400000617
是一个大小为M的小批量；
从公式(9)中可以看出||gj||∝||h(θ，Xi)||，||gj||∝||Xi||，gB是计算一个小批量上的gj，gB∝gj；在数据集中所有图片独立同分布，那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系，即var(g j)∝vari，那么var(gB)∝vari；DNN中通过卷积层和激活函数对输入图片进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是视为与输入图片成正比；
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN，
Figure GDA0002214394540000062
由Chaudhari&Soatto定理可知，在回置抽样(有放回的抽样)中，大小为B 的小批量的方差等于
Figure GDA0002214394540000063
Figure GDA0002214394540000064
当损失函数接近最小值时，D(θ，X)相当于Hessian矩阵
Figure GDA0002214394540000065
的缩放版，
Figure GDA0002214394540000066
即
Figure GDA0002214394540000067
由于var(gB)∝vari，那么
Figure GDA0002214394540000068
由于var(gB)≥0，在D(x)为
Figure GDA0002214394540000069
的缩放版，
Figure GDA00022143945400000610
时，
Figure GDA00022143945400000611
var(gB)∝vari，
Figure GDA00022143945400000612
Figure GDA00022143945400000613
B>0，D(x)为
Figure GDA00022143945400000614
的缩放版，所以可知
Figure GDA00022143945400000615
从而建立输入图片方差vari与损失函数的Hessian矩阵
Figure GDA00022143945400000616
的正比关系。
作为优选的技术方案，所述损失函数Hessian矩阵与损失函数最小值的关系的建立具体为：
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系，引入三种局部平滑序列；
假设θ*是
Figure GDA00022143945400000713
为最小值时的模型参数，{θj}j>0为参数更新过程，θ*的邻域为
Figure GDA0002214394540000071
其中
Figure GDA0002214394540000072
θ*的局部平滑序列定义为{Λ(θj)}j≥0’如公式(14)所示，
Figure GDA0002214394540000073
在{θj}j≥0中的前向邻域记为
Figure GDA0002214394540000074
其中
Figure GDA0002214394540000075
一个理想局部平滑序列为
Figure GDA0002214394540000076
如公式(15)所示，
Figure GDA0002214394540000077
在{θj}j≥0中的后向邻域记为
Figure GDA0002214394540000078
其中
Figure GDA0002214394540000079
一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示，
Figure GDA00022143945400000710
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性，
Figure GDA00022143945400000711
是一个理想局部平滑能够使θj快速移向θj+1，由于θ*和θj+1未知，Λ(θj)和
Figure GDA00022143945400000712
不能直接被计算，L(θj)与θj、θj-1相关，通过预测平滑序列，从而构造预测噪声；当损失函数二阶连续可导，有下面公式，
Figure GDA0002214394540000081
将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学***滑度L(θj)与
Figure GDA0002214394540000084
成正比，所以在整个网络的参数更新中，L(θ)与
Figure GDA0002214394540000085
成正比：当
Figure GDA0002214394540000086
大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当
Figure GDA0002214394540000087
小时，由于函数变化缓慢，函数波形平坦，参数更新时步长增大，从而建立Hessian矩阵
Figure GDA00022143945400000816
与损失函数最小值的关系：
Figure GDA0002214394540000088
较大时，损失函数变化剧烈，函数波形陡峭，梯度更新算法在进行参数更新时，设置步长较小，防止梯度更新算法越过损失函数最小值；
Figure GDA0002214394540000089
较小时，损失函数变化缓慢，损失函数波形平坦，梯度更新算法在进行参数更新时，设置步长较大，有利于算法遍历更多区域。
作为优选的技术方案，根据图片方差设计自适应比例具体为：
由于
Figure GDA00022143945400000810
与函数平滑度成正比，由于这里的vari≥0，
Figure GDA00022143945400000811
可以将
Figure GDA00022143945400000812
的绝对值去掉；下面提到的
Figure GDA00022143945400000813
就是Hessian矩阵；设计自适应比例为ratioi，将生成对抗网络生成的噪声
Figure GDA00022143945400000814
与当前输入图片Xi融合生成新图片如公式(18)所示：
Figure GDA00022143945400000815
ratioi由根据图片方差生成，当图片方差vari增大时，ratioi增大，损失函数比较“陡峭”，L(θj)增大，则
Figure GDA0002214394540000091
值增大，由公式(18)可知噪声的权重为1-ratioi，即新图片
Figure GDA0002214394540000092
根据vari自动调小噪声的比例，减小加到输入图片上的噪声，因为如果此时ratioi过大，那么梯度更新算法在进行参数更新时越过最小值点；在vari值减小时，ratioi减小，损失函数比较平坦，L(θj)减小，
Figure GDA0002214394540000093
值减小，噪声的比例大，扰动大，梯度更新算法在参数更新时变化幅度大，有助于加速算法收敛速度；在一个大小为M的批量上提取图片方差，为了消除图片幅度不一致带来的影响，将所有图片的方差归一化，即vari∈[0，1]，i∈[1，2，...，M]，并且将归一化后的图片方差相加得到
Figure GDA0002214394540000094
假设当前输入图片是Xi，那么该图片权重为ratioi＝vari/var，该图片所添加的噪声的权重为1-ratioi；当图片方差vari增大时，图片权重ratioi增大，噪声权重1-ratioi随之减小；当图片方差vari减小时，图片权重ratioi减小，噪声权重1-ratioi随之增大；从而添加到图片中的噪声能能够根据图片方差自适应调节比例，有益于网络收敛到局部最小值。
作为优选的技术方案，所述步骤S3具体包括：
步骤四：由于步骤三中，自适应比例小于等于1，所以由噪声与原图片生成的新图片
Figure GDA0002214394540000095
丢失一部分真实信息，此时将
Figure GDA0002214394540000096
与Xi进行像素相加，为
Figure GDA0002214394540000097
补充原图片信息，最终生成有益于提高DNN检测率的新图片
Figure GDA0002214394540000098
本发明与现有技术相比，有益效果是：
采用本方法无需大量采集图片，准确率高，得到的模型收敛度高，DNN的收敛速度快，而且计算过程简单，有效降低了训练难度。
附图说明
图1为基于生成对抗网络与自适应比例生成新图片的结构示意图；
图2为图1中的自适应比例生成器模块的结构示意图。
具体实施方式
下面通过具体实施例对本发明的技术方案作进一步描述说明，使得本技术方案更加清楚、明白。
本发明将噪声与梯度更新算法解耦，提出一个基于生成对抗网络与自适应比例生成新图片的方法，在输入图片(原图片)上直接添加由生成对抗网络生成的与原图片分布接近的噪声，得到新图片，新图片根据自适应比例调节噪声与原图片比重，在DNN损失函数陡峭时，增大原图片比例，减小噪声比例，避免DNN跨过最小值；在DNN损失函数平坦时，减小原图片比例，增大噪声比例，有利于加快DNN的收敛速度。本发明先根据输入图片在对抗机制下生成与原图片分布接近的噪声；然后根据图片方差构造自适应比例，将原图片与生成对抗网络生成的噪声以该比例进行融合生成新图片，并使用图片和噪声像素相加操作进一步为新生成的图片补充原图片信息。
本实施例的内容可以结合附图1和附图2，可以更加直观来了解本发明的思路。为方便描述本实施例的内容，首先做以下术语定义：
定义1基于生成对抗网络生成噪声的方法。
假设输入图片Xi的分布为Pdata，生成网络利用若干卷积层将输入图片映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg新图片，该新图片就是本发明所需要添加到X上的噪声，用符号G(X)表示生成网路根据Xi生成新图片的过程；D(X)表示鉴别网络判断X 来自于Pdata或Pg；训练鉴别网络时最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近真实分布。用公式(1)表示如下所示。
minG minD V(D，G) (1)
其中，
Figure GDA0002214394540000111
令V(D，G)关于D(X)的导数为0，有公式(2)。
Figure GDA0002214394540000112
那么，最优鉴别网络如公式(3)所示。
Figure GDA0002214394540000113
从公式(3)中可以看出，一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例。如果Pdata(X)＝0，Pg(X)≠0，最优鉴别网络的概率0；如果 Pdata(X)＝Pg(X)，说明图片是真假的概率各占一半，最优鉴别网络的概率为0.5。将最优鉴别网络带入V(D，G)，进行简单变换最终到公式(4)。
Figure GDA0002214394540000114
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，在对抗机制下，Pg慢慢逼近Pdata，从而得到步骤S1所需的与输入图片相似的噪声。
定义2输入图片与模型参数的关系。
假设第i个图片为Xi，经过一个线性模型后得到h(θ，Xi)。
h(θ，Xi)＝θTXi (5)
其中，θ表示模型参数(不包括输入图片)，假设图片总数为N，i∈[1，N]。
本发明以一般DNN中常用的损失函数：最小均方误差(MSE)为例，假设损失函数为f(θ，X)，f(θ，X)表示预测值h(θ，Xi)与真实值yi之间差值的平方。(本发明将MSE损失函数乘以系数1/2是为了便于计算，对整个分析过程及分析方法并无影响。)
Figure GDA0002214394540000121
在GD算法中，每次迭代都用到所有图片，参数更新如下：
Figure GDA0002214394540000126
Figure GDA0002214394540000122
其中，j表示迭代次数，j≥0，η为学习率，根据具体应用，赋予其合适的常数值。
在SGD中使用一个图片进行梯度更新，即
Figure GDA0002214394540000123
中的N等于1，每一次更新参数使用一个图片。在图片量超过几十万的情况下，那么只用其中几万条或者几千条的图片，就能够将θ迭代到最优解。SGD参数更新如下。
Figure GDA0002214394540000124
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法计算一个批量的的梯度，此时将公式(9)中的gj写成公式(11)gB的形式。
Figure GDA0002214394540000127
其中，
Figure GDA0002214394540000125
是一个大小为M的小批量。
从公式(9)中可以看出||gj||∝||h(θ，Xi)||，||gj||∝||Xi||，gB是计算一个小批量上的gj，gB∝gj。在数据集中所有图片独立同分布，那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系，即var(gj)∝vari，那么var(gB)∝vari。DNN中通过卷积层和激活函数对输入图片进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是视为与输入图片成正比。
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN。
Figure GDA0002214394540000131
由Chaudhari&Soatto定理可知，在回置抽样(有放回的抽样)中，大小为B 的小批量的方差等于
Figure GDA0002214394540000132
Figure GDA0002214394540000133
当损失函数接近最小值时，D(θ，X)相当于Hessian矩阵
Figure GDA0002214394540000134
的缩放版，
Figure GDA0002214394540000135
即
Figure GDA0002214394540000136
由于var(gB)∝vari，那么
Figure GDA0002214394540000137
由于var(gB)≥0，在D(x)为
Figure GDA0002214394540000138
的缩放版，
Figure GDA0002214394540000139
时，
Figure GDA00022143945400001310
var(gB)∝vari，
Figure GDA00022143945400001311
Figure GDA00022143945400001312
B>0，D(x)为
Figure GDA00022143945400001313
的缩放版，所以可知
Figure GDA00022143945400001314
从而建立输入图片方差vari与损失函数的Hessian矩阵
Figure GDA00022143945400001315
的正比关系。
定义3损失函数Hessian矩阵与损失函数最小值的关系。
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系，引入三种局部平滑序列。
假设θ* 是
Figure GDA00022143945400001318
为最小值时的模型参数，{θj}j>0为参数更新过程。θ*的邻域为
Figure GDA00022143945400001316
其中
Figure GDA00022143945400001317
θ*的局部平滑序列定义为{Λ(θj)}j≥0，如公式(14)所示。
Figure GDA0002214394540000141
在{θj}j≥0中的前向邻域记为
Figure GDA0002214394540000142
其中
Figure GDA0002214394540000143
一个理想局部平滑序列为
Figure GDA0002214394540000144
如公式(15)所示。
Figure GDA0002214394540000145
在{θj}j≥0中的后向邻域记为
Figure GDA0002214394540000146
其中
Figure GDA0002214394540000147
一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示。
Figure GDA0002214394540000148
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性。
Figure GDA0002214394540000149
是一个理想局部平滑能够使θj快速移向θj+1。由于θ*和θj+1未知，Λ(θj)和
Figure GDA00022143945400001410
不能直接被计算，L(θj)与θj、θj-1相关，我们通过预测平滑序列，从而构造预测噪声。当损失函数二阶连续可导，有下面公式。
Figure GDA00022143945400001411
将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学***滑度L(θj)与
Figure GDA00022143945400001414
成正比，所以在整个网络的参数更新中，L(θ)与
Figure GDA00022143945400001415
成正比：当
Figure GDA00022143945400001416
大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当
Figure GDA00022143945400001417
小时，由于函数变化缓慢，函数波形平坦，参数更新时步长增大，从而建立Hessian矩阵
Figure GDA00022143945400001418
与损失函数最小值的关系：
Figure GDA00022143945400001419
较大时，损失函数变化剧烈，函数波形陡峭，梯度更新算法在进行参数更新时，设置步长较小，防止梯度更新算法越过损失函数最小值；
Figure GDA0002214394540000151
较小时，损失函数变化缓慢，损失函数波形平坦，梯度更新算法在进行参数更新时，设置步长较大，有利于算法遍历更多区域。
定义4基于图片方差设计自适应比例的方法。
由于
Figure GDA0002214394540000152
与函数平滑度成正比，由于这里的vari≥0，
Figure GDA0002214394540000153
可以将
Figure GDA0002214394540000154
的绝对值去掉；下面提到的
Figure GDA0002214394540000155
就是Hessian矩阵；设计自适应比例为ratioi，将生成对抗网络生成的噪声
Figure GDA0002214394540000156
与当前输入图片Xi融合生成新图片如公式(18)所示：
Figure GDA0002214394540000157
ratioi由根据图片方差生成，当图片方差vari增大时，ratioi增大，损失函数比较“陡峭”，L(θj)增大，则
Figure GDA0002214394540000158
值增大，由公式(18)可知噪声的权重为1-ratioi，即新图片
Figure GDA0002214394540000159
根据vari自动调小噪声的比例，减小加到输入图片上的噪声，因为如果此时ratioi过大，那么梯度更新算法在进行参数更新时越过最小值点；在vari值减小时，ratioi减小，损失函数比较平坦，L(θj)减小，
Figure GDA00022143945400001510
值减小，噪声的比例大，扰动大，梯度更新算法在参数更新时变化幅度大，有助于加速算法收敛速度；在一个大小为M的批量上提取图片方差，为了消除图片幅度不一致带来的影响，将所有图片的方差归一化，即vari∈[0，1]，i∈[1，2，...，M]，并且将归一化后的图片方差相加得到
Figure GDA00022143945400001511
假设当前输入图片是Xi，那么该图片权重为ratioi＝vari/var，该图片所添加的噪声的权重为1-ratioi；当图片方差vari增大时，图片权重ratioi增大，噪声权重1-ratioi随之减小；当图片方差vari减小时，图片权重ratioi减小，噪声权重1-ratioi随之增大；从而添加到图片中的噪声能能够根据图片方差自适应调节比例，有益于网络收敛到局部最小值。
本方法的具体步骤如下：
步骤一：生成对抗网络中的生成网络使用四个卷积层对输入高维图片X进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对隐变量进行上采样操作，将其映射回高维数据空间，得到与输入图片相似的噪声。
步骤二：将输入图片和噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入图片的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是本方法所需要的最终的噪声。
步骤三：提取一个批量上所有图片的方差，并将该批量上所有图片方差归一化，当前图片的方差vari与所有(当前批量)图片之和
Figure GDA0002214394540000161
的比值就是自适应比例ratioi，将该自适应比例作为原图片的权重，将该1-ratioi作为步骤二中生成噪声的权重，生成新图片
Figure GDA0002214394540000169
用公式表示为
Figure GDA0002214394540000162
Figure GDA0002214394540000163
当损失函数比较陡峭时，增大新图片
Figure GDA0002214394540000164
中的噪声比例减小，避免损失函数越过最小值；当损失函数比较平坦时，增大新图片中的噪声比例，有助于加快网络的收敛速度。
步骤四：步骤三中，自适应比例小于等于1，所以生成的新图片
Figure GDA0002214394540000165
丢失一部分真实信息，此时将
Figure GDA0002214394540000166
与Xi进行像素相加，为
Figure GDA0002214394540000167
补充原图片信息，最终生成有益于提高DNN检测率的新图片
Figure GDA0002214394540000168
以上为本发明的优选实施方式，并不限定本发明的保护范围，对于本领域技术人员根据本发明的设计思路做出的变形及改进，都应当视为本发明的保护范围之内。

Claims (9)

1.基于生成对抗网络与自适应比例生成样本图片的方法，包括以下步骤:
S1由生成对抗网络生成与输入样本图片分布接近的噪声；
S2根据输入样本图片方差构造自适应比例，将输入样本图片与生成对抗网络生成的噪声以该比例进行融合生成新样本图片,新样本图片根据自适应比例调节噪声与输入样本图片比重；
S3将新样本图片和输入样本图片进行像素相加，从而为新样本图片补充输入样本图片的信息，生成有益于提高DNN检测率的最终样本图片。
2.根据权利要求1所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述步骤S1具体包括：
步骤一，生成对抗网络中的生成网络使用四个卷积层对输入样本图片Xi进行下采样操作，得到低维隐变量，再将低维隐变量经过四次相反的卷积操作，对经过四次相反的卷积操作后的低隐变量进行上采样操作，将其映射回高维数据空间，得到与输入样本图片接近的噪声；假设图片总数为N，i∈[1，N]，N是一个有限的实数，其大小等于训练集中图片的总数，训练集确定下来后，N的大小也随之确定；
步骤二，将输入样本图片与噪声共同送入生成对抗网络中的鉴别网络，鉴别网络与生成网络形成对抗机制，在二者的博弈过程中，噪声的分布与输入样本图片的分布越来越接近，最终生成网络与鉴别网络达到动态平衡，生成网络的输出就是所需要的最终的噪声。
3.根据权利要求2所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述步骤一具体为：
假设输入样本图片Xi的分布为Pdata，生成网络利用四个卷积层将输入样本图片映射到低维隐变量空间，得到分布为PZ(Zi)的低维隐变量Zi，然后生成网络根据低维隐变量Zi生成分布为Pg的图片，该图片就是步骤S1所需要添加到Xi上的噪声，用符号G(X)表示生成网路根据Xi生成噪声的过程；D(X)表示鉴别网络判断X来自于Pdata或Pg；训练鉴别网络时，最大化拥有正确标签图片的概率；训练生成网络时，最小化log(1-D(G(X)))，相当于使生成图片的分布越接近Pdata；用公式表示为：
minGminDV(D,G) (1)
其中，
Figure FDA0002432910620000021
令V(D,G)关于D(X)的导数为0，有公式(2)：
Figure FDA0002432910620000022
那么，最优鉴别网络如公式(3)所示：
Figure FDA0002432910620000023
从公式(3)中看出，一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例；如果Pdata(X)＝0，Pg(X)≠0，最优鉴别网络的概率0；如果Pdata(X)＝Pg(X)，说明图片是真假的概率各占一半，最优鉴别网络的概率为0.5；将最优鉴别网络带入V(D,G)，进行简单变换最终到公式(4)：
Figure FDA0002432910620000024
此时直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离，网路在优化JS散度时，相当于将生成分布Pg拉向真实分布Pdata，在对抗机制下，Pg慢慢逼近Pdata，从而得到步骤S1所需的与输入样本图片分布接近的噪声。
4.根据权利要求1-3任一所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述步骤S2具体包括：
步骤三，提取一个批量上所有输入样本图片的方差，并将该批量上所有输入样本图片方差归一化，当前输入样本图片的方差用vari表示，vari与所有当前批量输入样本图片之和
Figure FDA0002432910620000031
的比值就是自适应比例ratioi，即
Figure FDA0002432910620000032
Figure FDA0002432910620000033
将该自适应比例ratioi作为输入样本图片的权重，将该1-ratioi作为步骤二中生成噪声
Figure FDA0002432910620000034
的权重，生成新样本图片
Figure FDA0002432910620000035
用公式表示为：
Figure FDA0002432910620000036
当损失函数比较陡峭时，增大vari，增大ratioi，减小新样本图片
Figure FDA0002432910620000037
中的噪声比例，避免损失函数越过最小值；当损失函数比较平坦时，减小vari，减小ratioi，增大新样本图片
Figure FDA0002432910620000038
中的噪声比例，有助于加快网络的收敛速度。
5.根据权利要求4所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述步骤三包括：建立输入样本图片方差与DNN中损失函数Hessian矩阵的关系、建立损失函数的Hessian矩阵与损失函数最小值的关系，从而得到输入样本图片方差与损失函数最小值之间的关系，根据输入样本图片方差设计自适应比例，最终帮助梯度更新算法寻找损失函数最小值点，提高DNN的检测率。
6.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述输入样本图片方差与损失函数的Hessian矩阵的关系的建立具体为：
假设第i个图片为Xi，经过一个线性模型后得到h(θ,Xi)：
h(θ,Xi)＝θTXi (5)
其中，θ表示模型参数，i∈[1，N]；
采用DNN中常用的损失函数最小均方误差，假设损失函数为f(θ,X)，f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方，
Figure FDA0002432910620000041
其中，系数1/2无限定意义，仅为了便于计算；
在GD算法中，每次迭代都用到所有图片，参数更新如下：
Figure FDA0002432910620000042
Figure FDA0002432910620000043
其中，j表示迭代次数，j≥0，η是一个超参数，根据具体应用，赋予其合适的常数值；
在SGD中使用一个图片进行梯度更新，即
Figure FDA0002432910620000044
中的N等于1，每一次更新参数使用一个图片；在图片量超过几十万的情况下，那么只用其中几万条或者几千条的图片，就能够将θ迭代到最优解，SGD参数更新如下：
Figure FDA0002432910620000051
θj+1＝θj-ηgj (10)
在模型训练时，SGD算法计算一个批量的梯度，此时将公式(9)中的gj写成公式(11)gB的形式，
Figure FDA0002432910620000052
其中，
Figure FDA0002432910620000053
是一个大小为M的小批量；
从公式(9)中看出||gj||∝||h(θ,Xi)||，||gj||∝||Xi||，gB是计算一个小批量上的gj，gB∝gj；在数据集中所有图片独立同分布，那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系，即var(gj)∝vari，那么var(gB)∝vari；DNN中通过卷积层和激活函数对输入样本图片进行变化，卷积操作可以看作是线性变化过程，激活函数虽然引入了一定的非线性，但是视为与输入样本图片成正比；
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN，
Figure FDA0002432910620000054
由Chaudhari&Soatto定理可知，在回置抽样中，大小为B的小批量的方差等于
Figure FDA0002432910620000055
Figure FDA0002432910620000056
当损失函数接近最小值时，D(θ,X)相当于Hessian矩阵
Figure FDA0002432910620000057
的缩放版，
Figure FDA0002432910620000058
即
Figure FDA0002432910620000059
由于var(gB)∝vari，那么
Figure FDA00024329106200000510
由于var(gB)≥0，在D(x)为
Figure FDA00024329106200000511
的缩放版，
Figure FDA0002432910620000061
时，
Figure FDA0002432910620000062
var(gB)∝vari，
Figure FDA0002432910620000063
Figure FDA0002432910620000064
B＞0,D(x)为
Figure FDA0002432910620000065
的缩放版，所以可知
Figure FDA0002432910620000066
从而建立输入样本图片方差vari与损失函数的Hessian矩阵
Figure FDA0002432910620000067
的正比关系。
7.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述损失函数Hessian矩阵与损失函数最小值的关系的建立具体为：
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系，引入三种局部平滑序列；
假设θ*是
Figure FDA0002432910620000068
为最小值时的模型参数，{θj}j≥0为参数更新过程，θ*的邻域为
Figure FDA0002432910620000069
其中
Figure FDA00024329106200000610
θ*的局部平滑序列定义为{Λ(θj)}j≥0，如公式(14)所示，
Figure FDA00024329106200000611
在{θj}j≥0中的前向邻域记为
Figure FDA00024329106200000612
其中
Figure FDA00024329106200000613
一个理想局部平滑序列为
Figure FDA00024329106200000614
如公式(15)所示，
Figure FDA00024329106200000615
在{θj}j≥0中的后向邻域记为
Figure FDA00024329106200000616
其中
Figure FDA00024329106200000617
一个预测局部平滑序列为{L(θj)}j≥0，如公式(16)所示，
Figure FDA00024329106200000618
；
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性，
Figure FDA0002432910620000071
是一个理想局部平滑能够使θj快速移向θj+1，由于θ*和θj+1未知，Λ(θj)和
Figure FDA0002432910620000072
不能直接被计算，L(θj)与θj、θj-1相关，通过预测平滑序列，从而构造预测噪声；当损失函数二阶连续可导，有下面公式，
Figure FDA0002432910620000073
将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学***滑度L(θj)与
Figure FDA0002432910620000076
成正比，所以在整个网络的参数更新中，L(θ)与
Figure FDA0002432910620000077
成正比：当
Figure FDA0002432910620000078
大时，由于损失函数变化剧烈，函数波形陡峭，参数更新时的步长减小；当
Figure FDA0002432910620000079
小时，由于损失函数变化缓慢，函数波形平坦，参数更新时步长增大，从而建立Hessian矩阵
Figure FDA00024329106200000710
与损失函数最小值的关系:
Figure FDA00024329106200000711
较大时，损失函数变化剧烈，函数波形陡峭，梯度更新算法在进行参数更新时，设置步长较小，防止梯度更新算法越过损失函数最小值；
Figure FDA00024329106200000712
较小时，损失函数变化缓慢，损失函数波形平坦，梯度更新算法在进行参数更新时，设置步长较大，有利于算法遍历更多区域。
8.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，根据输入样本图片方差设计自适应比例具体为:
由于
Figure FDA0002432910620000081
Figure FDA0002432910620000082
与函数平滑度L(θj)成正比，由于这里的vari≥0，
Figure FDA0002432910620000083
可以将
Figure FDA0002432910620000084
的绝对值去掉；下面提到的
Figure FDA0002432910620000085
就是Hessian矩阵；设计自适应比例为ratioi，将生成对抗网络生成的噪声
Figure FDA0002432910620000086
与当前输入样本图片Xi融合生成新样本图片如公式(18)所示：
Figure FDA0002432910620000087
ratioi由根据输入样本图片方差生成，当输入样本图片方差vari增大时，ratioi增大，损失函数比较“陡峭”，L(θj)增大，则
Figure FDA0002432910620000088
的值增大，由公式(18)可知噪声的权重为1-ratioi，即新样本图片
Figure FDA0002432910620000089
根据vari自动调小噪声的比例，减小加到输入样本图片上的噪声，因为如果此时ratioi过大，那么梯度更新算法在进行参数更新时越过最小值点；在vari值减小时，ratioi减小，损失函数比较平坦，L(θj)减小，
Figure FDA00024329106200000810
值减小，噪声的比例大，扰动大，梯度更新算法在参数更新时变化幅度大，有助于加速算法的收敛速度；在一个大小为M的批量上提取输入样本图片方差，为了消除图片幅度不一致带来的影响，将所有输入样本图片的方差归一化，即vari∈[0,1]，i∈[1,2,…,M]，并且将归一化后的输入样本图片方差相加得到
Figure FDA00024329106200000811
假设当前输入样本图片是Xi，那么该图片权重为ratioi＝vari/var，该图片所添加的噪声的权重为1-ratioi；当输入样本图片方差vari增大时，图片权重ratioi增大，噪声权重1-ratioi随之减小；当输入样本图片方差vari减小时，图片权重ratioi减小，噪声权重1-ratioi随之增大；从而添加到图片中的噪声能够根据输入样本图片方差自适应调节比例，有益于网络收敛到局部最小值。
9.根据权利要求4所述的基于生成对抗网络与自适应比例生成样本图片的方法，其特征在于，所述步骤S3具体包括：
步骤四：由于步骤三中，自适应比例小于等于1，所以由噪声与输入样本图片生成的新样本图片
Figure FDA0002432910620000091
丢失一部分真实信息，此时将
Figure FDA0002432910620000092
与Xi进行像素相加，为
Figure FDA0002432910620000093
补充输入样本图片信息，最终生成有益于提高DNN检测率的最终样本图片
Figure FDA0002432910620000094
CN201810762313.9A 2018-07-12 2018-07-12 基于生成对抗网络与自适应比例生成样本图片的方法 Expired - Fee Related CN109165735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810762313.9A CN109165735B (zh) 2018-07-12 2018-07-12 基于生成对抗网络与自适应比例生成样本图片的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810762313.9A CN109165735B (zh) 2018-07-12 2018-07-12 基于生成对抗网络与自适应比例生成样本图片的方法

Publications (2)

Publication Number Publication Date
CN109165735A CN109165735A (zh) 2019-01-08
CN109165735B true CN109165735B (zh) 2020-06-23

Family

ID=64897771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810762313.9A Expired - Fee Related CN109165735B (zh) 2018-07-12 2018-07-12 基于生成对抗网络与自适应比例生成样本图片的方法

Country Status (1)

Country Link
CN (1) CN109165735B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488422A (zh) * 2019-01-25 2020-08-04 深信服科技股份有限公司 一种结构化数据样本的增量方法、装置、电子设备及介质
CN109948663B (zh) * 2019-02-27 2022-03-15 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN109815943B (zh) * 2019-03-18 2021-02-09 北京石油化工学院 一种危化品仓储堆垛图片样本生成方法及***
CN110276377B (zh) * 2019-05-17 2021-04-06 杭州电子科技大学 一种基于贝叶斯优化的对抗样本生成方法
CN110298384B (zh) * 2019-06-03 2021-03-12 西华大学 对抗样本图像生成方法和装置
CN110781976B (zh) * 2019-10-31 2021-01-05 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN111160667B (zh) * 2020-01-02 2023-05-30 北京工商大学 一种提高食品安全预测模型鲁棒性的方法及装置
CN112462001B (zh) * 2020-11-17 2021-07-23 吉林大学 一种基于条件生成对抗网络进行数据增广的气体传感器阵列模型校准方法
CN112861759B (zh) * 2021-02-24 2022-05-10 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置
CN113077013A (zh) * 2021-04-28 2021-07-06 上海联麓半导体技术有限公司 基于生成对抗网络的高维数据故障异常检测方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171266A (zh) * 2017-12-25 2018-06-15 中国矿业大学 一种多目标深度卷积生成式对抗网络模型的学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293289B (zh) * 2017-06-13 2020-05-29 南京医科大学 一种基于深度卷积生成对抗网络的语音生成方法
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171266A (zh) * 2017-12-25 2018-06-15 中国矿业大学 一种多目标深度卷积生成式对抗网络模型的学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks;Emily Denton 等;《NIPS"15 Proceedings of the 28th International Conference on Neural Information Processing Systems》;20150618;第1卷;第1486-1494页 *
TRAINING TRIPLET NETWORKS WITH GAN;Maciej Zieba 等;《Workshop track-ICLR 2017》;20170406;第1-6页 *

Also Published As

Publication number Publication date
CN109165735A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109165735B (zh) 基于生成对抗网络与自适应比例生成样本图片的方法
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
Liu et al. A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching
Xiao et al. Recurrent 3d-2d dual learning for large-pose facial landmark detection
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN110276377A (zh) 一种基于贝叶斯优化的对抗样本生成方法
US10943352B2 (en) Object shape regression using wasserstein distance
CN111737743A (zh) 一种深度学习差分隐私保护方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN114019467B (zh) 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法
CN112085055A (zh) 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
Sun et al. Learning local quality-aware structures of salient regions for stereoscopic images via deep neural networks
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与***
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及***
CN115239760B (zh) 一种目标跟踪方法、***、设备及存储介质
Liu et al. Adaptive transfer learning for PINN
CN113536939B (zh) 一种基于3d卷积神经网络的视频去重方法
WO2022091335A1 (ja) 物体追跡装置、物体追跡理方法、及び、記録媒体
CN111145221A (zh) 一种基于多层深度特征提取的目标跟踪算法
US20190156182A1 (en) Data inference apparatus, data inference method and non-transitory computer readable medium
Millan et al. Explaining regression based neural network model
KR20190129422A (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
CN115019083A (zh) 基于少样本学习的词嵌入图神经网络的细粒度图分类方法
CN114332623A (zh) 一种利用空间变换生成对抗样本的方法和***
CN114428954A (zh) 一种基于动态化网络结构学习的黑盒攻击***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623