CN109165735B - 基于生成对抗网络与自适应比例生成样本图片的方法 - Google Patents
基于生成对抗网络与自适应比例生成样本图片的方法 Download PDFInfo
- Publication number
- CN109165735B CN109165735B CN201810762313.9A CN201810762313A CN109165735B CN 109165735 B CN109165735 B CN 109165735B CN 201810762313 A CN201810762313 A CN 201810762313A CN 109165735 B CN109165735 B CN 109165735B
- Authority
- CN
- China
- Prior art keywords
- picture
- sample picture
- network
- input sample
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003044 adaptive effect Effects 0.000 title claims description 36
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 91
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000009499 grossing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000009286 beneficial effect Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络与自适应比例生成新图片的方法,包括以下步骤:S1,在输入图片上直接添加由生成对抗网络生成的与输入图片分布接近的噪声;S2根据图片方差构造自适应比例,将输入图片与生成对抗网络生成的噪声以该比例进行融合生成新图片,新图片根据自适应比例调节噪声与输入图片比重;S3通过图片和噪声像素相加的操作为新图片补充原图片信息,生成有益于提高DNN检测率的最终图片。采用本方法提高了DNN的准确率,成本相对较小的,复杂度也更低。
Description
技术领域
本发明属于深度神经网络的技术领域,具体涉及一种基于生成对抗网络与自适应比例生成样本图片的方法。
背景技术
计算机视觉主要是利用机器试图建立能够从图像或者多维数据中获取“信息”的人工智能***,具体来说是指利用摄影机和电脑等代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。而深度神经网络(DNN)是计算机视觉应用的基础,近几年随着计算机硬件能力的不断提高,DNN技术的发展也突飞猛进,尤其是在计算机视觉领域如图像分类,目标定位等,DNN的准确率甚至超过人眼。为了进一步提高DNN的准确率,大量的研究主要关注于构造更深更复杂的模型和采集更多的图片扩充训练集方面。然而,DNN本身具有非常庞大的参数,更深的模型将会大量增加网络参数,使得计算成本上升,训练难度也增大。采集更多的图片扩展训练集虽然能够明显提高网络性能,但是由于长尾现象,当数据达到一定量时,准确率的提升非常小,并且采集图片的成本非常昂贵。
因此,在常用数据集上,利用经典或者构造合理的DNN来提升性能就十分重要。简单神经网络的优化问题是凸优化问题,“凸优化”是指一种比较特殊的优化,具体是指求取最小值的目标函数为凸函数的一类优化问题,其通过一些常用算法如Gradient Descend(GD)、Stochastic Gradient Descend(SGD)等能够快速收敛到最小值;而DNN的优化问题则是一个非凸优化问题,网络中存在大量的鞍点,在模型参数中加入噪声扰动或者根据Hessian矩阵找出鞍点逃逸方向的方法能够提升模型性能,但是改变模型参数直接影响梯度更新算法性能,可能导致模型收敛下降,并且需要严格的理论证明改变后的优化算法的收敛性。
因此仍需要进一步研究一种新的方法来提高DNN的准确率。
发明内容
本发明的目的是为了解决上述问题,提供一种基于生成对抗网络与自适应比例生成新图片的方法,提高了DNN的准确率,成本相对较小的,复杂度也更低。
为了达到上述发明目的,本发明采用以下技术方案:
基于生成对抗网络与自适应比例生成新图片的方法,包括以下步骤:
S1,在输入图片上直接添加由生成对抗网络生成的与输入图片分布接近的噪声;
S2根据图片方差构造自适应比例,将输入图片与生成对抗网络生成的噪声以该比例进行融合生成新图片,新图片根据自适应比例调节噪声与输入图片比重;
S3通过图片和噪声像素相加的操作得到新图片补充输入图片信息,生成有益于提高DNN检测率的最终图片。
作为优选的技术方案,所述步骤S1具体包括:
步骤一,生成对抗网络中的生成网络使用四个卷积层对输入图片Xi进行下采样操作,得到低维隐变量,再将低维隐变量经过四次相反的卷积操作,对隐变量进行上采样操作,将其映射回高维数据空间,得到与输入图片相似的噪声;其中,Xi为输入图片,假设图片总数为N,i∈[1,N],N是一个有限的实数,其大小等于训练集中图片的总数,训练集确定下来后,N的大小也随之确定;
步骤二,将输入图片与噪声共同送入生成对抗网络中的鉴别网络,鉴别网络与生成网络形成对抗机制,在二者的博弈过程中,噪声的分布与输入图片的分布越来越接近,最终生成网络与鉴别网络达到动态平衡,生成网络的输出就是所需要的最终的噪声。
作为优选的技术方案,所述步骤一具体为:
假设输入图片Xi的分布为Pdata,生成网络利用若干卷积层将输入图片映射到低维隐变量空间,得到分布为PZ(Zi)的低维隐变量Zi,然后生成网络根据低维隐变量Zi生成分布为Pg的新图片,该新图片就是步骤S1所需要添加到Xi上的噪声,用符号G(X)表示生成网路根据Xi生成新图片的过程;D(X)表示X来自于Pdata或Pg;训练鉴别网络时最大化拥有正确标签图片的概率;训练生成网络时,最小化log(1-D(G(X))),相当于使生成图片的分布越接近真实分布。用公式表示为:
minG minD V(D,G) (1)
令V(D,G)关于D(X)的导数为0,有公式(2);
那么,最优鉴别网络如公式(3)所示;
从公式(3)中可以看出,一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例;如果Pdata(X)=0,Pg(X)≠0,最优鉴别网络的概率0;如果 Pdata(X)=Pg(X),说明图片是真假的概率各占一半,最优鉴别网络的概率为0.5;将最优鉴别网络带入V(D,G),进行简单变换最终到公式(4);
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离,网路在优化JS散度时,相当于将生成分布Pg拉向真实分布Pdata,在对抗机制下,Pg慢慢逼近Pdata,从而得到步骤S1所需的与输入图片相似的噪声。
作为优选的技术方案,所述步骤S2具体包括:
步骤三,提取一个批量上所有图片的方差,并将该批量上所有图片方差归一化,当前图片Xi的方差用vari表示,vari与所有当前批量图片之和的比值就是自适应比例ratioi,将该自适应比例作为原图片的权重,将该1-ratioi作为步骤二中生成噪声的权重,生成新图片用公式表示为:
当损失函数比较陡峭时,增大vari,增大ratioi,减小新图片中的噪声比例,避免损失函数越过最小值;当损失函数比较平坦时,减小vari,减小ratioi,增大新图片中的噪声比例,有助于加快网络的收敛速度。
作为优选的技术方案,所述步骤三包括:输入图片方差与DNN中损失函数Hessian矩阵的关系的建立、损失函数的Hessian矩阵与损失函数最小值的关系的建立,从而得到输入图片方差与损失函数最小值之间的关系,根据输入图片方差设计自适应比例,最终帮助梯度更新算法寻找损失函数最小值点,提高 DNN的检测率。
作为优选的技术方案,所述输入图片方差与损失函数的Hessian矩阵的关系的建立具体为:
假设第i个图片为Xi,经过一个线性模型后得到h(θ,Xi);
h(θ,Xi)=θTXi (5) 其中,θ表示模型参数,i∈[1,N];
采用DNN中常用的损失函数最小均方误差(MSE),假设损失函数为f(θ,X), f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方,
其中,系数1/2无限定意义,仅为了便于计算;
在GD算法中,每次迭代都用到所有图片,参数更新如下:
其中,j表示迭代次数,j≥0,η是一个超参数,根据具体应用,赋予其合适的常数值;
θj+1=θj-ηgj (10)
在模型训练时,SGD算法计算一个批量的梯度,此时将公式(9)中的gj写成公式(11)gB的形式,
从公式(9)中可以看出||gj||∝||h(θ,Xi)||,||gj||∝||Xi||,gB是计算一个小批量上的gj,gB∝gj;在数据集中所有图片独立同分布,那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系,即var(g j)∝vari,那么var(gB)∝vari;DNN中通过卷积层和激活函数对输入图片进行变化,卷积操作可以看作是线性变化过程,激活函数虽然引入了一定的非线性,但是视为与输入图片成正比;
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN,
当损失函数接近最小值时,D(θ,X)相当于Hessian矩阵的缩放版,即由于var(gB)∝vari,那么由于var(gB)≥0,在D(x)为的缩放版,时,var(gB)∝vari, B>0,D(x)为的缩放版,所以可知从而建立输入图片方差vari与损失函数的Hessian矩阵的正比关系。
作为优选的技术方案,所述损失函数Hessian矩阵与损失函数最小值的关系的建立具体为:
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系,引入三种局部平滑序列;
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性,是一个理想局部平滑能够使θj快速移向θj+1,由于θ*和θj+1未知,Λ(θj)和不能直接被计算,L(θj)与θj、θj-1相关,通过预测平滑序列,从而构造预测噪声;当损失函数二阶连续可导,有下面公式,
将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学***滑度L(θj)与成正比,所以在整个网络的参数更新中,L(θ)与成正比:当大时,由于损失函数变化剧烈,函数波形陡峭,参数更新时的步长减小;当小时,由于函数变化缓慢,函数波形平坦,参数更新时步长增大,从而建立Hessian矩阵与损失函数最小值的关系:较大时,损失函数变化剧烈,函数波形陡峭,梯度更新算法在进行参数更新时,设置步长较小,防止梯度更新算法越过损失函数最小值;较小时,损失函数变化缓慢,损失函数波形平坦,梯度更新算法在进行参数更新时,设置步长较大,有利于算法遍历更多区域。
作为优选的技术方案,根据图片方差设计自适应比例具体为:
由于与函数平滑度成正比,由于这里的vari≥0,可以将的绝对值去掉;下面提到的就是Hessian矩阵;设计自适应比例为ratioi,将生成对抗网络生成的噪声与当前输入图片Xi融合生成新图片如公式(18)所示:
ratioi由根据图片方差生成,当图片方差vari增大时,ratioi增大,损失函数比较“陡峭”,L(θj)增大,则值增大,由公式(18)可知噪声的权重为1-ratioi,即新图片根据vari自动调小噪声的比例,减小加到输入图片上的噪声,因为如果此时ratioi过大,那么梯度更新算法在进行参数更新时越过最小值点;在vari值减小时,ratioi减小,损失函数比较平坦,L(θj)减小,值减小,噪声的比例大,扰动大,梯度更新算法在参数更新时变化幅度大,有助于加速算法收敛速度;在一个大小为M的批量上提取图片方差,为了消除图片幅度不一致带来的影响,将所有图片的方差归一化,即vari∈[0,1],i∈[1,2,...,M],并且将归一化后的图片方差相加得到假设当前输入图片是Xi,那么该图片权重为ratioi=vari/var,该图片所添加的噪声的权重为1-ratioi;当图片方差vari增大时,图片权重ratioi增大,噪声权重1-ratioi随之减小;当图片方差vari减小时,图片权重ratioi减小,噪声权重1-ratioi随之增大;从而添加到图片中的噪声能能够根据图片方差自适应调节比例,有益于网络收敛到局部最小值。
作为优选的技术方案,所述步骤S3具体包括:
本发明与现有技术相比,有益效果是:
采用本方法无需大量采集图片,准确率高,得到的模型收敛度高,DNN的收敛速度快,而且计算过程简单,有效降低了训练难度。
附图说明
图1为基于生成对抗网络与自适应比例生成新图片的结构示意图;
图2为图1中的自适应比例生成器模块的结构示意图。
具体实施方式
下面通过具体实施例对本发明的技术方案作进一步描述说明,使得本技术方案更加清楚、明白。
本发明将噪声与梯度更新算法解耦,提出一个基于生成对抗网络与自适应比例生成新图片的方法,在输入图片(原图片)上直接添加由生成对抗网络生成的与原图片分布接近的噪声,得到新图片,新图片根据自适应比例调节噪声与原图片比重,在DNN损失函数陡峭时,增大原图片比例,减小噪声比例,避免DNN跨过最小值;在DNN损失函数平坦时,减小原图片比例,增大噪声比例,有利于加快DNN的收敛速度。本发明先根据输入图片在对抗机制下生成与原图片分布接近的噪声;然后根据图片方差构造自适应比例,将原图片与生成对抗网络生成的噪声以该比例进行融合生成新图片,并使用图片和噪声像素相加操作进一步为新生成的图片补充原图片信息。
本实施例的内容可以结合附图1和附图2,可以更加直观来了解本发明的思路。为方便描述本实施例的内容,首先做以下术语定义:
定义1基于生成对抗网络生成噪声的方法。
假设输入图片Xi的分布为Pdata,生成网络利用若干卷积层将输入图片映射到低维隐变量空间,得到分布为PZ(Zi)的低维隐变量Zi,然后生成网络根据低维隐变量Zi生成分布为Pg新图片,该新图片就是本发明所需要添加到X上的噪声,用符号G(X)表示生成网路根据Xi生成新图片的过程;D(X)表示鉴别网络判断X 来自于Pdata或Pg;训练鉴别网络时最大化拥有正确标签图片的概率;训练生成网络时,最小化log(1-D(G(X))),相当于使生成图片的分布越接近真实分布。用公式(1)表示如下所示。
minG minD V(D,G) (1)
令V(D,G)关于D(X)的导数为0,有公式(2)。
那么,最优鉴别网络如公式(3)所示。
从公式(3)中可以看出,一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例。如果Pdata(X)=0,Pg(X)≠0,最优鉴别网络的概率0;如果 Pdata(X)=Pg(X),说明图片是真假的概率各占一半,最优鉴别网络的概率为0.5。将最优鉴别网络带入V(D,G),进行简单变换最终到公式(4)。
此时可以直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离,网路在优化JS散度时,相当于将生成分布Pg拉向真实分布Pdata,在对抗机制下,Pg慢慢逼近Pdata,从而得到步骤S1所需的与输入图片相似的噪声。
定义2输入图片与模型参数的关系。
假设第i个图片为Xi,经过一个线性模型后得到h(θ,Xi)。
h(θ,Xi)=θTXi (5)
其中,θ表示模型参数(不包括输入图片),假设图片总数为N,i∈[1,N]。
本发明以一般DNN中常用的损失函数:最小均方误差(MSE)为例,假设损失函数为f(θ,X),f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方。(本发明将MSE损失函数乘以系数1/2是为了便于计算,对整个分析过程及分析方法并无影响。)
在GD算法中,每次迭代都用到所有图片,参数更新如下:
其中,j表示迭代次数,j≥0,η为学习率,根据具体应用,赋予其合适的常数值。
θj+1=θj-ηgj (10)
在模型训练时,SGD算法计算一个批量的的梯度,此时将公式(9)中的gj写成公式(11)gB的形式。
从公式(9)中可以看出||gj||∝||h(θ,Xi)||,||gj||∝||Xi||,gB是计算一个小批量上的gj,gB∝gj。在数据集中所有图片独立同分布,那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系,即var(gj)∝vari,那么var(gB)∝vari。DNN中通过卷积层和激活函数对输入图片进行变化,卷积操作可以看作是线性变化过程,激活函数虽然引入了一定的非线性,但是视为与输入图片成正比。
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN。
当损失函数接近最小值时,D(θ,X)相当于Hessian矩阵的缩放版,即由于var(gB)∝vari,那么由于var(gB)≥0,在D(x)为的缩放版,时,var(gB)∝vari, B>0,D(x)为的缩放版,所以可知从而建立输入图片方差vari与损失函数的Hessian矩阵的正比关系。
定义3损失函数Hessian矩阵与损失函数最小值的关系。
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系,引入三种局部平滑序列。
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性。是一个理想局部平滑能够使θj快速移向θj+1。由于θ*和θj+1未知,Λ(θj)和不能直接被计算,L(θj)与θj、θj-1相关,我们通过预测平滑序列,从而构造预测噪声。当损失函数二阶连续可导,有下面公式。
将L(θj)的导数作为SGD、Adam等常见的梯度更新算法的自适应学***滑度L(θj)与成正比,所以在整个网络的参数更新中,L(θ)与成正比:当大时,由于损失函数变化剧烈,函数波形陡峭,参数更新时的步长减小;当小时,由于函数变化缓慢,函数波形平坦,参数更新时步长增大,从而建立Hessian矩阵与损失函数最小值的关系:较大时,损失函数变化剧烈,函数波形陡峭,梯度更新算法在进行参数更新时,设置步长较小,防止梯度更新算法越过损失函数最小值;较小时,损失函数变化缓慢,损失函数波形平坦,梯度更新算法在进行参数更新时,设置步长较大,有利于算法遍历更多区域。
定义4基于图片方差设计自适应比例的方法。
由于与函数平滑度成正比,由于这里的vari≥0,可以将的绝对值去掉;下面提到的就是Hessian矩阵;设计自适应比例为ratioi,将生成对抗网络生成的噪声与当前输入图片Xi融合生成新图片如公式(18)所示:
ratioi由根据图片方差生成,当图片方差vari增大时,ratioi增大,损失函数比较“陡峭”,L(θj)增大,则值增大,由公式(18)可知噪声的权重为1-ratioi,即新图片根据vari自动调小噪声的比例,减小加到输入图片上的噪声,因为如果此时ratioi过大,那么梯度更新算法在进行参数更新时越过最小值点;在vari值减小时,ratioi减小,损失函数比较平坦,L(θj)减小,值减小,噪声的比例大,扰动大,梯度更新算法在参数更新时变化幅度大,有助于加速算法收敛速度;在一个大小为M的批量上提取图片方差,为了消除图片幅度不一致带来的影响,将所有图片的方差归一化,即vari∈[0,1],i∈[1,2,...,M],并且将归一化后的图片方差相加得到假设当前输入图片是Xi,那么该图片权重为ratioi=vari/var,该图片所添加的噪声的权重为1-ratioi;当图片方差vari增大时,图片权重ratioi增大,噪声权重1-ratioi随之减小;当图片方差vari减小时,图片权重ratioi减小,噪声权重1-ratioi随之增大;从而添加到图片中的噪声能能够根据图片方差自适应调节比例,有益于网络收敛到局部最小值。
本方法的具体步骤如下:
步骤一:生成对抗网络中的生成网络使用四个卷积层对输入高维图片X进行下采样操作,得到低维隐变量,再将低维隐变量经过四次相反的卷积操作,对隐变量进行上采样操作,将其映射回高维数据空间,得到与输入图片相似的噪声。
步骤二:将输入图片和噪声共同送入生成对抗网络中的鉴别网络,鉴别网络与生成网络形成对抗机制,在二者的博弈过程中,噪声的分布与输入图片的分布越来越接近,最终生成网络与鉴别网络达到动态平衡,生成网络的输出就是本方法所需要的最终的噪声。
步骤三:提取一个批量上所有图片的方差,并将该批量上所有图片方差归一化,当前图片的方差vari与所有(当前批量)图片之和的比值就是自适应比例ratioi,将该自适应比例作为原图片的权重,将该1-ratioi作为步骤二中生成噪声的权重,生成新图片用公式表示为 当损失函数比较陡峭时,增大新图片中的噪声比例减小,避免损失函数越过最小值;当损失函数比较平坦时,增大新图片中的噪声比例,有助于加快网络的收敛速度。
以上为本发明的优选实施方式,并不限定本发明的保护范围,对于本领域技术人员根据本发明的设计思路做出的变形及改进,都应当视为本发明的保护范围之内。
Claims (9)
1.基于生成对抗网络与自适应比例生成样本图片的方法,包括以下步骤:
S1由生成对抗网络生成与输入样本图片分布接近的噪声;
S2根据输入样本图片方差构造自适应比例,将输入样本图片与生成对抗网络生成的噪声以该比例进行融合生成新样本图片,新样本图片根据自适应比例调节噪声与输入样本图片比重;
S3将新样本图片和输入样本图片进行像素相加,从而为新样本图片补充输入样本图片的信息,生成有益于提高DNN检测率的最终样本图片。
2.根据权利要求1所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤S1具体包括:
步骤一,生成对抗网络中的生成网络使用四个卷积层对输入样本图片Xi进行下采样操作,得到低维隐变量,再将低维隐变量经过四次相反的卷积操作,对经过四次相反的卷积操作后的低隐变量进行上采样操作,将其映射回高维数据空间,得到与输入样本图片接近的噪声;假设图片总数为N,i∈[1,N],N是一个有限的实数,其大小等于训练集中图片的总数,训练集确定下来后,N的大小也随之确定;
步骤二,将输入样本图片与噪声共同送入生成对抗网络中的鉴别网络,鉴别网络与生成网络形成对抗机制,在二者的博弈过程中,噪声的分布与输入样本图片的分布越来越接近,最终生成网络与鉴别网络达到动态平衡,生成网络的输出就是所需要的最终的噪声。
3.根据权利要求2所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤一具体为:
假设输入样本图片Xi的分布为Pdata,生成网络利用四个卷积层将输入样本图片映射到低维隐变量空间,得到分布为PZ(Zi)的低维隐变量Zi,然后生成网络根据低维隐变量Zi生成分布为Pg的图片,该图片就是步骤S1所需要添加到Xi上的噪声,用符号G(X)表示生成网路根据Xi生成噪声的过程;D(X)表示鉴别网络判断X来自于Pdata或Pg;训练鉴别网络时,最大化拥有正确标签图片的概率;训练生成网络时,最小化log(1-D(G(X))),相当于使生成图片的分布越接近Pdata;用公式表示为:
minGminDV(D,G) (1)
令V(D,G)关于D(X)的导数为0,有公式(2):
那么,最优鉴别网络如公式(3)所示:
从公式(3)中看出,一个图片X来自真实分布Pdata和生成分布Pg的可能性是相对比例;如果Pdata(X)=0,Pg(X)≠0,最优鉴别网络的概率0;如果Pdata(X)=Pg(X),说明图片是真假的概率各占一半,最优鉴别网络的概率为0.5;将最优鉴别网络带入V(D,G),进行简单变换最终到公式(4):
此时直观的看出生成对抗网络使用JS散度衡量真实分布与生成分布之间的距离,网路在优化JS散度时,相当于将生成分布Pg拉向真实分布Pdata,在对抗机制下,Pg慢慢逼近Pdata,从而得到步骤S1所需的与输入样本图片分布接近的噪声。
4.根据权利要求1-3任一所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤S2具体包括:
步骤三,提取一个批量上所有输入样本图片的方差,并将该批量上所有输入样本图片方差归一化,当前输入样本图片的方差用vari表示,vari与所有当前批量输入样本图片之和的比值就是自适应比例ratioi,即 将该自适应比例ratioi作为输入样本图片的权重,将该1-ratioi作为步骤二中生成噪声的权重,生成新样本图片用公式表示为:
5.根据权利要求4所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述步骤三包括:建立输入样本图片方差与DNN中损失函数Hessian矩阵的关系、建立损失函数的Hessian矩阵与损失函数最小值的关系,从而得到输入样本图片方差与损失函数最小值之间的关系,根据输入样本图片方差设计自适应比例,最终帮助梯度更新算法寻找损失函数最小值点,提高DNN的检测率。
6.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述输入样本图片方差与损失函数的Hessian矩阵的关系的建立具体为:
假设第i个图片为Xi,经过一个线性模型后得到h(θ,Xi):
h(θ,Xi)=θTXi (5)
其中,θ表示模型参数,i∈[1,N];
采用DNN中常用的损失函数最小均方误差,假设损失函数为f(θ,X),f(θ,X)表示预测值h(θ,Xi)与真实值yi之间差值的平方,
其中,系数1/2无限定意义,仅为了便于计算;
在GD算法中,每次迭代都用到所有图片,参数更新如下:
其中,j表示迭代次数,j≥0,η是一个超参数,根据具体应用,赋予其合适的常数值;
θj+1=θj-ηgj (10)
在模型训练时,SGD算法计算一个批量的梯度,此时将公式(9)中的gj写成公式(11)gB的形式,
从公式(9)中看出||gj||∝||h(θ,Xi)||,||gj||∝||Xi||,gB是计算一个小批量上的gj,gB∝gj;在数据集中所有图片独立同分布,那么模型参数θ的一阶导数方差var(gi)与图片Xi方差vari之间存在正比的关系,即var(gj)∝vari,那么var(gB)∝vari;DNN中通过卷积层和激活函数对输入样本图片进行变化,卷积操作可以看作是线性变化过程,激活函数虽然引入了一定的非线性,但是视为与输入样本图片成正比;
SGD相当于通过一个小批量估计gB来估计数据集的梯度gN,
7.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,所述损失函数Hessian矩阵与损失函数最小值的关系的建立具体为:
为了更直观的分析损失函数Hessian矩阵和损失函数最小值关系,引入三种局部平滑序列;
Λ(θj)控制θ*和θj之间的平滑度确保参数更新的收敛性,是一个理想局部平滑能够使θj快速移向θj+1,由于θ*和θj+1未知,Λ(θj)和不能直接被计算,L(θj)与θj、θj-1相关,通过预测平滑序列,从而构造预测噪声;当损失函数二阶连续可导,有下面公式,
8.根据权利要求5所述的基于生成对抗网络与自适应比例生成样本图片的方法,其特征在于,根据输入样本图片方差设计自适应比例具体为:
由于 与函数平滑度L(θj)成正比,由于这里的vari≥0,可以将的绝对值去掉;下面提到的就是Hessian矩阵;设计自适应比例为ratioi,将生成对抗网络生成的噪声与当前输入样本图片Xi融合生成新样本图片如公式(18)所示:
ratioi由根据输入样本图片方差生成,当输入样本图片方差vari增大时,ratioi增大,损失函数比较“陡峭”,L(θj)增大,则的值增大,由公式(18)可知噪声的权重为1-ratioi,即新样本图片根据vari自动调小噪声的比例,减小加到输入样本图片上的噪声,因为如果此时ratioi过大,那么梯度更新算法在进行参数更新时越过最小值点;在vari值减小时,ratioi减小,损失函数比较平坦,L(θj)减小,值减小,噪声的比例大,扰动大,梯度更新算法在参数更新时变化幅度大,有助于加速算法的收敛速度;在一个大小为M的批量上提取输入样本图片方差,为了消除图片幅度不一致带来的影响,将所有输入样本图片的方差归一化,即vari∈[0,1],i∈[1,2,…,M],并且将归一化后的输入样本图片方差相加得到假设当前输入样本图片是Xi,那么该图片权重为ratioi=vari/var,该图片所添加的噪声的权重为1-ratioi;当输入样本图片方差vari增大时,图片权重ratioi增大,噪声权重1-ratioi随之减小;当输入样本图片方差vari减小时,图片权重ratioi减小,噪声权重1-ratioi随之增大;从而添加到图片中的噪声能够根据输入样本图片方差自适应调节比例,有益于网络收敛到局部最小值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810762313.9A CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810762313.9A CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109165735A CN109165735A (zh) | 2019-01-08 |
CN109165735B true CN109165735B (zh) | 2020-06-23 |
Family
ID=64897771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810762313.9A Expired - Fee Related CN109165735B (zh) | 2018-07-12 | 2018-07-12 | 基于生成对抗网络与自适应比例生成样本图片的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109165735B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488422A (zh) * | 2019-01-25 | 2020-08-04 | 深信服科技股份有限公司 | 一种结构化数据样本的增量方法、装置、电子设备及介质 |
CN109948663B (zh) * | 2019-02-27 | 2022-03-15 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
CN109815943B (zh) * | 2019-03-18 | 2021-02-09 | 北京石油化工学院 | 一种危化品仓储堆垛图片样本生成方法及*** |
CN110276377B (zh) * | 2019-05-17 | 2021-04-06 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
CN110298384B (zh) * | 2019-06-03 | 2021-03-12 | 西华大学 | 对抗样本图像生成方法和装置 |
CN110781976B (zh) * | 2019-10-31 | 2021-01-05 | 重庆紫光华山智安科技有限公司 | 训练图像的扩充方法、训练方法及相关装置 |
CN111160667B (zh) * | 2020-01-02 | 2023-05-30 | 北京工商大学 | 一种提高食品安全预测模型鲁棒性的方法及装置 |
CN112462001B (zh) * | 2020-11-17 | 2021-07-23 | 吉林大学 | 一种基于条件生成对抗网络进行数据增广的气体传感器阵列模型校准方法 |
CN112861759B (zh) * | 2021-02-24 | 2022-05-10 | 北京瑞莱智慧科技有限公司 | 一种对抗样本生成方法及装置 |
CN113077013A (zh) * | 2021-04-28 | 2021-07-06 | 上海联麓半导体技术有限公司 | 基于生成对抗网络的高维数据故障异常检测方法及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107293289B (zh) * | 2017-06-13 | 2020-05-29 | 南京医科大学 | 一种基于深度卷积生成对抗网络的语音生成方法 |
CN107437077A (zh) * | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
-
2018
- 2018-07-12 CN CN201810762313.9A patent/CN109165735B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
Non-Patent Citations (2)
Title |
---|
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks;Emily Denton 等;《NIPS"15 Proceedings of the 28th International Conference on Neural Information Processing Systems》;20150618;第1卷;第1486-1494页 * |
TRAINING TRIPLET NETWORKS WITH GAN;Maciej Zieba 等;《Workshop track-ICLR 2017》;20170406;第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109165735A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165735B (zh) | 基于生成对抗网络与自适应比例生成样本图片的方法 | |
CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
Liu et al. | A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching | |
Xiao et al. | Recurrent 3d-2d dual learning for large-pose facial landmark detection | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
CN110276377A (zh) | 一种基于贝叶斯优化的对抗样本生成方法 | |
US10943352B2 (en) | Object shape regression using wasserstein distance | |
CN111737743A (zh) | 一种深度学习差分隐私保护方法 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN114019467B (zh) | 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法 | |
CN112085055A (zh) | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 | |
Sun et al. | Learning local quality-aware structures of salient regions for stereoscopic images via deep neural networks | |
CN113743474A (zh) | 基于协同半监督卷积神经网络的数字图片分类方法与*** | |
CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及*** | |
CN115239760B (zh) | 一种目标跟踪方法、***、设备及存储介质 | |
Liu et al. | Adaptive transfer learning for PINN | |
CN113536939B (zh) | 一种基于3d卷积神经网络的视频去重方法 | |
WO2022091335A1 (ja) | 物体追跡装置、物体追跡理方法、及び、記録媒体 | |
CN111145221A (zh) | 一种基于多层深度特征提取的目标跟踪算法 | |
US20190156182A1 (en) | Data inference apparatus, data inference method and non-transitory computer readable medium | |
Millan et al. | Explaining regression based neural network model | |
KR20190129422A (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
CN115019083A (zh) | 基于少样本学习的词嵌入图神经网络的细粒度图分类方法 | |
CN114332623A (zh) | 一种利用空间变换生成对抗样本的方法和*** | |
CN114428954A (zh) | 一种基于动态化网络结构学习的黑盒攻击*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200623 |