CN107590532A - 一种基于wgan的超参数动态调整方法 - Google Patents
一种基于wgan的超参数动态调整方法 Download PDFInfo
- Publication number
- CN107590532A CN107590532A CN201710690207.XA CN201710690207A CN107590532A CN 107590532 A CN107590532 A CN 107590532A CN 201710690207 A CN201710690207 A CN 201710690207A CN 107590532 A CN107590532 A CN 107590532A
- Authority
- CN
- China
- Prior art keywords
- arbiter
- hyper parameter
- mrow
- wgan
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于WGAN的超参数动态调整方法,属于深度学习神经网络领域,该超参数动态调整方法包括以下步骤:S1、构造沃瑟斯坦生成式对抗网络WGAN模型;S2、输入图像数据集,设置默认的超参数λ,对网络进行训练;S3、在第i次迭代的过程中,记录判别器的损失函数Xi;S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1;S5、计算Xi‑Xi+1的差值,动态调整超参数λ的数值。本方法能够解决在网络训练的过程中,由超参数引起的网络震荡问题,动态调整超参数λ,能够使判别器灵活地学习数据集中的特征,增强自身损失函数递减的稳定性,从而使整个生成对抗网络的训练效果更好。
Description
技术领域
本发明涉及深度学习神经网络技术领域,具体涉及一种基于WGAN的超参数动态调整方法。
背景技术
生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的框架,它基于“博奕论”的思想,构造生成器(generator)和判别器(discriminator)两种模型,前者通过输入(0,1)的均匀噪声或高斯随机噪声生成图像,后者对输入的图像进行判别,确定是来自数据集的图像还是由生成器产生的图像。判别器每完成一次判断,将结果误差返回给生成器。
然而,原始的GAN模型存在着网络训练不稳定、判别器损失函数无法指示网络训练效果等问题。为此,有学者利用Wasserstein距离的思想,提出了WGAN。它与原始GAN的最大不同之处在于,将Wasserstein距离作为判别器的损失函数。这种做法的好处是,网络训练的效果能够根据判别器损失函数的大小来确定。
在标准的WGAN模型中,超参数的设置是默认不变的。它产生的缺点是判别器训练不能保持稳定,损失函数递减不具有平滑性。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提出一种基于WGAN的超参数动态调整方法,通过让判别器的损失函数以更加稳定的形式递减,从而增强整个生成式对抗网络在训练过程当中的稳定性。
本发明的目的可以通过采取如下技术方案达到:
一种基于WGAN的超参数动态调整方法,所述动态调整算法包括下列步骤:
S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
S2、输入图像数据集,设置默认的超参数λ=10,对DCGAN模型进行训练;
S3、在第i次迭代的过程中,记录判别器的损失函数Xi;
S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1;
S5、计算Xi-Xi+1的差值,动态调整λ的数值。
进一步地,所述的步骤S2具体如下:
准备好图像数据集,随机初始化生成器、判别器的卷积神经网络中所有的参数和权重,然后利用随机梯度下降的方法对参数不断进行训练、调整与更新。
进一步地,所述的步骤S3中在第i次迭代的过程中,记录判别器的损失函数Xi,具体如下:
S31、将数据集中的图像输入判别器中进行训练;
S32、记录判别器的损失函数Xi。
进一步地,所述的步骤S4中在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1,过程如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1。
进一步地,所述的步骤S5中,计算Xi-Xi+1的差值,动态调整超参数λ的数值。具体如下
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
本发明相对于现有技术具有如下的优点及效果:
1.动态性:本发明根据WGAN中判别器损失函数的构成形式,根据判别器损失函数的变化情况,动态地调整损失函数中的超参数λ,使得整个网络的训练更加灵活,具有动态性;
2.稳定性:本发明所构建的基于WGAN超参数的动态调整算法,结合了判别器损失函数的构成特点,在损失函数震荡时能够及时灵活地调整超参数λ,使得整个网络在训练的过程中能够保持更加稳定。
附图说明
图1是WGAN网络的整体结构示意图;
图2是将动态调整WGAN超参数λ的算法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例公开了一种基于WGAN的超参数动态调整方法,具体包括下列步骤:
步骤S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
步骤S2、输入图像数据集,设置默认的超参数λ,对DCGAN模型进行训练;
在WGAN中,判别器的损失函数为:
其中,D(x)表示判别器对图像的判别,pr表示数据集图像的分布,pg表示生成图像的分布,λ为超参数,为梯度。
对于判别器的损失函数而言,若超参数λ越大,则从历史数据集中的获取特征的内容越多;反之则越少。因此,根据判别器损失函数的变化情况,可以动态地调整λ的数值,从而增强整个网络在训练过程中的稳定性。
本实施例中,超参数λ示例性地设置为10。
步骤S3、在第i次迭代的过程中,记录判别器的损失函数Xi。
在WGAN中,判别器的损失函数能够反映网络训练的效果。具体而言,若判别器的损失函数越小,则说明整个网络训练的效果越好,即生成图像的质量越好;反之,若判别器的损失函数越大,则说明整个网络训练的效果越差,即生成图像的质量越差。
步骤S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1。
具体方法如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1。
步骤S5、计算Xi-Xi+1的差值,动态调整λ的数值。具体如下:
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
综上所述,本实施例公开了一种基于WGAN的超参数动态调整方法,该算法在WGAN网络训练的过程中,能够根据判别器损失函数的变化情况,动态地对网络超参数λ的数值进行调整,从而能够保证判别器损失函数递减的稳定性,能够减小整个网络在训练过程当中的震荡。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种基于WGAN的超参数动态调整方法,其特征在于,所述的动态调整方法法包括下列步骤:
S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
S2、输入图像数据集,设置默认的超参数λ,对DCGAN模型进行训练;
S3、在第i次迭代的过程中,记录判别器的损失函数为Xi;
S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1;
S5、计算Xi-Xi+1的差值,动态调整超参数λ的数值,若差值为正,则减小λ的数值;若差值为负,则增大λ的数值。
2.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S1中判别器的损失函数为:
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>x</mi>
<mo>~</mo>
<mi>p</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>+</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>x</mi>
<mo>~</mo>
<mi>p</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>+</mo>
<msub>
<mi>&lambda;E</mi>
<mrow>
<mi>x</mi>
<mo>~</mo>
<mi>X</mi>
</mrow>
</msub>
<msub>
<mo>&dtri;</mo>
<mi>x</mi>
</msub>
</mrow>
其中,D(x)表示判别器对图像的判别,pr表示数据集图像的分布,pg表示生成图像的分布,λ为超参数,为梯度。
3.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S2具体如下:
准备好图像数据集,随机初始化生成器、判别器的卷积神经网络中所有的参数和权重,设置超参数λ,然后利用随机梯度下降的方法对参数进行训练。
4.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S3具体如下:
S31、将数据集中的图像输入判别器中进行训练;
S32、记录判别器的损失函数Xi。
5.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S4具体如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1。
6.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S5具体如下:
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
7.根据权利要求3所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的超参数λ设置为10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710690207.XA CN107590532B (zh) | 2017-08-14 | 2017-08-14 | 一种基于wgan的超参数动态调整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710690207.XA CN107590532B (zh) | 2017-08-14 | 2017-08-14 | 一种基于wgan的超参数动态调整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107590532A true CN107590532A (zh) | 2018-01-16 |
CN107590532B CN107590532B (zh) | 2020-09-22 |
Family
ID=61042244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710690207.XA Active CN107590532B (zh) | 2017-08-14 | 2017-08-14 | 一种基于wgan的超参数动态调整方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107590532B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596343A (zh) * | 2018-03-29 | 2018-09-28 | 杭州电子科技大学 | 一种基于反馈调节提高生成对抗网络稳定性的方法 |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
CN108665058A (zh) * | 2018-04-11 | 2018-10-16 | 徐州工程学院 | 一种基于分段损失的生成对抗网络方法 |
CN109840501A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备、存储介质 |
CN111192221A (zh) * | 2020-01-07 | 2020-05-22 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
CN111310791A (zh) * | 2020-01-17 | 2020-06-19 | 电子科技大学 | 一种基于小样本数目集的动态渐进式自动目标识别方法 |
CN112132092A (zh) * | 2020-09-30 | 2020-12-25 | 四川弘和通讯有限公司 | 一种基于卷积神经网络的灭火器和灭火毯的识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170031920A1 (en) * | 2015-07-31 | 2017-02-02 | RCRDCLUB Corporation | Evaluating performance of recommender system |
CN106951919A (zh) * | 2017-03-02 | 2017-07-14 | 浙江工业大学 | 一种基于对抗生成网络的流速监测实现方法 |
CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
-
2017
- 2017-08-14 CN CN201710690207.XA patent/CN107590532B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170031920A1 (en) * | 2015-07-31 | 2017-02-02 | RCRDCLUB Corporation | Evaluating performance of recommender system |
CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
CN106951919A (zh) * | 2017-03-02 | 2017-07-14 | 浙江工业大学 | 一种基于对抗生成网络的流速监测实现方法 |
Non-Patent Citations (4)
Title |
---|
ALEC RADFORD 等: "UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS", 《ARXIV》 * |
IAN J. GOODFELLOW 等: "Generative Adversarial Nets", 《ARXIV》 * |
ISHAAN GULRAJANI 等: "Improved Training of Wasserstein GANs", 《ARXIV》 * |
赖学方 等: "一种带有自适应惩罚权重的惩罚最小一乘估计", 《纺织高校基础科学学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596343A (zh) * | 2018-03-29 | 2018-09-28 | 杭州电子科技大学 | 一种基于反馈调节提高生成对抗网络稳定性的方法 |
CN108665058A (zh) * | 2018-04-11 | 2018-10-16 | 徐州工程学院 | 一种基于分段损失的生成对抗网络方法 |
CN108665058B (zh) * | 2018-04-11 | 2021-01-05 | 徐州工程学院 | 一种基于分段损失的生成对抗网络方法 |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
CN109840501A (zh) * | 2019-01-31 | 2019-06-04 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备、存储介质 |
CN109840501B (zh) * | 2019-01-31 | 2021-06-01 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备、存储介质 |
CN111192221A (zh) * | 2020-01-07 | 2020-05-22 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
CN111192221B (zh) * | 2020-01-07 | 2024-04-16 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
CN111310791A (zh) * | 2020-01-17 | 2020-06-19 | 电子科技大学 | 一种基于小样本数目集的动态渐进式自动目标识别方法 |
CN112132092A (zh) * | 2020-09-30 | 2020-12-25 | 四川弘和通讯有限公司 | 一种基于卷积神经网络的灭火器和灭火毯的识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107590532B (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107590532A (zh) | 一种基于wgan的超参数动态调整方法 | |
CN107590531A (zh) | 一种基于文本生成的wgan方法 | |
CN107563509A (zh) | 一种基于特征返回的条件dcgan模型的动态调整算法 | |
CN107563510A (zh) | 一种基于深度卷积神经网络的wgan模型方法 | |
CN107590518A (zh) | 一种多特征学习的对抗网络训练方法 | |
KR102417043B1 (ko) | 비디오 회의에서의 배경 수정 | |
CN107871142A (zh) | 一种基于深度卷积对抗网络模型的空洞卷积方法 | |
CN113762530B (zh) | 面向隐私保护的精度反馈联邦学习方法 | |
CN107291232A (zh) | 一种基于深度学习与大数据的体感游戏交互方法及*** | |
CN107944358A (zh) | 一种基于深度卷积对抗网络模型的人脸生成方法 | |
CN107392255A (zh) | 少数类图片样本的生成方法、装置、计算设备及存储介质 | |
CN105499575A (zh) | 一种多孔网格结构材料的设计及制作方法 | |
CN108229508A (zh) | 用于训练图像处理装置的训练装置和训练方法 | |
CN107886162A (zh) | 一种基于wgan模型的可变形卷积核方法 | |
CN107943750A (zh) | 一种基于wgan模型的分解卷积方法 | |
CN107330902A (zh) | 基于Arnold变换的混沌遗传BP神经网络图像分割方法 | |
CN108460720A (zh) | 一种基于生成对抗网络模型改变图像风格的方法 | |
CN114019795B (zh) | 一种基于强化学习的盾构掘进纠偏智能决策方法 | |
CN103403762A (zh) | 图像处理装置及图像处理程序 | |
CN102426709B (zh) | 一种基于快速逆向运动学的实时运动合成方法 | |
CN109902824A (zh) | 一种用自适应控制学习改进生成对抗网络方法 | |
CN117829317A (zh) | 一种基于本地模型差异的个性化联邦学习方法 | |
CN104606886B (zh) | 一种分布式无碰撞移动规划的方法 | |
CN107943752A (zh) | 一种基于文本‑图像生成对抗网络模型的可变形卷积方法 | |
CN109993701A (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |