CN109064423B - 一种基于非对称循环生成对抗损失的智能修图方法 - Google Patents
一种基于非对称循环生成对抗损失的智能修图方法 Download PDFInfo
- Publication number
- CN109064423B CN109064423B CN201810810809.9A CN201810810809A CN109064423B CN 109064423 B CN109064423 B CN 109064423B CN 201810810809 A CN201810810809 A CN 201810810809A CN 109064423 B CN109064423 B CN 109064423B
- Authority
- CN
- China
- Prior art keywords
- loss
- image
- graph
- convolution
- unmodified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003042 antagnostic effect Effects 0.000 title description 3
- 238000012549 training Methods 0.000 claims abstract description 73
- 230000000694 effects Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000036039 immunity Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 abstract description 7
- 230000016776 visual perception Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于非对称循环生成对抗损失的智能修图方法,将用于图像翻译CycleGAN中的循环一致性思想应用于智能修图领域,提出了非对称循环生成对抗损失,将wGAN运用在循环生成对抗网络的训练中。本发明使用四个子网络组成整体网络结构,并利用非对称循环生成对抗损失来训练,最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征,提高了图像的视觉感受。
Description
技术领域
本发明涉及图像增强领域,尤其涉及一种基于非对称循环生成对抗损失的智能修图方法。
背景技术
修图属于图像增强领域,将图片的色调、纹理、亮度等进行一定的处理,调整,从而达到更好的视觉效果。随着生活水平的提高,人们对修图的要求也随之提高,如今修图已是业余摄影以及专业摄影都不可或缺的技术之一。
传统的图像增强方法可分为两大类:频域法与空域法。在频域法方面,陈春宁等人[6]改进了频域高斯高通滤波器、巴特沃斯高通滤波器、指数高通滤波器,得出了三种同态滤波器,并通过实验结果给出适用的滤波模型和表达式参数。该方法对图像进行灰度动态范围压缩和对比度增强的效果显著;在空域法方面,Bea等人[4]提出了一种双尺度色调管理方法,其使用大规模色调平衡管理来控制图像大尺度空间色调变化,同时引入了一种计算局部高频成分来处理强边缘纹理的滤波器。该方法对图像的纹理细节进行增强,使得图像更清晰。Edwin.H.Land等人[7]提出了一种以色感一致性为基础的图像增算法Retinex,该方法在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡,因此可以对各种不同类型的图像进行增强。传统的图像增强方法通常是使用某种运算操作,如滤波器,来增强图像某一方面的信息。处理图像的单一性以及众多参数的选择和调优,使得传统算法具有较大的局限性。
为了获得更好的图像增强效果,近年来,学术界开始使用深度学习来进行图像增强。(1)Hasinoff S W等人[5]其受双边网格处理和局部仿射变换的启发,提出了一个结合局部特征与全局特征的卷积神经网络结构。该网络可以用于学习复杂的,依赖于场景转换的图像编辑过程。(2)Andrey Ignatov等人[2]提出了一种端到端的生成对抗网络将普通照片转换为DSLR图像。此研究引入了一种综合感知误差函数,其将内容,颜色和纹理损失相结合。该方法改进的图像质量与单反相机拍摄的照片相媲美,且适用于任何类型的数码相机。(3)Zhu J Y等人[3]提出了一种循环生成对抗网络(CycleGAN)来实现不同风格图像的翻译,该网络由两个不同方向的生成器和两个不同领域的判别器组,其使用来自于源域的数据进行对网络进行训练。方法(1)和(2)要求端到端匹配的训练数据,而CycleGAN则可以使用不匹配的数据训练实现图像翻译。
虽然相关研究已经取得了较好的修图效果,但是还是存在一些问题。当采用传统的方法进行图像增强时,往往只能处理图像单方面问题,无法一次性对图像进行多方改善,不适用于自动修图;当采用基于传统神经网学习修图时,其要求一一匹配的训练数据;当采用改进型神经网络CycleGAN进行图像翻译时,虽解决了数据不匹配的问题,但使得训练过程太过自由、结果易失真。
发明内容
本发明的目的在于提供一种基于非对称循环生成对抗损失的智能修图方法。
本发明采用的技术方案是:
一种基于非对称循环生成对抗损失的智能修图方法,其包括如下步骤:
步骤1,将未修图与修后图处理后组成训练数据集;
所述步骤2具体包括以下步骤:
步骤2.1.2,特征结合阶段:将初始卷积处理阶段得到的结果依次经过四个连接模块,连接模块采用了跨越连接方式,将模块输入与其经过两层卷积后的处理结果相加作为模块输出。最终得到特征结合阶段的结果其计算公式是:
步骤2.1.3,不同尺度卷积阶段:将特征结合阶段的结果G5(I(xi))经过卷积核尺度不完全相同的三个卷积层,得到最终的输出图像G(I(xi)),其计算公式是:
步骤2.2,更新优化正向生成器:基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数,此时总体损失由感知损失和均方误差组成。其中,感知损失是生成的修后图经VGG-19网络[1]提取的特征值与真实修后图经VGG-19网络[1]提取的特征值之间的欧氏距离,均方误差是生成修后图与真实修后图对应像素之间差值平方的平均值。所述损失的计算公式是:
为生成修后图与真实修后图之间的均方误差,其中n为图像的像素点总数;为生成修后图与真实修后图之间的感知损失,其中是VGG-19网络第j层网络的特征映射,Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度;为此时正向生成器网络Gf的总体损失。
步骤2.3,当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤2.1至步骤2.2;当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
步骤3,加载步骤2.3保存的最优卷积权值参数和偏置参数至正向生成器,在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络。
所述步骤3具体包括以下步骤:
所述步骤3.2具体包括以下步骤:
其中d是训练数据库中图像的长和宽,width是此时的网络宽度。
步骤3.4,更新优化正向生成器:以步骤2训练的网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,其中总体损失由感知损失、均方误差与对抗损失组成。对抗损失是由生成修后图的判别值取反所得,感知损失与均方误差的获取如步骤2.2。所述损失的计算公式是:
步骤3.5,更新优化修后图域判别器:基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数。其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得,其计算公式是:
每执行n次步骤3.4再执行m次步骤3.5。
步骤3.6,当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤3.1至步骤3.5;当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
步骤4,预训练反向生成器。本发明的反向生成器的网络结构与正向生成器完全相同,并使用同样的方法进行预训练。
所述步骤4具体包括以下步骤:
步骤4.3,当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤4.1至步骤4.2;当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果,则继续停止反向传播,并保存步骤4.2最终所获得的卷积权值参数和偏置参数。
步骤5,加载步骤4.3保存的最优卷积权值参数和偏置参数至反向生成器,在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络。本发明的未修图域判别器的网络结构与修后图域判别器完全相同,并采用同样的方向进行训练。
所述步骤5具体包括以下步骤:
步骤5.5,当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤5.1至步骤5.4;当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果,则继续停止反向传播,并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
步骤6,加载步骤3保存的最优卷积权值参数和偏置参数至正向生成器和修后图域判别器,且加载步骤5保存的最优卷积权值参数和偏置参数至反向生成器和未修图域判别器,在此基础上训练由这四个子网络组成的整体网络。
所述步骤6具体包括以下步骤:
步骤6.1,获取循环生成网络的结果。
所述步骤6.1具体包括以下步骤:
步骤6.2,更新优化正向生成器。以步骤3训练的正向生成器网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成。其中,修后图域的感知损失、均方误差、对抗损失获取方式如步骤3.4,未修图域的对抗损失是将循环生成的未修图输入未修图域判别器Dr处理得到的判别值取反所得。此时正向生成器的总体损失计算公式是:
步骤6.3,更新优化反向生成器。
步骤6.3.1,以步骤5训练的反向生成器网络为基础,基于总体损失不断更新并优化反向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成;其中,修后图域的对抗损失是将循环生成的修后图输入修后图域判别器Df处理得到的判别值取反所得;此时反向生成器的总体损失计算公式是:
步骤6.3.2,判断步骤6.3.1执行次数是否达到n次;是则执行步骤6.4,否则执行步骤6.2;
步骤6.4,更新优化修后图域判别器;
以步骤3训练的修后图域判别器网络为基础,基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数;
步骤6.5,更新优化未修图域判别器;
步骤6.5.1,以步骤5训练的未修图域判别器网络为基础,基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数;
步骤6.5.2,判断步骤6.5.1执行次数是否达到m次;是则执行步骤6.6,否则执行步骤6.4;
步骤6.6,当训练得到的正向生成器生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤6.1至步骤6.5;当训练得到的正向生成器生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
本发明采用以上技术方案,使用四个子网络组成整体网络结构,并利用非对称循环生成对抗损失来训练,最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征,提高了图像的视觉感受。本发明提出的基于非对称循环生成对抗损失的智能修图方法的创新性主要体现在3个方面:第一,本发明首次将用于图像翻译CycleGAN中的循环一致性思想[3]应用于智能修图领域。第二,本发明首次提出了非对称循环生成对抗损失。第三,本发明首次将wGAN运用在循环生成对抗网络的训练中。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明修图生成对抗网络的整体网络结构;
图2为本发明的生成器结构示意图;
图3为本发明的判别器结构示意图;
图4为原始训练数据集中的未修图;
图5为原始训练数据集中的修后图;
图6为采用本发明方法处理的结果图;
图7为采用现有Retinex处理后的结果图。
具体实施方式
如图1-7之一所示,本发明公开了一种基于非对称循环生成对抗损失的智能修图方法,其分为以下几个步骤:
步骤1,训练数据准备阶段。
所述步骤1具体包括以下步骤:
步骤1.1,选用训练数据集:本发明使用的是以海边婚纱照为主题的图像数据,包含了未修图像和修后图像对。其中修后图是由未修图经过影楼修图师手工修缮得来。修图师在修图过程中,对人像进行了瘦脸、瘦腿、对背景进行了加云朵、去杂物等处理,这使得未修图像和修后图像结构在一定程度上不完全匹配。
步骤2,预训练正向生成器。
所述步骤2具体包括以下步骤:
步骤2.1生成修后图像。将步骤1得到的未修图作为模型的输入数据,进行初始卷积阶段、特征结合阶段、不同尺度卷积阶段,最终获得一幅与对应的修后图像表1为本发明对生成器连接模块的参数设置、表2为本发明对生成器卷积层的参数设置。
网络层次 | 卷积核大小 | 输入网络宽度 | 输出网络宽度 | 步长 | 激活函数 |
卷积层b1 | 3*3 | 64 | 64 | 1 | ReLU |
卷积层b2 | 3*3 | 64 | 64 | 1 | ReLU |
表1连接模块参数
网络层次 | 卷积核大小 | 输入网络宽度 | 输出网络宽度 | 步长 | 激活函数 |
卷积层1 | 3*3 | 3 | 64 | 1 | ReLU |
卷积层2 | 3*3 | 64 | 64 | 1 | ReLU |
卷积层3 | 3*3 | 64 | 64 | 1 | ReLU |
卷积层4 | 9*9 | 64 | 3 | 1 | tanh |
表2生成器卷积层参数
所述步骤2.1具体包括以下步骤:
步骤2.1.3,不同尺度卷积阶段:将特征结合阶段的结果G5(I(xi))经过卷积核尺度不完全相同的三个卷积层,本发明此步的前两个卷积层的卷积核大小为3x3,最后一个卷积层的卷积核大小为9x9。最终得到输出图像G(I(xi)),其计算公式是:
步骤2.2,更新优化正向生成器:基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数,此时总体损失由感知损失和均方误差组成。其中,感知损失是生成的修后图经VGG-19网络[1]提取的特征值与真实修后图经VGG-19网络[1]提取的特征值之间的欧氏距离,均方误差是生成修后图与真实修后图对应像素之间差值平方的平均值。所述损失的计算公式是:
为生成修后图与真实修后图之间的均方误差,其中n为图像的像素点总数;为生成修后图与真实修后图之间的感知损失,其中是VGG-19网络第j层网络的特征映射,Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度;为此时正向生成器网络Gf的总体损失。本发明将系数α与β设置为1与0.01。
步骤2.3,当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤2.1至步骤2.2;当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
步骤3,加载步骤2.3保存的最优卷积权值参数和偏置参数至正向生成器,在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络。
所述步骤3具体包括以下步骤:
表3判别器卷积层参数
网络层次 | 神经元个数 | 激活函数 |
全连接层1 | 1024 | 无 |
全连接层2 | 1 | 无 |
表4判别器全连接层参数
所述步骤3.2具体包括以下步骤:
其中d是训练数据库中图像的长和宽,width是此时的网络宽度。
步骤3.4,更新优化正向生成器:以步骤2训练的网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,其中总体损失由感知损失、均方误差与对抗损失组成。对抗损失是由生成修后图的判别值取反所得,感知损失与均方误差的获取如步骤2.2。所述损失的计算公式是:
步骤3.5,更新优化修后图域判别器:基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数。其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得,其计算公式是:
每执行5次步骤3.4再执行1次步骤3.5。
步骤3.6,当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤3.1至步骤3.5;当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
所述步骤4具体包括以下步骤:
步骤4.3,当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤4.1至步骤4.2;当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果,则继续停止反向传播,并保存步骤4.2最终所获得的卷积权值参数和偏置参数。
步骤5,加载步骤4.3保存的最优卷积权值参数和偏置参数至反向生成器,在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络。本发明的未修图域判别器的网络结构与修后图域判别器完全相同,并采用同样的方向进行训练。
所述步骤5具体包括以下步骤:
步骤5.5,当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤5.1至步骤5.4;当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果,则继续停止反向传播,并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
步骤6.1,获取循环生成网络的结果。
所述步骤6.1具体包括以下步骤:
步骤6.2,更新优化正向生成器。以步骤3训练的正向生成器网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成。其中,修后图域的感知损失、均方误差、对抗损失获取方式如步骤3.4,未修图域的对抗损失是将循环生成的未修图输入未修图域判别器Dr处理得到的判别值取反所得。此时正向生成器的总体损失计算公式是:
本发明将系数α、β、γ和μ分别设置为1、0.01、(5e-8)和(5e-10)。
步骤6.3,更新优化反向生成器。以步骤5训练的反向生成器网络为基础,基于总体损失不断更新并优化反向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成。其中,未修图域的感知损失、均方误差、对抗损失获取方式如步骤5.3,修后图域的对抗损失是将循环生成的修后图输入修后图域判别器Df处理得到的判别值取反所得。此时反向生成器的总体损失计算公式是:
本发明将系数α、β、γ和μ分别设置为1、0.01、(5e-8)和(5e-10)。
步骤6.4,更新优化修后图域判别器。以步骤3训练的修后图域判别器网络为基础,如步骤3.5,基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数。
步骤6.5,更新优化未修图域判别器。以步骤5训练的未修图域判别器网络为基础,如步骤5.4,基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数。
每执行5次步骤6.2至6.3再执行1次步骤6.4至6.5。
步骤6.6,当训练得到的正向生成器生成的修后图与真实的修后图进行比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再执行步骤6.1至步骤6.5;当训练得到的正向生成器生成的修后图与真实的修后图进行比较时已获得预期的修图效果,则继续停止反向传播,并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
为了验证本发明的有效性,将本发明的智能修图结果与Andrey Ignatov等人[2]提出的利用深度卷积网络的修图结果进行对比。
从对比图4至7可以看出本发明比现有的传统修图技术Retinex处理效果更佳,其中Retinex在对图片进行边缘增强的同时放大了人脸的纹理,在颜色处理方面,处理后图片整体色调较未修图有所改善,但人像皮肤、背景绿植等局部色彩仍不能达到预期效果;而本发明使用基于非对称循环生成对抗损失使得所搭建的网络更好地学习到了未修图至修后图的映射关系,能对未修图的不同方面,如:色彩、亮度、对比度、饱和度等同时进行多方调节,智能修图结果更符合预期。
本发明使用四个子网络组成整体网络结构,并利用非对称循环生成对抗损失来训练,最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征,提高了图像的视觉感受。本发明提出的基于非对称循环生成对抗损失的智能修图方法的创新性主要体现在3个方面:
第一,本发明首次将用于图像翻译CycleGAN中的循环一致性思想[3]应用于智能修图领域。受该思想启发,本发明设计了新型的生成器子网络和判别器子网络,组成一个循环生成对抗的整体网络结构。该网络使得图像本身可以通过两个不同映射方向的生成器得到自已所在域的生成图像,并用不同域的判别器得到的判别值来评判生成器网络的性能。这种循环生成对抗网络解决了训练数据图像结构在一定程度上不完全匹配的问题;
第二,本发明首次提出了非对称循环生成对抗损失。已有技术CycleGAN的损失由源域的均方误差和源域的对抗损失组成,其评判生成器性能的损失只基于源域数据,适用于训练数据完全不匹配的图像翻译任务。而在修图领域,未修图和修后图是成对存在的,训练数据仅在一定程度上不匹配,若直接使用CycleGAN学习修图过程将使得生成器脱离目标域的约束而过于自由。故本发明提出了一种非对称循环生成对抗损失,在本发明中,生成器的损失由目标域的均方误差、感知损失与对抗损失和源域的对抗损失组成,生成器同时受到两个领域不对称的损失评判,更适用于使用修图时成对的但具体结构不完全匹配的训练数据学习。
第三,本发明首次将wGAN运用在循环生成对抗网络的训练中。传统的生成对抗网络使用的是原始GAN,原始GAN基于JS散度优化网络[8],其很难优化,易失去样本多样性,并且训练过程不稳定。而wGAN基于Wasserstein距离优化网络,优势在于改进判别器的同时生成器也能收到改进的梯度,并且wGAN在判别器中引入例如梯度惩罚使得训练稳定[9]。
参考文献:
[1]Johnson J,Alahi A,Li F F.Perceptual Losses for Real-Time StyleTransfer and Super-Resolution[C]//European Conference on ComputerVision.Springer,Cham.2016:694-711.
[2]Andrey Ignatov,Nikolay Kobyshev,Radu Timofte,et al.DSLR-QualityPhotos on Mobile Devices with Deep Convolutional Networks[J].IEEEInternational Conference on Computer Vision,2017:3297-3305
[3]Zhu J Y,Park T,Isola P,et al.Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks[J]..IEEE International Conferenceon Computer Vision,2017:2242-2251.
[4]Soonmin Bae,Sylvain Paris,and Fredo Durand.Two-scale ToneManagement for Photographic Look[J].ACM SIGGRAPH,2016:637-645.
[5]Hasinoff S W,Hasinoff S W,Hasinoff S W.Deep bilateral learning forreal-time image enhancement[J].Acm Transactions on Graphics,2017,36(4):118.
[6]陈春宁,王延杰.在频域中利用同态滤波增强图像对比度[J].微计算机信息,2007,23(6):264-266.
[7]Land E H.Lightness and the Retinex Theory[J].Journal of OpticalSociety of America,1971,61.
[8]Goodfellow I J,Pouget-Abadie J,Mirza M,et al.GenerativeAdversarial Networks[J].Advances in Neural Information Processing Systems,2014,3:2672-2680.
[9]Hsu C C,Hwang H T,Wu Y C,et al.Voice Conversion from UnalignedCorpora using Variational Autoencoding Wasserstein Generative AdversarialNetworks[J].2017:3364-3368.
Claims (9)
1.一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:其包括如下步骤:
步骤1,将未修图与修后图处理后组成训练数据集;
步骤2,预训练正向生成器;当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果,则保存获得步骤2对应的最终所获得的卷积权值参数和偏置参数;
步骤3,加载步骤2保存的最优卷积权值参数和偏置参数至正向生成器,在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络;当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果,则保存步骤3对应的最终所获得的卷积权值参数和偏置参数;
步骤4,预训练反向生成器;反向生成器的网络结构与正向生成器完全相同,并使用同样的方法进行预训练;并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时,保存获得步骤4所对应的卷积权值参数和偏置参数;
步骤5,加载步骤4保存的最优卷积权值参数和偏置参数至反向生成器,在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络;并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时,保存获得步骤5所对应的卷积权值参数和偏置参数;
步骤6,加载步骤3保存的最优卷积权值参数和偏置参数至正向生成器和修后图域判别器,且加载步骤5保存的最优卷积权值参数和偏置参数至反向生成器和未修图域判别器,在此基础上训练由这四个子网络组成的整体网络。
2.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:
步骤2具体包括以下步骤:
步骤2.2,更新优化正向生成器:
基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数,总体损失由感知损失和均方误差组成;感知损失是生成的修后图经VGG-19网络提取的特征值与真实修后图经VGG-19网络提取的特征值之间的欧氏距离,均方误差是生成修后图与真实修后图对应像素之间差值平方的平均值;
步骤2.3,当训练结果生成的修后图与真实的修后图比较后没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再跳转执行步骤2.1;当训练结果生成的修后图与真实的修后图比较后已获得预期的修图效果,则停止反向传播,并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
3.根据权利要求2所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:步骤2.1具体包括以下步骤:
步骤2.1.2,特征结合阶段:将初始卷积处理阶段得到的结果依次经过四个连接模块,连接模块采用了跨越连接方式,将模块输入与其经过两层卷积后的处理结果相加作为模块输出,最终得到特征结合阶段的结果其计算公式是:
5.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:所述步骤3具体包括以下步骤:
步骤3.4,执行n次更新优化正向生成器:
以步骤2训练的网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,其中总体损失由感知损失、均方误差与对抗损失组成;
步骤3.5,执行m次更新优化修后图域判别器:
基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数;其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得,其计算公式是:
步骤3.6,当训练结果生成的修后图与真实的修后图比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再跳转执行步骤3.1;当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果,则停止反向传播,并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
6.根据权利要求5所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:所述步骤3.2具体包括以下步骤:
步骤3.2.1,卷积处理阶段:
其中d是训练数据库中图像的长和宽,width是此时的网络宽度;
步骤3.2.2,全连接处理阶段:
8.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:所述步骤5具体包括以下步骤:
步骤5.5,当训练结果生成的未修图与真实的未修图比较时没有获得预期的还原效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再跳转执行步骤5.1;当训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果,则停止反向传播,并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
9.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法,其特征在于:所述步骤6具体包括以下步骤:
步骤6.1,获取正向生成器与反向生成器的处理结果;
所述步骤6.1具体包括以下步骤:
步骤6.2,更新优化正向生成器:
以步骤3训练的正向生成器网络为基础,基于总体损失不断更新并优化正向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成;其中,未修图域的对抗损失是将循环生成的未修图输入未修图域判别器Dr处理得到的判别值取反所得;此时正向生成器的总体损失计算公式是:
其中,α、γ、μ为损失系数;
步骤6.3,更新优化反向生成器:
步骤6.3.1,以步骤5训练的反向生成器网络为基础,基于总体损失不断更新并优化反向生成器网络,获得最优的卷积权值参数和偏置参数,此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成;其中,修后图域的对抗损失是将循环生成的修后图输入修后图域判别器Df处理得到的判别值取反所得;此时反向生成器的总体损失计算公式是:
其中,α、γ、μ为损失系数;
步骤6.3.2,判断步骤6.3.1执行次数是否达到n次;是则执行步骤6.4,否则执行步骤6.2;
步骤6.4,更新优化修后图域判别器:
以步骤3训练的修后图域判别器网络为基础,基于判别损失不断更新并优化修后图域判别器网络,获得最优的卷积权值参数和偏置参数;
步骤6.5,更新优化未修图域判别器:
步骤6.5.1,以步骤5训练的未修图域判别器网络为基础,基于判别损失不断更新并优化未修图域判别器网络,获得最优的卷积权值参数和偏置参数;
步骤6.5.2,判断步骤6.5.1执行次数是否达到m次;是则执行步骤6.6,否则执行步骤6.4;
步骤6.6,当训练得到的正向生成器生成的修后图与真实的修后图比较时没有获得预期的修图效果,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数,再跳转执行步骤6.1;当训练得到的正向生成器生成的修后图与真实的修后图比较时已获得预期的修图效果,则停止反向传播,并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810810809.9A CN109064423B (zh) | 2018-07-23 | 2018-07-23 | 一种基于非对称循环生成对抗损失的智能修图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810810809.9A CN109064423B (zh) | 2018-07-23 | 2018-07-23 | 一种基于非对称循环生成对抗损失的智能修图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064423A CN109064423A (zh) | 2018-12-21 |
CN109064423B true CN109064423B (zh) | 2022-04-08 |
Family
ID=64835042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810810809.9A Active CN109064423B (zh) | 2018-07-23 | 2018-07-23 | 一种基于非对称循环生成对抗损失的智能修图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064423B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978792A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成图像增强模型的方法 |
CN110197226B (zh) * | 2019-05-30 | 2021-02-09 | 厦门大学 | 一种无监督图像翻译方法及*** |
CN110363793B (zh) * | 2019-07-24 | 2021-09-21 | 北京华捷艾米科技有限公司 | 一种对象的跟踪方法及装置 |
CN110634170B (zh) * | 2019-08-30 | 2022-09-13 | 福建帝视信息科技有限公司 | 一种基于语义内容和快速图像检索的照片级图像生成方法 |
CN110853110B (zh) * | 2019-09-20 | 2023-06-30 | 杭州火烧云科技有限公司 | 一种基于生成对抗网络的图片自动调色方法 |
CN111275647B (zh) * | 2020-01-21 | 2023-06-27 | 南京信息工程大学 | 一种基于循环生成对抗网络的水下图像复原方法 |
CN112163991A (zh) * | 2020-09-11 | 2021-01-01 | 杭州缦图摄影有限公司 | 基于修图切片的ai修图训练网络模型 |
CN113313625B (zh) * | 2021-05-13 | 2022-04-22 | 华南理工大学 | 水墨画艺术风格转换方法、***、计算机设备及存储介质 |
CN113314109B (zh) * | 2021-07-29 | 2021-11-02 | 南京烽火星空通信发展有限公司 | 一种基于循环生成网络的语音生成方法 |
CN113807497B (zh) * | 2021-09-02 | 2023-09-15 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011249886A (ja) * | 2010-05-21 | 2011-12-08 | Sharp Corp | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体 |
KR20170137350A (ko) * | 2016-06-03 | 2017-12-13 | (주)싸이언테크 | 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법 |
CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123091B (zh) * | 2017-04-26 | 2020-02-14 | 福建帝视信息科技有限公司 | 一种基于深度学习的近红外人脸图像超分辨率重建方法 |
-
2018
- 2018-07-23 CN CN201810810809.9A patent/CN109064423B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011249886A (ja) * | 2010-05-21 | 2011-12-08 | Sharp Corp | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体 |
KR20170137350A (ko) * | 2016-06-03 | 2017-12-13 | (주)싸이언테크 | 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법 |
CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
Non-Patent Citations (3)
Title |
---|
Patch-Based Image Inpainting with Generative Adversarial Networks;Ugur Demir,等;《arxiv.org》;20180620;全文 * |
基于半监督学习生成对抗网络的人脸还原算法研究;曹志义等;《电子与信息学报》;20180215(第02期);全文 * |
生成对抗网络理论模型和应用综述;徐一峰;《金华职业技术学院学报》;20170501(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109064423A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064423B (zh) | 一种基于非对称循环生成对抗损失的智能修图方法 | |
Schwartz et al. | Deepisp: Toward learning an end-to-end image processing pipeline | |
Niu et al. | Hdr-gan: Hdr image reconstruction from multi-exposed ldr images with large motions | |
CN109584170B (zh) | 基于卷积神经网络的水下图像复原方法 | |
CN110728633A (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
CN110223251B (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
CN110211035A (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
CN105765607A (zh) | 用于图像反卷积的多阶段方法 | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
CN114066747A (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
CN109829925A (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
CN112419210A (zh) | 基于颜色校正和三区间直方图拉伸的水下图像增强方法 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
Merianos et al. | A hybrid multiple exposure image fusion approach for HDR image synthesis | |
CN112184586A (zh) | 基于深度感知的单目视觉图像背景快速虚化的方法及*** | |
CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
Honig et al. | Image declipping with deep networks | |
CN111882495B (zh) | 一种基于自定义模糊逻辑与gan的图像高光处理方法 | |
Tatanov et al. | LFIEM: Lightweight filter-based image enhancement model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |