CN111325661B - 一种名为msgan的图像的季节风格转换模型及方法 - Google Patents
一种名为msgan的图像的季节风格转换模型及方法 Download PDFInfo
- Publication number
- CN111325661B CN111325661B CN202010106255.1A CN202010106255A CN111325661B CN 111325661 B CN111325661 B CN 111325661B CN 202010106255 A CN202010106255 A CN 202010106255A CN 111325661 B CN111325661 B CN 111325661B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- discriminator
- seasonal
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001932 seasonal effect Effects 0.000 title claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000002131 composite material Substances 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 39
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种名为MSGAN的图像的季节风格转换模型及方法，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS。生成器的目标是将输入的图像转化为其他特定的季节风格。真假鉴别器的作用是区分图像是否为合成图像。季节鉴别器对每个合成的图像和真实的图像进行季节分类。这两个鉴别器分别都可以对生成器提供指导。为了给出网络正确的优化方向，MSGAN分别使用了风格损失，结构相似度损失和颜色损失去提高生成器的生成能力。不仅如此，MSGAN还首次使用了图像的显著性信息来对图像风格转换任务进行指导，使得图像风格转换的结果更加符合人眼真实的情况。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种名为MSGAN的图像的季节风格转换模型及方法。
背景技术
近几年来，卡通、动漫、3D电影已经成为了深受人们喜爱的艺术形式，它们的优点在于可以通过计算机软件来进行人物形象和场景的设计并用它们去演绎剧本。在动漫作品不仅需要设计人员对人物形象进行设计，还需要对作品中出现的场景进行绘制。由于故事情节的复杂性和多样性，同一场景的季节风格也会经常随着剧情而发生季节转化。不仅是动漫作品，许多常规的电影或者电视剧也需要此类特效。然而，设计人员手动的利用电脑软件来完成季节转换任务是一项很耗时的，并且需要很多相关的软件技巧。因此，设计一种特殊的算法来使电影或卡通场景中的季节场景可以自动的进行转换是一项重要的任务，可以减轻大多数的影视作品的制作成本和时间，以至于可以令工作者们可以专注于与影视作品有关的其他工作。不仅如此，该算法还能嵌入到一些软件中来提升该软件的性能，比如Photoshop。
将图片进行风格迁移，使其进行风格转换的技术已经成为了近几年来研究的热点问题。传统的方法致力于去设计一个特定的图像滤波算法，从而将原始图像迁移到固定的令一种风格当中。然而，许多复杂的风格转换任务需要将原始图像转化成为多种不同风格的图像，比如季节转换任务。因此，固定的图像滤波算法无法完成这一任务。最近，基于深度学习的图像风格迁移方法成为了主流方法，这种方法可以将输入的图像的风格转移到给定的风格当中。特别是生成式对抗网络可以取得很好的图像风格迁移效果。
尽管生成式对抗网络已经取得了重大的成功，可是目前的方法并不能去很好的完成季节风格迁移任务。这其中主要是有三个原因：首先，季节转换与其他风格转换任务不同，有些时候需要在原图中添加或者减少某些元素，例如冬季场景下的图像要比其他季节图像里增加一些雪和减少一些树叶，这在风格迁移任务中是一个难点。第二，一般来说季节变化的主要特征是颜色的变换，而大多数的图像风格迁移都是专注于对原始图像中增加图像的纹理，而忽略了颜色的变化。第三，在进行季节风格转换时，不同的内容受季节变化影响的程度不同，比如树叶分别在春季和秋季时呈现绿色和黄色，而树干的颜色却并没有多大变化，但传统的图像风格迁移算法又很难对图像的内容进行识别。
发明内容
有鉴于此，本发明的目的是提出一种名为MSGAN的图像的季节风格转换模型及方法，该模型能够使用对未配对的不同季节的图像进行训练，同时能够产生出更好的季节风格转换效果。
本发明采用以下方案实现：一种名为MSGAN的图像的季节风格转换模型，其特征在于，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS；
所述生成器G的输入包括输入图像以及携带输入的季节风格信息的条件向量，所述生成器G将输入的图像转化为由条件向量确定的季节风格的图像；所述第一真假鉴别器DG区分生成器G转换后的图像是否为合成图像，并将结果反馈给生成器G，用以对生成器G提供指导；所述季节鉴别器DS对每个合成的图像或真实的图像进行季节分类，并将结果反馈给生成器G，用以对生成器G提供指导；
所述生成器F将生成器G生成的图像转换为与初始输入图像相似的合成图像，所述第二真假鉴别器DF区分生成器F转换后的图像是否为合成图像。
进一步地，所述生成器G在训练时的损失函数为：
式中，X与Y表示训练时输入模型的图片，LcGAN(G,DG,X,Y)表示生成器G和第一鉴别器DG的对抗损失函数，Lcyc(G)表示生成器G的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，Lstyle(G,DS)表示季节风格损失函数，α、β、γ、δ均为网络损失值的比例权重；各损失函数具体如下：
表示当(x,y)服从真实数据分布时*的数学期望，/>表示当x服从真实数据分布时*的数学期望，DG(x,y)第一真假鉴别器鉴别真实图像时输出的结果，DG(x,G(x|c))表示第一真假鉴别器DG鉴别生成器G合成的图像时输出的结果；
其中，F(G(x|c))表示生成器F对生成器G在条件c下的输出的结果的转化结果；
其中，G(x|c)w表示生成器G在收到条件c时候的输出结果，yw表示真实图像的色调；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数；
其中，/>表示当y服从真实数据分布时*的数学期望，DS(G(x|c))表示季节鉴别器Ds对生成器G在条件c时的判断结果，DS(y)表示季节鉴别器Ds对真实图像的判别结果。
进一步地，所述生成器F在训练时的损失函数为：
L(F,DF)＝LcGAN(F,DF,X,Y)+αLcyc(F)+βLcolor+γLssim；
式中，X与Y表示训练时输入模型的图片，LcGAN(F,DF,X,Y)表示生成器F和第二鉴别器DF的对抗损失函数，Lcyc(F)表示生成器F的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，α、β、γ均为网络损失值的比例权重；各损失函数具体如下：
其中，G(x|c)表示生成器G根据输入的图像x与条件c生成的图像，/>表示(x,y)服从真实数据对时*的数学期望，/>表示x服从真实数据时*的数学期望，DF(x,y)表示第二真假鉴别器DF对数据对的鉴别结果，DF(x,G(x|c))表示第二真假鉴别器DF对合成数据的鉴别结果；
其中，G(F(y)表示生成器G的输入为生成器F的输出时，输出的结果；
其中，G(x|c)w表示生成器G当接收到条件c时合成的数据的色调，yw表示真实图像颜色的色调；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数。
进一步地，为了提高网络输出图像的视觉效果，以图像的显著性信息来作为参考去指导网络的优化，具体为用网络的显著性信息来设置网络损失值的比例权重。
其中，所述用网络的显著性信息来设置网络损失值的比例权重具体包括以下步骤：
步骤S1：对输入的原始图像进行多尺度超像素分割以及显著性分割；
步骤S2：对经过多尺度超像素分割出的每个区域，判断其是否处于显著性区域内，若是，则令网络损失值的权重值为一组预设值，否则，令网络损失值的权重值分别为处于显著性区域内的区域的网络损失值的各权重值的一半。
较佳的，本发明中，若当前区域处于显著性区域内，则令α、β、γ、δ的值分别为10、2、1、1或10、4、2、1，若当前区域处于非显著性区域内，则令α、β、γ、δ的值分别为5、2、0.5、0.5或5、2、1、0.5。
进一步地，所述生成器G与所述生成器F的结构为具有7层连接的对称的卷积神经网络，自输入至输入依次为：自动编码器，残差块，自动解码器。
进一步地，所述季节鉴别器Ds的结构为：经典的AlexNet网络加softmax分类器。
进一步地，在将图片输入生成器G之前，将输入的图像转为灰度图，使其不带有季节特征。
本发明还提供了一种基于上文所述的MSGAN模型的图像季节风格转换方法，具体包括以下步骤：
步骤S1：构建所述的MSGAN模型，并对其进行训练；
步骤S2：完成训练后，将其中的生成器G作为转换模型；
步骤S3：将待转换的图片进行预处理后与设置的季节条件一同输入该转换模型，得到转换后的对应季节的图片。
进一步地，步骤S3中，所述预处理具体为：将待转换的图片进行灰度处理，使其不带有季节特征。
与现有技术相比，本发明有以下有益效果：
1、本发明提出了一个新的GAN-based的MSGAN模型，可以将输入的图像的进行季节转换。本发明的MSGAN模型可以使用对未配对的不同季节的图像进行训练，因此使用十分方便。
2、为了提高生成图像的效果，本发明提出了一种适合于季节风格转换的新损失：色调损失，它可以根据颜色的直观特性来指导网络的优化方向，使得输出的结果的色调与给的参考图像更加类似。
3、本发明使用图像的显著性信息来对季节风格转换任务进行指导，以保证不同的图像内容在SMGAN中能有不同的优化权重，从而提高季节风格转换的效果和缩短训练的时间，使网络输出的结果更加符合人的视觉效果实验结果表明，本发明的方法能够从真实照片中生成高质量的仿真图像。
附图说明
图1为本发明实施例的MSGAN模型结构示意图。
图2为本发明实施例的生成器G与生成器F的结构示意图。
图3为本发明实施例的权重设定算法的伪代码。
图4为本发明实施例的整体数据流示意图。其中，(a)用于将输入的原始图像转换为其他季节风格的图像的数据流程；(b)用于将合成的图像转换为原始风格的图像。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种名为MSGAN的图像的季节风格转换模型，其特征在于，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS；
所述生成器G的输入包括输入图像以及携带输入的季节风格信息的条件向量，所述生成器G将输入的图像转化为由条件向量确定的季节风格的图像；所述第一真假鉴别器DG区分生成器G转换后的图像是否为合成图像，并将结果反馈给生成器G，用以对生成器G提供指导；所述季节鉴别器DS对每个合成的图像或真实的图像进行季节分类，并将结果反馈给生成器G，用以对生成器G提供指导；
所述生成器F将生成器G生成的图像转换为与初始输入图像相似的合成图像，所述第二真假鉴别器DF区分生成器F转换后的图像是否为合成图像。
在本实施例中，所述生成器G在训练时的损失函数为：
式中，X与Y表示训练时输入模型的图片，LcGAN(G,DG,X,Y)表示生成器G和第一鉴别器DG的对抗损失函数，Lcyc(G)表示生成器G的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，Lstyle(G,DS)表示季节风格损失函数，α、β、γ、δ均为网络损失值的比例权重；各损失函数具体如下：
其中，G(x|c)表示生成器G根据输入的图像x与条件c生成的图像，/>表示当(x,y)服从真实数据分布时*的数学期望，/>表示当x服从真实数据分布时*的数学期望，DG(x,y)第一真假鉴别器鉴别真实图像时输出的结果，DG(x,G(x|c))表示第一真假鉴别器DG鉴别生成器G合成的图像时输出的结果。
其中，F(G(x|c))表示生成器F对生成器G在条件c下的输出的结果的转化结果；
其中，G(x|c)w表示生成器G在条件c下输出的结果的色调值，yw表示参考图像的色调值；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数；
其中，/>表示当y服从真实数据分布时*的数学期望，DS(G(x|c))表示季节鉴别器Ds对生成器G在条件c时的判断结果，DS(y)表示季节鉴别器Ds对真实图像的判别结果。
在本实施例中，所述生成器F在训练时的损失函数为：
L(F,DF)＝LcGAN(F,DF,X,Y)+αLcyc(F)+βLcolor+γLssim；
式中，X与Y表示训练时输入模型的图片，LcGAN(F,DF,X,Y)表示生成器F和第二鉴别器DF的对抗损失函数，Lcyc(F)表示生成器F的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，α、β、γ均为网络损失值的比例权重；各损失函数具体如下：
其中，G(x|c)表示生成器G根据输入的图像x与条件c生成的图像，/>表示(x,y)服从真实数据对时*的数学期望，/>表示x服从真实数据时*的数学期望，DF(x,y)表示第二真假鉴别器DF对数据对的鉴别结果，DF(x,G(x|c))表示第二真假鉴别器DF对合成数据的鉴别结果；
其中，G(F(y)表示当生成器G的输入为生成器F的输出时，输出的结果；
其中，G(x|c)w表示生成器G当接收到条件c时合成的数据的色调，yw表示真实图像颜色的色调；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数。
较佳的，相似性度量在对象匹配中起着重要的作用。将输入的图像转换到其他季节风格的时候，要尽力去保持目标特征结构的相似性。为了保证输入和输出图像之间的内容具有一致性，本实施例使用结构相似度损失。对输入图像X和合成图像G(x|c)的每个像素点P进行选择使用窗口大小为13来进行滤波。SSIM损失函数可以被描述为：
这里，μx为x的平均值，μy为y的平均值，σx为x的标准差，σy为y的标准差，σxy为x与y的协方差，c1＝0.012，c2＝0.032。本实施例计算输入图像X与合成图像G(x|c)之间的损失为：
其中，N是窗口x和y中像素p的数目。
较佳的，由于需要学***均滤波器来作为颜色损失，使得生成图像的颜色更加接近真实情况。与SSIM损失函数类似，本实施例选择一个13*13的滑动窗口来计算合成图像G和真实图像y之间的色调。色调是指一种颜色属性，色调与波长有关，是人对不同颜色的感受。通过RGB图像来计算图像色调的公式如下：
其中，θ的计算公式为：
因此，色调损失函数描述为：
本实施例提出的体系结构的整体数据流如图4所示。其中(a)：用于将输入的原始图像转换为其他季节风格的图像的数据流程；(b)：将合成的图像转换为原始风格的图像。
在本实施例中，与传统的cGAN不同，为了提高网络输出图像的视觉效果，以图像的显著性信息来作为参考去指导网络的优化，具体为用网络的显著性信息来设置网络损失值的比例权重，从而给网络优化提供一个更加明确的方向，使得网络在优化的过程中更加有侧重。季节风格转换任务最大的特点在于不能对图像内所有区域都用一致的算子去进行转换，这是因为季节的变化对某些场景的影响程度较小，而对有些区域的影响较大。因此本实施例使用图像的显著性信息来对网络的优化方向进行指导，从而使输出的结果更加真实可靠。
其中，所述用网络的显著性信息来设置网络损失值的比例权重具体包括以下步骤：
步骤S1：对输入的原始图像进行多尺度超像素分割以及显著性分割；
步骤S2：对经过多尺度超像素分割出的每个区域，判断其是否处于显著性区域内，若是，则令网络损失值的权重值为一组预设值，否则，令网络损失值的权重值分别为处于显著性区域内的区域的网络损失值的各权重值的一半。
其中，本实施例中，利用经典的超像素分割算法，如SLIC等，对原始图像进行多尺度超像素分割。对给定一张H*W大小的图像进行超像素分割，假设预分割为K个尺寸相同的超像素，那么每个超像素的大小为(H*W)/K，相邻种子间的距离可近似为S＝sqrt((H*W)/K)。在种子点的n*n邻域内重新选择种子点(一般取n＝3)，具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方，这样做的目的是为了防止聚类中心可能会在图像边缘位置。接着，通过计算距离度量，在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心)。距离度量包括颜色距离dc和空间距离ds：
式中，li，ai，bi分别表示像素点i在LAB颜色空间中对应的颜色值。
式中，Ns表示类内最大空间距离，定义为Ns＝S＝sqrt(H*W/K)，适用于每一个聚类。最大的颜色距离Nc既随图像不同而不同，也随聚类不同而不同，因此将它设置为一个固定常数m(取值区间范围[1,40],一般取10)代替。最终得到距离度量D’如下：
由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。
其中，本实施例所用到的训练数据和测试图像的尺寸均为600*400。将输入的图像利用SLIC算法进行分割，将图像分割成为300个小的区域。与此同时，使用Guanghai Liu等人提出的算法对图像进行显著性分割。这SLIC算法分割出的300个小区域如果处于显著性区域内，那分别为10、4、2、1。如果在非显著性区域内，那分别设置为5、2、1、0.5。权重设定算法的伪代码如图3所示。
较佳的，本实施例中，若当前区域处于显著性区域内，则令α、β、γ、δ的值分别为10、2、1、1或10、4、2、1，若当前区域处于非显著性区域内，则令α、β、γ、δ的值分别为5、2、0.5、0.5或5、2、1、0.5。
如图2所示，在本实施例中，所述生成器G与所述生成器F的结构为具有7层残差块的对称的卷积神经网络，自输入至输入依次为：自动编码器，残差块，自动解码器。
生成器是一个具有9-ResNet连接的对称CNN网络。残差块保留了前一层网络的大小、形状等特征而直接作用于下一层网络。这种结构可以有效的减少网络的运算量，防止训练过程中梯度消失的问题。解码器的结构与编码器对称，可以从特征图中恢复出与输入图像尺寸大小一致的图像。假设本实施例使用一个n*1的向量作为条件向量c来携带输入的季节风格信息。条件向量c作为一个偏置项而与条件图m进行连接。为了避免向量大小不平衡而带来的影响，条件映射m与输入的图像尺寸大小一致。SMGAN的输入可以表示为：
x′＝x+m。
在本实施例中，鉴别器包括两种类型，一种是传统的二值鉴别器，用来判断图像是否为合成图像，例如本实施例中的第一真假鉴别器与第二真假鉴别器。另一种采用经典的AlexNet分类器来判断图像的季节风格，即本实施例中的季节鉴别器(也可叫做风格鉴别器)。在季节鉴别器的最后一层采用softmax激活函数，可以输出对应类别的概率，为生成器G提供指导，使其产生更加真实的模拟图像。给定样本x和加权w的j类预测如下：
将输入图像转化为四种不同季节的图像，因此K＝4。p(n)是第n类基本真值的概率分布；q(n)是第n类预测输出P(y＝n|x)的概率分布；H(p,q)是p和q之间的交叉熵，可以表示如下：
因此，本实施例将风格损失函数Lstyle定义如下：
利用AlexNet结构的softmax分类器中的条件标记c，生成n类季节风格的图像G(x|c)，尽管在生成器中给出了条件向量c，但是季节鉴别器DS有助于真假鉴别器将模拟的图像与真实的图像区分开来。
在本实施例中，在将图片输入生成器G之前，将输入的图像转为灰度图，使其不带有季节特征。由于输入的图像也本身就自带季节风格，因此在将输入图像转换成为本身季节风格的图像时，鉴别器将很难对图像进行准确客观的判断。因此需要将输入的图像进行一定的初始化操作，使输入的图像不带有季节特征。最简单的方法就是将输入的RGB图像转化为灰度图，转化的公式如：
Gray＝R*0.299+G*0.587+B*0.114；
式中，R,G,B分别代表图像R,G,B的三个通道。
综上，本实施例中，生成器的目标是将输入的图像转化为其他特定的季节风格。真假鉴别器的作用是区分图像是否为合成图像。季节鉴别器对每个合成的图像和真实的图像进行季节分类。这两个鉴别器分别都可以对生成器提供指导。为了给出网络正确的优化方向，MSGAN分别使用了风格损失，结构相似度损失和颜色损失去提高生成器的生成能力。不仅如此，MSGAN还首次使用了图像的显著性信息来对图像风格转换任务进行指导，使得图像风格转换的结果更加符合人眼真实的情况。
本实施例还提供了一种基于上文所述的MSGAN模型的图像季节风格转换方法，具体包括以下步骤：
步骤S1：构建所述的MSGAN模型，并对其进行训练；
步骤S2：完成训练后，将其中的生成器G作为转换模型；
步骤S3：将待转换的图片进行预处理后与设置的季节条件一同输入该转换模型，得到转换后的对应季节的图片。
在本实施例中，步骤S3中，所述预处理具体为：将待转换的图片进行灰度处理，使其不带有季节特征。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种名为MSGAN的图像的季节风格转换模型，其特征在于，包括生成器G、生成器F、第一真假鉴别器DG、第二真假鉴别器DF以及季节鉴别器DS；
所述生成器G的输入包括输入图像以及携带输入的季节风格信息的条件向量，所述生成器G将输入的图像转化为由条件向量确定的季节风格的图像；所述第一真假鉴别器DG区分生成器G转换后的图像是否为合成图像，并将结果反馈给生成器G，用以对生成器G提供指导；所述季节鉴别器DS对每个合成的图像或真实的图像进行季节分类，并将结果反馈给生成器G，用以对生成器G提供指导；
所述生成器F将生成器G生成的图像转换为与初始输入图像相似的合成图像，所述第二真假鉴别器DF区分生成器F转换后的图像是否为合成图像；
所述生成器G在训练时的损失函数为：
式中，X与Y表示训练时输入模型的图片，LcGAN(G,DG,X,Y)表示生成器G和第一鉴别器DG的对抗损失函数，Lcyc(G)表示生成器G的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，Lstyle(G,DS)表示季节风格损失函数，α、β、γ、δ均为网络损失值的比例权重；各损失函数具体如下：
其中，G(x|c)表示生成器G根据输入的图像x与条件c生成的图像，/>表示当(x,y)服从真实数据分布时*的数学期望，/>表示当x服从真实数据分布时*的数学期望，DG(x,y)第一真假鉴别器鉴别真实图像时输出的结果，DG(x,G(x|c))表示第一真假鉴别器DG鉴别生成器G合成的图像时输出的结果；
其中，F(G(x|c))表示生成器F对生成器G在条件c下的输出的结果的转化结果；
其中，G(x|c)w表示生成器G在条件c下输出的结果的色调值，yw表示参考图像的色调值；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数；
其中，/>表示当y服从真实数据分布时*的数学期望，DS(G(x|c))表示季节鉴别器Ds对生成器G在条件c时的判断结果，DS(y)表示季节鉴别器Ds对真实图像的判别结果；
所述生成器F在训练时的损失函数为：
L(F,DF)＝LcGAN(F,DF,X,Y)+αLcyc(F)+βLcolor+γLssim；
式中，X与Y表示训练时输入模型的图片，LcGAN(F,DF,X,Y)表示生成器F和第二鉴别器DF的对抗损失函数，Lcyc(F)表示生成器F的循环一致性损失函数，Lcolor表示色调损失函数，Lssim表示相似性损失函数，α、β、γ均为网络损失值的比例权重；各损失函数具体如下：
其中，G(x|c)表示生成器G根据输入的图像x与条件c生成的图像，/>表示(x,y)服从真实数据对时*的数学期望，/>表示x服从真实数据时*的数学期望，DF(x,y)表示第二真假鉴别器DF对数据对的鉴别结果，DF(x,G(x|c))表示第二真假鉴别器DF对合成数据的鉴别结果；
其中，G(F(y)表示当生成器G的输入为生成器F的输出时，输出的结果；
其中，G(x|c)w表示生成器G当接收到条件c时合成的数据的色调，yw表示真实图像颜色的色调；
其中，N为窗口中像素p的数目，SSIM(*)为损失函数。
2.根据权利要求1所述的一种名为MSGAN的图像的季节风格转换模型，其特征在于，为了提高网络输出图像的视觉效果，以图像的显著性信息来作为参考去指导网络的优化，具体为用网络的显著性信息来设置网络损失值的比例权重。
3.根据权利要求2所述的一种名为MSGAN的图像的季节风格转换模型，其特征在于，所述用网络的显著性信息来设置网络损失值的比例权重具体包括以下步骤：
步骤S1：对输入的原始图像进行多尺度超像素分割以及显著性分割；
步骤S2：对经过多尺度超像素分割出的每个区域，判断其是否处于显著性区域内，若是，则令网络损失值的权重值为一组预设值，否则，令网络损失值的权重值分别为处于显著性区域内的区域的网络损失值的各权重值的一半。
4.根据权利要求1所述的一种名为MSGAN的图像的季节风格转换模型，其特征在于，所述生成器G与所述生成器F的结构为具有7层残差块的对称的卷积神经网络，自输入至输入依次为：自动编码结构，残差块结构和自解码结构。
5.根据权利要求1所述的一种名为MSGAN的图像的季节风格转换模型，其特征在于，所述季节鉴别器Ds的结构为经典的AlexNet网络结构。
6.根据权利要求1所述的一种名为MSGAN的图像的季节风格转换模型，其特征在于，在将图片输入生成器G之前，将输入的图像转为灰度图，使其不带有季节特征。
7.一种基于权利要求1-6任一项所述的名为MSGAN的图像的季节风格转换模型的图像季节风格转换方法，其特征在于，包括以下步骤：
步骤S1：构建所述的MSGAN模型，并对其进行训练；
步骤S2：完成训练后，将其中的生成器G作为转换模型；
步骤S3：将待转换的图片进行预处理后与设置的季节条件一同输入该转换模型，得到转换后的对应季节的图片。
8.根据权利要求7所述的一种基于名为MSGAN的图像的季节风格转换模型的图像季节风格转换方法，其特征在于：步骤S3中，所述预处理具体为：将待转换的图片进行灰度处理，使其不带有季节特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106255.1A CN111325661B (zh) | 2020-02-21 | 2020-02-21 | 一种名为msgan的图像的季节风格转换模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106255.1A CN111325661B (zh) | 2020-02-21 | 2020-02-21 | 一种名为msgan的图像的季节风格转换模型及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325661A CN111325661A (zh) | 2020-06-23 |
| CN111325661B true CN111325661B (zh) | 2024-04-09 |
Family
ID=71163467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010106255.1A Active CN111325661B (zh) | 2020-02-21 | 2020-02-21 | 一种名为msgan的图像的季节风格转换模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325661B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258381B (zh) * | 2020-09-29 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
| CN112561864B (zh) * | 2020-12-04 | 2024-03-29 | 深圳格瑞健康科技有限公司 | 龋齿图像分类模型的训练方法、***和存储介质 |
| CN113066114A (zh) * | 2021-03-10 | 2021-07-02 | 北京工业大学 | 一种基于Retinex模型的卡通风格迁移方法 |
| CN113538216B (zh) * | 2021-06-16 | 2022-03-01 | 电子科技大学 | 一种基于属性分解的图像风格迁移方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
| CN110322396A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种病理切片颜色归一化方法及*** |
| CN110570363A (zh) * | 2019-08-05 | 2019-12-13 | 浙江工业大学 | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 |
| CN110570346A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种基于循环生成对抗网络对书法进行风格迁移的方法 |
-
2020
- 2020-02-21 CN CN202010106255.1A patent/CN111325661B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
| CN110322396A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种病理切片颜色归一化方法及*** |
| CN110570363A (zh) * | 2019-08-05 | 2019-12-13 | 浙江工业大学 | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 |
| CN110570346A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种基于循环生成对抗网络对书法进行风格迁移的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325661A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325661B (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
| Pierre et al. | Luminance-chrominance model for image colorization | |
| Chen et al. | Grayscale image matting and colorization | |
| CN111667400B (zh) | 一种基于无监督学习的人脸轮廓特征风格化生成方法 | |
| Hristova et al. | Style-aware robust color transfer. | |
| Li et al. | Globally and locally semantic colorization via exemplar-based broad-GAN | |
| CN113705579B (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
| CN116583878A (zh) | 用于个性化3d头部模型变形的方法和*** | |
| CN108053420A (zh) | 一种基于有限时空分辨率类无关属性动态场景的分割方法 | |
| CN109891880A (zh) | 通过机器学习技术改进2d至3d的自动转换质量的方法 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及*** | |
| Xiao et al. | Interactive deep colorization with simultaneous global and local inputs | |
| CN111046868A (zh) | 基于矩阵低秩稀疏分解的目标显著性检测方法 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和*** | |
| CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116648733A (zh) | 用于从面部图像提取颜色的方法和*** | |
| CN113052783A (zh) | 一种基于人脸关键点的人脸图像融合方法 | |
| Conrad et al. | Two-stage seamless text erasing on real-world scene images | |
| CN114187380B (zh) | 基于视觉显著性和通道注意力机制的色彩传递方法 | |
| CN108537771B (zh) | 基于hsv的mc-siltp运动目标检测方法 | |
| Jolly et al. | Bringing monochrome to life: A GAN-based approach to colorizing black and white images | |
| CN114627404A (zh) | 智能化视频人物替换方法、*** | |
| CN107045727B (zh) | 一种纹理合成方法及其装置 | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 | |
| CN110796716B (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 1502, 15 / F, building 17, Innovation Park Phase II, No. 7, wulongjiang middle Avenue, high tech Zone, Fuzhou City, Fujian Province Applicant after: Jinggong Huichuang (Fuzhou) Technology Co.,Ltd. Address before: No.053, area D, a second floor, No.99 Gujing, mabao village, Shangjie Town, Minhou County, Fuzhou City, Fujian Province, 350108 Applicant before: Jinggong digital performance (Fuzhou) Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240424 Address after: 3004, 30th Floor, Building 7, No. 26 Chengtong Street, Shijingshan District, Beijing, 100043 Patentee after: Zhonggong Huike (Beijing) Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 1502, 15 / F, building 17, Innovation Park Phase II, No. 7, wulongjiang middle Avenue, high tech Zone, Fuzhou City, Fujian Province Patentee before: Jinggong Huichuang (Fuzhou) Technology Co.,Ltd. Country or region before: China |