CN116012258A - 一种基于循环生成对抗网络的图像和谐化方法 - Google Patents

一种基于循环生成对抗网络的图像和谐化方法 Download PDF

Info

Publication number
CN116012258A
CN116012258A CN202310110330.5A CN202310110330A CN116012258A CN 116012258 A CN116012258 A CN 116012258A CN 202310110330 A CN202310110330 A CN 202310110330A CN 116012258 A CN116012258 A CN 116012258A
Authority
CN
China
Prior art keywords
image
harmonious
foreground
data
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310110330.5A
Other languages
English (en)
Other versions
CN116012258B (zh
Inventor
蔡珣
史清杰
高艳博
李帅
朱波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weihai Institute Of Industrial Technology Shandong University
Shandong University
Original Assignee
Weihai Institute Of Industrial Technology Shandong University
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weihai Institute Of Industrial Technology Shandong University, Shandong University filed Critical Weihai Institute Of Industrial Technology Shandong University
Priority to CN202310110330.5A priority Critical patent/CN116012258B/zh
Publication of CN116012258A publication Critical patent/CN116012258A/zh
Application granted granted Critical
Publication of CN116012258B publication Critical patent/CN116012258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种基于循环生成对抗网络的图像和谐化方法，包括：基于所述合成图像，获取原始和谐化后的图像和具有假前景光照信息的图像；基于所述和谐化后的图像和所述具有假前景光照信息的图像，获取混合图像；基于所述混合图像的背景掩膜，利用光照一致性循环方式，获取具有真实光照信息的图像；基于所述混合图像的前景掩膜，利用结构保持循环方式，获取具有假前景光照信息的图像；基于所述具有真实光照信息的图像和具有假前景关照信息的图像，优化和谐化后的图像。本发明可完成图像和谐化，使其在视觉效果上保持一致。

Description

一种基于循环生成对抗网络的图像和谐化方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于循环生成对抗网络的图像和谐化方法。
背景技术
在对图像进行处理的过程中，一个常见的操作就是把一张图像的部分内容(前景)粘贴到另一个图像(背景)中。合成图像可以用于数据增强、获取感兴趣的图像等。然而，如果只进行简单地复制粘贴操作，人眼可以轻易地分辨一张图像的真假，故需要图像和谐化方法使其在视觉上保持一致。随着深度学习的发展，基于神经网络的方法被应用到图像和谐化中。现有的大部分方法只是单纯地使网络学习输入数据与真值之间的关系，但是在前景的调整过程中，前景的结构信息应保持不变，只更改其光照信息，单独的生成器学习将此过程混合，无法保证最终改变的是结构信息还是光照信息，同时忽视了前景和背景两者之间的关系。基于生成对抗网络的方法考虑到了背景的风格与光照信息对于前景调整的指导作用，但是其中判别器起到的提升作用较小。除此之外，现有的只考虑根据背景调整光照，而忽视了根据前景调整背景的可能性。因此，本发明基于循环生成对抗网络提出了一种图像和谐化方法。
发明内容
为解决上述技术问题，本发明提出了一种基于循环生成对抗网络的图像和谐化方法，将图像和谐化方法使其在视觉上保持一致。
为实现上述目的，本发明提供了一种基于循环生成对抗网络的图像和谐化方法，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像；
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像；所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像；所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像和第二和谐化图像，获得所述混合图像；
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像；所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像；所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
可选地，所述混合图像为：
Figure BDA0004076542980000031
其中，
Figure BDA0004076542980000032
为两张图像构成的混合图像，
Figure BDA0004076542980000033
为第一和谐化图像，
Figure BDA0004076542980000034
为第二和谐化图像，
Figure BDA0004076542980000035
为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
可选地，所述光照一致性循环的表达式为：
Figure BDA0004076542980000036
其中，
Figure BDA0004076542980000037
为混合图像的背景掩膜，
Figure BDA0004076542980000038
为两张图像构成的混合图像，
Figure BDA0004076542980000039
均为生成器，
Figure BDA00040765429800000310
为作为输入的合成图像，Breal为具有目标光照信息的背景。
可选地，所述结构保持循环的表达式为：
Figure BDA00040765429800000311
其中，Ffake为合成图像的前景，
Figure BDA00040765429800000312
均为生成器，M为混合图像的前景掩膜，
Figure BDA00040765429800000313
为输入的合成图像，
Figure BDA00040765429800000314
为混合图像。
可选地，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
Figure BDA0004076542980000041
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，
Figure BDA0004076542980000042
为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
可选地，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
Figure BDA0004076542980000043
其中，
Figure BDA0004076542980000044
为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
与现有技术相比，本发明具有如下优点和技术效果：
1.从评价指标上看，在均方误差(MSE)、峰值信噪比(PSNR)、前景均方误差(FMSE)上均有提升。
2.特别的，当前景占比大时，提升效果更好，因为本发明同时使用了背景和前景的光照信息。
3.提升了算法的稳定性，与基础模型相比，拥有不同前景的图像拥有更稳定的和谐化效果。
4.利用无监督的图像和谐化方法，可对无成对数据的合成图像进行训练。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的图形和谐化模型总体结构示意图；
图2为本发明实施例的加入ICOCO数据集后的判别器训练过程示意图；
图3为本发明实施例的在iHarmony四个子数据集上的比较结果示意图；
图4为本发明实施例的不同前景比例数据上的比较结果示意图；
图5为本发明实施例的无监督的背景和谐化效果示意图；
图6为本发明实施例的和谐化的视觉效果比较示意图；
图7不同前景合成图像在基础网络和本网络作用下的和谐化效果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
如图1所示，本实施例提供了一种基于循环生成对抗网络的图像和谐化方法，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像
Figure BDA0004076542980000061
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像
Figure BDA0004076542980000062
所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像
Figure BDA0004076542980000063
所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像
Figure BDA0004076542980000064
和第二和谐化图像
Figure BDA0004076542980000065
获得所述混合图像
Figure BDA0004076542980000066
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像
Figure BDA0004076542980000071
所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像
Figure BDA0004076542980000072
所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
进一步地，所述混合图像为：
Figure BDA0004076542980000073
其中，
Figure BDA0004076542980000074
为两张图像构成的混合图像，
Figure BDA0004076542980000075
为第一和谐化图像，
Figure BDA0004076542980000076
为第二和谐化图像，
Figure BDA0004076542980000077
为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
进一步地，所述光照一致性循环的表达式为：
Figure BDA0004076542980000081
其中，
Figure BDA0004076542980000082
为混合图像的背景掩膜，
Figure BDA0004076542980000083
为两张图像构成的混合图像，
Figure BDA0004076542980000084
均为生成器，
Figure BDA0004076542980000085
为作为输入的合成图像，Breal为具有目标光照信息的背景。
进一步地，所述结构保持循环的表达式为：
Figure BDA0004076542980000086
其中，Ffake为合成图像的前景，
Figure BDA0004076542980000087
均为生成器，M为混合图像的前景掩膜，
Figure BDA0004076542980000088
为输入的合成图像，
Figure BDA0004076542980000089
为混合图像。
进一步地，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
Figure BDA00040765429800000810
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，
Figure BDA00040765429800000811
为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
进一步地，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
Figure BDA0004076542980000091
其中，
Figure BDA0004076542980000092
为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
如图1所示，本实施例提供的一种基于循环生成对抗网络的图像和谐化方法，具体包括以下步骤：
S1：构造光照一致性循环
S1-1：将合成图像
Figure BDA0004076542980000093
和其对应的前景掩膜(M)输入到生成器
Figure BDA0004076542980000094
中，得到根据合成图像背景光照信息改变前景光照信息的和谐化图像
Figure BDA0004076542980000095
此时整张和谐化图像在原背景光照条件下。
S1-2：将合成图像
Figure BDA0004076542980000096
和对应的背景掩膜
Figure BDA0004076542980000097
输入的生成器
Figure BDA0004076542980000098
中(此生成器为固定参数的预训练模型)，得到根据合成图像前景光照信息改变背景光照信息的和谐化图像
Figure BDA0004076542980000099
此时整张和谐化图像在原前景光照条件下。
S1-3：利用S1-1和S1-2中和谐化图像和对对应的前景掩膜(M)、背景掩膜
Figure BDA00040765429800000910
利用如下公式(1)构建混合图像
Figure BDA00040765429800000911
此时混合图像的前景来自
Figure BDA00040765429800000912
背景来自
Figure BDA00040765429800000913
Figure BDA00040765429800000914
S1-4：将混合图像
Figure BDA0004076542980000101
和其对应的背景掩膜
Figure BDA00040765429800001011
输入到生成器
Figure BDA0004076542980000102
中，得到根据混合图像中前景光照信息改变背景光照信息的和谐化图像
Figure BDA0004076542980000103
此时整张和谐化图像在混合图像的前景光照条件下。
S1-5：将S1-1、S1-2、S1-4中生成的和谐化图像输入到判别器当中，利用判别器的对抗损失函数指导生成器生成前景背景在同一光照下的图像
S1-6：构造光照一致性循环：假设S1-1中的和谐画图像
Figure BDA0004076542980000104
的前景(Freal)光照信息与真实的背景一致，那么S1-4中的和谐化图像
Figure BDA0004076542980000105
中的背景(Breal)与输入图像中的背景完全一致，即为公式2：
Figure BDA0004076542980000106
S2：构造结构一致性循环
S2-1到S2-3：同S1-1到S1-3
S2-4：将混合图像
Figure BDA0004076542980000107
和其对应的前景掩膜(M)输入到生成器
Figure BDA0004076542980000108
中，得到根据混合图像中背景光照信息改变前景光照信息的和谐化图像
Figure BDA0004076542980000109
此时整张和谐化图像在混合图像的背景光照条件下。
S2-5：将S2-4中生成的和谐化图像作为假数据输入到判别当中S2-5：构造前景结构循环，输入的合成图像中前景，S1-1和谐化图像中的前景，与S2-4中生成的前景有相同的结构，故可构成循环如公式3，该循环为图1的上部。
Figure BDA00040765429800001010
原理为：假设
Figure BDA0004076542980000111
中的假背景(Bfake)与假前景光照一致，只有当和谐化的前景保持所有结构信息，最终根据假背景生成的Ffake与输入的合成图像中的前景相同。通过最小化最终生成的假前景和原始假背景之间的结构差异，使和谐化的前景结构与真实前景结构保持一致。
S3：构建数据集，提升生成对抗网络中判别器的泛化能力。
S3-1：选取10种类别的目标作为前景，根据COCO数据集自带的语义分割标注提取对应的掩膜
S3-2：挑选42598张来自COCO2014训练集，23144张来自COCO2014验证集中的图像，与在S3-1中得到的对应掩膜构成真实图像数据对。
S3-3：在网络的训练过程中，将S3-2中的数据对和IHarmony4(原数据集)中的真实图像数据对作为判别器的真实数据，将S1和S2当中所有生成器生成的和谐化图像作为判别器的假数据，来提高判别器的识别能力。
S4：设计无监督的背景和谐化方法(目的不同：此时进行背景和谐化时无成对的训练数据，训练过程不同：开放训练和参数固定的生成器不同)
S4-1：同S1-1，此时S1中的生成器参数固定
S4-2：同S1-2，将S1-2中的生成器
Figure BDA0004076542980000112
开放训练
S4-3：同S1-3
S4-4：将S4-1和S4-2中生成的和谐化图像作为假数据输入到判别器，S3-2中的数据对和IHarmony4中的真实图像对作为真实数据。
S4-5：判别器产生的对抗损失函数指导生成器生成前景背景光照一致的图像，S4-1与S4-2生成图像的背景一致性损失函数保证S4-1中生成的图像背景结构不变，以防止模式崩溃。
在本实施例中，通过基于循环生成对抗网络的图像和谐化方法要解决的三个问题为：1.前景结构信息与光照信息混合问题。2.无监督的背景和谐化方法。3.提升生成对抗网络中判别器的泛化能力。
1.关于前景结构信息与光照信息混合问题；
现有的方法存在的问题为，在和谐化过程中，将结构信息与光照信息混合学习，导致光照信息变化不足或过度。在本实施例中，数据的输入为合成图像
Figure BDA0004076542980000121
与前景掩膜(M)，输出为和谐化后的图像
Figure BDA00040765429800001210
并尽可能与真实图像(I)相同，将合成图像中的前景和背景分别称为Ffake和Breal。其中F代表前景,fake和real代表处在待和谐化与目标光照状态，故而，真值图像中的前景称为Freal。首先，总体结构如图1所示，将图像和谐化问题分为前景的结构保持与光照一致性两个子问题。
光照一致性循环：图像和谐化中，前景需要根据背景的光照信息改变自身光照信息，但是通常会学习不充分或过度。为了精确的学习到光照变化，本专利中，利用背景信息提出了光照一致性限制。首先，生成器
Figure BDA0004076542980000122
输出和谐化后的图像
Figure BDA0004076542980000123
同时生成器
Figure BDA0004076542980000124
利用合成图像和背景掩膜，生成具有假前景光照信息的图像
Figure BDA0004076542980000125
利用如下公式:
Figure BDA0004076542980000126
Figure BDA0004076542980000127
为两张图像构成的混合图像。将
Figure BDA0004076542980000128
背景掩膜
Figure BDA0004076542980000129
作为输入，生成器
Figure BDA0004076542980000131
可以得到具有真实光照信息的图像
Figure BDA0004076542980000132
假设
Figure BDA0004076542980000133
中生成的前景Freal光照信息与真实的背景一致，那么最终
Figure BDA0004076542980000134
中的生成Breal与输入图像中的背景则完全一致，即为：
Figure BDA0004076542980000135
根据此光照一致性循环，生成的前景光照被转移到假背景中，并通过使最终生成的背景照明接近原始真实背景光照，令生成的前景照明与真实背景保持一致。同时，所有图像都在判别器监督下生成。光照一致性循环结构如图1的下部分所示。
结构保持循环：为了使图像和谐，需将不同光照下中的前景转换为背景光照下，但前景的结构应保持不变。现有的图像和谐化方法通过重建损失对前景进行监督学习，同时改变了前景的光照和结构。为了解决此问题，设计了前景结构保持循环，该循环如图1的上部分所示。
包含假背景和和谐化前景的混合图像
Figure BDA0004076542980000136
已经在光照一致性循环中描述过，此过程的生成器
Figure BDA0004076542980000137
使用与
Figure BDA0004076542980000138
相同的网络结构，并且它们都根据背景光照调整前景的光照。输入前景，和谐化的前景，与最终生成的前景有相同的结构，故可构成循环：
Figure BDA0004076542980000139
假设
Figure BDA00040765429800001310
中的假背景(Bfake)与假前景光照一致，只有当和谐化的前景保持所有结构信息，最终根据假背景生成的Ffake与输入的合成图像中的前景相同。通过最小化最终生成的假前景和原始假背景之间的结构差异，使和谐化的前景结构与真实前景结构保持一致，如图1所示。
2.无监督的背景和谐化方法。
此问题最大的难点在于，无法建立训练数据间一对一的映射，即需设计无监督的训练过程。本专利中，无监督的背景和谐化由两个生成器
Figure BDA0004076542980000141
和
Figure BDA0004076542980000142
与一个判别器D构成，其中，
Figure BDA0004076542980000143
将合成图像中的真实背景(Breal)转变为与前景光照一致的假背景(Bfake),
Figure BDA0004076542980000144
利用前面提到的混合图像，将生成的假背景再次转化为真背景。我们利用输入输出的真背景之间的循环一致性损失函数保证背景的内容不变，生成对抗损失函数保证生成图像的前景背景光照保持一致，通过这两个损失函数保证生成的假背景内容不变，只改变光照。
3.提升生成对抗网络中判别器的泛化能力。
由于传统生成对抗网络中，判别器只将iHarmony数据集中的真实图像作为真实数据输入，所以判别器只能学习到此部分数据中前景背景关系，从而对提升和谐化图像的真实性起到的作用小，但是判别器的目的是分辨任意图像的真假。为了解决判别器泛化能力低的问题，基于COCO数据集，我们构建了ICOCO数据集作为判别器的输入，具体方法为，提取10种类别的目标作为前景，根据其语义分割标注提取对应的掩膜，构成真实数据输入对。增加了真实图像数据对的同时，我们将所有由生成器产生的图像作为假数据，拓展之后的数据够成，如图2所示。
本实施例的有益效果为：
图像和谐化的效果明显提升，结果如图3所示和图4所示，分别为在四个子数据集和不同前景比例数据上的不同方法比较效果，评价指标均方误差(MSE)和峰值信噪比(PSNR)等都有提升。本实例中提出的无监督背景和谐化方法，可在不具有成对数据时完成图像和谐化，使其在视觉效果上保持一致。在不论与图像和谐化领域中有代表性的其他方法，还是我们选取的原始生成器网络相比，可以看到使用本实施例的实验结果有了明显的提升，具体无监督的背景和谐化效果图和和谐化的视觉效果比较图分别如图5图6所示；图7为不同前景合成图像在基础网络和本实施例的网络作用下的和谐化效果示意图，其中基础网络：ISSAM，本实施例的网络：SP-IC Cycle。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于循环生成对抗网络的图像和谐化方法，其特征在于，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像；
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像；所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像；所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像和第二和谐化图像，获得所述混合图像；
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像；所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像；所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
2.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，所述混合图像为：
Figure FDA0004076542970000021
其中，
Figure FDA0004076542970000022
为两张图像构成的混合图像，
Figure FDA0004076542970000023
为第一和谐化图像，
Figure FDA0004076542970000024
为第二和谐化图像，
Figure FDA0004076542970000025
为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
3.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，所述光照一致性循环的表达式为：
Figure FDA0004076542970000026
其中，
Figure FDA0004076542970000027
为混合图像的背景掩膜，
Figure FDA0004076542970000028
为两张图像构成的混合图像，
Figure FDA0004076542970000029
均为生成器，
Figure FDA00040765429700000210
为作为输入的合成图像，Breal为具有目标光照信息的背景。
4.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，所述结构保持循环的表达式为：
Figure FDA00040765429700000211
其中，Ffake为合成图像的前景，
Figure FDA0004076542970000031
均为生成器，M为混合图像的前景掩膜，
Figure FDA0004076542970000032
为输入的合成图像，
Figure FDA0004076542970000033
为混合图像。
5.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
Figure FDA0004076542970000034
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，
Figure FDA0004076542970000035
为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
6.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
Figure FDA0004076542970000041
其中，
Figure FDA0004076542970000042
为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
CN202310110330.5A 2023-02-14 2023-02-14 一种基于循环生成对抗网络的图像和谐化方法 Active CN116012258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110330.5A CN116012258B (zh) 2023-02-14 2023-02-14 一种基于循环生成对抗网络的图像和谐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110330.5A CN116012258B (zh) 2023-02-14 2023-02-14 一种基于循环生成对抗网络的图像和谐化方法

Publications (2)

Publication Number Publication Date
CN116012258A true CN116012258A (zh) 2023-04-25
CN116012258B CN116012258B (zh) 2023-10-13

Family

ID=86030046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110330.5A Active CN116012258B (zh) 2023-02-14 2023-02-14 一种基于循环生成对抗网络的图像和谐化方法

Country Status (1)

Country Link
CN (1) CN116012258B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150057534A1 (en) * 2012-05-08 2015-02-26 Fujifilm Corporation Photoacoustic image generation apparatus, system and method
CN108305271A (zh) * 2018-01-25 2018-07-20 腾讯科技（深圳）有限公司 一种视频帧图像处理方法和装置
US20180226536A1 (en) * 2017-02-06 2018-08-09 Nichia Corporation Method of manufacturing nitride semiconductor light-emitting element
CN110633698A (zh) * 2019-09-30 2019-12-31 上海依图网络科技有限公司 基于循环生成对抗网络的红外图片识别方法、设备及介质
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113222875A (zh) * 2021-06-01 2021-08-06 浙江大学 一种基于色彩恒常性的图像和谐化合成方法
US20210279515A1 (en) * 2019-04-26 2021-09-09 Tencent Technology (Shenzhen) Company Limited Data processing method and device for generating face image and medium
CN113596323A (zh) * 2021-07-13 2021-11-02 咪咕文化科技有限公司 智能合影方法、装置、移动终端及计算机程序产品
US20210390319A1 (en) * 2020-06-11 2021-12-16 Shandong University Scene change method and system combining instance segmentation and cycle generative adversarial networks
WO2022105308A1 (zh) * 2020-11-20 2022-05-27 南京大学 一种基于生成对抗级联网络增广图像的方法
CN114882168A (zh) * 2022-04-08 2022-08-09 清华大学 一种基于视觉的触觉传感器的数字孪生方法及装置
CN115100024A (zh) * 2022-05-27 2022-09-23 北京邮电大学 基于风格迁移的图像和谐化***
CN115115540A (zh) * 2022-06-08 2022-09-27 大连海事大学 基于光照信息引导的无监督低光图像增强方法及装置
CN115205544A (zh) * 2022-07-26 2022-10-18 福州大学 一种基于前景参考图像的合成图像和谐化方法及***
CN115456921A (zh) * 2022-08-30 2022-12-09 北京邮电大学 合成图像和谐化模型训练方法、和谐化方法及装置
WO2022267641A1 (zh) * 2021-06-25 2022-12-29 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及***
CN115587924A (zh) * 2022-10-08 2023-01-10 华东师范大学 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
CN115661280A (zh) * 2022-10-08 2023-01-31 北京达佳互联信息技术有限公司 在视频中植入多媒体的方法、装置、电子设备及存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150057534A1 (en) * 2012-05-08 2015-02-26 Fujifilm Corporation Photoacoustic image generation apparatus, system and method
US20180226536A1 (en) * 2017-02-06 2018-08-09 Nichia Corporation Method of manufacturing nitride semiconductor light-emitting element
CN108305271A (zh) * 2018-01-25 2018-07-20 腾讯科技（深圳）有限公司 一种视频帧图像处理方法和装置
US20210279515A1 (en) * 2019-04-26 2021-09-09 Tencent Technology (Shenzhen) Company Limited Data processing method and device for generating face image and medium
CN110633698A (zh) * 2019-09-30 2019-12-31 上海依图网络科技有限公司 基于循环生成对抗网络的红外图片识别方法、设备及介质
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
US20210390319A1 (en) * 2020-06-11 2021-12-16 Shandong University Scene change method and system combining instance segmentation and cycle generative adversarial networks
WO2022105308A1 (zh) * 2020-11-20 2022-05-27 南京大学 一种基于生成对抗级联网络增广图像的方法
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113222875A (zh) * 2021-06-01 2021-08-06 浙江大学 一种基于色彩恒常性的图像和谐化合成方法
WO2022267641A1 (zh) * 2021-06-25 2022-12-29 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及***
CN113596323A (zh) * 2021-07-13 2021-11-02 咪咕文化科技有限公司 智能合影方法、装置、移动终端及计算机程序产品
CN114882168A (zh) * 2022-04-08 2022-08-09 清华大学 一种基于视觉的触觉传感器的数字孪生方法及装置
CN115100024A (zh) * 2022-05-27 2022-09-23 北京邮电大学 基于风格迁移的图像和谐化***
CN115115540A (zh) * 2022-06-08 2022-09-27 大连海事大学 基于光照信息引导的无监督低光图像增强方法及装置
CN115205544A (zh) * 2022-07-26 2022-10-18 福州大学 一种基于前景参考图像的合成图像和谐化方法及***
CN115456921A (zh) * 2022-08-30 2022-12-09 北京邮电大学 合成图像和谐化模型训练方法、和谐化方法及装置
CN115587924A (zh) * 2022-10-08 2023-01-10 华东师范大学 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
CN115661280A (zh) * 2022-10-08 2023-01-31 北京达佳互联信息技术有限公司 在视频中植入多媒体的方法、装置、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GOURAV MODANWAL等: ""MRI image harmonization using cycle-consistent generative adversarial network"", 《COMPUTER-AIDED DIAGNOSIS》, pages 1 - 20 *
JUN YAN ZHU等: ""Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks"", 《PROCEEDINGDS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 2223 - 2232 *
KONSTANTIN SOFIIUK等: ""Foreground-Aware Semantic Representations for Imgae Harmonization"", 《PROCEEDINGS OF THE IEEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》, pages 1620 - 1629 *
ZHONGYUN BAO等: ""Deep Image-Based Illumination Harmonization"", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITON》, pages 15842 - 18551 *
孙劲光: ""基于生成对抗网络的轻量级图像卡通风格化方法"", 《激光与光电子学进展》, pages 1 - 10 *
陈存健: ""基于神经网络的中国绘画图像风格迁移"", 《中国优秀硕士学位论文全文数据库》, no. 4, pages 138 - 607 *

Also Published As

Publication number Publication date
CN116012258B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110458844A (zh) 一种低光照场景的语义分割方法
CN107423700A (zh) 人证核实的方法及装置
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN105469034A (zh) 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
Zhao et al. Transfer learning with ensemble of multiple feature representations
Song et al. AgeGAN++: Face aging and rejuvenation with dual conditional GANs
Ma et al. Must-gan: Multi-level statistics transfer for self-driven person image generation
CN112001397A (zh) 一种智慧工地的身份证字符识别训练数据生成方法及***
Dong et al. A combined deep learning model for the scene classification of high-resolution remote sensing image
CN112069993B (zh) 基于五官掩膜约束的密集人脸检测方法及***和存储介质
Singh Colorization of old gray scale images and videos using deep learning
CN109840567A (zh) 一种基于最优协同表示的稳健判别特征提取方法
Li et al. Multiscale generative adversarial network based on wavelet feature learning for sar-to-optical image translation
Yan et al. Tongue image texture classification based on image inpainting and convolutional neural network
CN116012258B (zh) 一种基于循环生成对抗网络的图像和谐化方法
Sun et al. Virtual reality-based visual interaction: a framework for classification of ethnic clothing totem patterns
Yuan et al. Explore double-opponency and skin color for saliency detection
Wei et al. Segmentation and synthesis of embroidery art images based on deep learning convolutional neural networks
CN113658285B (zh) 一种人脸照片到艺术素描的生成方法
CN116468844A (zh) 一种人脸神经辐射场的光照编辑方法及***
Guo et al. Facial parts swapping with generative adversarial networks
CN110554429A (zh) 一种基于变邻域滑动窗口机器学习的地震断层识别方法
CN115496675A (zh) 一种基于Neighborhood注意力机制的阴影去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant