CN113269792B - 一种图像后期和谐化处理方法、***及终端 - Google Patents
一种图像后期和谐化处理方法、***及终端 Download PDFInfo
- Publication number
- CN113269792B CN113269792B CN202110494193.0A CN202110494193A CN113269792B CN 113269792 B CN113269792 B CN 113269792B CN 202110494193 A CN202110494193 A CN 202110494193A CN 113269792 B CN113269792 B CN 113269792B
- Authority
- CN
- China
- Prior art keywords
- foreground
- features
- image
- background
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 11
- 238000010606 normalization Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像后期和谐化处理方法、***及终端，该方法包括：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将前景掩膜区域图缩放到与该归一化层的特征大小相同；区域自适应实例归一化层根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将统计特征通过反调制应用到前景区域的特征上，使得前景与背景在特征部分具有相似的统计特征；将区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到图像和谐化映射网络中，输出已将前景图像调整后的图像。通过本发明，保证了前景与背景之间具有更加连续的视觉风格，可应用到现有的图像处理软件，且取得较好的改善。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像后期和谐化处理方法、***及终端。
背景技术
贴图也叫图像组合，是图像编辑、数据增强中的常用操作，前景背景图片组合可以用如下数学公式表示：
其中，If为前景图像，M为前景图像的掩码，Ib为背景图像的掩码，Ic为贴图图像，°为哈达玛乘积。通常情况下，将一个前景目标If粘贴到背景上，肉眼可以看到一些不和谐的现象，比如在颜色、光照、边缘等等。
在这中图像编辑任务中，要想生成真实的贴图图像，通常需要专业设计人员在图像编辑工具(如Photoshop)的辅助下，仔细观察图像之间的差异，调整被贴上去的前景的颜色、照明特征，从而使得前景与背景融合更加贴切。这一创造性过程需要人具有一定的技能，并且处理单张图片需要的时间较多。为了减轻人工负担，旨在自动化调整前背景以融合图像的图像和谐化任务被提出。
在实际应用中，当新的前景目标图像被粘贴到新的背景图像时，前景-背景的视觉特征变得不兼容而且不和谐，因此用户可以轻易的判断其真实性。
前期有大量的图像和谐化方法旨在提高贴图图像的真实感。传统方法通过将人工设计的统计知识从已有的图像迁移至被调整的前景图像，包括颜色特征、纹理特征、或者采用泊松融合的方法。尽管取得了一定的效果，但是这些方法都只能在简单的样例上有效，这些样例通常前背景在一定程度上已经较为和谐。近年来，越来越多的深度学习方法被提出，用来实现端到端的图像和谐化。上述的算法都是从全局的角度，学习一个神经映射网络，没有真正从视觉风格一致性的角度来考虑真实性。并且这些方法通常没有联合考虑前景图像与背景图像之间的关系，要么分别在前景和背景上卷积。要么是引入其他的模块扩大网络容量，但是很难很好地将前景的视觉风格与背景变得兼容。
因此，为了使得一张贴图图像看起来更加真实，必须保证前景与背景之间具有更加连续的视觉风格，急需提供一种新的图像后期和谐化处理技术。
发明内容
本发明针对上述现有技术中存在的问题，提出一种图像后期和谐化处理方法、***及终端，可以保证前景与背景之间具有更加连续的视觉风格，可以应用到现有的图像处理软件或者和谐化算法上，并能取得较好的性能改善。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种图像后期和谐化处理方法，其包括：
S11：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将所述前景掩膜区域图缩放到与该归一化层的特征大小相同；
S12：区域自适应实例归一化层根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将所述统计特征通过反调制应用到前景区域的特征上，从而实现背景特征对前景特征的反调制，使得前景与背景在特征部分具有相似的统计特征；
S13：将所述S12得到的区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到所述图像和谐化映射网络中，输出已将前景图像调整后的图像，并且前景图像与背景图像在视觉风格与感受上具有兼容性，从而得到新前景与背景兼容和谐的图像，即看起来真实无违和感。
较佳地，所述S12进一步包括：
S121：在缩放后的前景掩膜区域图的指示下，对输入图像特征图的前景区域以及背景区域分别进行特征归一化；
S122：从归一化后的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征，所提取的统计特征不受前景特征的影响；
S123：将所述S122得到的标准差统计特征乘以归一化后的前景区域的特征，再加上所述S122得到的平均值统计特征。
较佳地，所述S121中归一化方式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述S122中的平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述S123的反调制公式为：
较佳地，所述S13进一步包括：
S131：利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中可以利用所述区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
S132：利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器可以中利用所述区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
S133：通过跨越连接将所述S131得到的结果与所述S132得到的结果进行级联，有利于减少跨步卷积带来的信息损失并保持图像的高分辨率特征；
S134：将经过所述S133处理后的特征解码成图像。
较佳地，所述S133之后还包括：
S51：从所述S133得到的特征中学***衡，进一步提升了模型性能；
进一步地，所述S134为：将经过所述S51处理后的特征解码成图像。。
本发明还提供一种图像后期和谐化处理***，其包括：前景图像分割掩膜图、区域自适应实例归一化层以及图像和谐化映射网络；其中，
所述前景图像分割掩膜图用于利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将所述前景掩膜区域图缩放到与该归一化层的特征大小相同；
所述区域自适应实例归一化层用于根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将所述统计特征通过反调制应用到前景区域的特征上，使得前景与背景在特征部分具有相似的统计特征；
所述图像和谐化映射网络用于将所述区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到所述图像和谐化映射网络中，输出已将前景图像调整后的图像。
较佳地，所述区域自适应实例归一化层进一步包括：前景背景特征归一化模块、背景特征提取模块以及前景特征反调制模块；其中，
所述前景背景特征归一化模块用于在缩放后的前景掩膜区域图的指示下，对输入图像特征图的前景区域以及背景区域分别进行特征归一化；
所述背景特征提取模块用于从归一化后的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征；
所述前景特征反调制模块用于将所述背景特征提取模块得到的标准差统计特征乘以归一化后的前景区域的特征，再加上所述背景特征提取模块得到的平均值统计特征。
较佳地，所述前景背景特征归一化模块中归一化公式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述背景特征提取模块中的平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述前景特征反调制模块中的反调制公式为：
较佳地，所述图像和谐化映射网络进一步包括：编码器、解码器、跨越连接以及网络输出层；其中，
所述编码器用于利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中可以利用所述区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
所述解码器用于利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器中可以利用所述区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
所述跨越连接用于将所述编码器网络的特征通过跨越连接操作与所述解码器网络的特征进行级联，有利于减少跨步卷积带来的信息损失并保持图像的高分辨率特征；
所述网络输出层用于将经过所述跨越连接处理后的特征解码成图像。
较佳地，所述图像和谐化映射网络还包括：通道注意力机制，当包括所述通道注意力机制时，所述网络输出层用于将经过所述通道注意力机制处理后的特征解码成图像；
所述通道注意力机制用于通过从所述编码器特征与解码器特征级联后的特征学***衡，进一步提升了模型性能。
本发明还提供一种图像后期和谐化处理终端，其包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时用于执行上述的方法。
相较于现有技术，本发明实施例具有以下至少一个优点：
(1)本发明提供的图像后期和谐化处理方法、***及终端，可以用于贴图图像的处理，通过前景掩码图来指示网络哪一部分为前景图像需要调整，因此网络模型可以更好的学习预测出与背景更加和谐的前景图像；
(2)本发明提供的图像后期和谐化处理方法、***及终端，通过区域自适应实例归一化层显式地从背景特征中提取出与背景图像地视觉特征相关联的特征向量，进一步将该特征向量通过反调制的方式应用到前景上，从而使得前景背景之间在网络的特征级上具有一致性；这种显式构建前景背景图像之间的联系的方法提升了模型的性能；
(3)本发明提供的图像后期和谐化处理方法、***及终端，区域自适应实例归一化层可以应用到现有的图像处理软件或者和谐化算法上，并能取得较好的性能改善；
(4)本发明提供的图像后期和谐化处理方法、***及终端，通过只编辑调整前景区域，最后的输出新的前景部分直接通过公式与原背景图像重新组合，从而确保不改变输入组合图像的背景信息。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明一实施例的图像后期和谐处理方法的流程图；
图2为本发明一较佳实施例的区域自适应实例归一化的流程图；
图3为本发明一实施例的区域自适应实例归一化的结构示意图；
图4为本发明一实施例的图像和谐化映射网络结构示例；
图5为本发明一实施例的图像和谐化效果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示为本发明一实施例的图像后期和谐处理方法的流程图。
请参考图1，本实施例的图像后期和谐处理方法包括：
S11：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将前景掩膜区域图缩放到与该归一化层的特征大小相同；
S12：区域自适应实例归一化层根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将统计特征通过反调制应用到前景区域的特征上，从而实现背景特征对前景特征的反调制，使得前景与背景在特征部分具有相似的统计特征；
S13：将S12得到的区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到图像和谐化映射网络中，输出已将前景图像调整后的图像，并且前景图像与背景图像在视觉风格与感受上具有兼容性，从而得到新前景与背景兼容和谐的图像，即看起来真实无违和感。
较佳实施例中，如图2所示，S12进一步包括：
S121：为了稳定网络训练，在缩放后的前景掩膜区域图的指示下，对输入图像特征图的前景区域以及背景区域分别进行特征归一化，以让前景特征与背景特征具有零均值单位方差；
S122：从归一化的的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征，所提取的统计特征不受前景特征的影响；
S123：将S122得到的标准差统计特征乘以归一化后的前景区域的特征，再加上S122得到的平均值统计特征，使得前景特征的通道均值与方差与背景特征的通道均值与方差保持一致，从而实现背景特征对前景特征的反调制。
较佳实施例中，如图3所示，S121中归一化方式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述S122中的平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
S123的反调制公式为：
较佳实施例中，S13进一步包括：
S131：利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中可以利用所述区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
S132：利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器中可以利用区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
S133：通过跨越连接将编码器特征与解码器特征进行级联，有利于减少跨步卷积带来的信息损失并保持图像的高分辨率特征，进而提升最终合成图像的质量；
S134：将经过S133处理后的特征解码成图像。
较佳实施例中，S133与S134之间还包括：
S51：从S133得到的特征中学***衡，进一步提升了模型性能；进一步地，此时的S134为将经过S51处理后的特征解码成图像。
较佳实施例中，图像和谐化映射网络结构示例如图4所示，其中图像映射网络所具有的网络层数不一定为如图中所示，可以为任意层数。图中前景-背景组合模块用于将图像和谐化映射网络得到的被优化的前景图像与输入图像的背景部分进行重新组合，从而保证背景图像在图像和谐化网络中不被改变。
较佳实施例中，本发明提供的自动智能化处理贴图图像和谐化方法，融合了：前景图像分割掩码图、区域自适应实例归一化层、图像和谐化映射网络；通过前景风格掩码图指示待调整的前景区域，值得模型可以区分背景特征与前景特征。
较佳实施例中，通过将一般地归一化模块替换为区域自适应归一化模块，通过区域自适应实例归一化模块显式地从背景图像提取特征，并应用到前景图像上，从而显著改善了模型性能。
在本发明一实施例中，还提供一种图像后期和谐化处理***，其包括：前景图像分割掩膜图、区域自适应实例归一化层以及图像和谐化映射网络；其中，
前景图像分割掩膜图用于利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将前景掩膜区域图缩放到与该归一化层的特征大小相同；
区域自适应实例归一化层用于根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将统计特征通过反调制应用到前景区域的特征上，使得前景与背景在特征部分具有相似的统计特征；
图像和谐化映射网络用于将所述区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到所述图像和谐化映射网络中，输出已将前景图像调整后的图像。
较佳实施例中，区域自适应实例归一化层进一步包括：前景背景特征归一化模块、背景特征提取模块以及前景特征反调制模块；其中，
前景背景特征归一化模块用于在缩放后的前景掩膜区域图的指示下，对输入图像特征图的前景区域以及背景区域分别进行特征归一化；
背景特征提取模块用于从归一化后的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征；
前景特征反调制模块用于将背景特征提取模块得到的标准差统计特征乘以归一化后的前景区域的特征，再加上背景特征提取模块得到的平均值统计特征。
较佳实施例中，前景背景特征归一化模块中归一化公式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
背景特征提取模块中的平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
前景特征反调制模块中的反调制公式为：
较佳实施例中，图像和谐化映射网络进一步包括：编码器、解码器、跨越连接以及网络输出层；其中，
编码器用于利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中可以利用区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
解码器用于利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器中可以利用区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
跨越连接用于通过跨越连接操作将编码器网络的特征与解码器网络的特征进行级联；
网络输出层用于将经过跨越连接处理后的特征解码成图像。
较佳实施例中，图像和谐化映射网络还包括：通道注意力机制，当包括通道注意力机制时，网络输出层用于将经过通道注意力机制处理后的特征解码成图像。通道注意力机制用于通过从编码器特征与解码器特征级联后的特征学习出一个通道注意力权重，再利用通道注意力权重乘以二者级联的特征。
在另一实施例中，本发明还提供一种图像后期和谐化处理终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时用于执行上述任一实施例的图像后期和谐化处理方法。
上述实施例中，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random AccessMemory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
下面对上述实施例的图像后期和谐化处理方法的结果进行评估，选择iHarmony4数据集作为训练和测试数据，使用包括DIH、S2AM、DoveNet等方法作为当前最先进的方法，和本发明上述实施例方法进行定量和定性比较。
关于定量评估，所用地客观指标包括平均平方误差(MSE)、峰值信噪比、前景估计误差等。首先在训练集上训练，然后在测试集上测试，与之前的方法保持一致。所有的定量测试结果如表1所示，加粗数字表示最佳性能。可以直观地看到，而受益于区域自适应实例归一化与本实施例方法地设计，本实施例方法获得了比DIH、S2AM、DoveNet等方法更好的性能表现，虽然在数据集Hday2night上，DoveNet比RainNet稍好，但是整体上在HCOCO、HAdobe5k以及HFlickr上的表现并不如本发明的方法。
表1在iHarmoni4的四个子数据集上进行定量性能比较
进一步地，在评价选择部分，邀请了11名志愿者参与主观实验。在每次实验中，每一位志愿者需要从打乱顺序的5张给定图像中(分别为输入的组合图像、DIH结果、S2AM结果、DoveNet结果、以及本实施例方法的结果)选择他们认为最真实的图像。实验采用随机交叉测试，每位用户需要进行99次测试，一共需要观察495张图像。实验结果如表2所示。从表中结果来看，DIH方法与S2AM方法被选择的概率相差无几，DoveNet比前两者的可接受性稍微好；同时输入图像最不和谐并且获得了最少的票数，然而总体来看，本发明实施例的方法(RainNet)获得的选择率比其他方法多更多，被选择的比例更高，这说明在真实组合图像和谐化任务上本实施例方法比其他方法整体性能更好、更稳定。
表2本实施例方法与其他方法的主观性实验比较
为了定性比较生成质量，实验进一步定性地比较不同方法在图像和谐化上的性能。从图5中可以看出，所提出的方法生成的结果在前景图像与背景图像之间具有更好的视觉风格一致性，前景可以更好的融入背景，并且与真实和谐图像在视觉效果上更为接近。比如说，在图5的第二行，图像处于欠曝光状态，然而，前景图像(气球)具有比背景明显更高的亮度与对比度，因此前景与背景显得不够和谐。DIH与DoveNet方法没有很好的将前景调整至与灰暗的背景图像兼容的结果，然而S2AM生成的结果最不真实，因为它在前景与背景上分别执行不同的卷积操作。本发明所提出的RainNet则可以实现最接近真实图像的结果，在前景与背景的视觉风格特征上具有加好的一致性。
在一实施例中，将本实施例方法所提出的区域自适应实例归一化方法应用到之前的网络上DIH，也获得了网络性能地提升，如表3所示，进一步证明了本发明中方法的有益性；
表三 本实施例方法中区域自适应实例归一化方法在DIH网络上的性能提升比较
| 方法 | PSNR(dB) |
| DIH | 33.36 |
| DIH+区域自适应实例归一化方法 | 33.84(+0.48) |
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。
Claims (3)
1.一种图像后期和谐后处理方法，其特征在于，包括：
S11：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将所述前景掩膜区域图缩放到与该归一化层的特征大小相同；
S12：区域自适应实例归一化层根据缩放后的前景掩膜区域图，从同一输入图像特征图的背景区域提取出统计特征，并将所述统计特征通过反调制应用到前景区域的特征上，使得同一图像的前景与背景在特征部分具有相似的统计特征；
S13：将所述S12得到的区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到所述图像和谐化映射网络中，输出已将前景图像调整后的图像；
所述S12进一步包括：
S121：在缩放后的前景掩膜区域图的指示下，对同一输入图像特征图的前景区域以及背景区域分别进行特征归一化；
S122：从归一化后的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征；
S123：将所述S122得到的标准差统计特征乘以归一化后的前景区域的特征，再加上所述S122得到的平均值统计特征；
所述S121中，归一化方式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述S122中，平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述S123，反调制公式为：
所述图像和谐化映射网络包括：编码器、解码器，所述S13进一步包括：
S131：利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中利用所述区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
S132：利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器中利用所述区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
S133：通过跨越连接将所述S131得到的结果与所述S132得到的结果进行级联，以减少跨步卷积带来的信息损失并保持图像的高分辨率特征；
S134：将经过所述S133处理后的特征解码成图像；
所述S133之后还包括：
S51：从所述S133得到的特征中学习出一个通道注意力权重，再利用所述通道注意力权重乘以所述S133得到的特征；
进一步地，所述S134为：将经过所述S51处理后的特征解码成图像。
2.一种图像后期和谐化处理***，其特征在于，包括：前景图像分割掩膜图、区域自适应实例归一化层以及图像和谐化映射网络；其中，
所述前景图像分割掩膜图用于利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将所述前景掩膜区域图缩放到与该归一化层的特征大小相同；
所述区域自适应实例归一化层用于根据缩放后的前景掩膜区域图，从同一输入图像特征图的背景区域提取出统计特征，并将所述统计特征通过反调制应用到前景区域的特征上，使得同一图像的前景与背景在特征部分具有相似的统计特征；
所述图像和谐化映射网络，应用所述区域自适应实例归一化层，将输入图像的前景图像作为输入，输出已将前景图像调整后的图像；
所述区域自适应实例归一化层进一步包括：前景背景特征归一化模块、背景特征提取模块以及前景特征反调制模块；其中，
所述前景背景特征归一化模块用于在缩放后的前景掩膜区域图的指示下，对同一输入图像特征图的前景区域以及背景区域分别进行特征归一化；
所述背景特征提取模块用于从归一化后的的背景区域按照通道的方式提取出统计特征，包括：沿通道的平均值统计特征以及标准差统计特征；
所述前景特征反调制模块用于将所述背景特征提取模块得到的标准差统计特征乘以归一化后的前景区域的特征，再加上所述背景特征提取模块得到的平均值统计特征；
所述前景背景特征归一化模块中归一化公式为：
其中，
其中，Fi为第i个归一化层的输入特征，Mi为第i层经过缩放后的前景掩码区域图，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，#{Mi＝1}表示第i层前景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述背景特征提取模块中的平均值统计特征以及标准差统计特征/>的公式为：
其中，Fi为第i个归一化层的输入特征，为第i层经过缩放后的背景掩码区域图，并通过公式/>计算得到，而下标h,w,c表示在该位置的特征值，∈表示一个小量，设为10-7，/>表示该层背景掩码中像素值非零的像素个数，°为哈达玛乘积；
所述前景特征反调制模块中的反调制公式为：
所述图像和谐化映射网络进一步包括：编码器、解码器、跨越连接以及网络输出层；其中，
所述编码器用于利用编码器网络来编码、抽取输入图像的深层次特征，在编码器中利用所述区域自适应实例归一化层从编码器特征的背景特征中提取出统计特征，并应用到前景特征；
所述解码器用于利用解码器网络来解码、映射编码器和解码器的深层次特征，在所述解码器中利用所述区域自适应实例归一化层从解码器特征的背景特征中提取出统计特征，并应用到前景特征上；
所述跨越连接用于将所述编码器网络的特征通过跨越连接操作与所述解码器网络的特征进行级联；
所述网络输出层用于将经过所述跨越连接处理后的特征解码成图像；
进一步地，还包括：通道注意力机制，当包括所述通道注意力机制时，所述网络输出层用于将经过所述通道注意力机制处理后的特征解码成图像；
所述通道注意力机制用于通过从所述编码器特征与解码器特征级联后的特征学习出一个通道注意力权重，再利用所述通道注意力权重乘以二者级联的特征。
3.一种图像后期和谐化处理终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时用于执行权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494193.0A CN113269792B (zh) | 2021-05-07 | 2021-05-07 | 一种图像后期和谐化处理方法、***及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494193.0A CN113269792B (zh) | 2021-05-07 | 2021-05-07 | 一种图像后期和谐化处理方法、***及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269792A CN113269792A (zh) | 2021-08-17 |
| CN113269792B true CN113269792B (zh) | 2023-07-21 |
Family
ID=77230085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110494193.0A Active CN113269792B (zh) | 2021-05-07 | 2021-05-07 | 一种图像后期和谐化处理方法、***及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269792B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113689328B (zh) * | 2021-09-13 | 2024-06-04 | 中国海洋大学 | 一种基于自注意变换的图像和谐化*** |
| CN113989174B (zh) * | 2021-10-29 | 2023-11-10 | 北京百度网讯科技有限公司 | 图像融合方法和图像融合模型的训练方法、装置 |
| CN116452414B (zh) * | 2023-06-14 | 2023-09-08 | 齐鲁工业大学(山东省科学院) | 一种基于背景风格迁移的图像和谐化方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
| CN110991294A (zh) * | 2019-11-26 | 2020-04-10 | 吉林大学 | 一种快速构建的人脸动作单元识别方法及*** |
| CN111489372A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于级联卷积神经网络的视频前背景分离方法 |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
-
2021
- 2021-05-07 CN CN202110494193.0A patent/CN113269792B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
| CN110991294A (zh) * | 2019-11-26 | 2020-04-10 | 吉林大学 | 一种快速构建的人脸动作单元识别方法及*** |
| CN111489372A (zh) * | 2020-03-11 | 2020-08-04 | 天津大学 | 基于级联卷积神经网络的视频前背景分离方法 |
| CN111768415A (zh) * | 2020-06-15 | 2020-10-13 | 哈尔滨工程大学 | 一种无量化池化的图像实例分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269792A (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113269792B (zh) | 一种图像后期和谐化处理方法、***及终端 | |
| Li et al. | Low-light image enhancement via progressive-recursive network | |
| CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
| CN110728633B (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
| CN105279746B (zh) | 一种基于双边滤波的多曝光图像融合方法 | |
| EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
| CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
| Garg et al. | LiCENt: Low-light image enhancement using the light channel of HSL | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN112927137A (zh) | 一种用于获取盲超分辨率图像的方法、设备及存储介质 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN116503502A (zh) | 一种基于对比学习的未配对红外图像彩色化方法 | |
| Huang et al. | A fully-automatic image colorization scheme using improved CycleGAN with skip connections | |
| Zhang et al. | A GPU-accelerated real-time single image de-hazing method using pixel-level optimal de-hazing criterion | |
| JP2023001926A (ja) | 画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| US20240205376A1 (en) | Image processing method and apparatus, computer device, and storage medium | |
| CN113298704B (zh) | 一种广播电视新闻下利用图迁移的肤色分割及美化方法 | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及*** | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN115100024A (zh) | 基于风格迁移的图像和谐化*** | |
| Cui et al. | Progressive dual-branch network for low-light image enhancement | |
| CN114708157A (zh) | 图像压缩方法、电子设备和计算机可读存储介质 | |
| CN113724282A (zh) | 图像处理方法和相关产品 | |
| Wu et al. | Color transfer with salient features mapping via attention maps between images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |