CN113192055B - 一种合成图像的和谐化方法及模型 - Google Patents
一种合成图像的和谐化方法及模型 Download PDFInfo
- Publication number
- CN113192055B CN113192055B CN202110552384.8A CN202110552384A CN113192055B CN 113192055 B CN113192055 B CN 113192055B CN 202110552384 A CN202110552384 A CN 202110552384A CN 113192055 B CN113192055 B CN 113192055B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- illumination
- intrinsic
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002194 synthesizing effect Effects 0.000 title claims description 16
- 238000005286 illumination Methods 0.000 claims abstract description 148
- 238000002310 reflectometry Methods 0.000 claims abstract description 82
- 239000002131 composite material Substances 0.000 claims abstract description 40
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 62
- 230000006870 function Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- UHOVQNZJYSORNB-UHFFFAOYSA-N benzene Substances C1=CC=CC=C1 UHOVQNZJYSORNB-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种合成图像的和谐化方法及模型。
背景技术
每幅自然图像在拍摄时都有其特定的场景内容和照明条件,因而图像与图像之间在外观上都会存在不同程度的差异。因此,由两幅图像不同区域组成的合成图像,即复制一幅图像的某个区域作为前景并将其粘贴到另一幅图像(作为背景)位置合理的区域,合成图像将不可避免地出现由于两幅图像之间外观不同而引起的前景与背景不兼容问题,即使是目前和谐化效果最好的DoveNet方法,如图1所示。合成图像外观不和谐问题会严重降低合成图像的视觉质量。此外,在许多计算机视觉任务中,受它们各自合成过程的影响,模型生成的合成图像同样会遇到类似不和谐问题,特别是图像或视频合成的相关任务,例如图像编辑、图像补全和图像拼接。然而,人类视觉***对图像外观不和谐问题是非常敏感的,例如人的眼睛可以识别出图像在颜色、对比度以及亮度上非常微妙的差别。综上可见,调整合成图像前景外观使其与背景相兼容,即图像和谐化,是一项富有挑战性的研究工作。而目前的工作仅能够达到图1所示的效果,仍有较多的不和谐之处。
发明内容
本发明提供一种合成图像的和谐化方法及和谐化模型,解决的技术问题在于:如何对合成图像进行和谐化,使得到的和谐化图像几乎不存在人眼可察的不和谐。
为解决上述技术问题,本发明首先提供一种合成图像的和谐化方法,包括步骤:
S22:根据该前景区域和背景区域的光统计分布将场景光从背景区域迁移到前景区域上。
进一步地,所述步骤S21具体包括步骤:
S212:对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示,得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码,以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码;
S213:将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中,得到表示前景区域的颜色属性的前景比例和表示背景区域的颜色属性的背景比例
进一步地,所述步骤S22进行光照迁移,依据公式:
进一步地,步骤S2X具体包括步骤:
2)利用缩放的前景掩膜分别获取去和谐化特征图像块p中对应前景区域的前景特征图像块pfg和对应背景区域的背景特征图像块pbg;
3)计算前景特征图像块pfg和背景特征图像块pbg之间的协方差,得到去和谐化的图像块关系矩阵:
进一步地,步骤S2进行和谐化的损失函数为:
表示合成图像的去和谐化损失函数,表示编码器以合成图像作为输入并生成去和谐化的特征图像作为输出,C表示的特征通道数,H′表示真实图像H缩小后的灰度图像,其大小与相同;为相似度度量函数;表示对特征图像在通道上计算均值;
对应于上述方法,本发明还提供一种合成图像的和谐化模型,包括输入模块,基于卷积神经网络的和谐化模块,以及输出模块;
所述和谐化模块用于执行所述一种合成图像的和谐化方法中的步骤S1~S2;
所述输出模块用于执行所述一种合成图像的和谐化方法中的步骤S3。
优选的,所述和谐化模块包括第一编码器、第二编码器、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器、第二解码器;
本发明提供的一种合成图像的和谐化方法及模型,有益效果在于:
1、首次通过对反射率和光照本征图像分离和谐化进而实现合成图像和谐化,具有先导意义;
2、将和谐化模型构建为一种特殊的自动编码器(Autoencoder),该自动编码器在内部将合成图像分解为反射率本征图像和光照本征图像,以实现二者的独立和谐化;
3、对于反射率本征图像,利用场景材料的表面一致性作为目标函数实现合成图像前景与背景边界的和谐化,同时保持反射率图像恒定不变;
4、对于光照本征图像,设计了一种照明策略,该策略可以根据背景的光照调整前景的光照情况,以使其二者相互兼容;
5、针对如果在背景中存在与前景中相似材质或形状的物体时,合成图像的视觉不和谐程度会更加明显(如图1中第一行合成图像建筑的瓦片)的问题,充分挖掘了合成图像前景与背景之间与和谐化无关的图像块关系,以自适应的方式指导本征图像的和谐化;
6、经验证,在和谐化程度上达到了目前最优。
附图说明
图1是本发明背景技术提供的合成图像、真实图像、和谐化图像(DoveNet方法)的对比图;
图2是本发明实施例提供的一种合成图像的和谐化方法的步骤图;
图3是本发明实施例提供的一种合成图像的和谐化模型的架构图;
图4是本发明实施例提供的和谐化模型中光照和谐化模块的架构图;
图5是本发明实施例提供的和谐化方法及模型的对比实验效果图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
为对合成图像尽可能地和谐化,本发明实施例首先提供一种合成图像的和谐化方法,如图2所示,包括步骤:
实际上,图像的各通道强度值编码了诸如反射率、亮度等固有属性值,然而各种固有属性的强度值是相互混杂的,因此,从一幅图像中将其本征图像分离是一个经典的不适定问题。显然,解码混杂的固有属性信息唯一方法是对场景做出假设并利用它们隐含的约束条件。假设自然场景是理想的漫反射表面(Lambertian Surface),存在反射率图像分段恒定和光照图像平滑的约束条件,在此约束条件上,通过计算图像梯度对本征图像进行解耦,即图像中大梯度部分属于反射率本征图像的内容而小梯度部分对应于光照本征图像。
其中,⊙表示图像对应坐标像素值的乘积。
实际上,本例需要从合成图像中学习并消除不和谐因素进而生成与真实图像H尽可能相同的和谐化图像因此本征图像和谐化也是一种以图像重构作为学习目标的任务。换言之,本征图像和谐化模型Φ经过训练可以将合成图像分解为反射率本征图像和光照本征图像并实现分离的和谐化,最后再将反射率本征图像和光照本征图像垂建为和谐化图像作为输出。本例使用公式(2)作为目标函数以指导从本征图像分解到和谐化图像重建的训练过程。
本例将合成图像上前景图像对应的区域称为前景区域,前景区域以外的区域称为背景区域。反射率本征图像能够反映场景物体的材质、颜色、形状等自身属性,其与视点和照明无关,即反射率与材料有关但与照明无关。而且对于图像和谐化任务,假设合成图像中前景区域与背景区域之间在语义上是合理的(否则它将超出了图像和谐化的范围)。因此,合成图像和真实图像H以及和谐化后图像的物体自身属性应该恒定不变,由此本例引入反射率恒定和图像梯度约束使其保持一致,即(同样 表示图像梯度)。
此外,基于漫反射模型假设,反射率本征图像耐应于原始图像中梯度变化大的区域,而且反射率本征图像在空间上具有分段恒定的性质,这种分段恒定性才能使得图像场景比较真实,即反射率本征图像在视觉上是“令人愉悦”的图像。
表示求与之间的均值的函数。公式(3)实际上是强迫和谐化图像中前景区域的反射率尽可能接近真实图像H对应坐标的反射率,以消除场景光照条件的影响,从而保持场景物体材料的一致性。同时通过损失函数和卷积网络编解码过程,反射率本征图像在分解和重建中完成了前景与背景间边界的调整。
场景光照会由于场景物体几何形状、阴影和光的相互反射而产生渐晕效应,因此,光照本征图像取决于成像时场景的照明条件,同时保留了场景的主要语义结构。合成图像由于其前景区域和背景区域分别来自不同的两幅图像且两幅图像通常是在不同的照明条件下拍摄的,本质上,合成图像的不和谐问题主要是二者之间由于照明不同而引起的。因此,为了和谐化光照本征图像本例需要利用背景的光照信息来调整前景光照以达到前景与背景光照的视觉一致性,即在不同照明条件下捕获的前景和背景图像之间的光照不一致是引起合成图像视觉不和谐的关键原因,因此,为了缓解光照不一致性问题,本例首先利用卷积网络结构的编码器提取前景光和背景光的统计分布,然后通过对光的解耦表示以及迁移模块将光从背景迁移到前景上,使得前景光与背景光具有相同的统计分布。即步骤S2对光照本征图像进行和谐化具体包括步骤:
S22:根据该前景区域和背景区域的光统计分布将场景光从背景区域迁移到前景区域上。
受益于以本征图像和谐化为条件的自动编码器,可以将合成图像编码到光照隐向量空间以恢复和谐的光照本征图像因此,本例在该空间中使用多层卷积神经网络的编码器将图像映射到其光照隐向量空间,并在光照的隐向量空间中执行照明策略。由于光照隐向量特征仍然是高维的并且嵌入了场景中的许多语义信息,所以本例进一步将光照隐向量特征输入到多层感知机(MLP)中,以获取低维的光隐向量编码来表示光的统计分布。通过这种学习方式,本例得到了一个可以提取图像中场景光统计分布的光学习器。
根据人眼具有三种不同类型的颜色感知细胞这一事实,在计算机视觉任务中使用“三色值(tristimulus values)”来描述图像颜色来模拟人类视觉***对光的反应是最为合适的。受此启发,本例尝试利用三个不同的向量对提取的场景光隐向量编码进行解耦表示,充分表达图像中场景光的统计分布。理论上,从反射光产生色彩的纯粹视觉而言,人眼所感知的物体色彩具有三个基本属性,分别称为:色相(Hue)、强度(Value)和色度(Chroma),其中色相是一种颜色(纯色)的统称,色度表示某种颜色的纯度;强度描述了某种颜色的深浅程度。因此,为了简单起见,本例通过将光表示为分离的颜色特征,其中色相和色度结合并与颜色强度分别处理,由此,本例将光的隐向量编码输入到MLP和softmax中以获得比例表示颜色属性(色相和色度),同时将光的隐向量编码输入另一个MLP中以获得颜色强度值(其中C表示特征图的通道数量)。
具体的,步骤S21包括步骤:
S212:对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示,得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码,以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码;
S213:将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中,得到表示前景区域的颜色属性的前景比例和表示背景区域的颜色属性的背景比例
其中,f和分别是场景光迁移之前和之后的光照本征图像的特征空间表示,n表示颜色属性色相、强度和色度的索引。表示调整前景光的颜色属性使前景光无限接近背景光的统计分布,表示颜色强度值使前景光无限接近背景光的统计分布,以此方式完成场景光从合成图像背景到前景的迁移。
本例所提出的场景光迁移方案不仅仅适用于图像和谐化任务,同样也可以应用在与光有关的(Relighting、Image Enhancement、Image Colorization等)多种计算机视觉和图形学任务上,希望本例的工作能够提供有意义的参考,以更好地利用图像的场景光统计分布。
综上,结合重建误差以及反射率和光照本征图像损失函数,可以得出和谐化模型的学习目标为:
理论上,一幅自然图像中的图像块(Patch)倾向于在同一图像的不同尺度内和不同尺度间重复出现,同时在合成图像的前景和背景中出现相似材料物体(对应于图像块)的可能性很大且更容易造成视觉上的不和谐,因此,本例试图通过告知前景和背景之间相似性的图像块关系(Patch relation)来指导本征图像和谐化,这对图像和谐化过程将会很有帮助。
实际上,探索合成图像的背景与前景之间的图像块关系与传统的图像块匹配(Patch matching)研究工作密切相关。然而,与先前使用图像块匹配的方法(如图像编辑和图像补全不同之处在于,由于合成图像的不和谐问题导致其前景与背景之间相似图像块在视觉上有所不同,因而无法直接使用传统图像块匹配方法计算合成图像上前景与背景的图像块关系矩阵。因此,解决此问题的唯一希望是消除不和谐因素对图像块关系匹配建模的影响,本例称其为“去和谐化”图像块关系建模(Inharmony-Free Patch RelationModeling)。即,步骤S2对反射率本征图像和光照本征图像进行和谐化,还包括步骤:
进一步地,步骤S2X具体包括步骤:
2)利用缩放的前景掩膜分别获取去和谐化特征图像p中对应前景区域的前景特征图像pfg和对应背景区域的背景特征图像pbg;
3)计算前景特征图像pfg和背景特征图像pbg之间的协方差,得到去和谐化的图像块关系矩阵:
去和谐化损失函数表示为:
结合公式(7)和(9),步骤S2进行和谐化的损失函数为:
表示目标函数,表示对反射率本征图像进行和谐化的反射率和谐化损失函数,和分别表示对光照本征图像进行和谐化时的光照图像平滑损失函数和光照和谐化损失函数,表示合成图像的去和谐化损失函数,λRH、λIS、λIH、λIF分别为对应损失函数的权重。
因此,基于上述方法,完成了由合成图像到本征图像 再到和谐化图像模这一完整过程。实际上,这些过程是在自动编码器内完成的。本例有必要提供一种基于上述方法的合成图像的和谐化模型,其框架如图3所示,包括输入模块,基于卷积神经网络的和谐化模块,以及输出模块;
和谐化模块用于执行上述一种合成图像的和谐化方法中的步骤S1~S2;
输出模块用于执行上述一种合成图像的和谐化方法中的步骤S3。
如图3所示,和谐化模块包括第一编码器ER、第二编码器EI、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器DR、第二解码器DI;
如图4所示,为了更充分地完成合成图像背景光与前景光的迁移任务,本例在光照和谐化模块中构建了一种新颖的照明残差网络(Lighting Resblock),可以将其灵活地嵌入到各种深度卷积网络模型中,进行多层的场景光迁移。这里,Conv表示卷积,LightTransferer表示光迁移网络,FC表示全连接层。Norm表示用于计算范数的Norm函数。ReLU表示ReLU激活函数,f和分别是场景光迁移之前和之后的光照本征图像的特征空间表示。lp表示迁移的颜色属性的比例,lv表示迁移的颜色强度值。
整体而言,为了和谐化图像(拟合至),本例的方法及模型旨在分离和谐化与场景物体材料有关的反射率本征图像(拟合至)和与场景照明条件有关的光照本征图像(拟合至)。为实现本征图像的分离和谐化方案,首先,本例构建了一个基于自动编码器(Autoencoder)的本征图像分解框架,将合成图像分解为反射率本征图像和光照本征图像以实现进一步可分离的本征图像和谐化;然后,本例利用材料一致性惩罚在保持场景内容不变的前提下和谐化反射率本征图像其次,以学习的背景光作为参考,通过照明策略调整前景的光照以使其与背景相兼容,实现光照本征图像的和谐化;再次,本例对合成图像的前景和背景的图像块之间关系(Patch relation)进行建模,指导本征图像和谐化;最后,利用Retinex算法将和谐化反射率本征图像及和谐化光照本征图像重建输出和谐化图像在照明和引导过程中,本例使用前景掩膜M来分离合成图像的前景区域和背景区域。
为了验证本例和谐化方法及模型的和谐化效果,下面进行了实验。
在实际训练过程中,反射率和光照本征图像分解是基于编码器-解码器的网络结构实现,同时,照明(Lighting)(即光照学***均池化(Avg pooling)和全连接层(FC)提取前景和背景光。重要的一点是,最终需要将反射率和光照本征图像的解码器输出标准化到[0,1]区间以恢复和谐化图像
本例使用Adam优化器及参数β1=0.5,β2=0.999来训练模型,其中学习率α=0.0001。本例经输入图像的大小缩放至256×256进行训练和测试,并且本例模型输出同样大小的和谐化图像。在实验中,本例设置8维的光隐向量编码,32×32×256大小的去和谐化的特征图像。此外,本例根据经验设置各损失函数的权重为λRH=0.1,λIS=0.01,λIH=0.1和λIF=1。iHarmony4是在图像和谐化任务上当前最标准的训练和测试数据集,iHarmony4数据集共包含4个子数据集,分别为HCOCO、HAdobe5k、HFlickr和Hday2night,每一幅合成图像都对应一幅前景掩膜图像和真实图像。为了评估模型的性能,在训练过程中,本例采用与DoveNet相同的iHarmony4数据集训练和测试设置以开展相关的实验分析工作。
将测试得到的和谐化图像与DoveNet方法进行比较,如图5所示,可以看到我们方法与真实图像最为接近,最为和谐。
在此说明,与专门针对本征图像分解任务的研究工作不同,许多与本征图像相关的研究仅关注估计出一幅图像相对的反射率与光照本征图像,反射率与光照图像的相对程度与任务直接相关。即恢复的反射率和光照图像各自被允许为真实反射率和光照图像的任一标量倍数(参考公式(1))。因此,在本项工作中,本例步骤S3最后所恢复的反射率和光照本征图像也是相对的,不是绝对真实的反射率和光照本征图像,可称作伪反射率本征图像和伪光照本征图像,如图5所示的和谐化图像,几乎不存在不和谐之处,但与真实图像相比,存在不一致之处。
综上,本发明实施例提供的一种合成图像的和谐化方法及模型,有益效果在于:
1、首次通过对反射率和光照本征图像分离和谐化进而实现合成图像和谐化,具有先导意义;
2、将和谐化模型构建为一种特殊的自动编码器(Autoencoder),该自动编码器在内部将合成图像分解为反射率本征图像和光照本征图像,以实现二者的独立和谐化;
3、对于反射率本征图像,利用场景材料的表面一致性作为目标函数实现合成图像前景与背景边界的和谐化,同时保持反射率图像恒定不变;
4、对于光照本征图像,设计了一种照明策略,该策略可以根据背景的光照调整前景的光照情况,以使其二者相互兼容;
5、针对如果在背景中存在与前景中相似材质或形状的物体时,合成图像的视觉不和谐程度会更加明显(如图1中第一行合成图像建筑的瓦片)的问题,充分挖掘了合成图像前景与背景之间与和谐化无关的图像块关系,以自适应的方式指导本征图像的和谐化;
6、经验证,在和谐化程度上达到了目前最优。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种合成图像的和谐化方法,其特征在于,包括步骤:
3.根据权利要求2所述的一种合成图像的和谐化方法,其特征在于,所述步骤S21具体包括步骤:
S212:对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示,得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码,以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码;
S213:将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中,得到表示前景区域的颜色属性的前景比例和表示背景区域的颜色属性的背景比例
6.根据权利要求5所述的一种合成图像的和谐化方法,其特征在于,步骤S2X具体包括步骤:
2)利用缩放的前景掩膜分别获取去和谐化特征图像块p中对应前景区域的前景特征图像块pfg和对应背景区域的背景特征图像块pbg;
3)计算前景特征图像块pfg和背景特征图像块pbg之间的协方差,得到去和谐化的图像块关系矩阵:
7.根据权利要求6所述的一种合成图像的和谐化方法,其特征在于,步骤S2进行和谐化的损失函数为:
表示合成图像的去和谐化损失函数,表示编码器以合成图像作为输入并生成去和谐化的特征图像作为输出,C表示的特征通道数;H′表示真实图像H缩小后的灰度图像,其大小与相同;为相似度度量函数;表示对特征图像在通道上计算均值;
9.根据权利要求8所述的一种合成图像的和谐化装置,其特征在于:所述和谐化模块包括第一编码器、第二编码器、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器、第二解码器;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552384.8A CN113192055B (zh) | 2021-05-20 | 2021-05-20 | 一种合成图像的和谐化方法及模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552384.8A CN113192055B (zh) | 2021-05-20 | 2021-05-20 | 一种合成图像的和谐化方法及模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113192055A CN113192055A (zh) | 2021-07-30 |
CN113192055B true CN113192055B (zh) | 2023-01-17 |
Family
ID=76982822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110552384.8A Active CN113192055B (zh) | 2021-05-20 | 2021-05-20 | 一种合成图像的和谐化方法及模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113192055B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689328B (zh) * | 2021-09-13 | 2024-06-04 | 中国海洋大学 | 一种基于自注意变换的图像和谐化*** |
CN114488358B (zh) * | 2022-03-08 | 2023-03-17 | 中国科学院上海微***与信息技术研究所 | 一种光子晶体滤波器及其制备方法 |
CN115334239B (zh) * | 2022-08-10 | 2023-12-15 | 青岛海信移动通信技术有限公司 | 前后摄像头拍照融合的方法、终端设备和存储介质 |
CN116012258B (zh) * | 2023-02-14 | 2023-10-13 | 山东大学 | 一种基于循环生成对抗网络的图像和谐化方法 |
CN117392283B (zh) * | 2023-12-05 | 2024-04-05 | 北京交通大学 | 异常轨道图像合成方法、装置、设备及可读介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102938144A (zh) * | 2012-10-15 | 2013-02-20 | 深圳先进技术研究院 | 基于总变分模型的人脸重加光方法 |
CN111429375A (zh) * | 2020-03-27 | 2020-07-17 | 扆亮海 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
CN111460138A (zh) * | 2020-03-02 | 2020-07-28 | 广州高新工程顾问有限公司 | 一种基于bim的数字化工程监理方法与*** |
CN112767286A (zh) * | 2021-03-08 | 2021-05-07 | 中南大学 | 一种基于密集深度学习的暗光图像自适应增强方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502429A (ja) * | 2014-01-10 | 2017-01-19 | 富士通株式会社 | 画像処理装置、電子機器及び方法 |
CN104700109B (zh) * | 2015-03-24 | 2018-04-10 | 清华大学 | 高光谱本征图像的分解方法及装置 |
US10867416B2 (en) * | 2017-03-10 | 2020-12-15 | Adobe Inc. | Harmonizing composite images using deep learning |
CN110288512B (zh) * | 2019-05-16 | 2023-04-18 | 成都品果科技有限公司 | 用于图像合成的光照重映射方法、装置、存储介质和处理器 |
CN112131975B (zh) * | 2020-09-08 | 2022-11-15 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
-
2021
- 2021-05-20 CN CN202110552384.8A patent/CN113192055B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102938144A (zh) * | 2012-10-15 | 2013-02-20 | 深圳先进技术研究院 | 基于总变分模型的人脸重加光方法 |
CN111460138A (zh) * | 2020-03-02 | 2020-07-28 | 广州高新工程顾问有限公司 | 一种基于bim的数字化工程监理方法与*** |
CN111429375A (zh) * | 2020-03-27 | 2020-07-17 | 扆亮海 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
CN112767286A (zh) * | 2021-03-08 | 2021-05-07 | 中南大学 | 一种基于密集深度学习的暗光图像自适应增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113192055A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113192055B (zh) | 一种合成图像的和谐化方法及模型 | |
Zhuang et al. | Underwater image enhancement with hyper-laplacian reflectance priors | |
CN110458906B (zh) | 一种基于深度颜色迁移的医学图像着色方法 | |
CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
CN112288851B (zh) | 一种基于双支流网络的三维人脸建模方法 | |
CN111915693A (zh) | 基于草图的人脸图像生成方法及*** | |
CN104700109A (zh) | 高光谱本征图像的分解方法及装置 | |
CN110853119B (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
CN114581356B (zh) | 基于风格迁移数据增广的图像增强模型泛化方法 | |
CN106780367A (zh) | 基于字典学习的hdr照片风格转移方法 | |
CN111275651B (zh) | 一种基于对抗神经网络的人脸有光去除方法 | |
CN112967373B (zh) | 一种基于非线性3dmm的人脸图像特征编码方法 | |
CN114663552B (zh) | 一种基于2d图像的虚拟试衣方法 | |
CN114782596A (zh) | 语音驱动的人脸动画生成方法、装置、设备及存储介质 | |
CN115471611A (zh) | 一种提升3dmm人脸模型视觉效果的方法 | |
CN113379715A (zh) | 一种水下图像增强和数据集真值图像获得方法 | |
CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
CN115456921A (zh) | 合成图像和谐化模型训练方法、和谐化方法及装置 | |
CN113538662B (zh) | 一种基于rgb数据的单视角三维物体重建方法及装置 | |
CN111027433A (zh) | 一种基于卷积神经网络的多重风格人脸特征点检测方法 | |
Cui et al. | Progressive dual-branch network for low-light image enhancement | |
CN114972619A (zh) | 一种基于自对齐双重回归的单图像人脸三维重建方法 | |
Zhao et al. | Color channel fusion network for low-light image enhancement | |
CN117333604A (zh) | 一种基于语义感知神经辐射场的人物面部重演方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |