CN112116543A - 基于检测式生成框架的图像修复方法、***及装置 - Google Patents
基于检测式生成框架的图像修复方法、***及装置 Download PDFInfo
- Publication number
- CN112116543A CN112116543A CN202011025850.9A CN202011025850A CN112116543A CN 112116543 A CN112116543 A CN 112116543A CN 202011025850 A CN202011025850 A CN 202011025850A CN 112116543 A CN112116543 A CN 112116543A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- detection
- repaired
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 abstract description 41
- 230000008439 repair process Effects 0.000 abstract description 20
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 230000004438 eyesight Effects 0.000 abstract description 3
- 238000005070 sampling Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004153 renaturation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011338 soft pitch Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图形处理和计算机视觉技术领域,具体涉及了一种基于检测式生成框架的图像修复方法、***及装置,旨在解决现有残缺破损的数字图像修复质量低且修复过程中会带来残次工件的问题。本发明包括:使用生成网络的编码器降采样受损图像并嵌入到隐特征空间进行深层表示;利用生成网络的残差网络模块结合受损区域相对于其他区域的上下文语义信息对受损区域进行填充;利用生成网络中的解码器升采样将特征转换到RGB空间,得到修复图像;通过检测网络评估修复图像的质量,并且定位残次工件在图像中的具***置;检测网络的输出结果作为权重映射到传统重构损失函数中训练生成网络。本发明可以高质量地修复残缺破损图像,且能消除修复中带来的视觉瑕疵。
Description
技术领域
本发明属于图形处理和计算机视觉技术领域,具体涉及了一种基于检测式生成框架的图像修复方法、***及装置。
背景技术
图像修复是计算机图形学与计算机视觉领域共同关注的一个重要问题。它的目标是对破损图像的缺失部分进行合理的填充,从而得到接近原始图像的视觉效果。早在文艺复兴时期,这种技术就被运用到艺术品的修复中。在人工智能和虚拟现实飞速发展的今天,广泛的应用需求不断推动着相关研究的发展,图像补全的重要性也日益凸显,在多个领域都取得了重要的应用,如数字取证、文物修复及保护、影视特效制作、图像编辑。
早期的工作试图用一些优化算法来填充缺失的区域,例如,从边界中传播信息[1]或将匹配的信息从背景图像块复制到丢失的区域中[2]。 这些方法由于它们无法提取高级语义信息,因此在现实世界中,它们常常无法生成具有新颖模式的合理结构。 此外,高昂的计算成本也限制了它们在实际应用中的部署。
另一方面,基于深度语义特征的方法试图使用深度神经网络来感知缺损图像的语义结构,以获得更好的恢复效果。例如,通过特征学习进修图像修复[3],该方法首次引入卷积神经网络来修补缺损区域,但其提出的编码器-解码器体系结构是通过合并的重构损失和对抗损失进行训练的。这种网络过分关注整体一致性,经常导致细节区域中出现视觉瑕疵。还有一些方法联合全局和局部鉴别器以评估补全后的图像[4],然而,局部鉴别器无法处理不规则的缺损区域。为了更好地建模缺损区域与远距离区域之间的长范围关联性,一些方法设计了一个从粗糙到精细的网络,并首次将上下文注意力机制引入到精细网络[5],但是,注意力机制的效果主要取决于粗糙网络的结果,较差的粗糙重构常常会导致匹配错误。另外,当前主流的图像修复方法主要基于生成对抗网络架构,在该框架中,鉴别器将修复的图像作为输入并基于整个图像或其图像块[6]进行评估,同时,训练生成器时的对抗损失函数会丢弃残次工件的有意义的位置信息。
为解决上述问题,本发明提出一种基于检测式生成框架的图像修复方法,高质量地修复残缺破损的数字图像,并且可以消除修复过程中带来的残次工件。
以下文献是与本发明相关的技术背景资料:
[1] BALLESTER, COLOMA, BERTALMIO, MARCELO, CASELLES, VICENT, et al.“Filling-in by joint interpolation of vector fields and gray levels”. IEEETrans. Image Process. 10.8 (2001), 1200–1211。
[2]HUANG, JIA-BIN, KANG, SING BING, AHUJA, NARENDRA,and KOPF,JOHANNES. “Image completion using planar structure guidance”. ACM Trans.Graph. (Proc. SIGGRAPH) 33.4 (2014), 1–10。
[3]PATHAK, DEEPAK, KRAHENBUHL, PHILIPP, DONAHUE,JEFF, et al. “Contextencoders: Feature learning by inpainting”. IEEE CVPR. 2016, 2536–2544)。
[4]IIZUKA, SATOSHI, SIMO-SERRA, EDGAR, and ISHIKAWA, HIROSHI.“Globally and locally consistent image completion”. ACM Trans.Graph. (Proc.SIGGRAPH) 36.4 (2017), 1–14。
[5] YU, JIA HUI, LIN, ZHE, YANG, JIMEI, et al. “Generative imageinpainting with contextual attention”. IEEE CVPR. 2018, 5505–5514。
[6] ISOLA, PHILLIP, ZHU, JUN-YAN, ZHOU, TINGHUI, and EFROS, ALEXEI A.“Image-to-image translation with conditional adversarial networks”. IEEECVPR. 2017, 1125–1134。
发明内容
为了解决现有技术中的上述问题,即现有残缺破损的数字图像修复质量低且修复过程中会带来残次工件的问题,本发明提供了一种基于检测式生成框架的图像修复方法,该图像修复方法包括:
步骤S10,获取局部残缺或老旧破损的图像作为待修复图像;
步骤S20,通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器;
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数。
在一些优选的实施例中,步骤S20包括:
步骤S21,通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间,获得待修复图像的深层表示;
步骤S22,在隐特征空间,通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复,获得修复后的图像的深层表示;
步骤S23,通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间,获得修复图像。
在一些优选的实施例中,所述基于图像修复质量的权重映射,其计算方法为:
步骤A10,通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布;
步骤A20,通过设定的迁移函数将所述概率分布迁移到权重映射区间,获得基于图像修复质量的权重映射;
其中,所述检测网络由七层全卷积网络构成。
在一些优选的实施例中,所述生成网络和检测网络,其训练中采用的与真值图像配对的破损图像的获取方法为:
在一些优选的实施例中,所述加权重构损失函数,其表示为:
在一些优选的实施例中,步骤A10包括:
步骤A13,通过softmax函数将检测网络的两层输出映射到概率空间,评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布;所述两层输出,其第一层是掩码值为0的输出,第二层是掩码值为1的输出。
在一些优选的实施例中,所述检测网络的训练过程的损失函数为带有平衡因子和焦距因子的检测损失函数,其表示为:
本发明的另一方面,提出了一种基于检测式生成框架的图像修复***,该图像修复***包括以下模块:
获取模块,用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块;
生成网络模块,用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络训练中采用的损失函数为的加权重构损失函数,加权重构损失函数通过以下模块获取:
检测网络模块,用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布,并通过设定的迁移函数迁移到权重映射空间,获得基于图像修复质量的权重映射;
损失函数模块,用于在重构损失函数中融入基于图像修复质量的权重映射,获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明的第四方面,提出了一种处理装置,包括处理器、存储装置;所述处理器,适于执行各条程序;所述存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明的有益效果:
(1)本发明基于检测式生成框架的图像修复方法,采用加权重构损失函数训练生成网络使得该图像修复框架可以很好地平衡生成图像肉眼观测真实性和与受损图像剩余背景相似性这一多目标优化问题,大大降低了传统的基于生成对抗网络手工调节权衡参数带来的训练难度。在图像合成、图像修复等领域有很好的应用价值。
(2)本发明基于检测式生成框架的图像修复方法,引入检测网络以弱监督学习的方式评估生成网络修复图像质量,并且定位残次区域在修复图像中的具***置,通过实验表明该定位结果与人类的感知评估定位的位置相似,但采用本发明方法相较于人工方法大大提高了效率、准确率,并降低了错误率和人工成本。
(3)本发明基于检测式生成框架的图像修复方法,在训练生成网络的同时加入了检测网络提供的残次区域信息,相比于传统的生成对抗网络,实验结果表明本发明的图像修复框架能更好地去除修复图像中的残次区域,解决了在高质量修复残缺破损的数字图像的同时,降低甚至杜绝了消除修复过程中带来的残次工件的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明基于检测式生成框架的图像修复方法的流程示意图;
图2是本发明基于检测式生成框架的图像修复方法一种实施例的网络结构示意图;
图3是本发明基于检测式生成框架的图像修复方法一种实施例的不同框架的图像修复结果对比图;
图4是本发明基于检测式生成框架的图像修复方法一种实施例的残次工件位置概率分布可视化结果图;
图5是本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在三个不同的公开数据集CelebA-HQ、Places2和Paris上的修复结果的定性对比图;
图6是本发明基于检测式生成框架的图像修复方法一种实施例的***结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于检测式生成框架的图像修复方法,借鉴图像分割任务中使用的全卷积神经网络作为检测网络,对修复后图像质量进行像素级的全局评价。在编码-解码生成网络训练过程中,加入检测网络输出的稠密评价,有利于消除生成网络输出修复图像中存在的残次工件,同时克服了传统生成对抗网络需要引入权衡参数做多目标优化的问题,降低了整个图像修复框架训练难度,从而提高了图像修复的质量和效率,在高质量修复残缺破损的数字图像的同时,消除了修复过程中带来的视觉瑕疵(包括人眼观察到的内容失真、细节模糊以及语义不连贯),在图像合成、图像修复等领域有很好的应用价值。
本发明引入图像分割任务中使用的全卷积神经网络作为检测网络,可以得到稠密的修复图像评估和残次工件位置概率分布,作为辅助信息指导生成网络更好地填补缺失区域。本发明使用编码器、解码器将图像投影到隐特征空间或者从特征空间转换到RGB图像空间,并在隐特征空间中使用一系列的残差网络模块以卷积的方式填补受损图像残缺的信息;另外,本发明提出了一种联合生成网络和上述检测网络一起对抗训练的方法,使得生成网络在消除修复图像残次工件方面有一定效果,且检测网络输出的全局评估类似于人类视觉感知的结果。该检测式生成框架无需任何超参数来调节优化目标,训练更加简单高效。现有的深度图像修复工作绝大多数只是利用生成对抗网络进行缺失区域的填补,本发明实施例首次成功地将检测网络应用到图像修复问题中。
本发明的一种基于检测式生成框架的图像修复方法,该图像修复方法包括:
步骤S10,获取局部残缺或老旧破损的图像作为待修复图像;
步骤S20,通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器;
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数。
为了更清晰地对本发明基于检测式生成框架的图像修复方法进行说明,下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于检测式生成框架的图像修复方法,各步骤详细描述如下:
步骤S10,获取局部残缺或老旧破损的图像作为待修复图像。
因为在图像修复中采用的生成网络和修复图像检测中采用的检测网络,其训练中都需要配对的破损图像和真值图像,而在真实场景中,往往很难收集到配对图像,因此,本发明在真值图像上根据二值掩码扣去缺失区域,从而获得与真值图像以及二值掩码配对的破损图像,如式(1)所示:
通过上述方法获得的破损图像,其缺失区域显示为白色。
步骤S20,通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像。
如图2所示,为本发明基于检测式生成框架的图像修复方法一种实施例的网络结构示意图,图2上半部分为生成网络的结构图,生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器,其输出为修复图像。缺失图像(或破损图像)与二值掩码经过生成网络的编码器-生成器-解码器获得修复图像,其具体过程包括:
步骤S21,通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间,获得待修复图像的深层表示。
步骤S22,在隐特征空间,通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复,获得修复后的图像的深层表示。
残差跳连和空洞卷积分别引入了低尺度和高尺度的特征信息,这种多尺度信息融合使得网络具有强大的修复能力。
步骤S23,通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间,获得修复图像。
生成网络获取的修复图像通过检测网络进行质量评估,在破损图像为工件图像
时,可以给出残次工件的概率分布,并通过迁移变换获得权重映射,即基于图像修复质量的
权重映射,将此映射融入重构损失函数获得用于训练生成网络的损失函数。如图2下半部分
所示,将修复图像输入检测网络进行评估,将其两层输出映射到概率空间,评估修复图像的
每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布,代
表逐像素乘法,代表绝对误差。
基于图像修复质量的权重映射,其计算方法为:
步骤A10,通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布;检测网络由七层全卷积网络构成。
步骤A13,通过softmax函数将检测网络的两层输出映射到概率空间,评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布。
两层输出的第一层是像素点为有效区域(掩码中值为0)的概率,第二层是像素点为破损区域(掩码中值为1)的概率,两层概率和为1。
步骤A20,通过设定的迁移函数将所述概率分布迁移到权重映射区间,获得基于图像修复质量的权重映射。
在本发明中,为了进一步消除残次工件,以单张修复图像的每个像素点作为样本,
给有残次工件的像素点分配较大权重,而不去减少没有残次工件像素点的权重。检测器输
出的第二层概率分布正好符合上述权重分配关系。利用一个迁移函数将概率分布的
区间迁移到权重映射的区间。概率分布表示为,权重映射表示为,本发明选用
的迁移函数为式(2)所示的线性函数或者式(3)所示的指数函数:
上述检测残次工件的方法仅仅是举例,在其他实施例中可以根据需要选择合适的检测残次工件的方法,本发明在此不一一详述。
一般生成网络的学习目标不仅包含与真值图像的相似性,填补区域同时需要高真
实感来骗过人眼。传统的生成对抗网络将两个目标分别用重构损失(比如距离)和对抗损
失来描述,并用两个超参数来权衡两个目标的倾向性,本质上是一个多目标优化问题。与单
目标优化相比,多目标优化往往是比较困难的,例如对于软间距支持向量机最大间距和最
小误差之间的权衡是一个棘手的问题。更重要的是,权衡因子是没有实际意义的参数,对于
不同场景的图像修复都需要手工调整,比如人脸、自然场景和街景等数据可能需要不同的
参数。为了解决上述问题,本发明参考Boosting算法,其思想是增加弱样本的权重,减少强
样本的权重。步骤A20计算的权重映射已在修复图像中区分了弱像素或强像素,并分配了
相应权重。
因此,本发明引入与修复图像尺寸相同的权重映射(即基于图像修复质量的权重映射),合并了两个目标的加权重构损失函数如式(4)所示:
如图3所示,为本发明基于检测式生成框架的图像修复方法一种实施例的不同框架的图像修复结果对比图,从左到右依次是真值图像,输入破损图像,硬加权重构损失(有效区域:破损区域=1:6)训练生成网络修复结果,传统生成对抗网络训练生成网络修复结果,以及加权重构损失函数训练生成网络(本发明提出框架)修复结果。为了公平比较,所有框架均使用步骤S20描述的相同生成网络。对于第一行人脸数据,硬加权方法和生成对抗方法无法产生合理的人眼细节结构,而本发明方法对于眼睛位置的填补较为合理。对于第二行湖水与岸边的交界区域做了细节放大,硬加权方法在河岸和湖泊的边界处产生了过度平滑的结果,而生成对抗方法的结果也是比较模糊。本发明方法的修复图像在具体细节上稍微优于其他常用的修复框架,这主要得益于本发明使用检测网络对修复图像进行精细的评估,并将该像素级的评价传递给生成网络进行对抗学习。相比于传统的生成对抗网络,基于检测式生成框架生成网络与检测网络在定位残次工件的位置上相互竞争,而不仅仅是关于整张图像的真假问题。
上述将权重映射加入重构损失函数训练生成网络的方法仅仅是举例,在其他实施例中还可以选择其他合适的损失函数进行生成网络的训练,本发明在此不一一详述。
在实际应用中,获取修复图像的残次工件的位置信息通常是很困难的,而如果无法收集到大量修复图像的残次工件监督信息,检测网络是难以训练的。特别针对图像修复问题,填补缺失区域的难度是远大于将有效区域的信息拷贝复制到新的修复图像上的。
本发明采用弱监督学习方法将二值掩码作为真值训练检测网络,假设生成网络修复后的图像残次工件存在于原来缺失区域的概率远高于残次工件出现在有效区域的概率,该假设在大多数情况下是合理的。因此本发明以受损区域掩码作为检测网络的真值来定位残次工件的位置。由于受损区域掩码只是一个粗略的监督信息,并不是工件位置的具体刻画,所以对检测网络的上述训练过程属于弱监督学习方法。在学习过程中,检测网络可能挖掘出破损区域没有残次工件的位置以及有效区域有类似残次模式的位置。
如图4所示,为本发明基于检测式生成框架的图像修复方法一种实施例的残次工件位置概率分布可视化结果图,经过检测损失函数训练的检测网络,分别输入修复图像和真值图像后,检测器输出的残次工件位置概率分布可视化结果。其中越暗的颜色表明该区域存在残次工件的概率越高,反之越亮的颜色表明概率越低。图3中真值图像(第3列)的残次工件位置概率分布无明显规律,而修复图像的残次工件位置概率分布(第5列)与破损区域掩码(第1列)具有很强的相关性,即大部分颜色较亮像素都在破损区域及其附近。同时,明显的视觉残次工件在图中用矩形方框标注与残次工件位置概率分布图中最暗的区域匹配。而图中第二行的结果中的矩形方框标注区域并非对应着掩码中缺失区域,而是缺失区域周围的有效区域。这意味着检测网络学习到的是残次工件位置,而不是标注缺失区域的掩码。检测器输出的稠密估计在一定程度上也符合人眼的感知,(0,0.2,0.4,0.6,0.8,1)代表相应像素为残次工件的概率,数值越大,表示概率越高。
上述用检测损失函数将破损区域掩码作为真值,以弱监督学习方式训练检测网络的方法仅仅是举例,在其他实施例中还可以选用其他合适的方式进行检测网络的训练,本发明在此不一一详述。
结合用弱监督学习方法将二值掩码作为真值训练检测网络以及引入步骤A20计算的权重映射到传统的重构损失函数中训练生成网络,本发明提出的基于检测式生成框架总的优化目标函数如式(6)所示:
其中,表示生成网络,;表示检测网络,。
公式中,基于检测式生成框架的生成网络和检测网络只在损坏区域(不涉及有效区域)涉及
权重大小产生对抗学习。这可以看作是使用生成对抗网络引入整张图像全局对抗来解决图
像修复问题的一种改进。
如图5所示,为本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在三个不同的公开数据集CelebA-HQ、Places2和Paris上的修复结果的定性对比图,从上到下用虚线分为三个部分,分别为在CelebA-HQ数据集,Places2数据集和Paris StreetView数据集的图像修复情况。从左到右分别为:真值图像、破损图像、PConv方法、PEN方法、GConv方法和本发明方法。从图5中可以看出,PConv方法有时会存在明显的视觉残次工件,并产生无意义的纹理。PEN方法修复后的图像存在一些类似棋盘格的工件,并且由于过渡平滑的填补结果和色调不一致,填补区域与有效区域的协调性较差。GConv方法相比于前两种方法可以生成更好的结果,但仍存在不完美的细节。本发明方法取得了更加真实可信的结果,尤其是在人脸数据上。
如表1所示,为本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在两个不同的公开数据集CelebA-HQ(C)、Places2(P)上的修复结果的定量对比表:
表1
如表1所示,生成网络填充的内容与有效区域相结合构成最终的修复图像,可能与真实
图像有所不同,但依然具有合理性。由于图像修复问题的非唯一解的性质,很难用定量的指
标来评价单个图像的修复质量。然而,在整个数据集上的整体度量指标可以衡量修复方法
的性能。这里使用四种修复图像常用的度量方法分别是:距离,峰值信噪比(PSNR),结构
相似度指数(SSIM)和Frechet距离(FID)。掩码比例从到的比较结果来
看,本发明方法在范围内的所有指标均表现最好。在过低或者过高的掩码比例范
围内,本发明方法仍然具有很强的竞争性,取得与其他方法类似的表现。
本发明第二实施例的基于检测式生成框架的图像修复***如图6所示,包括以下模块:
获取模块,用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块;
生成网络模块,用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络训练中采用的损失函数为的加权重构损失函数,加权重构损失函数通过以下模块获取:
检测网络模块,用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布,并通过设定的迁移函数迁移到权重映射空间,获得基于图像修复质量的权重映射;
损失函数模块,用于在重构损失函数中融入基于图像修复质量的权重映射,获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
生成网络模块具体包括:
编码器子模块,通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间,获得待修复图像的深层表示;
残差网络子模块,在隐特征空间,通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复,获得修复后的图像的深层表示;
解码器子模块,通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间,获得修复图像。
损失函数模块具体包括:
检测损失函数子模块,用于获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数;
加权重构损失函数子模块,用于在重构损失函数中融入基于图像修复质量的权重映射,获得用于生成网络训练的加权重构损失函数,进一步消除修复图像中的残次工件。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于检测式生成框架的图像修复***,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种基于检测式生成框架的图像修复方法,其特征在于,该图像修复方法包括:
步骤S10,获取局部残缺或老旧破损的图像作为待修复图像;
步骤S20,通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器;
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数。
2.根据权利要求1所述的基于检测式生成框架的图像修复方法,其特征在于,步骤S20包括:
步骤S21,通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间,获得待修复图像的深层表示;
步骤S22,在隐特征空间,通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复,获得修复后的图像的深层表示;
步骤S23,通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间,获得修复图像。
4.根据权利要求1所述的基于检测式生成框架的图像修复方法,其特征在于,所述基于图像修复质量的权重映射,其计算方法为:
步骤A10,通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布;
步骤A20,通过设定的迁移函数将所述概率分布迁移到权重映射区间,获得基于图像修复质量的权重映射;
其中,所述检测网络由七层全卷积网络构成。
9.一种基于检测式生成框架的图像修复***,其特征在于,该图像修复***包括以下模块:
获取模块,用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块;
生成网络模块,用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域,获得修复图像;
其中,所述生成网络训练中采用的损失函数为的加权重构损失函数,加权重构损失函数通过以下模块获取:
检测网络模块,用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率,获得有效区域或破损区域的概率分布,并通过设定的迁移函数迁移到权重映射空间,获得基于图像修复质量的权重映射;
损失函数模块,用于在重构损失函数中融入基于图像修复质量的权重映射,获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
10.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于检测式生成框架的图像修复方法。
11.一种处理装置,包括
处理器,适于执行各条程序;以及
存储装置,适于存储多条程序;
其特征在于,所述程序适于由处理器加载并执行以实现:
权利要求1-8任一项所述的基于检测式生成框架的图像修复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011025850.9A CN112116543B (zh) | 2020-09-25 | 2020-09-25 | 基于检测式生成框架的图像修复方法、***及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011025850.9A CN112116543B (zh) | 2020-09-25 | 2020-09-25 | 基于检测式生成框架的图像修复方法、***及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112116543A true CN112116543A (zh) | 2020-12-22 |
CN112116543B CN112116543B (zh) | 2022-09-20 |
Family
ID=73796981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011025850.9A Active CN112116543B (zh) | 2020-09-25 | 2020-09-25 | 基于检测式生成框架的图像修复方法、***及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116543B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516604A (zh) * | 2021-09-14 | 2021-10-19 | 成都数联云算科技有限公司 | 图像修复方法 |
CN113658038A (zh) * | 2021-08-26 | 2021-11-16 | 北京安德医智科技有限公司 | 基于空间误差自适应的网络训练方法及装置 |
CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
CN115599598A (zh) * | 2022-10-08 | 2023-01-13 | 国网江苏省电力有限公司南通供电分公司(Cn) | 一种电力负荷传感数据恢复方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置和存储介质 |
CN110689499A (zh) * | 2019-09-27 | 2020-01-14 | 北京工业大学 | 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法 |
CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
-
2020
- 2020-09-25 CN CN202011025850.9A patent/CN112116543B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置和存储介质 |
CN110689499A (zh) * | 2019-09-27 | 2020-01-14 | 北京工业大学 | 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法 |
CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
Non-Patent Citations (2)
Title |
---|
GUILIN LIU等: "Image Inpainting for Irregular Holes Using Partial Convolutions", 《EUROPEAN CONFERENCE ON COMPUTER VISION(2018)》 * |
杨会成 等: "基于生成式对抗网络的图像修复", 《海南热带海洋学院学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658038A (zh) * | 2021-08-26 | 2021-11-16 | 北京安德医智科技有限公司 | 基于空间误差自适应的网络训练方法及装置 |
CN113658038B (zh) * | 2021-08-26 | 2023-05-05 | 北京安德医智科技有限公司 | 基于空间误差自适应的网络训练方法及装置 |
CN113516604A (zh) * | 2021-09-14 | 2021-10-19 | 成都数联云算科技有限公司 | 图像修复方法 |
CN113516604B (zh) * | 2021-09-14 | 2021-11-16 | 成都数联云算科技有限公司 | 图像修复方法 |
CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
CN114841977B (zh) * | 2022-05-17 | 2023-04-25 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
CN115599598A (zh) * | 2022-10-08 | 2023-01-13 | 国网江苏省电力有限公司南通供电分公司(Cn) | 一种电力负荷传感数据恢复方法和装置 |
CN115599598B (zh) * | 2022-10-08 | 2023-08-15 | 国网江苏省电力有限公司南通供电分公司 | 一种电力负荷传感数据恢复方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112116543B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112116543B (zh) | 基于检测式生成框架的图像修复方法、***及装置 | |
Lim et al. | DSLR: Deep stacked Laplacian restorer for low-light image enhancement | |
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
JP3877916B2 (ja) | デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体 | |
CN110689495B (zh) | 一种深度学习的图像修复方法 | |
CN114049420B (zh) | 一种模型训练方法、图像渲染方法、装置和电子设备 | |
CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
CN116563693A (zh) | 基于轻量级注意力机制的水下图像色彩复原方法 | |
CN115170435A (zh) | 一种基于Unet网络的图像几何畸变校正方法 | |
CN113936318A (zh) | 一种基于gan人脸先验信息预测和融合的人脸图像修复方法 | |
CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
CN111476739B (zh) | 水下图像增强方法、***及存储介质 | |
Ma et al. | MHGAN: A multi-headed generative adversarial network for underwater sonar image super-resolution | |
Banerjee et al. | Bacterial foraging-fuzzy synergism based image Dehazing | |
Hsu et al. | A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph | |
CN116958317A (zh) | 一种结合边缘信息和外观流操作的图像修复方法及*** | |
Shobi et al. | Review on Image Inpainting using Intelligence Mining Techniques. | |
CN113033645A (zh) | Rgb-d图像的多尺度融合深度图像增强方法及装置 | |
Cho et al. | Image Repair and Restoration Using Deep Learning | |
CN116129036B (zh) | 一种深度信息引导的全方向图像三维结构自动恢复方法 | |
Poormajidi et al. | Single Image Super-Resolution Enhancement using Luminance Map and Atmospheric Light Removal | |
CN118247146A (zh) | 基于专家知识监督的遥感图像超分辨率学习方法及装置 | |
Lee et al. | A single image super-resolution algorithm using Non-Local-Mean self-similarity and noise-robust saliency map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |