CN113808031A - 一种基于LSK-FNet模型的图像修复方法 - Google Patents
一种基于LSK-FNet模型的图像修复方法 Download PDFInfo
- Publication number
- CN113808031A CN113808031A CN202110757574.3A CN202110757574A CN113808031A CN 113808031 A CN113808031 A CN 113808031A CN 202110757574 A CN202110757574 A CN 202110757574A CN 113808031 A CN113808031 A CN 113808031A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- model
- edge
- fnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000008439 repair process Effects 0.000 claims abstract description 38
- 238000010606 normalization Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000004913 activation Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000001788 irregular Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像修复技术领域，具体公开了一种基于LSK‑FNet模型的图像修复方法，构建并训练边缘生成网络；构建并训练图像修复网络；将边缘生成网络和图像修复网络结合，形成端到端的LSK‑FNet模型，并对LSK‑FNet模型进行训练；利用LSK‑FNet模型对人脸图像进行修复。通过LSK‑FNet模型将图像修复的工作分为两个步骤：首先，利用边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；然后将生成的先验信息和破损原图一起放入图像修复网络中进行修复；通过在整个生成对抗网络中融入门控卷积来进行训练，并且在图像修复网络中利用了区域归一化来提高修复细节和精确度，避免修复后的图像存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影的现象，提升图像修复效果。
Description
技术领域
本发明涉及图像修复技术领域，尤其涉及一种基于LSK-FNet模型的图像修复方法。
背景技术
图像修复(Image inpainting)技术是依据图像未破损区域的已知信息，来修复图像中缺失区域，使得主观上看到修复后的图像是合理的，并保持图像整体结构的连贯性，满足视觉连续性并符合当前图像场景的算法。
现有的图像修复使用生成对抗网络以及加入注意力机制等来增加脸部各要素之间的语义理解，但修复后的图像的存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影，修复效果差。
发明内容
本发明的目的在于提供一种基于LSK-FNet模型的图像修复方法，旨在解决现有技术中的修复后的图像的存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影，修复效果差的技术问题。
为实现上述目的，本发明采用的一种基于LSK-FNet模型的图像修复方法，包括如下步骤：
构建并训练边缘生成网络；
构建并训练图像修复网络；
将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练；
利用所述LSK-FNet模型对人脸图像进行修复。
其中，在构建并训练边缘生成网络的步骤中：
所述边缘生成网络由第一生成器和第一判别器组成，所述第一生成器包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器，所述第一残差块中加入门控卷积模块。
其中，所述边缘生成网络基于深度卷积生成对抗网络模型。
其中，在构建并训练边缘生成网络的步骤中：
利用对抗损失函数和特征匹配损失函数训练所述对抗网络模型，得到所述边缘生成网络。
其中，在构建并训练图像修复网络的步骤中：
所述图像修复网络由第二生成器以及第二判别器组成，所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成，所述第二残差块中加入门控卷积模块。
其中，在构建并训练图像修复网络的步骤中：
利用重建损失函数、对抗损失函数、风格损失函数和感知损失函数训练所述对抗网络模型，得到所述图像修复网络；且所述图像修复网络中使用区域归一化。
其中，将所述边缘生成网络和所述图像修复网络结合，形成端到端的 LSK-FNet模型，并对所述LSK-FNet模型进行训练，包括：
首先，通过所述边缘生成网络中的所述第一生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像；
其次，利用Canny算法所提取的完整边缘图像为先验信息和破损面部图像作为输入，使得所述图像修复网络适应边缘信息进行修复图像；
最后，将边缘生成网络和图像修复网络相结合起的模型进行破损面部图像的训练，实现端到端的破损人脸修复，形成端到端的所述LSK-FNet模型。
其中，利用所述LSK-FNet模型对人脸图像进行修复，包括：
首先，利用所述边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；
然后将生成的先验信息和破损原图一起放入所述图像修复网络中进行修复。
本发明的一种基于LSK-FNet模型的图像修复方法，通过所述LSK-FNet模型将图像修复的工作分为两个步骤：首先，利用边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；然后将生成的先验信息和破损原图一起放入图像修复网络中进行修复。在整个生成对抗网络中融入门控卷积来进行训练，并且在所述图像修复网络中利用了区域归一化来提高修复的细节和精确度，避免修复后的图像存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影的现象，提升图像修复效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的LSK-FNet模型的原理图。
图2是本发明的边缘生成网络的结构图。
图3是本发明的空间区域规划原理图。
图4是本发明的图像修复网络的结构图。
图5是本发明的不规则掩码图像示意图。
图6是本发明的不同算法修复结果的展示图。
图7是本发明不同算法的细节对比图。
图8是本发明基于边缘信息图像修复结果展示图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供了一种基于LSK-FNet模型的图像修复方法，包括如下步骤：
构建并训练边缘生成网络；
构建并训练图像修复网络；
将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练；
利用所述LSK-FNet模型对人脸图像进行修复。
在本实施方式中，本发明提出的图像修复模型融合了先验信息和图像修复网络对图片进行修复，整体结构如图1所示，其中，一种基于LSK-FNet模型的图像修复方法，即为一种基于可学习结构知识融合网络的图像修复方法，所述 LSK-FNet(Learnable StructureKnowledge of Fusion Network)模型的结构中的生成器，由向下采样两次的编码器、门卷积构成的八块残差块和向上采样两次的解码器构成。在所述图像修复网络结构中，融合了门卷积和区域归一化，能够加速破损区域的融合。利用深层神经网络学习来提升修复的面部图像的边缘生成信息以及图像修复信息的精确度。并且，面部边缘图像包含面部精细结构，用以引导在边缘两侧不同区域修复出更为贴近原图的结构和颜色信息。利用边缘信息这个先验知识之后，能够使得面部结构特征修复得更加合理，避免了边缘模糊的现象。
图1中，G1代表边缘生成网络的生成器，D1代表边缘生成网络的判别器， G2代表图像修复网络中的生成器，D2代表图像修复网络的判别器。
Mask代表掩码，Edge代表破损边缘，Grayscale代表灰度图。Truth edge代表真实边缘。Predict edge代表生成器生成边缘。Incomplete color image不完整的图片，Output生成的修复图，Truth image真实图片。
通过所述LSK-FNet模型将图像修复的工作分为两个步骤：首先，利用边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；然后将生成的先验信息和破损原图一起放入图像修复网络中进行修复。在整个生成对抗网络中融入门控卷积来进行训练，并且在所述图像修复网络中利用了区域归一化来提高修复的细节和精确度，避免修复后的图像存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影的现象，提升图像修复效果。
进一步地，在构建并训练边缘生成网络的步骤中：
所述边缘生成网络由第一生成器和第一判别器组成，所述第一生成器包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器，所述第一残差块中加入门控卷积模块。
所述边缘生成网络基于深度卷积生成对抗网络模型。
在构建并训练边缘生成网络的步骤中：
利用对抗损失函数和特征匹配损失函数训练所述对抗网络模型，得到所述边缘生成网络。
在本实施方式中，由于普通卷积在修复时，容易导致视觉的伪影(如颜色差异，模糊和孔周围明显的边缘响应)，本发明提出了基于部分卷积操作，其利用二值掩码控制有效卷积区域，使卷积仅依赖于有效像素。虽然部分卷积可以在一定程度上提高边缘位置的清晰度，但仍然存在一些问题。(1)未对图像区域中的信息进行有效或无效分类。不管上一层的掩码覆盖了多少像素，下一层的掩码都将将被设置为1，例如，1个有效像素和9个有效像素被视为相同的，以更新当前的掩码。(2)部分卷积的无效像素在深层逐渐消失，消失的规则为只要存在一个像素为有效像素，则设置当前所对应的掩码设置为1。但是这样的规则设置是不合理的，如果允许深度神经网络自动学习最优掩码，网络在深层都能够进行掩码的分配。(3)每一层的所有通道共用同一个掩码，无法对每个通道的掩码灵活处理。从本质上讲，部分卷积可以看作是不可学习的单通道特征的硬门控。
由于部分卷积的局限性，本发明提出利用门控卷积模块，自动从数据中学习掩码更新策略，动态地识别图像中有效像素位置，且能很好地处理破损区域和完整区域的过渡。其公式为：
Gatingy，x＝∑∑Wg·I
Featurey，x＝∑∑Wf·I
Oy，x＝φ(Featurey，x)⊙σ(Gatingy，x)
其中，σ表示sigmoid激活函数，产生门控信息，其输出在(0,1)之间的值表示门控权重。Φ可以是任意激活函数(例如:ReLU或LeakyReLU)，Wg和Wf是两个不同的卷积滤波器。将有效像素和图像特征两部分通过两部分的点乘来提取图像中的有用信息，⊙代表的是点乘。门控卷积中的图像和掩码的训练是同步进行的，并不是按照固定不变的规则进行掩码的传递，能够使得修复的结果更加精确。
门控卷积学习每个通道和每个位置的动态特征选择机制，门控卷积不仅学习根据背景、掩码、草图选择特征，而且考虑了某些通道的语义分割。即使在很深的层次，门控卷积也能够学习隐藏区域和在单独的通道的信息，能够更好地产生修复结果。
为了增强图像修复的边缘细节的精确度，防止过度平滑或模糊。将图像修复的步骤分为两步进行，第一步为对破损图像边缘信息进行提取修复，第二步利用修复好的边缘先验信息与图像修复相融合进行修复。
所述边缘生成网络的结构如图2所示，所述边缘生成网络的结构基于深度卷积生成对抗网络模型，由所述第一生成器G1和所述第一判别器D1组成。其中所述第一生成器G1包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器。残差网络能够避免由于网络深度过深而导致梯度弥散的问题，并且在所述第一残差块中，使用门控卷积来代替普通卷积，门控卷积即使在很深的层次中也能够学习隐藏区域和在单独的通道的信息。所述第一判别器D1使用的是70×70PatchGAN架构，对生成边缘图的真假进行判断，并更新判断网络参数，加强对图像的判别能力。在边缘生成网络之中都是进行谱归一化处理。
在所述第一生成器G1中输入的图像为掩码图、破损边缘图以及破损图像的二值图。将输入的图像利用生成器网络进行多层卷积标准化处理，对图像中的信息进行学习，得到边缘结构信息，最终生成修复的边缘图像。所述第一判别器D1是判别所述第一生成器G1生成的边缘信息是否准确的网络，通过不断的学习以提升对生成器所生成边缘图像的判别能力。通过Canny边缘检测器提取完整图像的边缘信息，并且将所述第一生成器G1生成的修复的边缘图像的特征相互融合比较，用以提升判别器的判别能力，并且通过反复的学习生成更接近真实边缘信息的边缘图像。
图2中Mask代表掩码图像，Edge代表边缘图像，Grayscale代表灰度图。M ×N代表原始图片的长宽，M/2×N/2代表长宽分别缩小2，M/4×N/4，在此基础上继续缩小，Gatedconv+Residual Blocks代表残差块中加入卷积神经网络。 Predict edge训练出来的边缘，Truth Edge真实边缘，feature matching特征匹配， real/Fake，真实/假图。
让Tgt代表未破损图像，Tgray表示灰度图，Cgt表示未破损图像的边缘图，图像掩码M作为前提条件(缺失区域标记为1，背景图像标记为0)，⊙为阿达玛乘积， G1为边缘生成网络的第一生成器。在边缘生成网络中，输入的破损灰度图像为
破损的边缘图像为
边缘生成网络生成器预测边缘生成结果如式(2)所示：
上述式中，Cpred表示所述第一生成器生成的预测结果，将预测结果和Cgt一起放入所述第一判别器进行训练，并且给出输入图像的真假概率。构建的损失函数，用以训练对抗生成网络，得到边缘生成网络。特征匹配损失在所述第一判别器中间层的激活映射进行比较，通过所述第一生成器生成的假想图与真实图像相对比来稳定训练过程。激活映射与预先训练的VGG网络的激活映射进行比较。但是，由于VGG网络没有被训练成产生边缘信息，所以没有捕捉到在初始阶段寻找的结果。下列公式(3)、公式(4)分别为对抗损失和特征匹配损失的公式：
特征匹配公式中L表示所述第一判别器的最后一层卷积层，D1(i)表示所述第一判别器第i层激活层的激活函数，Ni是所述第一判别器的第i层的激活结果。边缘生成网络的损失函数是由对抗损失和特征匹配损失组成，为公式(5)所示：
λadv1＝1，λFM＝10 (6)
上述式(5)、式(6)中，D1表示边缘生成网络中的所述第一判别器，λadv1和λFM是平衡对抗损失和特征匹配损失的超参数，其值分别为1和10。
进一步地，在构建并训练图像修复网络的步骤中：
所述图像修复网络由第二生成器以及第二判别器组成，所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成，所述第二残差块中加入门控卷积模块。
在构建并训练图像修复网络的步骤中：
利用重建损失函数、对抗损失函数、风格损失函数和感知损失函数训练所述对抗网络模型，得到所述图像修复网络；且所述图像修复网络中使用区域归一化。
在本实施方式中，特征归一化(Feature Normalization、FN)是帮助神经网络训练的一项重要技术，通常是跨空间维度的特征归一化。以往的图像修复方法大多是将FN应用到网络中，而不考虑输入图像的损坏区域对正规化的影响，如均值和方差偏移。而FN引起的均值和方差的偏移限制了图像修复网络的训练，在此基础上本发明提出了一种空间区域归一化(Region Normalization、RN)来克服这一限制。RN根据输入掩码将空间像素划分为不同的区域，并计算每个区域的均值和方差来实现归一化。RN的原理图如下图3所示：
上述图中N、C、H、W分别为批大小、通道数量、高度、宽度。图中的第一边框部分代表损坏的数据、第二边框位置代表未损坏的数据，随后将两部分数据分别归一化。并且包括有两种不同的RN用于图像修复网络：(1)基本RN (Basic RN、RN-B)，在破损图像的基础上，分别对破损区域和未损坏的区域进行归一化。解决了归一化的均值和方差偏移问题。由于输入的破损图像有较大的损坏区域，会导致严重的均值和方差偏移，因此这种区域归一化的方法用于修复网络的早期层。(2)可学习的RN(Learnable RN、RN-L)，经过多次卷积层后，很难从原始掩码中获得准确的区域掩码。RN-L通过自动检测损坏的区域并获取区域掩码来解决这个问题，RN-L通过全局映射变换增强了损坏区域和未损坏区域的融合。RN-L促进了破损区域的修复，解决了均值和方差的偏移问题，增强了融合。因此，RN-L适用于网络的后一层。
所述图像修复网络的结构如图3所示，其整体结构与边缘生成网络的结构相似。由所述第二生成器G2以及所述第二判别器D2组成。所述图像修复网络的结构中的所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成。在生成器中的残差块中利用门控卷积替代扩张卷积，来提取输入图像特征，通过学习实现对有效区域和遮挡区域的区分，降低破损区域对图像修复的不利影响，使修复图像的颜色和细节纹理结构更为合理，提升修复的质量。并且在网络中使用区域归一化来代替谱归一化，区域归一化利用输入特征的空间关系来检测潜在的损坏区域，并生成区域掩码。可以通过全局仿射变换来增强损坏区域和未损坏区域的融合，不仅解决了均值和方差漂移问题，而且还促进了损坏区域的重建。
将所述边缘生成网络生成的边缘图作为先验信息和破损图像作为所述第二生成器G2的输入，将所述第二生成器G2生成的修复图像和未破损的原始图像一起输入到所述第二判别器D2中，其通过不断比对并更新判别器参数来提升所述第二生成器G2修复图像能力。在所述第二判别器D2中以真实图像为输入，通过反复的训练使得产生的修复图像与真实图像的内容和结构更加近似。
图4中，Predict edge和incomplete color image预测图像和破损的彩色图片，第一个虚线框代表的是***RN-B，从左到右代表，普通卷积、RN-B和ReLU代表激活函数。第二个模块，从左至右代表，门控卷积、可学习的区域归一化， ReLU代表激活函数，门控卷积、可学习的区域归一化。
图像修复网络的输入图像是由边缘生成网络生成的边缘图像作为先验信息和待修复的彩色图像组成。其中边缘生成图为Ccon＝Cgt⊙(1-M)+Cpred⊙M，输入的待修复图像为
所述图像修复网络通过所述第二生成器所修复完成的图像Tpred如式(6)所示：
所述图像修复网络中损失函数有重建损失、对抗损失、感知损失和风格损失组成，用以训练对抗网络，得到所述图像修复网络，式(7)为对抗损失，其公式与边缘生成器中的对抗损失的函数结构相似。
感知损失是将生成图像和原图通过卷积操作转换到高层特征空间后相减，使其接近，保证语义信息相一致。感知损失的函数如下式(8)所示：
上述式中φi为预训练网络中第i层的映射，对应了来自VGG-19的激活函数特征图relu_i_1,其中i∈{1，2，3，4，5}。并且使用风格损失[38]来测量激活图之间协方差的差异。给定大小为Cj×Hj×Wj的激活图，风格损失的函数如式(9)所示：
在风格损失函数中
是一个Cj×Cj的格拉姆矩阵(Gram Matrix)，是由激活函数特征图φj进行构造得到的。在图像修复网络的所述第二判别器结合了重建损失，对抗损失，感知损失，以及风格损失对修复后图像进行判别，如下式(10)所示：
λl1＝1，λadv2＝λp＝0.1，λs＝250
其中λl1、λadv2、λp和λs是重建损失，对抗损失，感知损失，以及风格损失的超参数。
进一步地，将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练，包括：
首先，通过所述边缘生成网络中的所述第一生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像；
其次，利用Canny算法所提取的完整边缘图像为先验信息和破损面部图像作为输入，使得所述图像修复网络适应边缘信息进行修复图像；
最后，将边缘生成网络和图像修复网络相结合起的模型进行破损面部图像的训练，实现端到端的破损人脸修复，形成端到端的所述LSK-FNet模型。
利用所述LSK-FNet模型对人脸图像进行修复，包括：
首先，利用所述边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；
然后将生成的先验信息和破损原图一起放入所述图像修复网络中进行修复。
在本实施方式中，LSK-FNet模型的训练一共分为三个步骤：首先，通过边缘生成网络中的生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像。其次，利用Canny算法所提取的完整边缘图像为先验信息和破损面部图像作为输入，使得修复网络适应适应边缘信息进行修复图像。最后，将边缘生成网络和图像修复网络相结合起的模型进行破损面部图像的训练，实现端到端的破损人脸修复。
利用所述LSK-FNet模型对人脸图像进行修复，包括：首先，利用所述边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；然后将生成的先验信息和破损原图一起放入所述图像修复网络中进行修复。
进一步地，在将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练的步骤后：需要利用CelebA-HQ 数据集测试LSK-FNet模型的性能。
在本实施方式中，进行性能实验测试，实验的硬件采用英特尔CPU E5 (2.60GHz)和GTX1080ti GPU。实验所选用的数据集是CelebA-HQ数据集，数据集中包含有3万张人脸图像，尺寸为256×256，本实验用28K张图图像作为训练集，1K张图像作为验证集，1K张图像作为测试集。实验使用不规则随机掩码数据集，总共1.2万张为256×256的不规则掩码图像用作模型的训练和测试。其中 1k作为训练集，1k作为验证集，1k作为测试集，如图5所示生成的不规则掩码图像。
实验代码使用Python语言编写。模型采用卷积神经网络的架构，处理批次大小为4，用Adam optimizer[40]对模型进行优化，β1＝0，β2＝0.9。本实验中对于边缘修复网络的损失函数中的权重λ1和λ2取值分别为1和10，对图像修复网络的损失函数中的权重λ3、λ4和λ5取值分别为0.1、0.1和250。
为了客观评价所提出的方法修复图像的质量情况，选择三种评价指标用于测量图像修复后的质量：1))
损失；2)峰值信噪比(Peak signal-to-noise Ratio、 PSNR)；3)结构相似性(structural similarity，SSIM)。)
的值越小、PSNR和SSIM值越大，代表图像修复的质量越好，即修复的效果越好对比算法为Contextual Attention算法、生成多列卷积神经网络的修复算法(GMCNN)、EdgeConnect 算法、PIC算法、0RN算法。运用1000张测试集对上述方法进行测试，并且取平均值。使用测试对的掩码大小分别为10％-20％、20％-30％、30％-40％、40％-50％，来观察不同破损大小的修复情况。
一、定性比较：在CelebA-HQ数据集的测试样本利用不规则掩码进行修复，图6为不同破损大小的掩码修复结果，从上至下，图a和图b的破损掩码大小在10％-20％之间、图c和图d的破损掩码大小20％-30％之间、图e和图f的破损掩码大小30％-40％之间、图g和图h的破损掩码大小40％-50％之间。图6中，(a)～(h) 从左至右，分别代表为原图、破损图、CA算法修复结果、GMCNN算法修复结果、EdgeConnect算法修复结果、PIC算法修复结果、RN算法修复结果和文中所提出的算法的修复结果。
从整体结构来看，本文所提出的算法在细节处理和颜色融合等方面优于其他算法，从图6中可以看出CA算法、GMCNN算法和RN算法修复后的图像出现了视觉伪影、边缘结构不清晰等特征，在图e和图g之中尤为明显。在破损区域较小(例如:图a和图b)的情况下EdgeConnect算法、PIC算法和本文所提出的方法，从整体上看其修复结果都与未破损的原图区别不大。但是PIC算法在边缘细节的处理结果不够到位。在图c中可以看出，利用EdgeConnect算法修复的图像在细节的处理上不够完善，使得面部图像的嘴角出现扭曲的情况，本文所改进的算法在细节修复效果更佳接近于原图，边缘轮廓信息更为清晰。利用PIC算法以及破损掩码较大的图像时，使得修复图像出现了边缘出现伪影。本文所提出的算法利用门控卷积替代EdgeConnect算法中的扩张卷积，并将频谱归一化更改为区域归一化，更好的提取为破损区域的信息对破损的区域进行修复，使得破损掩码和图像同步进行训练，使得修复的结果更加合理。并且在修复之前融入了图像边缘的先验信息，使得修复后的图像的面部特征细节更加到位。
在图7中，是对不同破损程度修复后的图像进行整体的主观评价。图8中，将修复后的图像的细节进行放大提取，从上至下主要破损区域依次为眼睛、嘴巴和鼻子。可以看到细节部位的修复效果最佳的为本文提出的方法，这是因为本文所提出的方法基于边缘先验信息，并且采用了区域归一化，使得修复后的图像未出现伪影等情况。
实验还对修复图像的过程的边缘先验信息进行了提取，结果如图8所示， (a)～(d)分别为原图、破损图像、边缘生成图像和修复结果图。由图8的(c)列可以发现，边缘生成网络能够较好地修复出模型缺失部分的边缘信息，并且将修复好的边缘信息和破损图像一起放入图像修复网络中进行修复。
二、定量比较：除了对图像进行主观视觉分析外，还对修复后的图像进行了定量分析。选用了1000张数据集进行修复后取平均值，防止出现特例的情况。选用的评价指教有
损失、峰值信噪比和结构相似性。
表1是在破损大小为10％-50％的不规则掩码数据集上与CA算法，GMCNN 算法，EdgeConnect算法，PIC算法和RN算法进行对比的结果。其中Masked region 表示不规则掩码遮挡的面积。
损失的值越小代表修复后的图像质量越好，从表 1数据中能够看出，本文所提出的方法在所有与其他方法所对比时，都高于其他方法。峰值信噪比和结构相似性的值越大代表修复后的图像质量越好，表1中的数据表明，在破损区域未到达40％-50％时，尤其是破损区域小于20％时，
损失性能的提升超过4.3％。修复后的图像数据都高于其他修复方法。但在修复破损掩码较大的区域时，本文所提出来的方法没有明显的优势。但从整体上来看，本文的方法优于与其对比的方法。
表1不规则掩码破损修复结果对比
表中，用于性能对比的5个模型，其对应参考文献为：
CA方法：J.Yu,Z.Lin,J.Yang,et al."Generative Image Inpainting withContextual Attention,"2018IEEE/CVF Conference on Computer Vision and PatternRecognition,Salt Lake City,UT,USA,2018,pp.5505-5514.
GMCNN方法：W.Yi,T.Xin,X.Qi,et al."Image Inpainting via GenerativeMulti-column Convolutional Neural Networks,"Neural Information ProcessingSystems,v 2018-December,p 331-340,2018.
Edge方法：K.Nazeri,E.Ng,T.Joseph,et al."EdgeConnect:Structure GuidedImage Inpainting using Edge Prediction,"2019IEEE/CVF International Conferenceon Computer Vision Workshop(ICCVW),Seoul,Korea(South),2019,pp.3265-3274.
PIC方法：C.Zheng,T.Cham and J.Cai,"Pluralistic Image Completion,"2019IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),LongBeach,CA,USA,2019, pp.1438-1447.
RN方法：T.Yu,Z.Guo,X.Jin,et al."Region Normalization for ImageInpainting. "Proceedings of the AAAI Conference on ArtificialIntelligence.vol.34,no.07,pp. 12733-12740.
三、消融实验：为了验证加入门控卷积对图像修复的影响，在第二阶段时，我们去掉门控卷积，在CelebA-HQ上对我们的LSK-FNet模型进行了对比实验，依然是28K训练集，1K验证集和1K测试集。为了更好的显示对比，使用不规则掩码训练和测试，同时保证其它条件都相同。实验结果如表2所示，可以看到仅加入区域归一化时，修复效果没有明显提升。
表2去门卷积，加入区域归一化
为了验证加入门控卷积对图像修复的影响，在第二阶段时，我们去掉门控卷积，在CelebA-HQ上对我们的LSK-FNet模型进行了对比实验，依然是28K训练集，1K验证集和1K测试集。为了更好的显示对比，使用不规则掩码训练和测试，同时保证其它条件都相同。实验结果如表3所示，可以看到仅加入区域归一化时，修复效果没有明显提升。
表3去区域归一化，加入门卷积
从上述表中可以得出：1、加入区域归一化或门控卷积都能改善图像质量，但损失区域较大失效。2、区域归一化和门控卷积一起加入网络结构中时，图像质量改善效果更佳。3、区域归一化或门控卷积单独作用EdgeConnect时，重建损失的性能没有超过原模型；两种方法同时作用于该结构时，重建损失性能明显提升；4、当修复区域较小时候(破损区域小于20％)，两种方法单独使用和同时使用，结构相似性都有改善。
综上所述：由于现有的图像修复使用生成对抗网络以及加入注意力机制等来增加脸部各要素之间的语义理解，但修复后的图像的存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影等情况，因此我们提出了LSK-FNet模型。该模型中将图像修复的工作分为两个步骤：首先，利用边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息。然后将生成的先验信息和破损原图一起放入图像修复网络中进行修复。在整个生成对抗网络中融入门卷积来进行训练，并且在图像修复网络中利用了区域归一化来提高修复的细节和精确度。针对所提出的方法在CelebA-HQ数据集上进行训练，对修复后的图像进行了定性分析和定量分析，结果表明本文的方法破损区域小于20％时，
损失性能提升超过4.3％，并且在修复面部图像的边缘结构和细节部分达到了较好的效果。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (8)
1.一种基于LSK-FNet模型的图像修复方法，其特征在于，包括如下步骤：
构建并训练边缘生成网络；
构建并训练图像修复网络；
将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练；
利用所述LSK-FNet模型对人脸图像进行修复。
2.如权利要求1所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练边缘生成网络的步骤中：
所述边缘生成网络由第一生成器和第一判别器组成，所述第一生成器包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器，所述第一残差块中加入门控卷积模块。
3.如权利要求2所述的基于LSK-FNet模型的图像修复方法，其特征在于，
所述边缘生成网络基于深度卷积生成对抗网络模型。
4.如权利要求3所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练边缘生成网络的步骤中：
利用对抗损失函数和特征匹配损失函数训练所述对抗网络模型，得到所述边缘生成网络。
5.如权利要求4所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练图像修复网络的步骤中：
所述图像修复网络由第二生成器以及第二判别器组成，所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成，所述第二残差块中加入门控卷积模块。
6.如权利要求5所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练图像修复网络的步骤中：
利用重建损失函数、对抗损失函数、风格损失函数和感知损失函数训练所述对抗网络模型，得到所述图像修复网络；且所述图像修复网络中使用区域归一化。
7.如权利要求6所述的基于LSK-FNet模型的图像修复方法，其特征在于，将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练，包括：
首先，通过所述边缘生成网络中的所述第一生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像；
其次，利用Canny算法所提取的完整边缘图像为先验信息和破损面部图像作为输入，使得所述图像修复网络适应边缘信息进行修复图像；
最后，将边缘生成网络和图像修复网络相结合起的模型进行破损面部图像的训练，实现端到端的破损人脸修复，形成端到端的所述LSK-FNet模型。
8.如权利要求7所述的基于LSK-FNet模型的图像修复方法，其特征在于，利用所述LSK-FNet模型对人脸图像进行修复，包括：
首先，利用所述边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；
然后将生成的先验信息和破损原图一起放入所述图像修复网络中进行修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757574.3A CN113808031A (zh) | 2021-07-05 | 2021-07-05 | 一种基于LSK-FNet模型的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110757574.3A CN113808031A (zh) | 2021-07-05 | 2021-07-05 | 一种基于LSK-FNet模型的图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113808031A true CN113808031A (zh) | 2021-12-17 |
Family
ID=78893063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110757574.3A Pending CN113808031A (zh) | 2021-07-05 | 2021-07-05 | 一种基于LSK-FNet模型的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113808031A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693630A (zh) * | 2022-03-25 | 2022-07-01 | 上海大学 | 一种基于对抗边缘学习的图像出血位预测方法 |
| CN114764754A (zh) * | 2022-03-25 | 2022-07-19 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
| CN116029945A (zh) * | 2023-03-29 | 2023-04-28 | 北京建筑大学 | 生成式图像修复装置 |
| CN117974832A (zh) * | 2024-04-01 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络的多模态肝脏医学图像扩充算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050190279A1 (en) * | 2004-02-26 | 2005-09-01 | Jonathan Nobels | Mobile device with integrated camera operations |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112967218A (zh) * | 2021-03-15 | 2021-06-15 | 复旦大学 | 一种基于线框和边缘结构的多尺度图像修复*** |
-
2021
- 2021-07-05 CN CN202110757574.3A patent/CN113808031A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050190279A1 (en) * | 2004-02-26 | 2005-09-01 | Jonathan Nobels | Mobile device with integrated camera operations |
| CN111968053A (zh) * | 2020-08-13 | 2020-11-20 | 南京邮电大学 | 基于门控卷积生成对抗网络的图像修复方法 |
| CN112967218A (zh) * | 2021-03-15 | 2021-06-15 | 复旦大学 | 一种基于线框和边缘结构的多尺度图像修复*** |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693630A (zh) * | 2022-03-25 | 2022-07-01 | 上海大学 | 一种基于对抗边缘学习的图像出血位预测方法 |
| CN114764754A (zh) * | 2022-03-25 | 2022-07-19 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
| CN114764754B (zh) * | 2022-03-25 | 2024-04-09 | 燕山大学 | 一种基于几何感知先验引导的遮挡人脸修复方法 |
| CN116029945A (zh) * | 2023-03-29 | 2023-04-28 | 北京建筑大学 | 生成式图像修复装置 |
| CN116029945B (zh) * | 2023-03-29 | 2023-07-14 | 北京建筑大学 | 生成式图像修复装置 |
| CN117974832A (zh) * | 2024-04-01 | 2024-05-03 | 南昌航空大学 | 基于生成对抗网络的多模态肝脏医学图像扩充算法 |
| CN117974832B (zh) * | 2024-04-01 | 2024-06-07 | 南昌航空大学 | 基于生成对抗网络的多模态肝脏医学图像扩充算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| Agrawal et al. | A novel joint histogram equalization based image contrast enhancement | |
| CN113808031A (zh) | 一种基于LSK-FNet模型的图像修复方法 | |
| Kang et al. | Convolutional neural networks for no-reference image quality assessment | |
| CN112837234B (zh) | 一种基于多列门控卷积网络的人脸图像修复方法 | |
| CN113255659B (zh) | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 | |
| CN112365556B (zh) | 一种基于感知损失和风格损失的图像扩展方法 | |
| CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
| Chakraborty | PRNU-based image manipulation localization with discriminative random fields | |
| CN113344000A (zh) | 证件翻拍识别方法、装置、计算机设备和存储介质 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN117036281A (zh) | 一种缺陷图像的智能生成方法及其*** | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN116958880A (zh) | 视频火焰前景分割预处理方法、装置、设备及存储介质 | |
| CN114820381A (zh) | 一种基于结构信息嵌入和注意力机制的数字图像修复方法 | |
| CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 | |
| Du et al. | UIEDP: Underwater Image Enhancement with Diffusion Prior | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| CN115546828A (zh) | 一种复杂牛场环境牛脸识别方法 | |
| CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及*** | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
| CN115272378A (zh) | 一种基于特征轮廓的人物图像分割方法 | |
| CN115249358A (zh) | 一种巨噬细胞内碳颗粒定量检测方法及***、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211217 |