CN113888417A - 基于语义解析生成指导的人脸图像修复方法 - Google Patents
基于语义解析生成指导的人脸图像修复方法 Download PDFInfo
- Publication number
- CN113888417A CN113888417A CN202111095903.9A CN202111095903A CN113888417A CN 113888417 A CN113888417 A CN 113888417A CN 202111095903 A CN202111095903 A CN 202111095903A CN 113888417 A CN113888417 A CN 113888417A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- image
- context
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000002474 experimental method Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 5
- 230000002776 aggregation Effects 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000001815 facial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于语义解析生成指导的人脸图像修复方法。该方法包括人脸解析恢复网络和图像补全网络。本发明的创新之处在于，人脸解析在人脸恢复过程中起着重要的作用。人脸解析图像整洁而简洁，可以作为结构信息的有效指南。此外，本发明引入了语义补偿模块来增强语境信息的聚合，设计了语境注意模块来提高外观的合理性。本发明还在第二阶段引入上下文注意模块，进一步提高外观的合理性。我们进行了大量的实验来揭示所设计方法的有效性。同时与其他同类方法比较，生成的人脸图像更加合理和清晰，相关评价指标更高。
Description
技术领域
本发明属于图像建模、计算机视觉、图像生成领域，涉及一种基于语义解析生成指导的人脸图像修复方法。
背景技术
众所周知，图像修复的主要目的是恢复受损区域的合理像素。与丰富多样的自然场景相比，面部图像更加纯净，为大家所熟悉。因此，在这类图像上很容易发现任何微小的瑕疵。因此，人脸图像修复一直是一项艰巨的任务。传统的图像修复技术通常通过扩散方法将低级特征从完整区域转移到受损区域。近年来，深度学习技术的发展极大地促进了图像修复的进步。
令人惊讶的是，由于每一个细节信息都非常重要，我们认为一个简单直接的网络框架可能不适合。因此，本文提出了一种基于两阶段的修复结构。这里首先重构面部语义解析图像，能够清晰地反映整个面部的结构。与直接的整体人脸修复相比，解析图像的修复要容易得多，因为它的结构明显更简单，包含的细节信息也少得多。前人的一些工作已经成功地将人脸解析图像应用于人脸生成任务。但与它们不同的是，本文将其用于人脸图像修复。基于这一主要思想，提出了一个生成式句法分析指导网络(GPG-Net)框架。该两级结构由人脸解析恢复子网和图像修复子网组成。具体来说，在人脸解析重构网络中加入了语义补偿模块结构，可以保证上下文信息的有效聚合。另一方面，在第二阶段引入上下文注意模块结构，该结构包含选择细粒度特征的自注意模块，以保证图像的一致性。在公开可用的CelebA-HQ数据集上进行了大量实验，以验证所提出方法的有效性。
发明内容
人脸修复是计算机视觉和图像处理领域中一项有趣而又富有挑战性的任务。本文提出了一种基于句法分析的人脸图像修复方法。显然，完整的面部图像可能包含大量的细节，因此当存在严重的损伤时，直接整体重建是非常困难的。为了解决这个问题，我们选择首先恢复由解析图像表示的整体图像结构，与详细的原始图像相比，解析图像相当简单。基于这一思想，提出了一种基于两阶段的人脸修复框架。
我们的方法架构：
1.人脸解析图像重建网络
为了准确地恢复原始未受损的人脸图像，首先建立了人脸解析图像重建子网，以发现完整的人脸整体结构。它由一代网络Gp和鉴别网络Dp组成。这里发电机Gp的灵感来自众所周知的U-Net结构。具体来说，它包括一个下采样编码器、八个包含扩展卷积的残差块和一个解码器。几个单片机单元被合并到解码器中，以实现更好的语义特征捕获。鉴频器采用70 ×70PatchGan的相同结构。我们还在鉴别器中引入了谱归一化来稳定训练。
2.面部修复网络
在获取人脸解析图像后，设计了一个人脸完成子网络来恢复所有丢失的图像细节。这个网络也是一个生成器和鉴别器的结构。这里，生成器由三个下采样编码块、七个残差块、上下文注意模块单元和上采样编码器组成。此外，在编码器和解码器之间增加了一个跳跃连接。在每个解码层之前添加1×1卷积运算作为通道，可以更好地学习上下文特征。鉴别器的结构与人脸解析重建网络的结构基本一致，它决定了结果是否是真实的人脸图像。此外，为了获得更多的上下文特征，在鉴别器中引入了一个注意力上下文模块。
3.语义补偿模块
网络深层和浅层的直接融合可能导致明显的语义鸿沟。针对这一问题，我们设计了一种语义补偿模块结构，通过并行捕获特征和加入层次组合来有效补偿语义鸿沟。这里，输入和输出通道的一致性可以通过通道均衡和模块级联来保证。信道均衡模块使不同分支的信道大小相等。具体来说，它由两个分支组成，即{3×1，1×3}的扩张卷积对，每个分支都有一个决定卷积区间跨度的扩张率，从而获得多尺度上下文。另一方面，为不同的分支设置不同的竞争值ri(即(1，2))。此外，来自浅层的特征信息在元素级与当前特征图相加。通过该模块，我们可以有效地获得鲁棒的多尺度特征，提高上下文的丰富度
4.注意力上下文模块
为了使网络学习到更丰富的上下文依赖信息，提高不同通道之间的上下文依赖程度，我们在自我注意模块的基础上，设计了一种新的上下文注意模块结构。该模块用于保证上下文信息的获取。这里使用译码器的特征进行矩阵运算来获得自注意，而编码器的特征进行上下文信息特征的获取。
5.实施细节
(1)实验在CelebA-HQ数据集上进行，该数据集被随机分成24183/2993/2824幅图像，分别用于训练、验证和测试；
(2)加载本模型第一阶段的生成器的参数，生成破损图像的语义解析图
(3)加载本模型第二阶段的生成器的参数，输入为第一阶段的语义解析图和破损的人脸图像，输出为经过指导修复的完整人脸图像。
本发明是一种基于语义解析生成指导的人脸图像修复方法，跟现有技术相比，本发明的主要优势在于：
(1)本方法提出了一个生成式句法分析指导网络(GPG-Net)框架。该两级结构由人脸解析恢复子网和图像修复子网组成。基于这一思想，提出了一种基于两阶段的人脸修复框架，其中第一阶段专门进行解析图像修复，随后的第二阶段恢复所有细节。
(2)本方法在人脸解析重构网络中加入了语义补偿模块结构，可以保证上下文信息的有效聚合。
(3)另一方面，在第二阶段引入上下文注意模块结构，该结构包含选择细粒度特征的自注意模块，以保证图像的一致性。
附图说明
图1为本发明方法网络结构框架图。
具体实施方式
本方法提出了一个生成式句法分析指导网络(GPG网)框架。该两级结构由人脸解析恢复子网和图像修复子网组成。下文将对本发明实施方法进行更为具体的介绍和描述：
训练阶段：
本发明的语义解析人脸图像修复模型需要在一定数量训练样本进行训练，实验在CelebA-HQ数据集上进行，该数据集被随机分成24183/2993/2824幅图像，分别用于训练、验证和测试。Gp-Net的人脸语义标签由CelebAMask-HQ提供，这是一个大规模的人脸分割数据集，由30，000个人工标注的数据组成，涉及19个类别。
我们用来训练的随机Mask来自英伟达Mask数据集。在我们的实验中，所有图像都具有 256×256的统一尺寸。模型使用Adam优化器进行优化，β1＝0，β2＝0.9，生成模型的学习速率为10-4，而鉴别器的学习速率为10-5。所提出的方法将以深度填充(CA)、深度填充2(GC)、多元图像填充(PIC)和移位网络(SHIFT-NET)作为对比进行试验。
实验展示了定性性能。我们的GPG-Net达到了最好的视觉修复效果。另一方面，我们的方法可以产生更自然的外观和视觉上引人注目的结果，即使是在大姿势和极端损坏的情况下。我们的结果按常用PSNR、SSIM和FID指标报告了量化性能。根据数据，我们的方法在所有三种测量中都优于其他方法，尤其是在FID方面。
网络应用阶段：
对待任意一幅输入的遮挡图像，本发明方法将依次采用下列处理分析步骤进行图像生成：
首先，输入待处理的遮挡图像，第一阶段生成预测的语义图，第二阶段输入预测的语义图和待遮挡的图像输出修复的图像。
Claims (6)
1.基于语义解析生成指导的人脸图像修复方法，包括下列步骤：
方法训练阶段：
(1)实验在CelebA-HQ数据集上进行，该数据集被随机分成24183/2993/2824幅图像，分别用于训练、验证和测试。Gp-net的人脸语义标签由CelebAMask-HQ数据集提供，这是一个大规模的人脸分割数据集，由30,000个人工标注的数据组成，涉及19个类别；
(2)在我们的实验中，所有图像都具有256×256的统一尺寸。模型使用Adam优化器进行优化，β1＝0，β2＝0.9，生成模型的学习速率为10-4，而鉴别器的学习速率为10-5。
在线使用阶段：
(3)加载本模型第一阶段的生成器的参数，生成破损图像的语义解析图
(4)加载本模型第二阶段的生成器的参数，输入为第一阶段的语义解析图和破损的人脸图像，输出为经过指导修复的完整人脸图像。
2.根据权利要求1所述的语义解析生成指导的人脸图像修复方法，其特征在于，步骤(1)中，训练图像的大小均为256*256，所有图像主体均清晰可辨，训练样本集合中包含真实图像30000幅。类别标签为19类。
3.人脸解析图像重建网络：
为了准确地恢复原始未受损的人脸图像，设计了人脸解析图像重建子网络GP-Net，以发现完整的人脸整体结构。为了准确地恢复原始未受损的人脸图像，首先设计了人脸解析图像重建子网络，以发现完整的人脸整体结构。它由一个生成网络Gp和一个判别网络Dp组成该网络包括一个下采样编码器，八个残余块包含一个扩张卷积和一个解码器。为了更好地实现语义特征捕获，将多个语义补偿模块合并到解码器中。该鉴别器采用相同的70×70PatchGan结构。我们还在鉴别器中引入了光谱归一化来稳定训练。详细的人脸解析图像重建子网络架构如表所示：
4.人脸补全子网络Gc-Net：
在获取人脸解析图像后，设计一个人脸补全子网络来恢复所有缺失的图像细节。该网络也是一个生成器和鉴别器的结构，如图1底部所示。这里，生成器由三个下采样编码块、七个剩余块、一个上下文注意模块单元和一个上采样编码器组成。此外，在编码器和解码器之间增加了一个跳跃连接。在每个解码层之前添加1×1卷积运算作为信道，可以更好地学习上下文特征。鉴别器的结构与人脸解析重建网络的结构基本一致，这决定了结果是否是真实的人脸图像。此外，在鉴别器中引入了上下文注意力模块，以获得更多的上下文特征。
详细的人脸修复网络架构如表所示：
5.语义补偿模块
网络深层和浅层的直接融合可能会导致明显的语义鸿沟。针对这一问题，我们设计了一种语义补偿模块结构，该结构通过并行捕获特征并引入层次组合来有效补偿语义差距。这里，通过通道均衡和模块级联，可以保证输入输出通道的一致性。信道均衡模块使不同分支的信道大小相等。具体来说，它由两个分支组成，即{3×1，1×3}的扩张卷积对，每个扩张速率为ri，它决定了卷积区间的跨度，从而获得多尺度上下文。另一方面，不同的竞争值ri为不同的分支设置。将浅层的特征信息与当前的特征图进行元素级求和。通过该模块，我们可以有效地获得鲁棒的多尺度特征，提高上下文的丰富度。
6.注意力上下文模块
为了使网络学习到更丰富的上下文依赖信息，提高不同通道之间的上下文依赖程度，我们设计了一种新的上下文自我注意模块结构。自我注意地图首先通过以下方法计算：
其中Fde为解码器中间层的特征，W×H为像素数，Fi和(Fi·Fj)是可学习参数矩阵。然后，输出yde可以表示为：
式中，用标度参数λde是来平衡相对重量。为了结合编码器层的特征，我们有一个上下文信息特征，输出yen可表示为：
其中缩放参数λen是用来结合注意特征和编码器特征Fen。最后，自注意和上下文信息特征被聚合并发送到另一个解码器层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111095903.9A CN113888417A (zh) | 2021-09-12 | 2021-09-12 | 基于语义解析生成指导的人脸图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111095903.9A CN113888417A (zh) | 2021-09-12 | 2021-09-12 | 基于语义解析生成指导的人脸图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888417A true CN113888417A (zh) | 2022-01-04 |
Family
ID=79009854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111095903.9A Pending CN113888417A (zh) | 2021-09-12 | 2021-09-12 | 基于语义解析生成指导的人脸图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888417A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051690A1 (zh) * | 2022-09-06 | 2024-03-14 | 北京字跳网络技术有限公司 | 图像的修复方法、装置及电子设备 |
-
2021
- 2021-09-12 CN CN202111095903.9A patent/CN113888417A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051690A1 (zh) * | 2022-09-06 | 2024-03-14 | 北京字跳网络技术有限公司 | 图像的修复方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829959B (zh) | 基于人脸解析的表情编辑方法及装置 | |
| CN110728219A (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN111709900A (zh) | 一种基于全局特征指导的高动态范围图像重建方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN114022506B (zh) | 一种边缘先验融合多头注意力机制的图像修复方法 | |
| CN111612718A (zh) | 一种引入注意力机制的人脸图像修复方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN114627006A (zh) | 一种基于深度解耦网络的渐进式图像修复方法 | |
| CN115546032A (zh) | 一种基于特征融合与注意力机制的单帧图像超分辨率方法 | |
| CN113379597A (zh) | 人脸超分辨率重构方法 | |
| CN113469906A (zh) | 一种用于图像修复的跨层全局和局部感知网络的方法 | |
| CN116245861A (zh) | 基于交叉多尺度的无参考图像质量评价方法 | |
| CN115146763A (zh) | 一种非配对图像阴影去除方法 | |
| CN113888417A (zh) | 基于语义解析生成指导的人脸图像修复方法 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| Shao et al. | Two-stream coupling network with bidirectional interaction between structure and texture for image inpainting | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN110163800A (zh) | 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置 | |
| CN113191367B (zh) | 基于密集尺度动态网络的语义分割方法 | |
| CN113962332A (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN116264606A (zh) | 用于处理视频的方法、设备和计算机程序产品 | |
| Bai et al. | Image Inpainting Technique Incorporating Edge Prior and Attention Mechanism. | |
| Fu et al. | A robust image denoising method with multiview texture-aware convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |