CN113962893A - 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 - Google Patents

基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 Download PDF

Info

Publication number
CN113962893A
CN113962893A CN202111253713.5A CN202111253713A CN113962893A CN 113962893 A CN113962893 A CN 113962893A CN 202111253713 A CN202111253713 A CN 202111253713A CN 113962893 A CN113962893 A CN 113962893A
Authority
CN
China
Prior art keywords
attention
image
channel
network
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111253713.5A
Other languages
English (en)
Other versions
CN113962893B (zh
Inventor
梁美彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202111253713.5A priority Critical patent/CN113962893B/zh
Publication of CN113962893A publication Critical patent/CN113962893A/zh
Application granted granted Critical
Publication of CN113962893B publication Critical patent/CN113962893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，包括：获取的人脸缺失图像以及对应的掩膜并进行预处理；构建基于多尺度局部自注意力生成对抗网络，并使用缺损人脸图像数据集对基于多尺度局部自注意力生成对抗网络进行训练建模，得到人脸修复模型；通过多尺度局部自注意力生成对抗网络模型，对待测缺损人脸图像进行修复。本发明在生成网络中加入多尺度结构，以及双通道局部自注意力模块，有效解决了生成对抗网络在人脸修复问题中训练不稳定、修复精度和效率不高、缺少对称性以及模式坍塌的技术问题，为人脸修复提供了一种高效、准确、稳定的修复方法。

Description

基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
技术领域
本发明属于计算机人脸图像修复技术领域，具体涉及一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法。
背景技术
图像修复是指通过一定的技术手段，对图像受损区域进行复原，使其与周围特征具有良好的一致性，并保证修复图像与原图有相同的语义内容。目前，对人脸图像进行修复的经典算法，主要包括基于扩散的算法和基于图像块的匹配算法。然而，这些经典的图像修复算法主要是基于数学和物理模型，所以要求输入图像中包含与缺失区域相似的信息，如类似的像素、结构或图像块，不能生成新的内容。如果图像存在大面积缺失时，不能对图像进行有效重建。
基于深度生成对抗网络的图像重建方法通过学习输入图像的分布来对缺失图像进行修复。与传统的重建方法相比,该方法不需要在缺失图像中具有类似的像素或者图像块，就可以捕获图像的高层语义信息，生成与原图具有相同语义的缺失区域，从而实现图像的有效修复。因此，基于深度生成对抗网络的方法，不仅能够对小范围缺失的图像进行修复，而且可以根据语义内容，实现大面积缺失图像的修复和重建，是一种有效的人脸修复方法。
目前，采用生成对抗网络实现图像修复的网络主要有Pathak等提出的上下文编码器(CE)和Iizuka等提出的全局局部图像修复网络(GLCIC)。这两种架构都可以通过语义信息来重构图像，使用重构损失和对抗损失来指导图像生成过程。但是上下文编码器的方法主要侧重于修复缺失区域，在非缺失区域用原始图像代替的方法会导致缺失区域和非缺失区域之间存在修复边界，从而影响生成的图像的完整性。GLCIC网络通过全局和局部两个判别器来控制图像的生成过程，避免了CE生成图像存在修复边界的问题。但是该方法没有重点关注缺失区域图像的修复，因此生成的图像在缺失区域较为模糊。
发明内容
本发明的目的是解决现有生成对抗网络实现图像修复方法存在的没有重点关注缺失区域图像的修复和生成的图像在缺失区域较为模糊的技术问题，提供一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法。该方法在生成器中采用多尺度局部自注意力模块，通过重点关注缺失区域的信息，不但能够针对性的解决人脸图像高精度修复的问题，而且加入了多尺度图像信息，使训练过程更加高效与稳定。
为解决上述技术问题，本发明采用的技术方案是：
一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其包括：
步骤一：获取原始人脸图像x与对应的二值缺损掩膜M；构建缺损人脸图像数据集{xM|xM＝M☉x}，以及对应的原始图像数据集{x}，并将所述缺损人脸图像数据集按照预设比例划分为训练集和测试集。其中，☉表示元素相乘；
步骤二：构建多尺度局部自注意力生成对抗网络，该网络由生成网络和判别网络组成，并在生成网络的不同尺度上嵌入双通道局部自注意力模块，所述双通道局部自注意力模块包含交叉注意力通道和空间自注意力通道，所述交叉注意力通道和空间自注意力通道通过并行方式进行连接；
步骤三：设置网络模型超参数，使用缺损人脸图像训练集对所述多尺度局部自注意力生成对抗网络模型进行训练和建模，在建模过程中，生成网络和判别网络分别采用Adam优化器和随机梯度下降(SGD)算法，在对抗训练过程中通过对多个损失函数之和进行优化，得到多尺度局部自注意力生成对抗缺损人脸修复模型；
步骤四：采用缺损人脸图像测试集对所述多尺度局部自注意力生成对抗缺损人脸修复模型进行测试，通过峰值信噪比(PSNR)与结构相似性(SSIM)指标评价模型的修复性能。
进一步地，所述生成网络包括编码器模块、语义特征修复模块以及解码器模块，所述编码器模块和解码器模块结构基本对称；
所述编码器模块包括若干个编码特征提取模块组成，所述编码特征提取模块由编码卷积层-批量归一化-Leaky ReLu激活函数组成。其中，每个编码卷积层通过大小为k、扫描步长为s、填充像素数为p的卷积核对输入缺损图像进行特征提取，每个卷积操作后进行批量归一化，并通过非线性激活函数Leaky ReLu激活，随着卷积层数的增加，提取的特征逐渐由基于颜色、纹理低级特征到基于图像语义信息的高级抽象特征进化；通过编码操作，将输入的缺损图像压缩为不同尺度的特征图；
所述语义特征修复模块，包括若干个特征还原模块，所述特征还原模块由膨胀卷积层-批量归一化-Leaky ReLu激活函数组成。每个膨胀卷积层的卷积核为3×3的膨胀卷积，第t层卷积核的膨胀率为2t，其中，t＝1,2,…T0；用来对压缩后的特征图进行语义特征提取和人脸图像修复；
所述解码器模块由若干个解码特征映射模块、m个尺度双通道局部自注意力模块、若干个上采样模块和一个非线性图像均衡模块组成；其中，所述解码特征映射模块由解码卷积层-批量归一化-Leaky ReLu激活函数组成；上采样模块由反卷积层-批量归一化-Leaky ReLu激活函数组成；非线性图像均衡模块由解码卷积层-Tanh激活函数组成；每一个上采样模块前面加入一个双通道局部自注意力模块；具体连接方式为：第一解码特征映射模块后与第二解码特征映射模块相连，用于提取对应尺度的特征图，第二解码特征映射模块与第m尺度双通道局部自注意力模块相连，通过聚焦图像已知区域和缺失区域的差异来对缺失信息进行修复；第m尺度双通道局部自注意力模块后与第1上采样模块相连，通过反卷积操作实现图像的上采样，并通过批量归一化操作和Leaky ReLu函数激活；第1上采样模块后再经过第三解码特征映射模块与第m+1尺度双通道局部自注意力模块相连，其作用是m+1尺度上再次聚焦上采样后特征图中已知区域和缺失区域的差异来对缺失信息进行修复和调整,从而在多个尺度上实现特征图的修复；第m+1尺度双通道局部自注意力模块与第2上采样模块相连，第2上采样模块后再经过第四解码特征映射模块后，与非线性图像均衡模块相连，即将图像转换为三通道的RGB图像，从而实现图像的有效重建。
进一步地，所述判别网络包括若干个特征判别模块，所述特征判别模块由判别卷积层-批量归一化-Leaky ReLu激活函数组成。每个判别卷积层通过大小为k'、扫描步长为s'的卷积核对重建图像进行特征提取和压缩，最终输出一个概率值用于判别生成图像的修复效果，所述判别网络每个判别卷积层输出特征图的通道数目至少比生成网络对应卷积层的通道数多一倍。
进一步地，对所述解码器中每个双通道局部自注意力模块前得到的特征图进行卷积操作，得到对应尺度的RGB图像，在图像修复的过程中与对应尺度的真实图像通过L2损失进行重建，在图像重建的过程中与对应尺度的真实图像进行对比，从而逐渐控制人脸图像的生成过程，进而使训练过程更加稳定。
进一步地，所述双通道局部自注意力模块中的交叉注意力通道通过聚焦缺失区域与非缺失区域的注意力对图像缺损区域进行修复，具体为：
(I)所述双通道局部自注意力模块每个通道的输入都为解码器中每一个反卷积层前的特征图F，其大小为M1×M2×C,M1、M2和C分别为特征图F高度维像素数，宽度维像素数和通道数；
(II)将所述特征图F按照掩膜的大小，分割成缺损区域和非缺损区域，缺损区域定义为前景Ff，非缺损区域定义为背景Fb；
(III)将所述前景Ff和背景Fb的尺寸调整为Pf×C和Pb'×C的一维向量,其中：Pf＝m1×m2,Pb'＝(M1×M2)-(m1×m2)；m1和m2分别为前景Ff高度维像素数和宽度维像素数，Pf和Pb'为前景和背景的像素数；
(IV)所述交叉注意力通道中将调整后的前景Ff和背景Fb分别经过一维卷积操作后，得到前景Ff的变换特征Q，以及背景Fb的两个变换特征K与V，具体公式为：Q＝WqFf，K＝WkFb和V＝WvFb，其中：Wq、Wk和Wv为交叉注意力通道的特征变换矩阵，是网络的可学习参数；
(V)所述交叉注意力通道的注意力图E中的元素Eij可表示为：
Figure BDA0003323197550000041
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(VI)所述交叉注意力通道的输出为：
Figure BDA0003323197550000042
β1是交叉注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，VT为交叉注意力通道中背景Fb变换特征V的转置，ET为交叉注意力通道中注意力图E的转置。
进一步地，所述空间自注意力通道聚焦缺失区域内部的注意力，获取人脸图像特征的内部联系来对图像修复，具体为：
(i)所述空间自注意力通道将前景Ff的尺寸调整为Pf×C的一维向量，分别通过三个一维卷积操作后，得到前景Ff三种形式的变换特征Q'、K'和V'，具体公式为：Q'＝Wq'Ff，K'＝Wk'Ff和V'＝Wv'Ff；其中：W'q、W'k和W'v为空间自注意力通道的特征变换矩阵，是网络的可学习参数；
(ii)所述空间自注意力通道的注意力图E'中的元素E'i,j可表示为：
Figure BDA0003323197550000051
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(iii)所述空间自注意力通道的输出为：
Figure BDA0003323197550000052
其中：β2是空间自注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，V'T为空间自注意力通道中前景Ff变换特征V'的转置，E'T为空间自注意力通道中注意力图E'的转置；
(iv)对交叉注意力通道和空间自注意力通道的特征图进行融合获得精简的特征图Y，表达式为：Y＝conv(Yf+Y'f)；其中，conv(·)表示1×1卷积操作。
进一步地，所述损失函数包括：多尺度重建损失函数Lm、重建图像的对抗损失函数Ladv、感知损失函数Lperceptual、风格损失函数Lstyle以及总变分损失函数(Total Variationloss)LTV；具体为：
多尺度重建损失函数定义为：
Figure BDA0003323197550000053
其中：xM＝M☉x，x表示原始图像，M表示二值掩膜，xM表示缺损图像，G(·)表示生成图像，Si表示从解码器中提取的第i个尺度的RGB输出图像，Ti表示同一图像在第i个尺度上的真实图像，λi是每个尺度的权重；
重建图像的对抗损失函数Ladv是由对抗训练中代价函数
Figure BDA0003323197550000054
变换得到，重建图像的对抗损失函数表达式为：
Figure BDA0003323197550000055
感知损失函数表达式为：
Figure BDA0003323197550000061
风格损失函数表达式为：
Figure BDA0003323197550000062
总变分损失函数表达式为：
Figure BDA0003323197550000063
总损失函数表达式为：L＝α1Lm+α2Ladv+α3Lperceptual+α4Lstyle+α5LTV
其中：
Figure BDA0003323197550000064
和x表示修复的人脸图像和真实人脸图像，φ表示VGG-16网络，
Figure BDA0003323197550000065
和
Figure BDA0003323197550000066
分别表示利用VGG-16网络提取修复图像和真实图像第j层的特征图，Hj,Wj,Cj表示VGG-16网络提取到第j层特征图的高度、宽度和通道数目，N是VGG-16特征提取器中的层数，D(·)表示对括号中的图像进行判别，Ex(·)表示分布函数的期望，
Figure BDA0003323197550000067
表示VGG-16网络第j层特征图的格拉姆矩阵，||·||2表示L2范数，
Figure BDA0003323197550000068
表示修复后的人脸RGB图像中，当高度维、宽度维和通道维数值分别为h，w，c时对应的像素值，{α1,...,α5}表示各个损失在总损失函数中所占的权重。
进一步地，通过对所述多个损失函数之和进行优化，得到所述多尺度局部自注意力生成对抗网络的参数θd,θg＝argmin(L)，进而得到修复的人脸图像
Figure BDA0003323197550000069
其中，θd和θg为判别网络和生成网络的参数。
本发明的有益效果是：
1、本发明在生成器中加入双通道局部自注意力模块，网络通过聚焦缺失区域与非缺失区域的注意力，以及缺失区域内部的自注意力来获取人脸图像特征的内部联系，提高了网络学习效率，实现了人脸精细部位的修复，为高精度缺失人脸图像重建提供了有效途径；
2、本发明在图像生成的过程中的每个尺度上加入多尺度局部自注意力机制，逐渐控制人脸图像的生成过程，使双通道局部自注意力模块能够在每个尺度上发挥作用，进而使训练过程更加稳定；
3、本发明在生成器中采用“跳跃”连接，增强了图像高层次的语义信息的表达和修复效率，同时避免了模式坍塌；
4.本发明采用“大容量”判别网络，“大容量”是指判别网络的每个判别卷积层输出特征图的通道数目至少比生成网络对应卷积层的通道数多一倍。“大容量”判别网络通过对生成图像的大量特征图进行判别，从而对修复后的图像与原始图像的微小差异实现有效区分，进而提高待修复图像的精度。
附图说明
图1是本发明对人脸缺损图像修复的整体框架示意图；
图2是本发明自注意力机制的工作示意图；
图3是本发明对人脸缺损图像修复的测试结果示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细描述。
本实施例中的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其包括：
步骤一：获取原始人脸图像x与对应的二值缺损掩膜M；构建缺损人脸图像数据集{xM|xM＝M☉x}，以及对应的原始图像数据集{x}，对获取的缺损人脸图像数据集进行预处理，即图像尺寸统一设置为N0×N0，N0为图像在宽度维和高度维的像素数，N0＝128，☉表示元素相乘，并在输入网络前进行标准化处理；将预处理后的人脸图像数据按照10:1的比例分为训练集和测试集；本实施例将22,000张不同的人脸图像数据集按10:1的比例划分为训练集和测试集，则训练集和测试集的图像数量分别为20k和2k；
步骤二：构建多尺度局部自注意力生成对抗网络，该网络由生成网络和判别网络组成，并在生成网络的不同尺度上嵌入双通道局部自注意力模块，所述双通道局部自注意力模块包含交叉注意力通道和空间自注意力通道，所述交叉注意力通道和空间自注意力通道通过并行方式进行连接，如图1所示；所述生成网络包括编码器模块、语义特征修复模块以及解码器模块，所述编码器模块和解码器模块结构基本对称；
所述编码器模块包括6个编码特征提取模块组成，所述编码特征提取模块由编码卷积层-批量归一化-Leaky ReLu激活函数组成。每个编码卷积层采用的卷积核大小k、对应的步长s以及特征图填充像素数p的数量分别为{k,s,p}＝{(5,1,1)；(3,2,1)；(3,1,1)；(3,2,1)；(3,1,1)；(3,1,1)},生成大小分别为128×128×64,64×64×128,64×64×128,32×32×256,32×32×256,32×32×256的特征图；每个编码卷积层之后进行批量归一化操作并通过斜率为0.2的Leaky ReLu函数激活；随着卷积层数的增加，提取的特征逐渐由基于颜色、纹理低级特征到基于图像语义信息的高级抽象特征进化；通过编码操作，将输入的缺损图像压缩为不同尺度的特征图；
所述语义特征修复模块，包括4个特征还原模块，所述特征还原模块由膨胀卷积层-批量归一化-Leaky ReLu激活函数组成。每个膨胀卷积层的卷积核为3×3的膨胀卷积，膨胀率分别为2,4,8,16，用来对压缩后的特征图进行语义特征提取和人脸图像修复；
所述解码器由4个解码特征映射模块、2个尺度双通道局部自注意力模块、2个上采样模块和1个非线性图像均衡模块组成。其中，所述解码特征映射模块由解码卷积层-批量归一化-Leaky ReLu激活函数组成；上采样模块由反卷积层-批量归一化-Leaky ReLu激活函数组成；非线性图像均衡模块由解码卷积层-Tanh激活函数组成；每一个上采样模块前面加入一个双通道局部自注意力模块。具体连接方式为：卷积核为3×3的第一、第二解码特征映射模块相连，用于提取对应尺度的特征图，第二解码特征映射模块后与第一尺度双通道局部自注意力模块相连，通过聚焦图像已知区域和缺失区域的差异，来对尺度为32×32的特征图缺失信息进行修复；第一尺度双通道局部自注意力模块与第1上采样模块连接，通过卷积核为4×4的反卷积操作，实现图像的上采样，将图像恢复到64×64；第1上采样模块后再经过卷积核为3×3的第三解码特征映射模块与第二尺度双通道局部自注意力模块相连，其作用是在第二尺度上再次聚焦上采样后特征图中已知区域和缺失区域的差异，来对尺度为64×64的特征图缺失信息进行修复和调整，从而在多个尺度上实现特征图的修复。第二尺度双通道局部自注意力模块与第2上采样模块相连，即通过卷积核为4×4的反卷积操作，再次实现图像的上采样，即将图像恢复到原始大小128×128，第2上采样模块后再经过卷积核为3×3的第四解码特征映射模块与非线性图像均衡模块相连，将图像转换为三通道的RGB图像，从而实现图像的有效重建。
对所述解码器中每个双通道局部自注意力模块前得到的特征图进行卷积操作，得到对应尺度的RGB图像，在图像修复的过程中与对应尺度的真实图像通过L2损失进行重建，在图像重建的过程中与对应尺度的真实图像进行对比，从而逐渐控制人脸图像的生成过程，进而使训练过程更加稳定.
所述判别网络包括6个特征判别模块，所述特征判别模块由判别卷积层-批量归一化-Leaky ReLu激活函数组成。前5个判别卷积层采用大小为4×4的卷积核，其扫描步长为2×2，生成特征图的通道数目约为生成网络对应层的2-4倍，通道数目分别为128,128,256,512,1024的“大容量”特征图，第5个卷积操作后网络输出张量大小为4×4×1024，将这个张量再次采用4×4的卷积核进行特征提取，并通过Sigmoid函数激活，输出一个1×1×1的概率值，其结果用于表示输入图像的真假。所述生成网络和判别网络的卷积层之后都加入批量归一化操作，对卷积之后的特征图进行批量归一化处理，加快网络收敛。
本实施例在解码器模块的每一个反卷积层前面加入双通道局部自注意力模块，如图2所示；所述双通道局部自注意力模块包含交叉注意力通道与空间自注意力通道，所述交叉注意力通道与空间自注意力通道以并行的方式连接，生成的特征图需要经过交叉注意力通道和空间自注意力通道；使网络模型通过已知区域的特征信息和未知区域内部的自注意力两个维度进行图像修复，从而实现高精度和高效率的人脸图像缺失区域重建。
所述交叉注意力通道通过聚焦缺失区域与非缺失区域的注意力来对图像进行修复，具体为：
(I)所述双通道局部自注意力模块每个通道的输入都为解码器中每一个反卷积层前的特征图F，其大小为M1×M2×C,M1、M2和C分别为特征图F高度维像素数，宽度维像素数和通道数；
(II)将所述特征图F按照掩膜的大小，分割成缺损区域和非缺损区域，缺损区域定义为前景Ff，非缺损区域定义为背景Fb；
(III)将所述前景Ff和背景Fb的尺寸调整为Pf×C和Pb'×C的一维向量,其中：Pf＝m1×m2,Pb'＝(M1×M2)-(m1×m2)；m1和m2分别为前景Ff高度维像素数和宽度维像素数，Pf和Pb'为前景和背景的像素数，C为通道数；
(IV)所述交叉注意力通道中将调整后的前景Ff和背景Fb分别经过一维卷积操作后，得到前景Ff的变换特征Q，以及背景Fb的两个变换特征K与V，具体公式为：Q＝WqFf，K＝WkFb和V＝WvFb，其中：Wq、Wk和Wv为交叉注意力通道的特征变换矩阵，是网络的可学习参数；
(V)所述交叉注意力通道的注意力图E中的元素Ei,j可表示为：
Figure BDA0003323197550000101
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(VI)所述交叉注意力通道的输出为：
Figure BDA0003323197550000102
β1是交叉注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，VT为交叉注意力通道中背景Fb变换特征V的转置，ET为交叉注意力通道中注意力图E的转置。
所述空间自注意力通道聚焦缺失区域内部的注意力，获取人脸图像特征的内部联系来对人脸图像进行修复，具体为：
(i)所述空间自注意力通道将前景Ff的尺寸调整为Pf×C的一维向量，分别通过三个一维卷积操作后，得到前景Ff三种形式的变换特征Q'、K'和V'，具体公式为：Q'＝Wq'Ff，K'＝Wk'Ff和V'＝Wv'Ff；其中：W'q、W'k和W'v为空间自注意力通道的特征变换矩阵，是网络的可学习参数；
(ii)所述空间自注意力通道的注意力图E'中的元素E'i,j可表示为：
Figure BDA0003323197550000103
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(iii)所述空间自注意力通道的输出为：
Figure BDA0003323197550000104
其中：β2是空间自注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，V'T为空间自注意力通道中前景Ff变换特征V'的转置，E'T为空间自注意力通道中注意力图E'的转置；
(iv)对交叉注意力通道和空间自注意力通道的特征图进行融合获得精简的特征图Y，表达式为：Y＝conv(Yf+Y'f)；其中，conv(·)表示1×1卷积操作。
步骤三：设置网络模型超参数，超参数包括初始学习率(γ)、判别网络与生成网络的优化算法、批量尺寸(batch size)和迭代次数(epoch)，其取值分别为：γ＝0.001，batchsize＝64,epoch＝200，使用缺损人脸图像训练集对所述多尺度局部自注意力生成对抗网络模型进行训练和建模，在建模过程中，生成网络和判别网络分别采用Adam优化器和随机梯度下降(SGD)算法，在对抗训练过程中通过对多个损失函数的之和进行优化，得到所述多尺度局部自注意力生成对抗的参数θd,θg＝argmin(L)，进而得到修复的人脸图像
Figure BDA0003323197550000115
其中，θd和θg为判别网络和生成网络的参数，
Figure BDA0003323197550000116
表示修复的人脸图像；从而得到多尺度局部自注意力生成对抗缺损人脸修复模型；
所述损失函数包括：多尺度重建损失函数Lm、重建图像的对抗损失函数Ladv、感知损失函数Lperceptual、风格损失函数Lstyle以及总变分损失函数(Total Variation loss)LTV；具体为：
多尺度重建损失函数定义为：
Figure BDA0003323197550000111
其中：xM＝M☉x，x表示原始图像，M表示二值掩膜，xM表示缺损图像，G(·)表示生成图像，Si表示从解码器中提取的第i个尺度的RGB输出图像，Ti表示同一图像在第i个尺度上的真实图像，λi是每个尺度的权重，本实施例中总的尺度数目m＝3，对应权重分别为0.4,0.6,0.8；
重建图像的对抗损失函数Ladv是由对抗训练中代价函数
Figure BDA0003323197550000112
变换得到，重建图像的对抗损失函数表达式为：
Figure BDA0003323197550000113
感知损失函数表达式为：
Figure BDA0003323197550000114
风格损失函数表达式为：
Figure BDA0003323197550000121
总变分损失函数表达式为：
Figure BDA0003323197550000122
总损失函数表达式为：L＝α1Lm+α2Ladv+α3Lperceptual+α4Lstyle+α5LTV
其中：x表示真实人脸图像，φ表示VGG-16网络，
Figure BDA0003323197550000123
和
Figure BDA0003323197550000124
分别表示利用VGG-16网络提取修复图像和真实图像第j层的特征图，Hj、Wj和Cj表示VGG-16网络提取到第j层特征图的高度、宽度和通道数目，N是VGG-16特征提取器中的层数，D(·)表示对括号中的图像进行判别，Ex(·)表示分布函数的期望，
Figure BDA0003323197550000126
表示VGG-16网络第j层特征图的格拉姆矩阵，||·||2表示L2范数，
Figure BDA0003323197550000125
表示修复后的人脸RGB图像中，当高度维、宽度维和通道维数值分别为h，w，c时对应的像素值，{α1,...,α5}表示各个损失在总损失函数中所占的权重。在本实施例中设置为{100,10,1,1,1}。
步骤四：采用缺损人脸图像测试集对所述多尺度局部自注意力生成对抗人脸修复模型进行测试，通过峰值信噪比(PSNR)与结构相似性(SSIM)指标评价模型的修复性能。
图3为基于多尺度局部自注意力的生成对抗网络模型对2k张人脸缺损图像测试集的修复结果，其峰值信噪比(PSNR)和结构相似性(SSIM)分别达到了25.39和0.87。该方法不但提高了网络学习效率，而且实现了人脸精细部位的修复，证明了所述方法在缺损人脸图像修复方面的优异性能。

Claims (8)

1.一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于，包括：
步骤一：获取原始人脸图像x与对应的二值缺损掩膜M；构建缺损人脸图像数据集{xM|xM＝M☉x}，以及对应的原始图像数据集{x}，并将所述缺损人脸图像数据集按照预设比例划分为训练集和测试集；其中，☉表示元素相乘；
步骤二：构建多尺度局部自注意力生成对抗网络，该网络由生成网络和判别网络组成，并在生成网络的不同尺度上嵌入双通道局部自注意力模块，所述双通道局部自注意力模块包含交叉注意力通道和空间自注意力通道，所述交叉注意力通道和空间自注意力通道通过并行方式进行连接；
步骤三：设置网络模型超参数，使用缺损人脸图像训练集对所述多尺度局部自注意力生成对抗网络模型进行训练和建模，在建模过程中，生成网络和判别网络分别采用Adam优化器和随机梯度下降(SGD)算法，在对抗训练过程中通过对多个损失函数之和进行优化，得到多尺度局部自注意力生成对抗缺损人脸修复模型；
步骤四：采用缺损人脸图像测试集对所述多尺度局部自注意力生成对抗缺损人脸修复模型进行测试，通过峰值信噪比(PSNR)与结构相似性(SSIM)指标评价模型的修复性能。
2.根据权利要求1所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：所述生成网络包括编码器模块、语义特征修复模块以及解码器模块，所述编码器模块和解码器模块结构基本对称；
所述编码器模块包括若干个编码特征提取模块组成，所述编码特征提取模块由编码卷积层-批量归一化-Leaky ReLu激活函数组成；其中，每个编码卷积层通过大小为k、扫描步长为s、填充像素数为p的卷积核对输入缺损图像进行特征提取，每个卷积操作后进行批量归一化，并通过非线性激活函数Leaky ReLu激活，随着卷积层数的增加，提取的特征逐渐由基于颜色、纹理低级特征到基于图像语义信息的高级抽象特征进化；通过编码操作，将输入的缺损图像压缩为不同尺度的特征图；
所述语义特征修复模块，包括若干个特征还原模块，所述特征还原模块由膨胀卷积层-批量归一化-Leaky ReLu激活函数组成；每个膨胀卷积层的卷积核为3×3的膨胀卷积，第t层卷积核的膨胀率为2t，其中，t＝1,2,…T0；用来对压缩后的特征图进行语义特征提取和人脸图像修复；
所述解码器模块由若干个解码特征映射模块、m个尺度双通道局部自注意力模块、若干个上采样模块和一个非线性图像均衡模块组成；其中，所述解码特征映射模块由解码卷积层-批量归一化-Leaky ReLu激活函数组成；上采样模块由反卷积层-批量归一化-LeakyReLu激活函数组成；非线性图像均衡模块由解码卷积层-Tanh激活函数组成；每一个上采样模块前面加入一个双通道局部自注意力模块；具体连接方式为：第一解码特征映射模块后与第二解码特征映射模块相连，用于提取对应尺度的特征图，第二解码特征映射模块与第m尺度双通道局部自注意力模块相连，通过聚焦图像已知区域和缺失区域的差异来对缺失信息进行修复；第m尺度双通道局部自注意力模块后与第1上采样模块相连，通过反卷积操作实现图像的上采样，并通过批量归一化操作和Leaky ReLu函数激活；第1上采样模块后再经过第三解码特征映射模块与第m+1尺度双通道局部自注意力模块相连，其作用是m+1尺度上再次聚焦上采样后特征图中已知区域和缺失区域的差异来对缺失信息进行修复和调整,从而在多个尺度上实现特征图的修复；第m+1尺度双通道局部自注意力模块与第2上采样模块相连，第2上采样模块后再经过第四解码特征映射模块后，与非线性图像均衡模块相连，即将图像转换为三通道的RGB图像，从而实现图像的有效重建。
3.根据权利要求1所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：所述判别网络包括若干个特征判别模块，所述特征判别模块由判别卷积层-批量归一化-Leaky ReLu激活函数组成；每个判别卷积层通过大小为k'、扫描步长为s'的卷积核对重建图像进行特征提取和压缩，最终输出一个概率值用于判别生成图像的修复效果，所述判别网络每个判别卷积层输出特征图的通道数目至少比生成网络对应卷积层的通道数多一倍。
4.根据权利要求2所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：对所述解码器中每个双通道局部自注意力模块前得到的特征图进行卷积操作，得到对应尺度的RGB图像，在图像修复的过程中与对应尺度的真实图像通过L2损失进行重建，在图像重建的过程中与对应尺度的真实图像进行对比，从而逐渐控制人脸图像的生成过程，进而使训练过程更加稳定。
5.根据权利要求1所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：所述双通道局部自注意力模块中的交叉注意力通道通过聚焦缺失区域与非缺失区域的注意力对图像缺损区域进行修复，具体为：
(I)所述双通道局部自注意力模块每个通道的输入都为解码器中每一个反卷积层前的特征图F，其大小为M1×M2×C,M1、M2和C分别为特征图F高度维像素数，宽度维像素数和通道数；
(II)将所述特征图F按照掩膜的大小，分割成缺损区域和非缺损区域，缺损区域定义为前景Ff，非缺损区域定义为背景Fb；
(III)将所述前景Ff和背景Fb的尺寸调整为Pf×C和Pb'×C的一维向量,其中：Pf＝m1×m2，Pb'＝(M1×M2)-(m1×m2)；m1和m2分别为前景Ff高度维像素数和宽度维像素数，Pf和Pb'为前景和背景的像素数；
(IV)所述交叉注意力通道中将调整后的前景Ff和背景Fb分别经过一维卷积操作后，得到前景Ff的变换特征Q，以及背景Fb的两个变换特征K与V，具体公式为：Q＝WqFf，K＝WkFb和V＝WvFb，其中：Wq、Wk和Wv为交叉注意力通道的特征变换矩阵，是网络的可学习参数；
(V)所述交叉注意力通道的注意力图E中的元素Eij可表示为：
Figure FDA0003323197540000031
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(VI)所述交叉注意力通道的输出为：
Figure FDA0003323197540000032
β1是交叉注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，VT为交叉注意力通道中背景Fb变换特征V的转置，ET为交叉注意力通道中注意力图E的转置。
6.根据权利要求1所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：所述空间自注意力通道聚焦缺失区域内部的注意力，获取人脸图像特征的内部联系来对图像进行修复，具体为：
(i)所述空间自注意力通道将前景Ff的尺寸调整为Pf×C的一维向量，分别通过三个一维卷积操作后，得到前景Ff三种形式的变换特征Q'、K'和V'，具体公式为：Q'＝Wq'Ff，K'＝Wk'Ff和V'＝Wv'Ff；其中：W'q、W'k和W'v为空间自注意力通道的特征变换矩阵，是网络的可学习参数；
(ii)所述空间自注意力通道的注意力图E'中的元素E'i,j可表示为：
Figure FDA0003323197540000041
其中，下标i和j分别代表对应物理量中元素的索引，上标T表示转置操作；
(iii)所述空间自注意力通道的输出为：
Figure FDA0003323197540000042
其中：β2是空间自注意力通道的权重分配参数，是网络的可学习性参数，pad(·)表示零填充操作，V'T为空间自注意力通道中前景Ff变换特征V'的转置，E'T为空间自注意力通道中注意力图E'的转置；
(iv)对交叉注意力通道和空间自注意力通道的特征图进行融合获得精简的特征图Y，表达式为：Y＝conv(Yf+Y'f)；其中，conv(·)表示1×1卷积操作。
7.根据权利要求1所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：所述损失函数包括：多尺度重建损失函数Lm、重建图像的对抗损失函数Ladv、感知损失函数Lperceptual、风格损失函数Lstyle以及总变分损失函数LTV；具体为：
多尺度重建损失函数定义为：
Figure FDA0003323197540000043
其中：xM＝M☉x，x表示原始图像，M表示二值掩膜，xM表示缺损图像，G(·)表示生成图像，Si表示从解码器中提取的第i个尺度的RGB输出图像，Ti表示同一图像在第i个尺度上的真实图像，λi是每个尺度的权重；
重建图像的对抗损失函数Ladv是由对抗训练中代价函数
Figure FDA0003323197540000044
变换得到，重建图像的对抗损失函数表达式为：
Figure FDA0003323197540000051
感知损失函数表达式为：
Figure FDA0003323197540000052
风格损失函数表达式为：
Figure FDA0003323197540000053
总变分损失函数表达式为：
Figure FDA0003323197540000054
总损失函数表达式为：L＝α1Lm+α2Ladv+α3Lperceptual+α4Lstyle+α5LTV
其中：
Figure FDA0003323197540000055
和x表示修复的人脸图像和真实人脸图像，φ表示VGG-16网络，
Figure FDA0003323197540000056
和
Figure FDA0003323197540000057
分别表示利用VGG-16网络提取修复图像和真实图像第j层的特征图，Hj,Wj,Cj表示VGG-16网络提取到第j层特征图的高度、宽度和通道数目，N是VGG-16特征提取器中的层数，D(·)表示对括号中的图像进行判别，Ex(·)表示分布函数的期望，
Figure FDA0003323197540000058
表示VGG-16网络第j层特征图的格拉姆矩阵，||·||2表示L2范数，
Figure FDA0003323197540000059
表示修复后的人脸RGB图像中，当高度维、宽度维和通道维数值分别为h，w，c时对应的像素值，{α1,...,α5}表示各个损失在总损失函数中所占的权重。
8.根据权利要求7所述的一种基于多尺度局部自注意力生成对抗网络的人脸图像修复方法，其特征在于：通过对所述多个损失函数之和进行优化，得到所述多尺度局部自注意力生成对抗网络的参数θd,θg＝argmin(L)，进而得到修复的人脸图像
Figure FDA00033231975400000510
其中，θd和θg为判别网络和生成网络的参数。
CN202111253713.5A 2021-10-27 2021-10-27 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 Active CN113962893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111253713.5A CN113962893B (zh) 2021-10-27 2021-10-27 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253713.5A CN113962893B (zh) 2021-10-27 2021-10-27 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法

Publications (2)

Publication Number Publication Date
CN113962893A true CN113962893A (zh) 2022-01-21
CN113962893B CN113962893B (zh) 2024-07-09

Family

ID=79467506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253713.5A Active CN113962893B (zh) 2021-10-27 2021-10-27 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法

Country Status (1)

Country Link
CN (1) CN113962893B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114386531A (zh) * 2022-01-25 2022-04-22 山东力聚机器人科技股份有限公司 基于双级注意力的图像识别方法及装置
CN114494499A (zh) * 2022-01-26 2022-05-13 电子科技大学 一种基于注意力机制的草图上色方法
CN114581343A (zh) * 2022-05-05 2022-06-03 南京大学 一种图像的修复方法、装置、电子设备及存储介质
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN114782291A (zh) * 2022-06-23 2022-07-22 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN114862699A (zh) * 2022-04-14 2022-08-05 中国科学院自动化研究所 基于生成对抗网络的人脸修复方法、装置及存储介质
CN115358954A (zh) * 2022-10-21 2022-11-18 电子科技大学 一种注意力引导的特征压缩方法
CN115471901A (zh) * 2022-11-03 2022-12-13 山东大学 基于生成对抗网络的多姿态人脸正面化方法及***
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN116051936A (zh) * 2023-03-23 2023-05-02 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116071275A (zh) * 2023-03-29 2023-05-05 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN117611753A (zh) * 2024-01-23 2024-02-27 吉林大学 基于人工智能重建技术的面部整形修复辅助***及方法
CN117974508A (zh) * 2024-03-28 2024-05-03 南昌航空大学 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法
CN117974832A (zh) * 2024-04-01 2024-05-03 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN117994173A (zh) * 2024-04-07 2024-05-07 腾讯科技（深圳）有限公司 修复网络训练方法、图像处理方法、装置及电子设备
CN118036701A (zh) * 2024-04-10 2024-05-14 南昌工程学院 一种基于紫外图像的绝缘子电晕放电数据增强方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN111275638A (zh) * 2020-01-16 2020-06-12 湖南大学 基于多通道注意力选择生成对抗网络的人脸修复方法
CN112184582A (zh) * 2020-09-28 2021-01-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于注意力机制的图像补全方法及装置
CN113112411A (zh) * 2020-01-13 2021-07-13 南京信息工程大学 基于多尺度特征融合的人脸图像语义修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN113112411A (zh) * 2020-01-13 2021-07-13 南京信息工程大学 基于多尺度特征融合的人脸图像语义修复方法
CN111275638A (zh) * 2020-01-16 2020-06-12 湖南大学 基于多通道注意力选择生成对抗网络的人脸修复方法
CN112184582A (zh) * 2020-09-28 2021-01-05 中科人工智能创新技术研究院(青岛)有限公司 一种基于注意力机制的图像补全方法及装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114386531B (zh) * 2022-01-25 2023-02-14 山东力聚机器人科技股份有限公司 基于双级注意力的图像识别方法及装置
CN114386531A (zh) * 2022-01-25 2022-04-22 山东力聚机器人科技股份有限公司 基于双级注意力的图像识别方法及装置
CN114494499A (zh) * 2022-01-26 2022-05-13 电子科技大学 一种基于注意力机制的草图上色方法
CN114862699A (zh) * 2022-04-14 2022-08-05 中国科学院自动化研究所 基于生成对抗网络的人脸修复方法、装置及存储介质
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN114693577B (zh) * 2022-04-20 2023-08-11 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN114581343A (zh) * 2022-05-05 2022-06-03 南京大学 一种图像的修复方法、装置、电子设备及存储介质
CN114782291B (zh) * 2022-06-23 2022-09-06 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN114782291A (zh) * 2022-06-23 2022-07-22 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN115358954B (zh) * 2022-10-21 2022-12-23 电子科技大学 一种注意力引导的特征压缩方法
CN115358954A (zh) * 2022-10-21 2022-11-18 电子科技大学 一种注意力引导的特征压缩方法
CN115471901A (zh) * 2022-11-03 2022-12-13 山东大学 基于生成对抗网络的多姿态人脸正面化方法及***
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN115984106B (zh) * 2022-12-12 2024-04-02 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN116051936A (zh) * 2023-03-23 2023-05-02 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116051936B (zh) * 2023-03-23 2023-06-20 中国海洋大学 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN116071275B (zh) * 2023-03-29 2023-06-09 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN116071275A (zh) * 2023-03-29 2023-05-05 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN117611753A (zh) * 2024-01-23 2024-02-27 吉林大学 基于人工智能重建技术的面部整形修复辅助***及方法
CN117611753B (zh) * 2024-01-23 2024-03-22 吉林大学 基于人工智能重建技术的面部整形修复辅助***及方法
CN117974508A (zh) * 2024-03-28 2024-05-03 南昌航空大学 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法
CN117974508B (zh) * 2024-03-28 2024-06-07 南昌航空大学 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法
CN117974832A (zh) * 2024-04-01 2024-05-03 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN117974832B (zh) * 2024-04-01 2024-06-07 南昌航空大学 基于生成对抗网络的多模态肝脏医学图像扩充算法
CN117994173A (zh) * 2024-04-07 2024-05-07 腾讯科技（深圳）有限公司 修复网络训练方法、图像处理方法、装置及电子设备
CN117994173B (zh) * 2024-04-07 2024-06-11 腾讯科技（深圳）有限公司 修复网络训练方法、图像处理方法、装置及电子设备
CN118036701A (zh) * 2024-04-10 2024-05-14 南昌工程学院 一种基于紫外图像的绝缘子电晕放电数据增强方法及***

Also Published As

Publication number Publication date
CN113962893B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN113962893B (zh) 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
US11450066B2 (en) 3D reconstruction method based on deep learning
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN113989129A (zh) 基于门控和上下文注意力机制的图像修复方法
CN115018727A (zh) 一种多尺度图像修复方法、存储介质及终端
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN114445292A (zh) 一种多阶段渐进式水下图像增强方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN114694039A (zh) 一种遥感高光谱与激光雷达图像融合分类方法及装置
CN117274760A (zh) 一种基于多尺度混合变换器的红外与可见光图像融合方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、***及设备
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN112862655A (zh) 一种基于通道空间注意力机制的jpeg图像隐写分析方法
CN112634168A (zh) 一种结合边缘信息的图像修复方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及***
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116403064A (zh) 图片处理方法、模型、基本块结构、设备及介质
CN116188272A (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant