CN114463209B - 一种基于深度多特征协同学习的图像修复方法 - Google Patents

Abstract

本发明涉及图像处理领域，尤其涉及一种基于深度多特征协同学习的图像修复方法，包括如下步骤：S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；其中，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征，三个深层卷积层用于重新组织结构特征，得到结构特征集和纹理特征集；所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征。本技术可以有效解决修复图像的伪影，使得修复后的图像具有详细的纹理和更好的图像外观。

Description

一种基于深度多特征协同学习的图像修复方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度多特征协同学习的图像修复方法。

背景技术

随着信息技术进步和数字化时代的到来，数字图像作为图像数据记录和传递的载体已广泛的存在于人们生活之中，并且以惊人的速度增长。然而数字图像在拍摄、存储、处理和传输中往往会产生损坏或因为遮挡使得图像中存储的信息失去完整性。为了找回残损数字图像信息丢失的部分，目前技术可以根据当前图像数据中的信息的相关特性进行合理还原，即根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息，这一个技术俗称图像的修复技术。

图像修复旨在重建受损区域或移除图像中不需要的区域，同时提高其视觉美感，广泛用于低级视觉任务，比如恢复破损照片或移除目标区域等，当前传统的修复方法分为基于扩散的方法和基于块的方法。

比如由刘虹雨提出的一种基于特征均衡的相互编码解码器的修复方法，该技术提出了一种相互编码解码器，使用深层和浅层的卷积特征层分别作为图像的结构和纹理。深层特征被发送到结构分支，而浅层特征被发送到纹理分支。在每个分支中，使用多个尺寸填充空洞。将来自以上两个分支的特征连接起来，进行通道均衡和特征均衡。本技术采用的通道均衡是采用压缩与激活网络(SENet)，在特征均衡上使用双边传播激活函数重新权衡通道注意力以实现空间均衡。最后通过跳连接方式生成输出图像。

由李海燕提出的一种基于BDCN和U-net边缘生成两阶段修复算法，该技术提出一种基于双向级联边缘检测网络(BDCN)和U-net残缺边缘生成的两阶段网络图像修复算法。在第一阶段首先基于BDCN网络提取图像边缘信息取代Canny算子提取残缺区域的边缘，每层网络学习特定尺度的边缘特征，融合得到多尺度的边缘特征，然后基于U-net网络架构用收缩路径提取缺失图像边缘特征，再使用扩张路径还原图像边缘纹理信息。第二阶段使用空洞卷积进行下采用和上采样，经过残差网络重建细节丰富的缺失图像。

由何凯提出的一种基于级联式生成对抗网络图像修复算法，该技术由粗化和优化生成子网络串联而成。在粗化生成网络中设计了一种并行卷积模块，由3层卷积通路和1个深层卷积通路并联而成，当卷积层数较深时，可解决梯度消失问题；在深层卷积通路中提出了一种级联残差模块，通过对4个通道的双层卷积进行交叉级联，可有效增强特征复用；将卷积结果与模块输入特征图的元素对应相加，进行局部残差学习，提高网络的表达能力。

针对现有基于扩散的方法传播相邻内容的外观信息来填充缺失区域，仅仅依靠在相邻内容上的搜索机制，在修复大面积缺损照片时，会产生明显的伪影。基于块的方法通过从未损坏区域中搜索最相似的块来填充缺失区域，虽然具有获取远距离信息的优势，但由于缺乏高层结构理解，难以生成语义合理的图像。随着技术的进步，基于深度学习的方法虽然可以理解高级语义以生成合理的内容，但由于缺乏有效的多特征融合技术，现有的图像修复方法的实际修复效果仍然不够自然和完美。

发明内容

本发明针对现有图像修复技术具有伪影、结构和纹理不自然等技术问题，提出一种基于深度多特征协同学习的图像修复方法。

这种基于深度多特征协同学习的图像修复方法，其包括如下步骤：

S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；

S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；

其中，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征来表示图像细节，三个深层卷积层用于重新组织结构特征来表示图像语义，得到结构特征集和纹理特征集；

所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征。

优选的，所述纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充，三个流组合形成输出特征图，然后将输出特征图映射到输入特征的相同大小。

进一步的，所述结构特征和纹理特征的输出满足如下要求：

L_rst＝||g(F_cst)-I_st||₁ (1-1)

L_rte＝||g(F_cte)-I_gt||₁ (1-2)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，L_rst和L_rte分别表示为结构和纹理的重建损失，g(·)是核大小为1的卷积操作，可以将F_cst和F_cte分别映射为彩色图像，I_gt和I_st分别表示真实图像及其结构图像，使用边缘保留的图像平滑方法来生成I_st。

优选的，所述软门控双特征融合模块包括结构引导的纹理特征单元，用于执行如下算法，

G_te＝σ(SE(h([F_cst,F_cte]))) (2-1)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，h(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_te是用来控制纹理信息的细化程度,F′_cte表示具有结构感知的纹理特征，α和β是可学习的参数，⊙表示元素对应乘积，

表示元素对应相加。

优选的，所述软门控双特征融合模块包括纹理引导的结构特征单元，用于执行如下算法，

G_st＝σ(SE(k([F_cst,F_cte]))) (2-3)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，k(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_st来来控制结构信息的细化程度，F′_cst表示具有结构感知的纹理特征，γ是一个可学习的参数，⊙表示元素对应乘积，

表示元素对应相加。

F_fu＝v([F′_cst,F′_cte]) (2-5)

其中，F′_cte和F′_cst分别表示具有结构感知的纹理特征与具有结构感知的纹理特征，v(·)是内核大小为1的卷积操作，F_fu是软门控双特征融合模块的最终输出特征。

优选的，所述双边传播特征聚合模块包括一捕捉通道信息融合单元，使用动态核选择网络通过一种自适应核选择的方式来捕捉通道信息，得到特征图F′_fu。

进一步的，所述双边传播特征聚合模块包括一上下文注意融合单元，用来捕获输入图像块之间的联系，并计算余弦相似度，具体执行如下算法：

其中，将特征F′_fu划分为不重叠的块(尺寸为3*3的像素)，

表示输出特征块之间的余弦相似度，

表示通过Softmax函数得到的注意力分数，p_i和p_j分别是输入特征F的第i个块和第j个块，N是输入特征F′_fu的块总数，

表示由注意力分数重建后的特征图。

优选的，所述双边传播特征聚合模块包括一空间信息融合单元，具体执行如下算法：

其中，

和

表示空间和范围相似度特征图，x_i是输入特征

的第i个特征通道，x_j是通道i周围位置j处的相邻特征通道，

是用于调整来自相邻特征通道的空间贡献的高斯函数，C(x)是

中的通道位置数，f(·)是点积运算。

进一步的，输出特征通道的计算方法为：

其中，

和

表示空间和范围相似度特征图，q表示卷积层，内核大小为1。

进一步的，对每个通道特征进行聚合以获得重建的特征图

然后通过联结卷积将F′_fu与

融合得到F_sc，

其中

为重组的多通道特征，F′_fu为权衡通道信息后得到的特征，F_sc为最终融合修复特征，z是一个卷积操作，其卷积核大小为1。

优选的，所述全局和局部判别器由五个卷积层组成，卷积核大小为4，步长为2，除最后一层外，其他所有层都使用斜率为0.2的Leaky ReLu。

本发明提供的这种基于深度多特征协同学习的图像修复方法与现有技术相比具有如下有益效果：

与现有技术相比，本发明的优点在于不仅考虑了图像结构和纹理之间的联系，而且考虑了图像上下文之间的关系。在于采用单阶段网络，使用双分支分别学习图像结构和纹理，使得生成的结构和纹理更加一致。而且充分利用图像结构信息，使得生成的图像结构更加合理，视觉图像结果更加真实。具体的，通过软门控双特征融合(SDFF)模块来增强结构和纹理的一致性，通过交换和重组方式，可以有效减少孔区域周围的模糊和伪影。通过双边传播特征聚合(BPFA)模块来增强从局部特征到整体一致性的联系，通过考虑上下文注意力、通道信息和特征空间之间的联系，使得修复后的图像具有详细的纹理和更好的图像外观。

附图说明

利用附图对本发明作进一步说明这种基于深度多特征协同学习的图像修复方法，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明提供的这种多特征协同学习网络框示意图；

图2是软门控双特征融合模块示意图；

图3是双边传播特征聚合模块示意图；

图4是本发明在不规则的空洞上的修复效果与现有基于深度学习的图像修复技术对比图；

图5是本发明在中心空洞上的修复效果与现有基于深度学习的图像修复技术对比图；

图6是本发明的图像修复消融实验结果图。

具体实施方式

下面结合附图对本发明所提供的这种基于深度多特征协同学习的图像修复方法做进一步说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述。

本发明提供的这种基于深度多特征协同学习的图像修复方法，其核心是提供一种多特征协同学习网络，用于修复破损图片。首先，本专利提出软门控双特征融合(SDFF)模块，能够使得图像结构和纹理进行协同信息交换，从而使它们能够加强彼此之间的联系。其次，本专利使用双边传播特征聚合(BPFA)模块，通过协同学习上下文注意力、通道信息和特征空间来增强从局部特征到整体一致性的联系，从而进一步细化生成的结构和纹理。此外，本发明使用一种端到端的单阶段网络训练方式，在单阶段中采用双分支分别学习图像结构和纹理，这能够有效减少图像伪影生成更加真实的图像结果。

具体的，这种基于深度多特征协同学习的图像修复方法，其技术整体主干模型见图1所示，其包含以下部分：(1)编码器由六个卷积层组成。将三个浅层特征重新组织为纹理特征来表示图像细节。同时，将三个深层特征重新组织为结构特征来表示图像语义；(2)采用两个分支分别学习结构和纹理特征；(3)一个软门控双特征融合模块来融合上述两个分支产生的结构和纹理特征，具体参见图2；(4)一个双边传播特征聚合模块来均衡通道信息、上下文注意和特征空间之间的特征，具体参见图3。具体来说，动态核选择网络(SKNets)用于通过自适应卷积核选择捕获通道信息，利用上下文注意(CA)模块捕获图像内的上下文关系，并采用双边传播激活(BPA)模块捕捉空间和范围的关系；(5)最后，通过跳连接方法给予解码器引导信息，合成结构和纹理分支以产生更复杂的图像；(6)使用局部和全局判别器使得生成的图像更加真实。

具体的，这种基于深度多特征协同学习的图像修复方法如下步骤：

S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；

S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；

其中，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征来表示图像细节，三个深层卷积层用于重新组织结构特征来表示图像语义，得到结构特征集和纹理特征集；

所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征。

优选的，所述纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充，三个流组合形成输出特征图，然后将输出特征图映射到输入特征的相同大小。

进一步的，所述结构特征和纹理特征的输出满足如下要求：

L_rst＝||g(F_cst)-I_st||₁ (1-1)

L_rte＝||g(F_cte)-I_gt||₁ (1-2)

其中，F_cst和F_cte分别表示为为由多比例填充阶段联结生成的结构和纹理的输出特征，L_rst和L_rte分别表示为结构和纹理的重建损失，g(·)是核大小为1的卷积操作，将F_cst和F_cte分别映射为彩色图像，I_gt和I_st分别表示真实图像及其结构图像，使用边缘保留的图像平滑方法来生成I_st。

优选的，所述软门控双特征融合模块包括结构引导的纹理特征单元，用于执行如下算法，

G_te＝σ(SE(h([F_cst,F_cte]))) (2-1)

其中，F_cst和F_cte分别表示为为由多比例填充阶段联结生成的结构和纹理的输出特征，h(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_te是用来控制纹理信息的细化程度，F′_cte表示具有结构感知的纹理特征，α和β是可学习的参数，⊙表示元素对应乘积，

表示元素对应相加。

优选的，所述软门控双特征融合模块包括纹理引导的结构特征单元，用于执行如下算法，

G_st＝σ(SE(k([F_cst,F_cte]))) (2-3)

其中，F_cst和F_cte分别表示为为由多比例填充阶段联结生成的结构和纹理的输出特征，k(.)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_st来来控制结构信息的细化程度，F′_cst表示具有结构感知的纹理特征，γ是一个可学习的参数，⊙表示元素对应乘积，

表示元素对应相加。

F_fu＝v([F′_cst,F′_cte]) (2-5)

其中，F′_cte和F′_cst分别表示具有结构感知的纹理特征与具有结构感知的纹理特征，v(·)是内核大小为1的卷积操作，F_fu是软门控双特征融合模块的最终输出特征。

优选的，所述双边传播特征聚合模块包括一捕捉通道信息融合单元，使用动态核选择网络通过一种自适应核选择的方式来捕捉通道信息，得到特征图F′_fu。

进一步的，所述双边传播特征聚合模块包括一上下文注意融合单元，用来捕获输入图像块之间的联系，并计算余弦相似度，具体执行如下算法：

其中，将特征F′_fu划分为不重叠的块(尺寸为3*3的像素)，

表示输出特征块之间的余弦相似度，

表示通过Softmax函数得到的注意力分数，p_i和p_j分别是输入特征F′_fu的第i个块和第j个块，N是输入特征F′_fu的块总数，

表示由注意力分数重建后的特征图。

优选的，所述双边传播特征聚合模块包括一空间信息融合单元，具体执行如下算法：

其中，

和

表示空间和范围相似度特征图，x_i是输入特征

的第i个特征通道，x_j是通道i周围位置j处的相邻特征通道，

是用于调整来自相邻特征通道的空间贡献的高斯函数，C(x)是

中的通道位置数，f(·)是点积运算。

进一步的，输出特征通道的计算方法为：

其中，

和

表示空间和范围相似度特征图，q表示卷积层，内核大小为1。

进一步的，对每个通道特征进行聚合以获得重建的特征图

然后通过联结卷积将F′_fu与

融合得到F_sc，

其中

为重组的多通道特征，F′_fu为权衡通道信息后得到的特征，F_sc为最终融合修复特征，z是一个卷积操作，其卷积核大小为1。

优选的，所述全局和局部判别器由五个卷积层组成，卷积核大小为4，步长为2，除最后一层外，其他所有层都使用斜率为0.2的Leaky ReLu。

下面重点对核心技术过程进行详细说明：

(1)结构和纹理分支

浅层卷积重组的纹理特征记为F_te，深层卷积重组的结构特征记为F_st。在每个分支中，使用三个并行流，采用不同尺度去填充损坏区域。其中，不同流的内核大小是不同的。最后，通过组合三个流的输出特征图，然后将组合特征映射到输入特征的相同大小。在这里，F_cst和F_cte分别表示为结构和纹理分支的输出。为了确保每个分支分别关注结构和纹理，我们使用两个重建损失，分别表示为L_rst和L_rte。像素级损失定义为：

L_rst＝||g(F_cst)-I_st||₁ (1-1)

L_rte＝||g(F_cte)-I_gt||₁ (1-2)

其中g(·)是核大小为1的卷积操作，目的是将F_cst和F_cte分别映射为彩色图像。I_gt和I_st分别表示真实图像及其结构图像。使用边缘保留平滑方法来生成I_st。

(2)软门控双特征融合模块

在该算法中，将上述两个分支生成的结构特征F_cst和纹理特征F_cte进行更好地组合。通过交换两种类型的信息，利用软门控来动态控制比率达到动态组合的目的。具体来说，为了构建结构引导的纹理特征。软门控G_te来控制细化纹理信息。

这被定义为：

G_te＝σ(SE(h([F_cst,F_cte]))) (2-1)

其中h(·)是内核大小为3的卷积操作。SE(·)是一个压缩和激活操作去捕获重要的通道信息。σ(·)是一个Sigmoid激活函数，使用软门控G_te，这可以动态地将F_cst融入为F_cte：

其中α和β是可学习的参数，⊙表示元素乘法，

表示元素加法。

同样，纹理引导结构特征F′_cst定义为：

G_st＝σ(SE(k([F_cst,F_cte]))) (2-3)

其中k和h的具有相同的运算操作，γ是一个可学习的参数。

最后，联结F′_cte和F′_cst，并使用具有内核大小为1的卷积操作v生成特征F_fu：

F_fu＝v([F′_cst,F′_cte]) (2-5)

(3)双边传播特征聚合模块

该模块被提议用于重新权衡通道和空间，以便图像表示更加一致。首先使用动态核选择网络通过一种自适应核选择的方式来捕捉通道信息，得到特征图F′_fu，可以增强通道之间的相关性，保持整体图像的一致性。并且引入了上下文注意(CA)模块来捕获图像块之间的联系。具体来说，对于给定的输入特征F，我们提取3*3像素的块并计算余弦相似度：

其中p_i和p_j分别是输入特征F的第i个块和第j个块。

我们利用Softmax函数来获得每个块对间的注意力分数：

其中N是输入特征F′_fu的块总数。接下来，使用注意力分数来重建特征图：

重构的特征图

是通过直接重组每个块获得的。

在空间和范围域中，我们引入了双边传播激活(BPA)模块来生成基于范围和空间距离的响应值。响应值计算如下：

其中x_i是输入特征

的第i个特征通道，x_j是通道i周围位置j处的相邻特征通道，

是用于调整来自相邻特征通道的空间贡献的高斯函数，C(x)是

中的位置数，f(·)是点积运算。在空间域中，我们在邻近区域s中探索j以进行全局传播。在实验中s设置为与输入特征相同的大小。在范围域中，v是位置i的相邻区域，其大小设置为3×3。因此，我们可以分别通过空间和范围相似度测量方法获得特征图

和

每个特征通道可以计算：

其中q表示卷积层，内核大小为1。

接下来，聚合每个通道以获得重建的特征图

最后，我们联结然后卷积F′_fu与

得到F_sc。

其中z是一个卷积操作，其卷积核大小为1。

(4)判别器

本发明引入全局和局部判别器，以确保局部-全局图像内容更加一致。它由五个卷积层组成，卷积核大小为4，步长为2，除最后一层外，其他所有层都使用斜率为0.2的LeakyReLu。此外，采用频谱归一化来实现稳定的训练。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以作出若干步骤调整、简单技术替换、改进和润饰，这些调整、替换、改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于深度多特征协同学习的图像修复方法，其包括如下步骤：

S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；

S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；

其特征在于，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征来表示图像细节，三个深层卷积层用于重新组织结构特征来表示图像语义，得到结构特征集和纹理特征集；

所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征，该软门控双特征融合模块包括结构引导的纹理特征单元，用于执行如下算法，

G_te＝σ(SE(h([F_cst,F_cte]))) (2-1)

F′_cte＝α(β(G_te⊙F_cte)⊙F_cst)⊕F_cte (2-2)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，h(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_te是用来控制纹理信息的细化程度，F′_cte表示具有结构感知的纹理特征，α和β是可学习的参数，⊙表示元素对应乘积，⊕表示元素对应相加。

2.如权利要求1所述的图像修复方法，其特征在于，纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充，三个流组合形成输出特征图，然后将输出特征图映射到输入特征的相同大小，所述结构特征和纹理特征的输出满足如下要求：

L_rst＝||g(F_cst)-I_st||₁ (1-1)

L_rte＝||g(F_cte)-I_gt||₁ (1-2)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，L_rst和L_rte分别表示为结构和纹理的重建损失，g(·)是核大小为1的卷积操作，可以将F_cst和F_cte分别映射为彩色图像，I_gt和I_st分别表示真实图像及其结构图像，使用边缘保留的图像平滑方法来生成I_st。

3.如权利要求1所述的图像修复方法，其特征在于，所述软门控双特征融合模块包括纹理引导的结构特征单元，用于执行如下算法，

G_st＝σ(SE(k([F_cst,F_cte]))) (2-3)

F′_cst＝γ(G_st⊙F_cte)⊕F_cst (2-4)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，k(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_st来来控制结构信息的细化程度，F′_cst表示具有纹理感知的结构特征，γ是一个可学习的参数，⊙表示元素对应乘积，⊕表示元素对应相加，

F_fu＝v([F′_cst,F′_cte]) (2-5)

其中，F′_cte和F′_cst分别表示具有结构感知的纹理特征与具有纹理感知的结构特征，v(·)是内核大小为1的卷积操作，F_fu是软门控双特征融合模块的最终输出特征。

4.如权利要求1所述的图像修复方法，其特征在于，所述双边传播特征聚合模块包括一捕捉通道信息融合单元，使用动态核选择网络通过一种自适应核选择的方式来捕捉通道信息，得到特征图F′_fu。

5.如权利要求4所述的图像修复方法，其特征在于，所述双边传播特征聚合模块包括一上下文注意融合单元，用来捕获输入图像块之间的联系，并计算余弦相似度，具体执行如下算法：

其中，将特征F′_fu划分为不重叠的块，

表示输出特征块之间的余弦相似度，

表示通过Softmax函数得到的注意力分数，p_i和p_j分别是输入特征F′_fu的第i个块和第j个块，N是输入特征F′_fu的块总数，

表示由注意力分数重建组合特征块后得到的特征图。

6.如权利要求1所述的图像修复方法，其特征在于，所述双边传播特征聚合模块包括一空间信息融合单元，具体执行如下算法：

其中，

和

表示空间和范围相似度特征图，x_i是输入特征

的第i个特征通道，x_j是通道i周围位置j处的相邻特征通道，

是用于调整来自相邻特征通道的空间贡献的高斯函数，C(x)是

中的通道位置数，f(·)是点积运算，空间域中，在邻近区域s中探索j以进行全局传播，在范围域中，v是位置i的相邻区域，其大小设置为3×3。

7.如权利要求6所述的图像修复方法，其特征在于，输出特征通道的计算方法为：

其中，

和

表示空间和范围相似度特征图，q表示卷积层，内核大小为1。

8.如权利要求7所述的图像修复方法，其特征在于，对每个通道特征进行聚合以获得重建的特征图

然后通过联结卷积将F′_fu与

融合得到F_sc，

其中

为重组的多通道特征，F′_fu为权衡通道信息后得到的特征，F_sc为最终融合修复特征，z是一个卷积操作，其卷积核大小为1。

9.如权利要求1所述的图像修复方法，其特征在于，所述全局和局部判别器由五个卷积层组成，卷积核大小为4，步长为2，除最后一层外，其他所有层都使用斜率为0.2的LeakyReLu，并且采用频谱归一化实现稳定的训练。

Images