CN108460746B - 一种基于结构和纹理分层预测的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于结构和纹理分层预测的图像修复方法，包括网络模型训练部分和图像修复部分，网络模型训练部分包括训练数据集预处理，边缘结构图的提取，结构完成网络N1的构建与训练，纹理转化网络N2的构建与训练；图像修复部分包括输入测试的待修复图像并进行预处理，边缘结构图的提取，使用结构完成网络N1生成缺损区域的边缘结构，使用纹理转化网络N2生成缺损区域的图像内容，将生成的缺损区域的图像内容填充到待修复图像中。本发明将图像修复的问题分解为结构和纹理分层预测的问题，自动生成缺损结构，并利用修复的结构边缘图约束纹理生成过程，有效避免纹理混淆、形状失真，能大大提高针对自然图像大面积区域缺损问题的修复能力。

Description

一种基于结构和纹理分层预测的图像修复方法

技术领域

本发明涉及一种针对大面积区域缺损的图像修复方法，尤其涉及一种基于结构和纹理分层预测的图像修复方法。

背景技术

自Bertalmio M.在2000年Siggraph大会上首次提出，图像修复技术已在文物保护，电影特技，图像有损压缩和图像/视频实时传输等领域得到了广泛应用。该技术是根据未受损的图像信息来自动填充缺损区域或移除特定目标，但由于缺损区域的图像是未知的，特别是涉及大面积图像区域缺损时，仍有很多要解决的技术难题。

基于传统方法的图像修复算法主要分为两个方向：基于信息扩散的方法和基于样例匹配的方法。前者采用从缺损区域边缘向内部扩散的思路，适用于小尺度缺损区域的修复，但当待修复区域较大时，修复结果往往显得模糊。后者基于在图像空间或稀疏表示空间中搜索相似的图像块的思路，能够减轻上述模糊的问题，但当需生成的内容不存在于搜索空间时，修复结果往往会造成修复失真。

上述传统图像修复算法挖掘存在于待修复图像上的局部先验信息进行修复，但当缺损大面积图像区域时，这些局部先验信息并不足够用于恢复缺损的信息。

近年来，受深度学习的推动，基于图像上下文学习的方法被提出用于修复大面积缺损图像。这类方法通过理解待修复图像的高层语义来生成新的内容，并在特定图像集(如人脸)修复问题上能够生成正确且较真实的缺损区域图像内容。但将这类方法直接应用于包含复合的结构和纹理的自然场景图片修复时，生成内容往往存在纹理混淆和形状失真的问题，可见这类方法在试图理解整张图片内容时，并不能处理复杂环境。

本发明提出了一种基于结构和纹理分层预测的图像修复方法，将图像修复的问题分解为结构和纹理分层预测的问题。一方面，相对于有着高频纹理的自然图像，结构信息是能够表达场景上下文的更低维信息，较原始图像的修复更容易；另一方面，自然图像中有着同质纹理的区域往往被结构约束，因此结构信息在图像修复时也将是至关重要的约束信息。

发明内容

本发明针对上述已有技术在修复自然图像大面积区域缺损问题上的不足，提供了一种基于结构和纹理分层预测的图像修复方法。

本发明所采用的技术方案是一种基于结构和纹理分层预测的图像修复方法，包括网络模型训练部分和图像修复部分，

所述的网络模型训练部分，包括以下子步骤，

步骤1.1，训练数据集预处理，包括将训练图像集中的图像进行随机掩盖，模拟图像缺损，掩盖区域为缺损区域，余下残缺图像作为待修复图像，得到待修复图像集和与之对应的缺损区域图像集，并进行预处理；

步骤1.2，边缘结构图的提取，包括对步骤1.1所得预处理后的待修复图像集和缺损区域图像集提取待修复边缘结构图和缺损区域边缘结构图；

步骤1.3，结构完成网络N1的构建与训练，用于将待修复边缘结构图输入结构完成网络N1重建缺损区域的边缘结构；

步骤1.4，当满足预设的相应迭代停止条件时，保存结构完成网络N1模型；

进入步骤1.5，否则返回步骤1.3继续下一次迭代训练；

步骤1.5，纹理转化网络N2的构建与训练，用于将缺损区域边缘结构图和对应的待修复图像输入纹理转化网络N2重建缺损区域的图像内容；

步骤1.6，当满足预设的相应迭代停止条件时，保存纹理转化网络N2模型，否则返回步骤1.5继续下一次迭代训练；

所述的图像修复部分，包括以下子步骤，

步骤2.1，输入测试的待修复图像并进行预处理；

步骤2.2，边缘结构图的提取，包括对步骤2.1预处理后的待修复图像提取边缘结构图；

步骤2.3，使用结构完成网络N1生成缺损区域的边缘结构，包括将步骤2.2提取的待修复图像的边缘结构图输入结构完成网络N1，进而生成缺损区域的边缘结构图，并将待修复图像的边缘结构图与缺损区域的边缘结构图相结合，生成修复后的图像边缘结构图；

步骤2.4，使用纹理转化网络N2生成缺损区域的图像内容，包括将步骤2.3得到的修复后的图像边缘结构图和步骤2.1预处理完后的待修复图像输入纹理转化网络N2，进而生成缺损区域的图像内容；

步骤2.5，输出修复后的图像，包括将生成的缺损区域的图像内容填充到待修复图像中，得到的结果即为修复后的图像。

而且，步骤1.3中，训练结构完成网络N1时，按极小化输出层误差的方式优化结构完成网络N1中的参数，输出层误差定义如下，

设原始缺损区域边缘结构图为x₁，生成的缺损区域边缘结构图为x₂，D为判断输入的边缘结构图是否是真实结构图的判别网络，则输出层的误差

定义为，

其中，

表示生成边缘结构图x₂与原始边缘结构图x₁间的重建损失，用于约束生成结构的内容，

表示生成边缘结构图x₂与原始边缘结构图x₁间的竞争损失，用于约束生成结构的真实性，

表示生成边缘结构图x₂与原始边缘结构图x₁间的梯度直方图(HOG)差异，定义为梯度一致性损失，用于约束生成结构的梯度一致性，λ_rec，λ_a和λ_g分别表示生成损失、竞争损失和梯度一致性损失的误差权重。

而且，步骤1.5中，训练纹理转化网络N2时，按最小化输出层误差的方法优化纹理转化网络N2中的参数，

设原始自然图像为I₁，生成图像为I₂，D为判断输入的图像是否是自然图像的判别网络，则输出层的误差

定义为，

其中，

表示生成图像I₂与原始自然图像I₁间的生成损失，用于约束生成图像的内容，

表示生成图像I₂与原始自然图像I₁间的竞争损失，用于约束生成图像的真实性，λ_rec和λ_a分别表示生成损失和竞争损失的误差权重。

本发明通过设计基于结构和纹理分层预测的图像修复的端到端的算法框架，能够优先恢复自然图像中对象的结构信息并保持结构信息的一致性，基于恢复的结构信息和已有的纹理信息进行像素级别的结构向纹理的转化，完成缺损区域的自动生成，避免了现有深度学习方法存在的纹理混淆和形状失真的问题，大大提高了图像修复的准确性。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的纹理转化网络N2结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述。

如图1所示，本发明实施例流程包含两个部分，网络模型训练部分为：训练数据集预处理；边缘结构图的提取；结构完成网络N1训练，当训练误差收敛后，保存结构完成网络N1模型；纹理转化网络N2训练，当训练误差收敛后，保存纹理转化网络N2模型。

所述的图像修复部分为：输入待修复图像并进行预处理；边缘结构图的提取；使用训练好的结构完成网络N1模型生成缺损区域的边缘结构；使用训练好的纹理转化网络N2模型生成缺损区域的图像内容；生成的缺损区域的图像内容和待修复图像融合得到最终修复后的图像。

网络模型训练部分的具体步骤如下：

步骤1.1：训练数据集预处理：自动对训练图像集中的图像进行随机掩盖，模拟图像缺损。掩盖区域为缺损区域，余下残缺图像作为待修复图像，从而得到待修复图像集和与之对应的缺损区域图像集，并对两个图像集进行预处理。具体实施时的预处理步骤包括但不限于将输入图像尺度缩放(使图像符合网络输入要求)、随机裁剪(使图像符合网络输入要求)。实施例中，将训练数据集中的图像进行尺度变换和随机裁剪成128×128分辨率，并掩盖中心64×64的图像区域，作为缺损区域，余下残缺图像作为缺损区域的原始图像内容可作为标注数据。

步骤1.2：边缘结构图的提取：具体实施时可使用现有的边缘检测方法对步骤1.1预处理后的待修复图像集和缺损区域图像集提取待修复边缘结构图和缺损区域边缘结构图，本发明不予赘述。因单像素粒度的边缘表示并不能很好的区分图像中的主要结构和次要结构，本发明采用的是边缘的梯度形式作为边缘结构图，用于表示图像的结构信息。这种形式可以通过梯度值和线的粗细区分主要结构和次要结构，同时也保留了更多的对象语义信息。

作为优选，现有的边缘检测方法包括但不限于Holistically-Nested EdgeDetection(Hed边缘检测算法)

步骤1.3：结构完成网络N1的构建与训练：

训练完成后，在图像修复部分，测试的待修复图像相应待修复边缘结构图输入结构完成网络N1重建缺损区域的边缘结构。

实施例中，结构完成网络N1采用一种编码器-解码器形式的卷积神经网络，编码器网络的结构单元包括但不限于卷积操作，批归一化操作，非线性映射，解码器网络的结构单元包括但不限于转置卷积操作，批归一化操作，非线性映射。

作为优选，结构完成网络N1网络结构及参数可如下表所示。在表中最后一列数据项，“输出尺寸”是该层网络输出的数据大小，采用三元数组表示，第一个数字代表特征图数量，第二三个数字代表特征图大小。

网络的具体设定如下：

结构完成网络N1包括13层，其中第一层为输入层，第二至六层为编码器网络隐藏层，第七层为特征层，第八至十二层为解码器网络隐藏层，第十三层为输出层，各层结构如下：

第一层：输入层，输入步骤1.2已提取的待修复边缘结构图。

第二层：隐藏层1，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第三层：隐藏层2，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第四层：隐藏层3，包括一个卷积核数量为128、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第五层：隐藏层4，包括一个卷积核数量为256、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第六层：隐藏层5，包括一个卷积核数量为512、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第七层：特征层，包括一个卷积核数量为4000、核尺寸4×4、步长1和边缘填充0的卷积层，一个批归一化层和一个Tanh激活函数层，输出从待修复边缘结构图提取的特征向量。

第八层：隐藏层6，包括一个卷积核数量为512、核尺寸4×4、步长1和边缘填充0的转置卷积层，一个批归一化层和一个ReLu激活函数层。

第九层：隐藏层7，包括一个卷积核数量为256、核尺寸4×4、步长2和边缘填充1的转置卷积层，一个批归一化层和一个ReLu激活函数层。

第十层：隐藏层8，包括一个卷积核数量为128、核尺寸4×4、步长2和边缘填充1的转置卷积层，一个批归一化层和一个ReLu激活函数层。

第十一层：隐藏层9，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的转置卷积层，一个批归一化层和一个ReLu激活函数层。

第十二层：隐藏层10，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的转置卷积层，一个批归一化层和一个ReLu激活函数层。

第十三层：输出层，包括一个卷积核数量为3、核尺寸4×4、步长2和边缘填充1的转置卷积层和一个Tanh激活函数层，输出生成的缺损区域边缘结构图。

本发明进一步提出，结构完成网络N1采用三种损失函数进行约束：1)重建损失，通过对原始的缺损区域边缘结构图和生成的缺损区域边缘结构图求解欧式距离，用于约束生成内容的结构；2)竞争损失，通过将生成的缺损区域边缘结构图输入判别网络得到生成结构与真实结构数据分布的差异，用于约束生成结构的真实性；3)梯度一致性损失，通过对缺损区域边缘内外的小部分区域求解梯度直方图差异，用于约束生成结构与待恢复结构间的梯度一致性。

实施例中的损失函数设置如下，

假设原始缺损区域边缘结构图为x₁，生成的缺损区域边缘结构图为x₂，D为判断输入的边缘结构图是否是真实结构图的判别网络，则输出层的误差

定义为：

其中，

表示生成边缘结构图x₂与原始边缘结构图x₁间的重建损失，用于约束生成结构的内容；

表示生成边缘结构图x₂与原始边缘结构图x₁间的竞争损失，用于约束生成结构的真实性；

表示生成边缘结构图x₂与原始边缘结构图x₁间的梯度直方图(HOG)差异，定义为梯度一致性损失，用于约束生成结构的梯度一致性。

其中，λ_rec，λ_a和λ_g分别表示生成损失、竞争损失和梯度一致性损失的误差权重。

本发明提出，从训练数据集中按批取出待修复边缘结构图，以输出层的损失最小为目的，通过回传损失来更新每一层的参数，使得网络参数得到更新，直至利用完训练数据集中的所有待修复边缘结构图即训练完成一次，然后进入步骤1.4进行迭代判断。

步骤1.4：保存结构完成网络N1模型：当满足预设的相应迭代停止条件时，保存结构完成网络N1模型，结束结构完成网络N1的训练工作，否则返回步骤1.3继续下一次迭代训练。利用步骤1.2提取的待修复边缘结构图对步骤1.3所构建的结构完成网络N1进行训练，训练过程停止的条件可为两种，一种是输出层误差的值小于设定的阈值，另一种是迭代训练达到一定次数。保存训练好的结构完成网络N1模型，用于图像修复阶段对待修复图像的边缘结构进行修复。

步骤1.5：纹理转化网络N2的构建与训练：

训练完成后，在图像修复部分，将测试的待修复图像边缘结构图和对应的待修复图像输入纹理转化网络N2重建缺损区域的图像内容。

实施例中，纹理转化网络采用双层编码器-单层解码器形式的卷积神经网络，结合底层纹理信息和高层结构信息生成整张图像，卷积神经网络结构如图2所示。

步骤1.5.1：在纹理转化网络N2结构中，双层编码器是指边缘结构编码器和待修复图像编码器，结构单元包括但不限于卷积操作，批归一化操作，非线性映射。两个编码器的网络参数不共享，分别用于提取训练图像的边缘结构图的高层语义特征，和与边缘结构图对应的待修复图像在待修复图像编码器每层网络的底层纹理特征。

作为优选，纹理转化网络N2的双层编码器网络结构及参数可如下表所示。在表中最后一列数据项，“输出尺寸”是该层网络输出的数据大小，采用三元数组表示，第一个数字代表特征图数量，第二三个数字代表特征图大小。具体实施时，图像尺寸和网络模型结构可由用户进行相应预设。

网络的具体设定如下：

边缘结构编码器包括7层，其中第一层为输入层，第二至六层为编码器网络隐藏层，第七层为特征层，各层结构如下：

第一层：输入层1，将步骤1.2提取的待修复图像的边缘结构图与缺损区域边缘结构图结合作为输入，即将原始训练图像的边缘结构图作为该层的输入。

第二层：隐藏层1_1，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第三层：隐藏层1_2，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第四层：隐藏层1_3，包括一个卷积核数量为128、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第五层：隐藏层1_4，包括一个卷积核数量为256、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第六层：隐藏层1_5，包括一个卷积核数量为512、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第七层：特征层1，包括一个卷积核数量为4000、核尺寸4×4、步长1和边缘填充0的卷积层，一个批归一化层和一个Tanh激活函数层，输出从边缘结构图提取的特征向量。

待修复图像编码器包括7层，其中第一层为输入层，第二至六层为编码器网络隐藏层，第七层为特征层，各层结构如下：

第一层：输入层2，输入步骤1.1预处理后的待修复图像。

第二层：隐藏层2_1，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第三层：隐藏层2_2，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第四层：隐藏层2_3，包括一个卷积核数量为128、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第五层：隐藏层2_4，包括一个卷积核数量为256、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第六层：隐藏层2_5，包括一个卷积核数量为512、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第七层：特征层2，包括一个卷积核数量为4000、核尺寸4×4、步长1和边缘填充0的卷积层，一个批归一化层和一个Tanh激活函数层，输出从待修复图像提取的特征向量。

步骤1.5.2：单层解码器是指条件边缘特征解码器，结构单元包括但不限于转置卷积操作，批归一化操作，非线性映射。连接步骤1.5.1从训练图像边缘结构图提取的特征向量和待修复图像提取的特征向量，作为解码器网络的输入，之后的每层网络输入由上一层提取的边缘结构的解码特征图和对应层次的待修复图像的编码特征图连接得到。解码器最终输出纹理转化后的生成图像，完成边缘结构图向自然图像的纹理转化过程。

作为优选，纹理转化网络N2的单层解码器网络结构及参数可如下表所示。在表中最后一列数据项，“输出尺寸”是该层网络输出的数据大小，采用三元数组表示，第一个数字代表特征图数量，第二三个数字代表特征图大小。具体实施时，图像尺寸和网络模型结构可由用户进行相应预设。

网络的具体设定如下：

条件边缘特征解码器包括7层，其中第一层为输入层，第二至六层为隐藏层，第七层为输出层，各层结构如下：

第一层：输入层，连接步骤1.5.1从训练图像边缘结构图提取的特征向量和待修复图像提取的特征向量，作为该层的输入

第二层：隐藏层，包括一个卷积核数量为512、核尺寸4×4、步长1和边缘填充0的卷积层，一个批归一化层和一个ReLu激活函数层。

第三层：隐藏层，包括一个卷积核数量为256、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第四层：隐藏层，包括一个卷积核数量为128、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第五层：隐藏层，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第六层：隐藏层，包括一个卷积核数量为64、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个ReLu激活函数层。

第七层：输出层，包括一个卷积核数量为3、核尺寸4×4、步长2和边缘填充1的卷积层，一个批归一化层和一个Tanh激活函数层，输出纹理转化后的生成图像。

本发明进一步提出，纹理转化网络N2采用两种损失函数进行约束：1)重建损失，通过对原始自然图像和纹理转化后的生成图像求解欧式距离，用于约束生成图像的内容；2)竞争损失，通过将纹理转化后的生成图像输入判别网络得到生成图像与真实图像数据分布的差异，用于约束生成图像的真实性。

实施例中的损失函数设置如下，

假设原始自然图像为I₁，生成图像为I₂，D为判断输入的图像是否是自然图像的判别网络，则输出层的误差

定义为：

其中，

表示生成图像I₂与原始自然图像I₁间的生成损失，用于约束生成图像的内容；

表示生成图像I₂与原始自然图像I₁间的竞争损失，用于约束生成图像的真实性。

其中，λ_rec和λ_a分别表示生成损失和竞争损失的误差权重。

本发明提出，从训练数据集中按批取出训练图像边缘结构图和待修复图像，以输出层的损失最小为目的，通过回传损失来更新每一层的参数，使得网络参数得到更新，直至利用完训练数据集中的所有训练图像边缘结构图和待修复图像即训练完成一次，然后进入步骤1.6进行迭代判断。

步骤1.6：保存纹理转化网络N2模型：当满足预设的相应迭代停止条件时，保存纹理转化网络N2模型，结束纹理转化网络N2的训练工作，否则返回步骤1.5继续下一次迭代训练。利用步骤1.2提取的训练图像边缘结构图和步骤1.1预处理后的待修复图像对步骤1.5所构建的纹理转化网络N2进行训练，训练过程停止的条件可为两种，一种是输出层误差的值小于设定的阈值，另一种是迭代训练达到一定次数。保存训练好的纹理转化网络N2模型，用于图像修复阶段对待修复图像的图像内容进行修复。

所述的图像修复部分，其具体实现包括以下子步骤：

步骤2.1：输入测试的待修复图像并进行预处理，包括根据具体需要恢复的缺损区域，将待修复图像进行尺度变换和裁剪，使之满足修复网络所要求的128×128大小，即和网络模型训练部分的输入尺寸相应。

步骤2.2：边缘结构图的提取，包括使用现有的边缘检测方法对步骤2.1预处理后的待修复图像提取边缘结构图。

步骤2.3：使用结构完成网络N1生成缺损区域的边缘结构，包括将步骤2.2提取的待修复图像的边缘结构图输入结构完成网络N1，进而生成缺损区域的边缘结构图，并将待修复图像的边缘结构图与缺损区域的边缘结构图相结合，即可生成修复后的图像边缘结构图。

步骤2.4：使用纹理转化网络N2生成缺损区域的图像内容，包括将步骤2.3得到的修复后的图像边缘结构图和步骤2.1预处理完后的待修复图像输入纹理转化网络N2，进而生成缺损区域的图像内容。

步骤2.5：输出修复后的图像，包括将生成的缺损区域的图像内容填充到待修复图像中，得到的结果即为修复后的图像。

具体实施时，以上流程可采用计算机软件技术实现自动运行。

本发明解决了现有技术在自然图像出现大面积区域缺损情况下，由于缺乏足够的先验信息，无法较好的实现结构和纹理修复的任务，提出了一种基于结构和纹理分层预测的图像修复方法，将复杂的图像修复问题分解为简单结构和基于结构的纹理分层预测的问题，能够较好的恢复图像中对象的结构并能有效地约束生成纹理的范围。其具有以下几个关键点：

1)提出将结构信息作为图像修复的重要先验信息，并设计了一种结构完成网络框架和梯度一致性的损失函数。其技术效果可以输入待修复的边缘结构图，生成缺损区域的边缘结构。

2)提出将图像修复的问题转化为基于边缘结构图和已有纹理信息条件下的纹理转化问题，并设计了一种纹理转化网络框架，能很好的融合高层结构特征和底层纹理特征。其技术效果可以输入整张边缘结构图和待修复图像，通过生成整张图像完成对缺损区域的纹理填充。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于结构和纹理分层预测的图像修复方法，其特征在于：包括网络模型训练部分和图像修复部分，

所述的网络模型训练部分，包括以下子步骤，

步骤1.1，训练数据集预处理，包括将训练图像集中的图像进行随机掩盖，模拟图像缺损，掩盖区域为缺损区域，余下残缺图像作为待修复图像，得到待修复图像集和与之对应的缺损区域图像集，并进行预处理；

步骤1.2，边缘结构图的提取，包括对步骤1.1所得预处理后的待修复图像集和缺损区域图像集提取待修复边缘结构图和缺损区域边缘结构图；

步骤1.3，结构完成网络N1的构建与训练，用于将待修复边缘结构图输入结构完成网络N1重建缺损区域的边缘结构；

步骤1.4，当满足预设的相应迭代停止条件时，保存结构完成网络N1模型；

进入步骤1.5，否则返回步骤1.3继续下一次迭代训练；

步骤1.5，纹理转化网络N2的构建与训练，用于将缺损区域边缘结构图和对应的待修复图像输入纹理转化网络N2重建缺损区域的图像内容；

步骤1.6，当满足预设的相应迭代停止条件时，保存纹理转化网络N2模型，否则返回步骤1.5继续下一次迭代训练；

所述的图像修复部分，包括以下子步骤，

步骤2.1，输入测试的待修复图像并进行预处理，

步骤2.2，边缘结构图的提取，包括对步骤2.1预处理后的待修复图像提取边缘结构图；

步骤2.3，使用结构完成网络N1生成缺损区域的边缘结构，包括将步骤2.2提取的待修复图像的边缘结构图输入结构完成网络N1，进而生成缺损区域的边缘结构图，并将待修复图像的边缘结构图与缺损区域的边缘结构图相结合，生成修复后的图像边缘结构图；

步骤2.4，使用纹理转化网络N2生成缺损区域的图像内容，包括将步骤2.3得到的修复后的图像边缘结构图和步骤2.1预处理完后的待修复图像输入纹理转化网络N2，进而生成缺损区域的图像内容；

步骤2.5，输出修复后的图像，包括将生成的缺损区域的图像内容填充到待修复图像中，得到的结果即为修复后的图像。

2.根据权利要求1所述基于结构和纹理分层预测的图像修复方法，其特征在于：步骤1.3中，训练结构完成网络N1时，按极小化输出层误差的方式优化结构完成网络N1中的参数，输出层误差定义如下，

设原始缺损区域边缘结构图为x₁，生成的缺损区域边缘结构图为x₂，D为判断输入的边缘结构图是否是真实结构图的判别网络，则输出层的误差

定义为，

其中，

表示生成边缘结构图x₂与原始边缘结构图x₁间的重建损失，用于约束生成结构的内容，

表示生成边缘结构图x₂与原始边缘结构图x₁间的竞争损失，用于约束生成结构的真实性，

表示生成边缘结构图x₂与原始边缘结构图x₁间的梯度直方图(HOG)差异，定义为梯度一致性损失，用于约束生成结构的梯度一致性，λ_rec，λ_a和λ_g分别表示生成损失、竞争损失和梯度一致性损失的误差权重。

3.根据权利要求1所述基于结构和纹理分层预测的图像修复方法，其特征在于：步骤1.5中，训练纹理转化网络N2时，按最小化输出层误差的方法优化纹理转化网络N2中的参数，

设原始自然图像为I₁，生成图像为I₂，D为判断输入的图像是否是自然图像的判别网络，则输出层的误差

定义为，

其中，

表示生成图像I₂与原始自然图像I₁间的生成损失，用于约束生成图像的内容，

表示生成图像I₂与原始自然图像I₁间的竞争损失，用于约束生成图像的真实性，λ_rec和λ_a分别表示生成损失和竞争损失的误差权重。

Images