CN110827213A - 一种基于生成式对抗网络的超分辨率图像修复方法 - Google Patents

Abstract

本发明公开了一种基于生成式对抗网络的超分辨率图像修复方法，具体为：步骤1，收集整理真实图像数据，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；步骤2，构建生成式对抗网络模型，其包括生成器和判别器；步骤3，将训练数据集中的每一张图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像；步骤4，将训练图像输入到U‑Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像。解决了现有技术中存在的图像大面积缺失修复后分辨率低的现象、视觉效果不连贯的问题。

Description

一种基于生成式对抗网络的超分辨率图像修复方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体涉及一种基于生成式对抗网络的超分辨率图像修复方法。

背景技术

近年来，计算机图形学和计计算机视觉的快速发展，图像修复的方法也多种多样，早在文艺复兴时期就出现了图像修复技术，它是一种历史悠久的技艺，在较早时期经常会出现由于保存不当或其他不同的原因而损坏的艺术品，工匠们通过他们掌握的技艺做一些填补工作保持工艺品的完整性。随着计算机视觉技术的迅猛发展，数字图像处理技术逐渐取代了手工图像修复技术。

目前，图像修复作为计算机视觉领域研究的一项重要内容，其目的是根据图像中已知内容来自动地恢复丢失的内容，在图像编辑、影视特技制作、虚拟现实及数字文化遗产保护等领域都具有广泛的应用价值。传统图像修复方法例如基于扩散的方法，该方法通过参数模型或者偏微分方程引入平滑先验，对待修复区域由外向内传播或扩散局部结构对纹理简单，损坏面积小的图像修复效果良好，但是对复杂图像的修复容易产生模糊及伪影现象，导致图像修复后分辨率低；基于变分偏微分方程算法的图像修复法主要从像素点着手，依据图像破损的边缘结构，找出有效信息从而确定了扩张内容和方向，以确保待修复区域的边缘信息向内部的扩散，以达到图像修复的目的，该修复方法对纹理丰富，结构复杂的图像修复效果不佳，达不到人类视觉感知要求的分辨率；基于纹理结构的图像修复方法在选取待修复区域中的像素块时，主要依据像素块的中心点为对象，并在完好区域搜索并进行对比，将对比出的最优像素块填充到待修复区域，对图像纹理的细节修复效果较好，但是，该方法对图像内容已知信息的依赖性太强，对语义信息缺失严重的图像存在修复模糊、视觉效果不连续、分辨率低等问题。

发明内容

本发明的目的是提供一种基于生成式对抗网络的超分辨率图像修复方法，解决了现有技术中存在的图像大面积缺失修复后分辨率低的现象、视觉效果不连贯的问题。

本发明所采用的技术方案是，一种基于生成式对抗网络的超分辨率图像修复方法，具体按照以下步骤实施：

步骤1，收集整理真实图像数据，形成真实图像数据样本集，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；

步骤2，构建生成式对抗网络模型，生成式对抗网络模型包括生成器和判别器；

步骤3，将步骤1组成的训练数据集中的每一张低分辨率图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入步骤2构建的生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像，在训练过程中对生成器和VDB判别器的权重进行更新，利用对抗损失、内容损失、感知损失及重建损失进行***损失计算；

步骤4，将步骤3得到的训练图像输入到U-Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像。

本发明的特点还在于：

在步骤2中，生成式对抗网络模型的目标函数表达式为：

其中，D表示判别器，G表示生成器，E表示数学期望；x～p(x)表示x服从真实图像数据样本集中的图像分布p(x)；z～G(z)表示z服从图像的生成分布G(z)，x为真实图像数据，z为随机噪声，D(x)表示判别器函数，D(z|x)表示真实图像数据x的条件下随机噪声z的判别函数。

在步骤2中，变分判别器瓶颈VDB对判别器目标函数为：

J(D,E)＝min_D,EE_x～p(x)[E_z～E(z|x)[-log(D(x))]]+E_z～G(z)[E_z～E(z|x)[-log(1-D(z))]](2)

其中，D表示判别器，E表示图像信息编码后的期望，x～p^*(x)表示x服从生成图像数据分布p^*(x)；z～E(z|x)表示z服从高斯分布E(z|x)，KL为散度又称相对熵信息概率分布的一种方法，r(z)为随机噪声z的特征分布，I_c为生成器生成图像数据的互信息，D(z)表示随机噪声z的判别函数，公式(3)为公式(2)的约束条件。

由

引入判别器拉格朗日优化目标函数：

其中，β为拉格朗日乘子，公式(5)为公式(4)的约束条件，互信息I_c表示变量之间的相关性，用于限制真实图像数据x和随机噪声z的相关性。

步骤2中，VDB判别器是一个二分类判别器，通过生成器生成图像信息的相关性来判别真假，利用

为限制条件，限制图像数据样本的互信息，对真假图像信息进行混淆，VDB判别器的参数更新为：

其中，I_r表示真实图像数据的特征互信息，r(x)为真实图像数据的特征分布。

在步骤2中，生成器采用U-Net生成网络，所述U-Net生成网络由收缩路径和扩张路径组成，且收缩路径和扩张路径相互对称，所述U-Net生成网络共包括23层卷积层，所述收缩路径上每两个3*3的卷积层后为一个2*2的最大池化层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进行降采样操作，其中每一次降采样操作均会增加一杯通道数，用于获取真实图像的上下文信息，所述扩张路径上每一个2*2的卷积层后为两个3*3的卷积层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进进行升采样操作，其中每一次升采样均会加入来自相对应收缩路径的特征图，经裁剪后保持形状相同。

在步骤2中，判别器采用VDB判别网络，所述VDB判别网络将生成器传输到编码器的真实图像数据映射到高斯分布上，对生成器生成图像进行分类，将信息瓶颈作用于随机噪声z。

在步骤3中，采用随机梯度下降法对生成式对抗网络模型进行参数更新，具体为：

对于真实图像数据样本集{x_i,y_j}，其损失函数为：

其中，y_j∈{0,1}为x_i的标签；

设训练数据集为

图像样本

输入得到对应的弱监督输出所以图像样本在训练数据集M上的结构化风险函数为：

其中，W和b分别表示网络中所有的权重和偏置向量；

为正则化项，用于防止图像修复模型训练时过拟合；λ是为正数的超参数，用于控制权重，λ越大，W越接近“0”，n表示第n个图像样本，N表示训练数据集的样本总数，l表示层数，m表示神经元的数量；

则在梯度下降算法的迭代运算中，第l层的权重W^(l)和偏置向量b^(l)更新方式为：

其中α为学习率，其中最佳学习率α为0.001。

在步骤3中，生成式对抗网络模型的生成器对抗损失为：

L_G＝-E_x～p(x)[log(1-D(z|x))]-E_x～G(x)[logD(z|y)] (13)

其中，D(z|y)表示在真实图像数据输出的条件下随机噪声的判别函数分布；

使用1-范数距离来衡量生成器生成图像的未破损区域和真实图像数据中未破损区域的差别：

内容损失为：

其中，I表示图像损失区域，像素点的互信息；

感知损失为：

其中，C_jH_jW_j为图像通道上的归一化处理，φ_j为真实图像数据中的像素点；

重建损失为：

L_pixel＝||x_i-G(x_i)||₂ (16)

***损失函数为：

L＝L_G+L_ij+L_percep+L_pixel (17)。

步骤4的具体步骤如下：

步骤4.1，将步骤3得到的训练后图像输入到编码器中，并在生成器中输入随机噪声z；

步骤4.2，生成器G(z)根据输入的随机噪声z和步骤1中真实图像数据的的相关信息生成图像，在图像生成过程中U-Net生成网络根据***损失函数生成修复好的高分辨率图像；

步骤4.3，将输入到编码器上的真实图像数据映射到高斯分布上，得到真实图像映射关系，同时生成器生成步骤4.2中修复好的高分辨率图像的映射关系，再将真实图像映射关系和修复好的高分辨率图像的映射关系输到VDB判别网络中，VDB网络将修复好的高分辨率图像信息瓶颈作用于判别器进行判断；

步骤4.4，判别器输出修复好的高分辨率图像，若修复后的高分辨率图像不满足修复好的高分辨率图像的映射关系，则返回步骤4.2，否则，输出修复好的高分辨率图像，高分辨率图像修复的迭代次数根据修复好的高分辨率图像的视觉效果进行设置。

本发明的有益效果是：

(1)本发明一种基于生成式对抗网络的超分辨率图像修复方法，采用弱监督学习方式对生成式对抗网络模型进行训练，从真实图像数据样本到特征空间的映射，不需要过多的标签，能将真实图像数据和生成图像的映射关系进行排序，训练成本低，有利于训练出需要的训练后图像；

(2)本发明一种基于生成式对抗网络的超分辨率图像修复方法，生成器采用U-Net网络，该网络是一个全卷积神经网络，输入和输出都是图像，没有全连接层结构，用较浅的层解决像素定位问题，较深的层实现图像破损像素的修复问题，达到图像的高分辨率修复与重建；

(3)本发明一种基于生成式对抗网络的超分辨率图像修复方法，判别器利用变分判别器瓶颈(VDB)，通过对互信息加限制来削弱判别器的能力，从而平衡生成式对抗网络模型的训练，满足了生成式对抗网络零和博弈的思想，提升了判别器在判别真假上的难度，并且在训练中使生成式对抗网络模型不至于过度学习，同时对图像特征信息起到了降维的作用，优化了生成式对抗网络模型的修复性能，保障了浅层的网络实现高分辨率的图像修复；

(4)本发明一种基于生成式对抗网络的超分辨率图像修复方法，采用随机梯度算法对生成式对抗网络模型进行更新，引入超参数控制权重，加快了生成式对抗网络模型的训练速度，使生成式对抗网络模型收敛；

(5)本发明一种基于生成式对抗网络的超分辨率图像修复方法，采用对抗损失、内容损失、感知损失及重建损失计算***损失，使修复好的图像能达到高分辨率，并引入正则项防止生成式对抗网络模型训练试过拟合，提升生成式对抗网络模型的稳定性。

附图说明

图1是本发明一种基于生成式对抗网络的超分辨率图像修复方法的原理框图；

图2是本发明一种基于生成式对抗网络的超分辨率图像修复方法的生成器网络结构图；

图3是本发明一种基于生成式对抗网络的超分辨率图像修复方法的高分辨率图像修复实例图1；

图4是本发明一种基于生成式对抗网络的超分辨率图像修复方法的高分辨率图像修复实例图2。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于生成式对抗网络的超分辨率图像修复方法，如图1所示，具体按照以下步骤实施：

步骤1，收集整理真实图像数据，形成真实图像数据样本集，将收集到的真实图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；其中，真实图像数据包含自然破损的古代纺织物图像；

步骤2，构建生成式对抗网络(GAN)模型，生成式对抗网络模型包括生成器和判别器；

其中，构建生成式对抗网络模型具体为：

假设真实图像数据样本集为{x_i,y_j}，此时x_i为图像数据样本，y_j为对应的弱标签，则生成式对抗网络模型的目标函数表达式为：

其中，D表示判别器，G表示生成器，E表示数学期望；x～p(x)表示x服从真实图像数据样本集中的图像分布p(x)；z～G(z)表示z服从图像的生成分布G(z)，x为真实图像数据，z为随机噪声，D(x)表示判别器函数，D(z|x)表示真实图像数据x的条件下随机噪声z的判别函数；

变分判别器瓶颈(VDB)对生成式对抗网络模型中的判别器目标函数为：

J(D,E)＝min_D,EE_x～p(x)[E_z～E(z|x)[-log(D(x))]]+E_z～G(z)[E_z～E(z|x)[-log(1-D(z))]](2)

其中，D表示判别器，E表示图像信息编码后的期望，即数学期望，x～p^*(x)表示x服从生成图像数据分布p^*(x)；z～E(z|x)表示z服从高斯分布E(z|x)，KL为散度又称相对熵信息概率分布的一种方法，r(z)为随机噪声z的特征分布，I_c为生成器生成图像数据的互信息，D(z)表示随机噪声z的判别函数，公式(3)为公式(2)的约束条件；

由

引入判别器拉格朗日优化目标函数：

其中，β为拉格朗日乘子，公式(5)为公式(4)的约束条件，互信息I_c表示变量之间的相关性，用于限制真实图像数据x和随机噪声z的相关性；

VDB判别器是一个二分类判别器，通过生成器生成图像信息的相关性来判别真假，利用

为限制条件，限制图像数据样本的互信息，对真假图像信息进行混淆，提高判别器的判别难度，同时平衡***模型，VDB判别器的参数更新为：

其中，I_r表示真实图像数据的特征互信息，r(x)为真实图像数据的特征分布；

其中，如图2所示，生成器采用U-Net生成网络，U-Net生成网络由收缩路径和扩张路径组成，且收缩路径和扩张路径相互对称，所述U-Net生成网络共包括23层卷积层，所述收缩路径上每两个3*3的卷积层后为一个2*2的最大池化层，且每个卷积层后面使用relu激活函数对训练数据集中的图像原始图像进行降采样操作，其中每一次降采样操作均会增加一杯通道数，用于获取真实图像的上下文信息，所述扩张路径上每一个2*2的卷积层后为两个3*3的卷积层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进行升采样操作，其中每一次升采样均会加入来自相对应收缩路径的特征图，将丢失像素的边界部分进行裁剪，裁剪后，训练数据集中的图像与来自收缩路径的特征图保持形状相同；

判别器采用VDB判别网络，VDB判别网络将生成器传输到编码器的真实图像数据映射到高斯分布上，对生成器生成图像进行分类，将信息瓶颈作用于随机噪声z。

步骤3，将步骤1组成的训练数据集中的每一张低分辨率(LR)图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入步骤2构建的生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像，在训练过程中对生成器和VDB判别器的权重进行更新，利用对抗损失、内容损失、感知损失及重建损失进行***损失计算；

其中，采用随机梯度下降法对生成式对抗网络模型生成器和VDB判别器的权重进行更新，具体为：

对于真实图像数据样本集{x_i,y_j}，其损失函数为：

其中，y_j∈{0,1}为x_i的标签；

设训练数据集为

图像样本

输入得到对应的弱监督输出

所以图像样本

在训练数据集M上的结构化风险函数为：

其中，W和b分别表示网络中所有的权重和偏置向量；

为正则化项，用于防止图像修复模型训练时过拟合；λ是为正数的超参数，用于控制权重，λ越大，W越接近“0”，n表示第n个图像样本，N表示训练数据集的样本总数，l表示层数，m表示神经元的数量；

则在梯度下降算法的迭代运算中，第l层的权重W^(l)和偏置向量b^(l)更新方式为：

其中，α为学习率，其中最佳学习率α为0.001；

利用对抗损失、内容损失、感知损失及重建损失进行***损失计算的过程具体为：

生成式对抗网络模型的生成器对抗损失为：

L_G＝-E_x～p(x)[log(1-D(z|x))]-E_x～G(x)[logD(z|y)] (13)

其中，D(z|y)表示在真实图像数据输出的条件下随机噪声的判别函数分布；

在图像修复问题中，为了使图像的破损区域修复后尽可能的与真实图像相匹配，未破损的区域更清晰，保持图像修复后的高分辨率，使用1-范数距离来衡量生成器生成图像的未破损区域和真实图像数据中未破损区域的差别：

内容损失为：

其中，I表示图像损失区域，像素点的互信息；

感知损失为：

其中，C_jH_jW_j为图像通道上的归一化处理，φ_j为真实图像数据中的像素点；

重建损失为：

L_pixel＝||x_i-G(x_i)||₂ (16)

***损失函数为：

L＝L_G+L_ij+L_percep+L_pixel (17)；

步骤4，将步骤3得到的训练图像输入到U-Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像，具体过程如下：

步骤4.1，将步骤3得到的训练后图像输入到编码器中，并在生成器中输入随机噪声z；

步骤4.2，生成器G(z)根据输入的随机噪声z和步骤1中真实图像数据的的相关信息(图像缺失区域的上下左右像素信息及像素的特征分布信息)生成图像，在图像生成过程中U-Net生成网络根据***损失函数生成修复好的高分辨率(HR)图像；

步骤4.3，将输入到编码器上的真实图像数据映射到高斯分布上，得到真实图像映射关系，同时生成器生成步骤4.2中修复好的高分辨率图像的映射关系，再将真实图像映射关系和修复好的高分辨率图像的映射关系输到VDB判别网络中，VDB网络将修复好的高分辨率图像信息瓶颈作用于判别器进行判断；

步骤4.4，判别器输出修复好的高分辨率图像，若修复后的高分辨率图像不满足修复好的高分辨率图像的映射关系，则返回步骤4.2，否则，输出修复好的高分辨率图像，高分辨率图像修复的迭代次数根据修复好的高分辨率图像的视觉效果进行设置。

图3为采用本发明图像修复方法的高分辨率图像修复实例图1，图3从左至右分别为第一列、第二列和第三列，其中第一列图片为训练数据集中的低分辨率(LR)图像，第二列为对第一列图像打上大小相同的掩膜，得到的待修复图像，第三列为修复好的高分辨率图像，由图可以看出，采用本发明图像修复方法能够得到高分辨率图像。

图4为采用本发明图像修复方法的高分辨率图像修复实例图2，图4从左至右分别为第一列、第二列和第三列，其中第一列为自然破损的古代纺织物图像，第二列为第一列图像打上大小相同的掩膜，得到的待修复图像，第三列为修复好的高分辨率图像，由图可以看出，采用本发明图像修复方法能够将自然破损的纺织物图像修复完整，得到修复好的高分辨率图像。

通过上述方式，采用弱监督学***衡网络权重和随机梯度下降算法更新参数，避免了复杂的迭代运算，达到了残损图像高分辨率修复的良好视觉感知效果。

Claims (10)

1.一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，具体按照以下步骤实施：

步骤1，收集整理真实图像数据，形成真实图像数据样本集，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；

步骤2，构建生成式对抗网络模型，生成式对抗网络模型包括生成器和判别器；

步骤3，将步骤1组成的训练数据集中的每一张低分辨率图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入步骤2构建的生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像，在训练过程中对生成器和VDB判别器的权重进行更新，利用对抗损失、内容损失、感知损失及重建损失进行***损失计算；

步骤4，将步骤3得到的训练图像输入到U-Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像。

2.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，生成式对抗网络模型的目标函数表达式为：

其中，D表示判别器，G表示生成器，E表示数学期望；x～p(x)表示x服从真实图像数据样本集中的图像分布p(x)；z～G(z)表示z服从图像的生成分布G(z)，x为真实图像数据，z为随机噪声，D(x)表示判别器函数，D(z|x)表示真实图像数据x的条件下随机噪声z的判别函数。

3.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，变分判别器瓶颈VDB对判别器目标函数为：

J(D,E)＝min_D,EE_x～p(x)[E_z～E(z|x)[-log(D(x))]]+E_z～G(z)[E_z～E(z|x)[-log(1-D(z))]](2)

其中，D表示判别器，E表示图像信息编码后的期望，x～p^*(x)表示x服从生成图像数据分布p^*(x)；z～E(z|x)表示z服从高斯分布E(z|x)，KL为散度又称相对熵信息概率分布的一种方法，r(z)为随机噪声z的特征分布，I_c为生成器生成图像数据的互信息，D(z)表示随机噪声z的判别函数，公式(3)为公式(2)的约束条件。

4.根据权利要求3所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，由

引入判别器拉格朗日优化目标函数：

其中，β为拉格朗日乘子，公式(5)为公式(4)的约束条件，互信息I_c表示变量之间的相关性，用于限制真实图像数据x和随机噪声z的相关性。

5.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，步骤2中，VDB判别器是一个二分类判别器，通过生成器生成图像信息的相关性来判别真假，利用

为限制条件，限制图像数据样本的互信息，对真假图像信息进行混淆，VDB判别器的参数更新为：

其中，I_r表示真实图像数据的特征互信息，r(x)为真实图像数据的特征分布。

6.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，生成器采用U-Net生成网络，所述U-Net生成网络由收缩路径和扩张路径组成，且收缩路径和扩张路径相互对称，所述U-Net生成网络共包括23层卷积层，所述收缩路径上每两个3*3的卷积层后为一个2*2的最大池化层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进行降采样操作，其中每一次降采样操作均会增加一杯通道数，用于获取真实图像的上下文信息，所述扩张路径上每一个2*2的卷积层后为两个3*3的卷积层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进进行升采样操作，其中每一次升采样均会加入来自相对应收缩路径的特征图，经裁剪后保持形状相同。

7.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，判别器采用VDB判别网络，所述VDB判别网络将生成器传输到编码器的真实图像数据映射到高斯分布上，对生成器生成图像进行分类，将信息瓶颈作用于随机噪声z。

8.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤3中，采用随机梯度下降法对生成式对抗网络模型进行参数更新，具体为：

对于真实图像数据样本集{x_i,y_j}，其损失函数为：

其中，y_j∈{0,1}为x_i的标签；

设训练数据集为

图像样本输入得到对应的弱监督输出所以图像样本在训练数据集M上的结构化风险函数为：

其中，W和b分别表示网络中所有的权重和偏置向量；

为正则化项，用于防止图像修复模型训练时过拟合；λ是为正数的超参数，用于控制权重，λ越大，W越接近“0”，n表示第n个图像样本，N表示训练数据集的样本总数，l表示层数，m表示神经元的数量；

则在梯度下降算法的迭代运算中，第l层的权重W^(l)和偏置向量b^(l)更新方式为：

其中α为学习率，其中最佳学习率α为0.001。

9.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤3中，生成式对抗网络模型的生成器对抗损失为：

L_G＝-E_x～p(x)[log(1-D(z|x))]-E_x～G(x)[logD(z|y)] (13)

其中，D(z|y)表示在真实图像数据输出的条件下随机噪声的判别函数分布；

使用1-范数距离来衡量生成器生成图像的未破损区域和真实图像数据中未破损区域的差别：

内容损失为：

其中，I表示图像损失区域，像素点的互信息；

感知损失为：

其中，C_jH_jW_j为图像通道上的归一化处理，φ_j为真实图像数据中的像素点；

重建损失为：

L_pixel＝||x_i-G(x_i)||₂ (16)

***损失函数为：

L＝L_G+L_ij+L_percep+L_pixel (17)。

10.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，所述步骤4的具体步骤如下：

步骤4.1，将步骤3得到的训练后图像输入到编码器中，并在生成器中输入随机噪声z；

步骤4.2，生成器G(z)根据输入的随机噪声z和步骤1中真实图像数据的的相关信息生成图像，在图像生成过程中U-Net生成网络根据***损失函数生成修复好的高分辨率图像；

步骤4.3，将输入到编码器上的真实图像数据映射到高斯分布上，得到真实图像映射关系，同时生成器生成步骤4.2中修复好的高分辨率图像的映射关系，再将真实图像映射关系和修复好的高分辨率图像的映射关系输到VDB判别网络中，VDB网络将修复好的高分辨率图像信息瓶颈作用于判别器进行判断；

步骤4.4，判别器输出修复好的高分辨率图像，若修复后的高分辨率图像不满足修复好的高分辨率图像的映射关系，则返回步骤4.2，否则，输出修复好的高分辨率图像，高分辨率图像修复的迭代次数根据修复好的高分辨率图像的视觉效果进行设置。

Images