CN116029905A - 一种基于渐进差值互补的人脸超分辨率重构方法及*** - Google Patents

Abstract

本发明公开了一种基于渐进差值互补的人脸超分辨率重构方法及***，该方法包括：采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；对所述低分辨率人脸图像进行预处理；将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像，实现更优重构效果的同时，降低重构网络的复杂度、参数量和计算量。

Description

一种基于渐进差值互补的人脸超分辨率重构方法及***

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于渐进差值互补的人脸超分辨率重构方法及***。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

图像超分辨率重构是指将输入的低分辨率图像，也即由于像素数量相对较少而视觉效果较差的图像，重新构建成像素数量相对较多而有着良好视觉效果的清晰图像。人脸超分辨率重构是图像超分辨率重构的子任务，其与普通的图像超分辨率重构任务有所相似却又侧重不同，顾名思义，人脸超分辨率的重点在于人脸五官以及人脸轮廓的重建，因而全局与局部细节有着不同程度的重建。人脸超分辨率重构应用广泛，由于公共监控平台设备性能受限，采集到的人脸往往是退化严重的低分辨率人脸图像，因此需要对其进行预处理操作，也就是对其进行人脸超分辨率重构，经过重构的人脸图像分辨率大幅提高，五官清晰可辨，这对后续的人脸解析、人脸对齐以及人脸识别等任务都起到了极大的作用。早期的人脸超分辨率重构的传统方法主要有两种：基于图像插值的方法，例如双三次插值法、最邻近插值法等，但是这一方法重建出的图像存在细节丢失的问题；基于图像重建的方法，例如迭代反投影法和最大后验法，这一方法的算法模型小且计算速度快，但是重建性能有所限制。随着深度学习时代的到来，卷积神经网络在超分辨率重构上的应用取得突破性进展后，图像超分辨率重构领域掀起了神经网络的热潮。

发明人发现，图像超分辨率重构与人脸超分辨率重构除了上述所阐述的重构重点不同以外，重构对象的尺寸也有所差别。图像超分辨率往往是对尺寸较大的图片上进行重构，例如对128×128的图像进行2倍、3倍或4倍的放大；而人脸超分辨率重构的重构对象的尺寸则小得多，如近年来，目前的研究集中于对16×16的超小人脸进行8倍重构。也就是说，考虑到低分辨率人脸图像包含的信息极少，高频信息匮乏，现有的图像超分辨率重构方法无法适用于人脸超分辨率重构，这需要更深的网络去学习输入的人脸图像的特征信息，进而去构建效果更好的高分辨率图像，此外，使用深度网络也将会导致更多的参数量和计算量，进而导致重构速率较低。

发明内容

为解决上述现有技术的不足，本发明提供了一种基于渐进差值互补的人脸超分辨率重构方法及***，对低分辨率人脸图像进行两阶段处理，通过第一阶段的粗处理构建输入至第二阶段的高低分辨率特征图像组，通过第二阶段的差值互补从高低分辨率特征图像组中提取到更多的特征信息，将图像的浅层特征和高层特征信息融合在一起，避免图像信息的浪费，在降低重构网络复杂度、参数量和计算量的同时，实现更优的重构效果。

第一方面，本公开提供了一种基于渐进差值互补的人脸超分辨率重构方法。

一种基于渐进差值互补的人脸超分辨率重构方法，包括：

采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

对所述低分辨率人脸图像进行预处理；

将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

进一步的技术方案，所述预处理的过程包括首先对低分辨率人脸图像进行裁剪操作，随后再随机旋转90°、180°、270°和水平翻转以进行数据增强。

进一步的技术方案，在粗处理阶段，低分辨率人脸图像输入重构网络的粗处理模块，所述粗处理模块包括两个分支，分别为多重卷积分支和亚像素卷积分支；

所述亚像素卷积分支由1个1×1卷积、激活函数和亚像素卷积层构成，用于基于输入的低分辨率人脸图像输出低分辨率特征图像；所述多重卷积分支由1个1×1卷积、亚像素卷积层、n个3×3卷积和1个1×1卷积串联构成，用于基于输入的低分辨率人脸图像输出高分辨率特征图像。

进一步的技术方案，在差值互补阶段，高低分辨率特征图像组输入重构网络的差值互补模块；

所述差值互补模块中，首先通过多核残差特征提取模块分别对高低分辨率特征图像组进行特征信息提取，对二者提取的特征信息作差，并将差值结果分别加到提取的特征图上，输出更新后的高低分辨率特征图像组；然后将输出的高低分辨率特征图像组作为输入，再重复进行下一差值互补操作，循环重复m次差值互补操作后，输出最终的高分辨率特征图像。

进一步的技术方案，所述多核残差特征提取模块包括并联的3×3卷积、5×5卷积和7×7卷积，用于分别对输入的图像提取特征信息，同时每一卷积层均采用残差结构；将提取的不同感受野的特征信息与输入的原特征图像级联后输入至1个3×3卷积，得到原特征图像的特征信息。

进一步的技术方案，所述渐进差值互补人脸超分辨率重构网络的训练过程包括：

获取监控视频，从监控视频中提取行人的低分辨率人脸图像，同时获取行人的高分辨率人脸图像，将相互对应的高低分辨率人脸图像作为训练样本集；

对训练样本集中的高低分辨率人脸图像分别进行预处理；

利用预处理后的训练样本集训练渐进差值互补人脸超分辨率重构网络；所述渐进差值互补人脸超分辨率重构网络包括两阶段，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像，将该图像与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像，基于该超分辨率人脸重构图像和训练样本集中的高分辨率人脸图像训练该网络。

进一步的技术方案，通过L1损失函数计算超分辨率人脸重构图像和高分辨率人脸图像之间的像素损失，以此优化重构网络；所述损失函数计算公式为：

其中，L^Pixel表示网络总损失，I^HR和I^SR分别表示高分辨率人脸图像和超分辨率人脸重构图像。

第二方面，本公开提供了一种基于渐进差值互补的人脸超分辨率重构***。

一种基于渐进差值互补的人脸超分辨率重构***，包括：

人脸图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

图像处理模块，用于对所述低分辨率人脸图像进行预处理；

图像特征提取模块，用于将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

图像重构模块，用于将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

以上一个或多个技术方案存在以下有益效果：

1、本发明提供了一种基于渐进差值互补的人脸超分辨率重构方法及***，利用渐进差值互补人脸超分辨重构网络解决监控视频中的人脸超分辨率重构效果差、效率低的问题，对低分辨率人脸图像进行两阶段处理，通过第一阶段中粗处理模块的多重卷积核亚像素卷积，构建输入至第二阶段的高低分辨率特征图像组，初步提取了图像特征，为第二阶段提供了先验信息，通过第二阶段的差值互补从高低分辨率特征图像组中提取到更多的特征信息，将图像的浅层特征和高层特征信息融合在一起，避免图像信息的浪费，在降低重构网络复杂度、参数量和计算量的同时，实现更优的重构效果。

2、本发明中，在第二阶段的多核残差特征提取模块中，使用不同尺寸的卷积核以并列的方式进行特征提取，能够获取更丰富的感受野信息，避免图像信息的浪费，实现构建效果更好的高分辨率图像。

3、本发明所提出的基于渐进差值互补的人脸超分辨率重构方法可以有效为人脸识别等提供帮助，能够解决为了恢复更好的重建质量而使用深层网络所导致的网络复杂度高、重构速率低、计算量大等问题。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中基于渐进差值互补的人脸超分辨率重构方法的流程图；

图2为本发明实施例中基于渐进差值互补的人脸超分辨率重构方法的示意图；

图3为本发明实施例中粗处理模块的示意图；

图4为本发明实施例中多核残差特征提取模块的示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释：

特征图：具有宽度W、高度H、通道数C三维信息的特征图；

亚像素卷积：即像素重组，主要功能是对低分辨的特征图，通过卷积和多通道间的重组，得到高分辨率的特征图。

实施例一

本实施例提供了一种基于渐进差值互补的人脸超分辨率重构方法，应用于人脸识别、人脸解析等领域中，包括：

采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

对所述低分辨率人脸图像进行预处理；

将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

其中，上述渐进差值互补人脸超分辨率重构网络的训练过程如图1所示，包括以下步骤：

步骤S1、获取监控视频，从监控视频中提取行人的低分辨率人脸图像，同时获取行人的高分辨率人脸图像，将相互对应的高低分辨率人脸图像作为训练样本集；

步骤S2、对训练样本集中的高低分辨率人脸图像分别进行预处理；

步骤S3、利用预处理后的训练样本集训练渐进差值互补人脸超分辨率重构网络；所述渐进差值互补人脸超分辨率重构网络包括两阶段，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像，将该图像与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像，基于该超分辨率人脸重构图像和高分辨率人脸图像训练该网络。

在本实施例中，上述步骤S1中，采集并获取监控视频，并从监控视频中提取行人的低分辨率人脸图像，考虑到监控视频是由一系列快速变化的帧图像形成的，同一行人可能出现在数十帧图像中，因此，采用过线采集的方法，当行人经过视频中划定的线时采集其低分辨率图像，通过剪裁操作获取低分辨率人脸图像。所获取的图像大小为任意尺度，对该获取图像命名，以此形成低分辨率人脸图像的训练样本集。进一步的，也可将所获取的图像命名后按照9:1的比例将其划分为低分辨率人脸图像的训练样本集和测试样本集，以便于后续对训练完成的网络的测试。

同时，获取行人的高分辨率人脸图像，按照相对应的低分辨率人脸图像命名，形成高分辨率人脸图像的训练样本集，即将相互对应的高低分辨率人脸图像以相同名字命名后，分别存入高低分辨率人脸图像训练集，以此作为训练样本集。进一步的，也可将所获取的图像命名后按照9:1的比例将其划分为高分辨率人脸图像的训练样本集和测试样本集，以便于后续对训练完成的网络的测试。

通过上述步骤获取高低分辨率人脸图像的训练样本集，利用训练样本集中的低分辨率人脸图像输入所构建的重构网络中进行重构，利用训练样本集中的高分辨率人脸图像计算其与重构后的超分辨率人脸图像的像素损失值，以此对重构网络中各层卷积层参数进行优化，训练得到最优的重构网络相关参数。

上述步骤S2中，对训练样本集中的高低分辨率人脸图像分别进行预处理，该预处理包括：

步骤S2.1、分别统一高低分辨率人脸图像的大小；利用双三次插值法将低分辨率人脸图像统一大小为16×16，同样利用双三次插值法将高分辨率人脸图像统一大小为128×128；

步骤S2.2、对低分辨率人脸图像进行裁剪操作，随后随机旋转90°、180°、270°和水平翻转以进行数据增强，扩大训练样本集数据。

上述步骤S3中，利用预处理后的训练样本集训练渐进差值互补人脸超分辨率重构网络。

在本实施例中，所述渐进差值互补人脸超分辨率重构网络主要包括两阶段，第一阶段为粗处理阶段，第二阶段为差值互补阶段。具体的，如图2所示，16×16的低分辨率人脸图像输入该网络后，第一阶段中，通过粗处理模块的多重卷积和亚像素卷积分别进行图像处理，得到高低分辨率特征图像组；然后，第二阶段中，通过差值互补模块中的多核残差特征提取模块分别对高低分辨率特征图像组进行特征信息提取，并对提取的特征信息作差，再通过差值互补输出最终的高分辨率特征图像；最后，将输出最终的高分辨率特征图像与低分辨率人脸图像通过双三次插值上采样至128×128的图像进行逐像素相加，输出超分辨率人脸重构图像，基于该超分辨率人脸重构图像和高分辨率人脸图像训练该重构网络。

在粗处理阶段，16×16的低分辨率人脸图像输入粗处理模块，该粗处理模块如图3所示，包括两个分支，分别为多重卷积分支和亚像素卷积分支。该亚像素卷积分支由1个1×1卷积、激活函数和亚像素卷积层构成，用于基于输入的低分辨率人脸图像输出低分辨率特征图像；该多重卷积分支由1个1×1卷积、亚像素卷积层、n个3×3卷积和1个1×1卷积串联构成，用于基于输入的低分辨率人脸图像输出高分辨率特征图像。

在差值互补阶段，高低分辨率特征图像组输入差值互补模块，首先通过多核残差特征提取模块(FE)分别对高低分辨率特征图像组进行特征信息提取，对二者提取的特征信息作差，并将差值结果分别加到提取的特征图上，输出更新后的高低分辨率特征图像组，然后将输出的高低分辨率特征图像组作为输入，再重复进行下一差值互补操作，循环重复m次差值互补操作后，输出最终的高分辨率特征图像。

需要指出的是，在该阶段中所有特征图的尺寸均固定为128×128×48。由于经过粗处理阶段后得到的高分辨率特征图像的尺寸为128×128×48，低分辨率图尺寸为32×32×48，而FE操作并不会改变图像的尺寸，若不进行尺寸的统一则无法进行后续的差值互补操作，因此，本实施例中，在第一个提取低分辨率特征图像特征信息的多核残差特征提取模块FE后，增加一个反卷积操作，以此使高低分辨率特征图像组的尺寸统一。后续由于高低分辨率特征图像组的尺寸已经统一，因此也不再需要设置反卷积操作。

上述多核残差特征提取模块如图4所示，包括并联的3×3卷积、5×5卷积和7×7卷积，用于分别对输入的图像提取特征信息，在此基础上，上述每一卷积层均采用残差结构，用以进一步提升网络性能，而多核的使用能够获取不同的感受野信息，最后，提取的不同感受野的特征信息与输入的原特征图像级联后输入至1个3×3卷积，得到原特征图像的特征信息。此外，在每一卷积层后增加ReLU层，用于增加非线性表达能力。需要指出的是，在该阶段中所有特征图的尺寸均固定为128×128×48。

最后，将输出最终的高分辨率特征图像与低分辨率人脸图像通过双三次插值上采样至128×128的图像进行逐像素相加，输出超分辨率人脸重构图像，基于该超分辨率人脸重构图像和高分辨率人脸图像训练该重构网络，具体的，通过L1损失函数计算超分辨率人脸重构图像和高分辨率人脸图像之间的像素损失，以此来优化该重构网络，上述损失函数计算公式为：

其中，L^Pixel表示网络总损失，I^HR和I^SR分别表示高分辨率人脸图像和超分辨率人脸重构图像。

在完成上述渐进差值互补人脸超分辨率重构网络的训练后，提取待检测的监控视频中行人的低分辨率人脸图像，对该低分辨率人脸图像进行预处理，包括首先对低分辨率人脸图像进行裁剪操作，随后再随机旋转90°、180°、270°和水平翻转以进行数据增强等，将预处理后的低分辨率图像输入至训练完成的渐进差值互补人脸超分辨率重构网络中，最终输出超分辨率人脸重构图像。

作为另一种实施方式，可直接选用测试样本集中的低分辨率人脸图像输入至训练完成的渐进差值互补人脸超分辨率重构网络中进行重构，得到超分辨率人脸重构图像。

本实施例利用渐进差值互补人脸超分辨重构网络解决监控视频中的人脸超分辨率重构效果差、效率低的问题，从监控视频中提取低分辨率人脸图像，对低分辨率人脸图像统一缩放并命名，并将低分辨率人脸图像输入至重构网络中进行两阶段的重构，其中，在第一阶段中通过粗处理模块的多重卷积和亚像素卷积来构建第二阶段所需的高低分辨率特征图像组，初步提取了图像特征，为第二阶段提供先验信息；在第二阶段中通过差值互补的方法将图像的浅层特征与高层特征信息融合在一起，避免了图像信息的浪费，并在第二阶段提出的多核残差特征提取模块中使用不同尺寸的卷积核以并列的方式进行特征提取，可以获取更丰富的感受野信息。

本实施例所提出的基于渐进差值互补的人脸超分辨率重构方法可以有效为人脸识别等提供帮助，能够解决为了恢复更好的重建质量而使用深层网络所导致的网络复杂度高、重构速率低、计算量大等问题。

实施例二

本实施例提供了一种基于渐进差值互补的人脸超分辨率重构***，包括：

人脸图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

图像处理模块，用于对所述低分辨率人脸图像进行预处理；

图像特征提取模块，用于将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

图像重构模块，用于将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

实施例三

本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于渐进差值互补的人脸超分辨率重构方法中的步骤。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于渐进差值互补的人脸超分辨率重构方法中的步骤。

以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于渐进差值互补的人脸超分辨率重构方法，其特征是，包括：

采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

对所述低分辨率人脸图像进行预处理；

将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

2.如权利要求1所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，所述预处理的过程包括首先对低分辨率人脸图像进行裁剪操作，随后再随机旋转90°、180°、270°和水平翻转以进行数据增强。

3.如权利要求1所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，在粗处理阶段，低分辨率人脸图像输入重构网络的粗处理模块，所述粗处理模块包括两个分支，分别为多重卷积分支和亚像素卷积分支；

所述亚像素卷积分支由1个1×1卷积、激活函数和亚像素卷积层构成，用于基于输入的低分辨率人脸图像输出低分辨率特征图像；所述多重卷积分支由1个1×1卷积、亚像素卷积层、n个3×3卷积和1个1×1卷积串联构成，用于基于输入的低分辨率人脸图像输出高分辨率特征图像。

4.如权利要求1所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，在差值互补阶段，高低分辨率特征图像组输入重构网络的差值互补模块；

所述差值互补模块中，首先通过多核残差特征提取模块分别对高低分辨率特征图像组进行特征信息提取，对二者提取的特征信息作差，并将差值结果分别加到提取的特征图上，输出更新后的高低分辨率特征图像组；然后将输出的高低分辨率特征图像组作为输入，再重复进行下一差值互补操作，循环重复m次差值互补操作后，输出最终的高分辨率特征图像。

5.如权利要求4所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，所述多核残差特征提取模块包括并联的3×3卷积、5×5卷积和7×7卷积，用于分别对输入的图像提取特征信息，同时每一卷积层均采用残差结构；将提取的不同感受野的特征信息与输入的原特征图像级联后输入至1个3×3卷积，得到原特征图像的特征信息。

6.如权利要求1所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，所述渐进差值互补人脸超分辨率重构网络的训练过程包括：

获取监控视频，从监控视频中提取行人的低分辨率人脸图像，同时获取行人的高分辨率人脸图像，将相互对应的高低分辨率人脸图像作为训练样本集；

对训练样本集中的高低分辨率人脸图像分别进行预处理；

利用预处理后的训练样本集训练渐进差值互补人脸超分辨率重构网络；所述渐进差值互补人脸超分辨率重构网络包括两阶段，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像，将该图像与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像，基于该超分辨率人脸重构图像和训练样本集中的高分辨率人脸图像训练该网络。

7.如权利要求6所述的基于渐进差值互补的人脸超分辨率重构方法，其特征是，通过L1损失函数计算超分辨率人脸重构图像和高分辨率人脸图像之间的像素损失，以此优化重构网络；所述损失函数计算公式为：

其中，L^Pixel表示网络总损失，I^HR和I^SR分别表示高分辨率人脸图像和超分辨率人脸重构图像。

8.一种基于渐进差值互补的人脸超分辨率重构***，其特征是，包括：

人脸图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；

图像处理模块，用于对所述低分辨率人脸图像进行预处理；

图像特征提取模块，用于将预处理后的低分辨率图像输入至渐进差值互补人脸超分辨率重构网络中，低分辨率人脸图像输入网络后，通过第一阶段的粗处理输出高低分辨率特征图像组，高低分辨率特征图像组再通过第二阶段的差值互补输出最终的高分辨率特征图像；

图像重构模块，用于将输出的最终高分辨率特征图像进行超分辨率重建，将其与低分辨率人脸图像通过双三次插值上采样输出的图像进行逐像素相加，输出超分辨率人脸重构图像。

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7中任一项所述的一种基于渐进差值互补的人脸超分辨率重构方法的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-7中任一项所述的一种基于渐进差值互补的人脸超分辨率重构方法的步骤。

Images