CN108230269A - 基于深度残差网络的去网格方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的去网格方法、装置、设备及存储介质，该去网格方法采用基于深度残差的全卷积网络作为基础网络，其包括：采用训练图像集训练基础网络，得到训练好的基础网络；利用训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。通过采用基于深度残差的全卷积网络作为基础网络，扩大了卷积的感受野，从而在去网格方法中引入多尺度信息(图像更多的高频及低频信息)来有效改善深度学习去网格算法的效果，避免了现有的去网格算法计算量大导致处理效率低或者信息尺度受限导致去网格效果有待改善的矛盾，增强了深度学习算法在图像去网格领域中的应用，具有广泛推广应用价值。

Description

基于深度残差网络的去网格方法、装置、设备及存储介质

技术领域

本发明涉及人脸识别领域，特别地，涉及一种基于深度残差网络的去网格方法、装置、设备及存储介质。

背景技术

随着深度学习的发展，人脸识别在各种应用场景落地推广越来越广泛，特别是金融支付行业，人脸识别作为一种无卡化去密码化的应用，以其简单快捷，配合度小越来越得到各银行的青睐。但是在某些应用场景，为了保护用户的隐私，银行拿到的官方网络证件照加了网格水印，这会严重影响人脸识别的效果，于是各种去网格算法应运而生。其中除了传统的图像处理思路的去网格算法外，基于深度学习的去网格算法也有出现。但是这些算法一般基于之前的分类网络进行改进，如CN107424131A公开了一种基于深度学习的图像去网格方法及装置，通过网格模板在线构造网格图像，生成与网格模板相对应的多类别网格数据，并将多类别网格数据作为训练数据分别训练分类网络和全卷积网络；使用训练好的分类网络对待去除网格图像进行分类处理，并根据分类处理的结果，利用训练好的全卷积网络对分类好的待去除网格图像进行去网格处理。由于去网格算法会用到图像当前像素相隔很远的一些像素的信息冗余，现有的全卷积网络因其感受野较小，导致信息尺度受限，无法全面采样图像的低频信息，导致其去网格效果有待改善，此外，若采集更多图像信息，则会导致其计算量大，影响处理效率。

发明内容

本发明提供了一种基于深度残差网络的去网格方法、装置、设备及存储介质，以解决现有的去网格算法计算量大导致处理效率低或者信息尺度受限导致去网格效果有待改善的技术问题。

本发明采用的技术方案如下：

根据本发明的一个方面，提供一种基于深度残差网络的去网格方法，本发明去网格方法采用基于深度残差的全卷积网络作为基础网络，本发明去网格方法包括：

采用训练图像集训练基础网络，得到训练好的基础网络；

利用训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

进一步地，基础网络为在全卷积网络的基础上添加扩展卷积的元网络，基础网络包括一系列的元网络，每相邻两个元网络之间经残差做一次直连。

进一步地，元网络包括第一网络架构、第二网络架构，任一元网络为前述两种网络结构之一；

第一网络架构包括依次连接的第一卷积层、第一relu非线性层、第二卷积层、第二relu非线性层；

第二网络架构包括依次连接的混合卷积层、用于将混合卷积层的输出关联的concate层及第三relu非线性层，其中，混合卷积层由第三卷积层和第四卷积层按一定的比例组成。

进一步地，第一卷积层为I＝2的2-dilated 3x3卷积，第二卷积层为3x3卷积层，第三卷积层为I＝2的2-dilated 3x3卷积，第四卷积层为3x3卷积层，第三卷积层与第四卷积层的比例为dilate_ratio，dilate_ratio的取值范围为[0,0.5]。

进一步地，在输入待去除网格的图像之前，本发明去网格方法还包括：

对待去除网格的图像进行预处理，使得预处理后的图像尺寸符合预设尺寸要求。

进一步地，采用训练图像集训练基础网络，得到训练好的基础网络的步骤中引入惩罚函数，惩罚函数为网络重构得到的预设尺寸的网格图像与对应的符合预设尺寸要求的原始图像上每个像素相减得到的欧拉距离乘上原始图像上人脸区域对应的MASK矩阵。

根据本发明的另一方面，还提供一种基于深度残差网络的去网格装置，本发明去网格装置包括：

基础网络单元，基础网络单元采用基于深度残差的全卷积网络作为基础网络；

训练单元，用于采用训练图像集训练基础网络，得到训练好的基础网络；

去网格单元，用于利用训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

进一步地，基础网络为在全卷积网络的基础上添加扩展卷积的元网络，基础网络包括一系列的元网络，每相邻两个元网络之间经残差做一次直连。

根据本发明的另一方面，还提供一种基于深度残差网络的图像去网格设备，包括处理器，处理器用于运行程序，程序运行时执行本发明的基于深度残差网络的去网格方法。

根据本发明的另一方面，还提供一种存储介质，存储介质包括存储的程序，程序运行时控制存储介质所在的设备执行本发明的基于深度残差网络的去网格方法。

本发明具有以下有益效果：

本发明基于深度残差网络的去网格方法、装置、设备及存储介质，通过采用基于深度残差的全卷积网络作为基础网络，扩大了卷积的感受野，从而在去网格方法中引入多尺度信息(图像更多的高频及低频信息)来有效改善深度学习去网格算法的效果，避免了现有的去网格算法计算量大导致处理效率低或者信息尺度受限导致去网格效果有待改善的矛盾，增强了深度学习算法在图像去网格领域中的应用，具有广泛推广应用价值。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例基于深度残差网络的去网格方法的步骤示意图；

图2是本发明优选实施例中去网格的基础网络的网络结构示意图；

图3是本发明优选实施例中元网络对应的第一网络结构的结构示意图；

图4是本发明优选实施例中元网络对应的第二网络结构的结构示意图；

图5是传统的3x3卷积对应的感受野示意图；

图6是本发明优选实施例中I＝2的2-dilated 3x3卷积对应的感受野示意图；

图7是本发明优选实施例中原始图像的示意图；

图8是图7所示图像经过预处理后的示意图；

图9是图像中人脸区域对应的MASK矩阵示意图；

图10是本发明优选实施例基于深度残差网络的去网格装置的原理方框示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明的优选实施例提供了一种基于深度残差网络的去网格方法，本实施例去网格方法采用基于深度残差的全卷积网络作为基础网络，参见图1，本实施例去网格方法包括：

步骤S100、采用训练图像集训练基础网络，得到训练好的基础网络；

步骤S200、利用训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

本实施例通过采用基于深度残差的全卷积网络作为基础网络，扩大了卷积的感受野，从而在去网格方法中引入多尺度信息(图像更多的高频及低频信息)来有效改善深度学习去网格算法的效果，避免了现有的去网格算法计算量大导致处理效率低或者信息尺度受限导致去网格效果有待改善的矛盾，增强了深度学习算法在图像去网格领域中的应用，具有广泛推广应用价值。

本实施例中，基础网络为在全卷积网络的基础上添加扩展卷积(又称卷积核膨胀)的元网络，从而扩大卷积的感受野，引入多尺度信息来改善深度学习去网格算法的效果。参见图2，本实施例中，基础网络包括一系列的mata-network元网络，每相邻两个元网络之间经residual残差做一次short-cut直连。

本实施例中，元网络包括第一网络架构、第二网络架构，任一元网络为前述两种网络结构之一。

本实施例中，第一网络架构包括依次连接的第一卷积层、第一relu非线性层、第二卷积层、第二relu非线性层。优选地，参见图3，本实施例中，第一卷积层为I＝2的2-dilated3x3卷积，第二卷积层为3x3卷积层，输入信号先经过一层I＝2的2-dilated 3x3卷积，每个卷积的感受野为7x7，然后经过一层relu非线性层，一层常规的3x3卷积层(感受野为3x3)，最后经过一层relu非线性层输出。本实施例中，元网络为最小网络结构单元，其利于在实现一个网络结构的时候，通过简单的改变元网络的数目来改变网络的深度及复杂度，比如***net里面的inception layer。

本实施例中，第二网络架构包括依次连接的混合卷积层、用于将混合卷积层的输出关联的concate层及第三relu非线性层，其中，混合卷积层由第三卷积层和第四卷积层按一定的比例组成。参见图4，本实施例中，第三卷积层为I＝2的2-dilated 3x3卷积，第四卷积层为3x3卷积层，第三卷积层与第四卷积层的比例为dilate_ratio，dilate_ratio的取值范围为[0,0.5]。优选地，网络越往深层，dilate_ratio的取值越小。本实施例中，dilate_ratio即第三卷积层输出的feature map个数与第四卷积层输出feature map个数比。优选地，在较浅层使用meta-a(第一网络架构)，这样整体深层的网络的感受野更大，然后深层的网络使用meta-b(第二网络架构)，且越深层使用的dilate conv3x3比例越小，其利于增强去网格效果。

本实施例去网格方法，通过使用扩张卷积来加大卷积的感受野，引入多尺度信息来改善深度学习去网格算法的效果。图5示出了传统的3x3卷积对应的感受野示意图，图6示出了本发明优选实施例中I＝2的2-dilated 3x3卷积对应的感受野，由图5及图6比对可得知，进行dilate之后的3x3在不增加计算量的前提下，卷积核的感受野由原来的3x3变成了7x7。

优选地，在输入待去除网格的图像之前，本实施例去网格方法还包括：

对待去除网格的图像进行预处理，使得预处理后的图像尺寸符合预设尺寸要求。

图7示出了本发明优选实施例中原始图像的示意图；图8是图7所示图像经过预处理后的示意图。

本实施例使用基于深度残差网络的全卷积网络来作为基础网络，网络的输入图像大小为224x224。由于网格证件照的分辨率一般为178x220或者96x118。在添加网格的过程中，同时在网格的周围由于图片压缩等原因产生很强的振铃效应。本实施例去网格的过程，首先采用补黑边的方式将图像大小扩张到224x224(见图8)，从而统一了网络的输入大小。预处理后的图像中对应人脸位置标记为MASK矩阵，参见图9所示的白色区域。

优选地，本实施例中，采用训练图像集训练基础网络，得到训练好的基础网络的步骤中引入惩罚函数(Penalty function)，惩罚函数为网络重构得到的预设尺寸的网格图像与对应的符合预设尺寸要求的原始图像上每个像素相减得到的欧拉距离L2loss乘上原始图像上人脸区域对应的MASK矩阵。本实施例惩罚函数即为步骤S100中训练的优化目标函数。

通过对本实施例去网格方法与传统的fcn(全卷积网络，全部卷积为3x3)去网格方法进行比较，采用测试图像与重构图像的PSNR峰值信噪比作为评判标准，具体见下表：

由上表可以得知，本实施例去网格方法的PSNR最高，去网格效果最佳。去网格评判效果评判标准主要是主观的肉眼看；另外就是本实施例采用的PSNR，本实例得到的去网格图像与原始的无网格证件照的PSNR较baseline的方法提高了27-24＝3dB。

根据本发明的另一方面，还提供一种基于深度残差网络的去网格装置，参见图10，本实施例去网格装置包括：

基础网络单元100，基础网络单元采用基于深度残差的全卷积网络作为基础网络；

训练单元200，用于采用训练图像集训练基础网络，得到训练好的基础网络；

去网格单元300，用于利用训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

优选地，本实施例基础网络为在全卷积网络的基础上添加扩展卷积的元网络，基础网络包括一系列的元网络，每相邻两个元网络之间经残差做一次直连。

需要说明的是，本实施例基于深度残差网络的去网格装置用于执行上述实施例的去网格方法，具体实现过程参照上述实施例方法的描述。

根据本发明的另一方面，还提供一种基于深度残差网络的图像去网格设备，包括处理器，处理器用于运行程序，程序运行时执行本发明实施例的基于深度残差网络的去网格方法。

根据本发明的另一方面，还提供一种存储介质，存储介质包括存储的程序，程序运行时控制存储介质所在的设备执行本发明实施例的基于深度残差网络的去网格方法。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)，磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度残差网络的去网格方法，其特征在于，所述去网格方法采用基于深度残差的全卷积网络作为基础网络，所述去网格方法包括：

采用训练图像集训练所述基础网络，得到训练好的基础网络；

利用所述训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

2.根据权利要求1所述的基于深度残差网络的去网格方法，其特征在于，

所述基础网络为在全卷积网络的基础上添加扩展卷积的元网络，所述基础网络包括一系列的元网络，每相邻两个元网络之间经残差做一次直连。

3.根据权利要求2所述的基于深度残差网络的去网格方法，其特征在于，

所述元网络包括第一网络架构、第二网络架构，任一所述元网络为前述两种网络结构之一；

所述第一网络架构包括依次连接的第一卷积层、第一relu非线性层、第二卷积层、第二relu非线性层；

所述第二网络架构包括依次连接的混合卷积层、用于将所述混合卷积层的输出关联的concate层及第三relu非线性层，其中，所述混合卷积层由第三卷积层和第四卷积层按一定的比例组成。

4.根据权利要求3所述的基于深度残差网络的去网格方法，其特征在于，

所述第一卷积层为I＝2的2-dilated 3x3卷积，所述第二卷积层为3x3卷积层，所述第三卷积层为I＝2的2-dilated 3x3卷积，所述第四卷积层为3x3卷积层，所述第三卷积层与所述第四卷积层的比例为dilate_ratio，dilate_ratio的取值范围为[0,0.5]。

5.根据权利要求1所述的基于深度残差网络的去网格方法，其特征在于，

在输入待去除网格的图像之前，所述去网格方法还包括：

对待去除网格的图像进行预处理，使得预处理后的图像尺寸符合预设尺寸要求。

6.根据权利要求1所述的基于深度残差网络的去网格方法，其特征在于，

所述采用训练图像集训练所述基础网络，得到训练好的基础网络的步骤中引入惩罚函数，所述惩罚函数为网络重构得到的预设尺寸的网格图像与对应的符合所述预设尺寸要求的原始图像上每个像素相减得到的欧拉距离乘上所述原始图像上人脸区域对应的MASK矩阵。

7.一种基于深度残差网络的去网格装置，其特征在于，包括：

基础网络单元，所述基础网络单元采用基于深度残差的全卷积网络作为基础网络；

训练单元，用于采用训练图像集训练所述基础网络，得到训练好的基础网络；

去网格单元，用于利用所述训练好的基础网络对待去除网格的图像进行去网格处理，得到去网格的图像。

8.根据权利要求7所述的基于深度残差网络的去网格装置，其特征在于，

所述基础网络为在全卷积网络的基础上添加扩展卷积的元网络，所述基础网络包括一系列的元网络，每相邻两个元网络之间经残差做一次直连。

9.一种基于深度残差网络的去网格设备，包括处理器，所述处理器用于运行程序，其特征在于，所述程序运行时执行如权利要求1至6任一所述的基于深度残差网络的去网格方法。

10.一种存储介质，所述存储介质包括存储的程序，其特征在于，所述程序运行时控制所述存储介质所在的设备执行如权利要求1至6任一所述的基于深度残差网络的去网格方法。