CN110084119A

CN110084119A - 基于深度学习的低分辨率人脸图像识别方法

Info

Publication number: CN110084119A
Application number: CN201910231501.3A
Authority: CN
Inventors: 汪从玲
Original assignee: Anhui Eris Intelligent Technology Co Ltd
Current assignee: ANHUI KEY INFORMATION TECHNOLOGY Co.,Ltd.
Priority date: 2019-03-26
Filing date: 2019-03-26
Publication date: 2019-08-02

Abstract

本发明公开了一种基于深度学习的低分辨率人脸图像识别方法，包括以下步骤：S1：获取高分辨率人脸图像，与下采样得到对应的低分辨率人脸图像生成训练集；S2：建立人脸识别网络，构建一个生成对抗网络，并嵌入所述人脸识别网络中实现超分辨；S3：利用预处理后的训练集训练所述人脸识别网络，优化参数得到能够对低分辨率图像准确识别的深度神经网络模型；S4：将低分辨率人脸图像输入所述深度神经网络模型进行分类，得到识别结果。本发明提出一种端到端的低分辨率人脸识别模型，结合高层图像识别的任务在特征层进行特征的超分辨，只需输入低分辨率图像即可得到图像识别结果，能够有效地提高对低分辨率人脸图像的识别精度。

Description

基于深度学习的低分辨率人脸图像识别方法

技术领域

本发明涉及图像识别技术领域，特别是涉及一种基于深度学习的低分辨率人脸图像识别方法。

背景技术

超分辨率是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。超分辨率可分为两类：从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的超分辨率(SR)，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution(SISR)，神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。几个较新的基于深度学习的SR方法，包括SRCN、DRCN、ESPCN、VESPCN和SRGAN。

对抗生成网络GAN是Generative Adversarial Network的缩写。Goodfellow等人提出使用生成对抗网络生成逼真的图像。GAN包括生成器和判别器，生成器获取数据分布。生成器D估计样本来自训练数据而不是生成器生成的概率，最先提出的GAN不稳定，Arjovsky提出WGAN，使得GAN的稳定性得到提升，GAN在很多领域得到应用，例如图像超分辨，无监督的表示学习，机器翻译，生成对话等。

图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中的基本问题，也是图像检测、图像分割、物体跟踪、等高层视觉任务的基础。基于深度学习的人脸识别方法是图像分类的一个方面，在大量研究人员的研究下取得了***的研究成果，自动人脸识别技术已经在某些限定条件下得到了成功的应用。

目前的人脸识别***对于高分辨率的人脸识别准确率很高，使用最新的VGG，RESNET等CNN模型，能达到令人满意的效果，但是当面对低分辨率人脸的时候，识别准确率显著下降。目前比较普遍的方法是采取先对低分辨率图像进行超分辨，再对超分辨过的图片进行图像分类。但这仍然未能达到很好的效果，因为图像超分辨是针对人类的视觉感受，一张低分辨率图片可能在图像超分辨后达到视觉效果的提升，但是对于图像分类而言，其有用的特征信息并没有增加，相反还有可能把原有的特征信息破坏，以至于人脸识别效果不佳。

因此亟需提供一种新型的低分辨率人脸图像识别***来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的低分辨率人脸图像识别***，能够提高低分辨率人脸图像的识别精度。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习的低分辨率人脸图像识别方法，包括以下步骤：

S1：获取高分辨率人脸图像，与下采样得到对应的低分辨率人脸图像生成训练集；

S2：建立人脸识别网络，构建一个生成对抗网络，并嵌入所述人脸识别网络中，实现超分辨；

S3：对所述训练集进行预处理，利用预处理后的训练集训练所述人脸识别网络，优化参数，得到能够对低分辨率图像准确识别的深度神经网络模型；

S4：将低分辨率人脸图像输入步骤S3得到的所述深度神经网络模型进行分类，得到识别结果。

在本发明一个较佳实施例中，步骤S1的具体步骤包括：

使用ImageNet数据集，分别下采样2、3、4倍得到多尺度的低分辨率图像，高分辨率图像与低分辨率图像成对组合，随机选取5000对图像作为测试集，其余图像作为测试集。

在本发明一个较佳实施例中，在步骤S2中，所述人脸识别网络采用VGG16结构，包括13个卷积层和3个全连接层；所述生成对抗网络包括生成器和判别器；将生成器的网络设置为与VGG16的卷积层相同的结构，生成器学习到低分辨率图像到高分辨率图像的特征层的潜在分布关系，在特征层实现超分辨；判别器网络嵌入卷积层和全连接层中间，判别器估计表示来自真实高分辨图像特征或生成器生成的假高分辨图像特征的可能性。

进一步的，所述人脸识别网络的每层还包括激活层，所述激活层使用规整化线性单元函数作为激活函数。

在本发明一个较佳实施例中，步骤S3的具体步骤包括：

S3.1：输入高分辨率人脸图像及其图像类别，选择交叉熵为损失函数，对人脸识别网络进行训练，训练完成后固定人脸识别网络的参数；

S3.2：输入低分辨率图像和高分辨率图像，人脸识别网络提取高分辨率图像的特征，低分辨率图像经由生成对抗网络得到低分辨率图像的特征；

S3.3：使用生成对抗网络的损失和图像特征的均方误差，训练更新生成对抗网络的参数，在误差不再下降，准确率不再上升的时候终止训练。

进一步的，训练方法采用随机梯度下降加动量的优化器，其参数更新规则为：

θ←θ+v

其中，v为相比于普通的随机梯度下降增加的速度向量，α为动量参数，ε为学习速率，为针对权重θ的微分，m为当前批次输入的样本图像数量，L(f(x⁽ⁱ⁾；θ),y⁽ⁱ⁾)为损失函数，x⁽ⁱ⁾为针对权样本中的某个样例，y⁽ⁱ⁾为对应的图像类别。

本发明的有益效果是：

(1)本发明基于深度学习的方法，不同于以往方法中先对人脸图像进行超分辨，得到超分辨后的图像，再对之进行识别，本发明提出一种端到端的低分辨率人脸识别模型，结合高层图像识别的任务在特征层进行特征的超分辨，只需输入低分辨率图像即可得到图像识别结果；

(2)本发明能够有效地提高对低分辨率人脸图像的识别精度，并且该***模型非常简洁，成本低，检测速度快，具有广阔的应用前景。

附图说明

图1是本发明基于深度学习的低分辨率人脸图像识别***的模型结构框图；

图2是所述基于深度学习的低分辨率人脸图像识别***的流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1和图2，本发明实施例包括：

一种基于深度学习的低分辨率人脸图像识别方法，包括以下步骤：

S2.1：所述人脸识别网络采用VGG16结构，包括13个卷积层和3个全连接层，每层后使用规整化线性单元函数作为激活函数，并且在卷积层与全连接层之间使用了最大池化层。卷积层用于提取图像特征，最大池化层去除冗余信息，原始图像经过人脸识别网络的卷积层被压缩到了原图的1/32大小，得到了包含丰富语义特征的特征图。特征图展开成向量，再通过全连接层，得到向量维度与图像类别数量一致的向量，最后经过softmax激活函数得到对应图像类别的概率。其中，13个卷积层的卷积核数目依次是64，64，128，128，256，256，256，512，512，512，512，512，512，卷积核大小均为3，最大池化层的步长为2；

S2.2：所述生成对抗网络包括生成器和判别器；将生成器的网络设置为与VGG16的卷积层相同的结构，生成器学习到低分辨率图像到高分辨率图像的特征层的潜在分布关系，在特征层实现超分辨；判别器网络嵌入卷积层和全连接层中间，判别器估计表示来自真实高分辨图像特征或生成器生成的假高分辨图像特征的可能性。

在实际应用中的图像有多种格式，比如：jpg、jpeg、png等，为了能适用于各种情况，先对图像进行处理，统一转化为矩阵形式。首先将所有图片读进内存并以矩阵形式保存，再将图片的像素值除以255归一化到0到1之间；然后随机划分训练集与测试集，80％样本作为训练集，20％样本作为测试集。

具体步骤包括：

S3.1：输入高分辨率人脸图像及其图像类别，选择交叉熵为损失函数，对人脸识别网络进行训练，训练完成后固定人脸识别网络VGG16的参数；

S3.2：输入低分辨率图像和高分辨率图像，VGG16的卷积层提取高分辨率图像的特征，低分辨率图像经由生成对抗网络的生成器得到低分辨率图像的特征；

S3.3：使用生成对抗网络(GAN)的损失和图像特征的均方误差，训练更新生成器和判别器的参数，在误差不再下降，准确率不再上升的时候终止训练。

优选的，训练过程中附加动量的随机梯度下降为优化函数，训练方法采用随机梯度下降加动量的优化器，相比普通的随机梯度下降算法，这种优化器能极大地加快收敛速度，尤其是在噪声较大或者梯度值较小时更为有效。其参数更新规则为：

θ←θ+v

其中，v为相比于普通的随机梯度下降增加的速度向量，α为动量参数，ε为学习速率，为针对权重θ的微分，m为minibatch大小，即当前批次输入的样本图像数量，L(f(x⁽ⁱ⁾；θ),y⁽ⁱ⁾)为损失函数，x⁽ⁱ⁾为针对权样本中的某个样例，y⁽ⁱ⁾为对应的标签。优选的，动量α设为0.9，学习速率ε设为0.001，每训练1000步权重衰减一次，权重衰减θ为0.005。

准备好训练数据以及网络模型之后可以开始训练，训练过程中观察训练误差以及准确率，在误差不再下降、准确率不再上升的时候就可以终止训练了。

用训练好的低分辨率人脸识别***对低分辨率图像进行识别：

S4.1：获取需要识别的低分辨率人脸图像；

S4.2：对获取的低分辨人脸图像进行预处理；

S4.3：将预处理后的低分辨率图像送入识别模型进行分类，得到识别结果。

本发明基于深度学习的方法，不同于以往方法中先对人脸图像进行超分辨，得到超分辨后的图像，再对之进行识别，本发明提出一种端到端的低分辨率人脸识别模型，结合高层图像识别的任务在特征层进行特征的超分辨，只需输入低分辨率图像即可得到图像识别结果。

经过对比和分析，相对于目前已有的其他方法，本发明能够有效地提高对低分辨率人脸图像的识别精度，并且该***模型非常简洁，成本低，检测速度快，具有广阔的应用前景。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于深度学习的低分辨率人脸图像识别方法，包括以下步骤：

2.根据权利要求1所述的基于深度学习的低分辨率人脸图像识别方法，其特征在于，步骤S1的具体步骤包括：

3.根据权利要求1所述的基于深度学习的低分辨率人脸图像识别方法，其特征在于，在步骤S2中，所述人脸识别网络采用VGG16结构，包括13个卷积层和3个全连接层；所述生成对抗网络包括生成器和判别器；将生成器的网络设置为与VGG16的卷积层相同的结构，生成器学习到低分辨率图像到高分辨率图像的特征层的潜在分布关系，在特征层实现超分辨；判别器网络嵌入卷积层和全连接层中间，判别器估计表示来自真实高分辨图像特征或生成器生成的假高分辨图像特征的可能性。

4.根据权利要求3所述的基于深度学习的低分辨率人脸图像识别方法，其特征在于，所述人脸识别网络的每层还包括激活层，所述激活层使用规整化线性单元函数作为激活函数。

5.根据权利要求1所述的基于深度学习的低分辨率人脸图像识别方法，其特征在于，步骤S3的具体步骤包括：

S3.3：使用使用生成对抗网络的损失和图像特征的均方误差，训练更新生成对抗网络的参数，在误差不再下降，准确率不再上升的时候终止训练。

6.根据权利要求5所述的基于深度学习的低分辨率人脸图像识别方法，其特征在于，训练方法采用随机梯度下降加动量的优化器，其参数更新规则为：

θ←θ+v

其中，v为相比于普通的随机梯度下降增加的速度向量，α为动量参数，ε为学习速率，▽_θ为针对权重θ的微分，m为当前批次输入的样本图像数量，L(f(x⁽ⁱ⁾；θ),y⁽ⁱ⁾)为损失函数，x⁽ⁱ⁾为针对权样本中的某个样例，y⁽ⁱ⁾为对应的图像类别。