CN111414888A - 低分辨率人脸识别方法、***、装置及存储介质 - Google Patents

低分辨率人脸识别方法、***、装置及存储介质 Download PDF

Info

Publication number
CN111414888A
CN111414888A CN202010243930.5A CN202010243930A CN111414888A CN 111414888 A CN111414888 A CN 111414888A CN 202010243930 A CN202010243930 A CN 202010243930A CN 111414888 A CN111414888 A CN 111414888A
Authority
CN
China
Prior art keywords
network
resolution
low
face
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010243930.5A
Other languages
English (en)
Inventor
施远银
鞠蓉
邢卫国
孙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Boya Hongtu Video Technology Co ltd
Original Assignee
Hangzhou Boya Hongtu Video Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Boya Hongtu Video Technology Co ltd filed Critical Hangzhou Boya Hongtu Video Technology Co ltd
Priority to CN202010243930.5A priority Critical patent/CN111414888A/zh
Publication of CN111414888A publication Critical patent/CN111414888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种低分辨率人脸识别方法及***,其中的方法包括:对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;使用高分辨数据样本和低分辨率数据样本对预设的指导网络、目标网络以及鉴别器网络进行训练,以实现鉴别器网络与目标网络之间的对抗训练;待对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对双通道网络进行测试;待双通道网络通过测试后,通过目标网络对待识别的监控图片进行识别。本发明提供技术方案能够在低分辨率样本图片较少的情况下,实现对低分辨率人脸图片进行高精度识别。

Description

低分辨率人脸识别方法、***、装置及存储介质
技术领域
本发明涉及页面开发技术领域,尤其涉及一种低分辨率人脸识别方法、***、装置及存储介质。
背景技术
近年来,人脸识别技术取得了一系列令人瞩目的突破,从解锁智能手机到门禁***、安检***、和最新的刷脸支付等,人脸识别技术已经渗透到了各行各业,和我们的日常生活紧密相连。
当前主流的算法是基于深度卷积神经网络deep convolutional neuralnetworks(DCNNs),该算法通常包括人脸检测、对齐、识别三个部分,其中识别算法是人脸特征比对的关键。主要训练过程为:通过大量的数据,数据格式为:多个不同ID的人脸,每个人有多张不同姿态、场景下的图片进行训练。推理过程为:检测到一张人脸图片,经过对齐网络,得到矫正后的图片,送到识别网络提取人脸的特征,然后和库中的图片特征进行比对,计算相似度,找到相似人脸。
目前一些基于深度学习模型的方法在一些公开测试集上(如LFW)精度都已达到99%以上,可以有效的处理不同的光照、年龄、角度、性别、表情等变化的人脸,但目前各种算法性能表现如此之好的很大一部分原因是由于存在大量的高清人脸图片数据,如MS1M百万数据集,glint公司公开的百万亚洲人脸数据,这些人脸通常需要较大的人脸轮廓还需要预处理技术,如面部正面化和面部对齐,且能够成功应用的人脸识别技术,通常都是在受限环境中高分辨、正脸、无遮挡的人脸图片识别场景下。
目前算法的处理主要针对高分辨率人脸图像数据,直接用于低分辨率人脸识别(Low resolution face recognition,LRFR),性能急剧下降。而监控***在公共场所中的使用正在增加,在这种非受控的情况下获取的人脸图像经常受到模糊、非均匀光照和非正面人脸姿势的影响,并且由于摄像头的安装角度和成像质量问题,人脸图片分辨率通常较低、质量较差,这为人脸识别创造了一个非常具有挑战性的应用实例。
而对于工业界而言,最行之有效的提升算法性能的方法就是基于不同的目标场景收集一个较大数据集进行训练,但是在不同的识别场景中,由于隐私问题,很难获取大量图片进行训练,所以数据集的制作通常较为困难。因此,考虑如何在受限数据集上改进算法提升效果仍然是一个重要的研究方向。
监控场景下的低分辨率人脸由于图像本身信息的缺乏,很难构造出一个鲁棒的特征表示,因此从模型改进方面而言,目前改进方法主要是:超分辨率(SR)去模糊技术,将输入的LR人脸尺寸增大到高分辨率(HR)人脸识别技术可以工作的程度,SR技术被用于将LR图像转化为高质量的图像,因此,人脸SR方法是恢复LR人脸图像进行识别的一种直观方法。虽然该方法目前对降采样的低分辨率图片的复原已经有一些不错的效果,但是对实际低分辨的图像的复原测试研究较少,没有大规模的测试结果输出,并且由于增加了一个超分辨模型,人脸识别的效率上也会大大减少。
因此,基于以上几个问题,亟需一种能够在低分辨率样本图片较少的情况下,实现对低分辨率人脸图片进行高精度识别的方法。
发明内容
本发明提供一种低分辨率人脸识别方法、***、电子装置以及计算机存储介质,其主要目的在于解决现有的前端页面构建方法工作效率低、人力成本相对较高的问题。
为实现上述目的,本发明提供一种低分辨率人脸识别方法,该方法包括如下步骤:
对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练;
其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述目标网络进行测试;
待所述目标网络通过所述测试后,通过所述目标网络对待识别的监控图片进行识别。
另外,本发明还提供一种低分辨率人脸识别***,所述低分辨率人脸识别***包括:
降分辨率处理单元,用于对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
网络训练单元,用于使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练,其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
测试单元,用于待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述目标网络进行测试;
模型应用单元,用于通过所述目标网络对待识别的监控图片进行识别。
另外,为实现上述目的,本发明还提供一种电子装置,该电子装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的低分辨率人脸识别程序,所述低分辨率人脸识别程序被所述处理器执行时实现如下步骤:
降分辨率处理单元,用于对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
网络训练单元,用于使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练,其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
测试单元,用于待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述目标网络进行测试;
模型应用单元,用于通过所述目标网络对待识别的监控图片进行识别。
另外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有低分辨率人脸识别程序,所述低分辨率人脸识别程序被处理器执行时,实现如上述低分辨率人脸识别方法的步骤。
本发明提出的低分辨率人脸识别方法、***、电子装置及计算机可读存储介质以现有的高分辨率人脸识别模型为基础,借鉴域迁移学习(domain transfer learning)以及GAN网络的对抗思想,通过添加一个高性能的guided指导网络,采用分类以及域对抗等多损失训练方法,利用高低分辨率两组人脸数据,来提升低分辨率图像下模型的精度以及泛化能力。
此外,本发明采用目前性能较好的insightface人脸识别算法作为基础模型,利用resnet100作为指导网络,采用两组测试数据,一组为降采样到30*30的人脸图像,另一组采用实际场景的监控人脸图片,通过对比测试,提高模型的识别精度,针对人脸识别在监控场景下识别精度大幅下降的问题。在不增加或者少量增加实际场景数据下,对当前已有的人脸识别算法性能进行改进,提升算法在监控人脸场景下的识别精度。
附图说明
图1为根据本发明实施例的低分辨率人脸识别方法的较佳实施例流程图;
图2为根据本发明实施例的双通道网络的结构示意图;
图3为根据本发明实施例的电子装置的较佳实施例结构示意图;
图4为根据本发明实施例的低分辨率人脸识别程序的内部逻辑示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。
以下将结合附图对本申请的具体实施例进行详细描述。
实施例1
为了说明本发明提供的低分辨率人脸识别方法,图1示出了根据本发明提供的低分辨率人脸识别方法的流程。
如图1所示,本发明提供的低分辨率人脸识别方法,包括:
S110:对预先收集的现有的高分辨率数据样本进行降分辨率处理,以获取相应的低分辨率数据样本。
需要说明的是,由于监控视频下的人脸捕获存在不同的分辨率尺寸,经过对实际监控人脸分辨率的统计,30*30左右的低分辨率人脸较多,因此在训练数据集(高分辨率数据样本的集合)下通过对人脸数据采用不同尺寸的降采样,达到模拟真实场景的目的。
具体地,对高分辨率数据样本进行降分辨率处理的过程包括:
选取至少六个不同分辨率的低分辨率尺寸,其中,低分辨率尺寸至少包括18*18、25*25、30*30、36*36、42*42以及50*50;
按高斯分布将高分辨率数据样本分别降分辨率为各低分辨率尺寸的低分辨率数据样本,其中,30*30尺寸的低分辨率数据样本的数量最多。
需要进一步说明的是,经过对实际监控人脸分辨率的统计,监控视频下检测的人脸分辨率以30*30为中心,因此,按高斯分布将高分辨率数据样本分别降分辨率为各低分辨率尺寸的低分辨率数据样本能够进一步提高真实场景的模拟效果。
S120:使用高分辨数据样本和低分辨率数据样本对预设的双通道网络进行训练;其中,双通道网络包括指导网络(guided model)、目标网络(target model)以及鉴别器网络,指导网络用于接收高分辨率数据样本,目标网络用于接收低分辨数据样本;鉴别器网络用于对指导网络和目标网络的输出数据进行鉴别,以实现鉴别器网络与目标网络之间的对抗训练。
需要说明的是,指导网络为一个高分辨率特征域提取网络,用于对鉴别器网络与目标网络之间的对抗训练进行指导;因此,该指导网络需要预先在高分辨率数据集上进行训练,训练结构如图1所示,需要添加一个insightface损失函数,然后按照分类的方法进行训练,从而形成一个高精度的高分辨率特征域提取网络。
此外,该目标网络为本发明最终所需的一个低分辨率特征域提取网络,由于低分辨率的样本图像较少,因此,本发明通过目标网络与鉴别器网络进行对抗的方式实现目标网络的训练,提高目标网络的精度。
另外,对于指导网络和目标网络的选取,由于Resnet网络是中具有良好的特征提取能力,能很好的平衡任务速度和精度的需求,并且相关的人脸预训练模型有很多,因此能够很好的实现模型训练。具体地,对于指导网络而言,由于其需要更好的特征提取能力,因此选择更大的网络resnet100,而目标网络需要更快的处理速度,因此选择较小的网络resnet50;对于鉴别器网络,由于其主要目的为数据鉴别,因此可以选用Discriminator鉴别器网络,Discriminator鉴别器网络是一个简单的二分类网络,结构简单且能够实现所需的鉴别效果,可以使用交叉熵损失函数LogSoftmax()(对应图2中的domain loss)作为鉴别器网络的损失函数。此外,由于注意力结构SGE模块可以提升网络的性能,因此可以对目标网络和指导网络添加SGE模块,SGE模块是一种现有的网络性能提升模块,因此,在此不做赘述。
在详细介绍该双通道网络的训练过程之前,先在具体介绍一下对抗训练,对抗训练是GAN网络(对应双通道网络)的一个特性,实际包含两个生成网络(对应目标网络和指导网络)和一个判别器网络(对应鉴别器网络)。生成网络主要用来学习真实图像分布从而让自身生成的图像更加真实,以骗过判别网络。判别网络则需要对接收的图片进行真假判别。在整个过程中,生成网络努力地让生成的图像更加真实,而判别器网络则需努力地去识别出图像的真假,这个过程相当于一个二人博弈,随着时间的推移,生成器和判别器在不断地进行对抗,最终两个网络达到了一个动态均衡,从而生成器生成的图像接近于真实图像分布,而判别器识别不出真假图像,对于给定图像的预测为真的概率基本接近0.5(相当于随机猜测类别)。
对于本发明而言,由于指导网络为预先训练好的高分辨率特征域提取网络,因此,将其输出的高分辨率特征输入至鉴别器网络作为真实数据对鉴别器网络的鉴别进行指导,而目标网络由于未进行预训练,因此其特征提取精度较低,此时,目标网络会尽量生成更加真实的特征数据,以骗过鉴别器网络,鉴别器网络努力对其进行鉴别,如此反复,从而实现目标网络与鉴别器网络之间的对抗训练,相应地,目标网络也得到了对应训练,能够显著提高其特征提取精度。
此外,图2示出了该双通道网络的结构框图,下面结合图2详细介绍该双通道的具体训练过程:
将高分辨率数据样本(对应图2中的高分辨人脸图像)输入至指导网络以生成高分辨率人脸特征数据,将低分辨率数据样本(对应图2中低分辨人脸图像)输入至目标网络以生成低分辨率人脸特征数据,这两组人脸特征数据均为512维度的人脸特征数据,512维度的特征向量表示人脸特征数据由512个数值表示,有实验表明512维数据能在保持计算速度的情况下保证精度,也可以采用128维度数据,速度更快但是精度有所下降。然后将高分辨率人脸特征数据和低分辨率人脸特征数据输入至鉴别器网络进行鉴别训练。
需要说明的是,此时,由于指导网络预先训练过,以达到了相应的预设精度,因此为指导网络对应的鉴别器网络线路添加输入标签为1;由于目标网络未进行预先训练,此时目标网络对应的鉴别器网络线路添加输入标签为0;鉴别器网络根据两组输入进行二分类训练,然后一组低分辨图像输入鉴别器网络,此时label需要设置1,并且只有目标网络进行梯度的更新,达到对抗训练的效果。因此,可以以指导网络的特征提取能力为标准去指导鉴别器的鉴别训练。
需要进一步说明的是,在整个训练过程中,指导网络的模型参数保持不变,鉴别器网络采用交叉熵损失函数更新其网络参数,然后保持鉴别器网络参数不变,再次取另外的低分辨率数据样本(S110:至少六组不同分辨率的低分辨率数据样本,均对应同一高分辨率数据样本)输入至目标网络生成低分辨率人脸特征数据,并将该低分辨率人脸特征数据输入至鉴别器网络并为其添加标签为1以混淆鉴别器网络,从而实现鉴别器网络与目标网络的对抗训练。在对抗性训练的过程中,目标网络会不断地修正目标域上的模型来使得目标网络和指导网络输出的特征域分布一致,让鉴别器网络无法区分数据来自高分辨率图像还是低分辨率图像,从而达到训练目标网络的目的。
需要说明的是,当所有低分辨率数据样本(至少六组)均分别输入至目标网络进行训练后,会有LFW数据集测试,一部分降采样到30*30的数据进行测试,得到测试精度最好的几个模型,后期会通过实际测试数据从中选出最优网络作为最终的目标网络。
此外,为进一步提高目标网络的训练效果,在目标网络后还设置有分类网络,该分类网络添加有损失函数insightface loss,在鉴别器网络与目标网络的对抗训练过程中,同时还将低分辨率人脸特征数据送入到该分类网络中进行分类训练,鉴别器网络是利用对抗性训练对目标网络进行参数更新,而分类网络是通过分类任务对目标网络进行参数更新,通过两种训练相结合的方式,能够显著提高目标网络的训练效果。该损失函数insightface loss是目前关于人脸识别任务的一个非常优秀的损失函数,能够一定程度上提高训练效果,公式如下:
Figure BDA0002433459350000081
该损失函数是在softmax分类损失函数的基础上进行修改,其中,N为训练样本的数量,n代表类别数,j代表第j个类别,s是尺度参数s=64,m是余弦角度m=0.5,cosθy是特征输出层的输出特征与最后一个全连接层的权重参数的乘积。
S130:待对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对双通道网络进行测试,其中,监控场景人脸测试集为真实监控场景下获取的少量的人脸图像数据集,通过实际监控视频获得,并进行了错误图片剔除处理,每张图片均已确认本人身份;公开人脸测试集为高分辨率下的公开的人脸图像数据集,每一张图片也均已知本人身份。
需要说明的是,由于本发明最终所需的网络为高精度的目标网络,鉴别器网络以及指导网络仅仅只用于目标网络的对抗训练过程中,因此,此处实际为通过预设的监控场景人脸测试集和公开人脸测试集对目标网络进行测试。
具体测试过程为:自监控场景人脸测试集中任取一张已知本人身份的低分辨率测试图片,分别输入至步骤S120训练完成的多个目标网络中,以获取多组512维度的低分辨率特征数据集,然后利用各目标网络生成的512维度的低分辨率特征数据集分别计算该低分辨率测试图片与底库(具有该监控场景下所用人物的图片以及每一个人物图片的512维度特征数据集)中所有图片的余弦距离,即可得到多组该低分辨率测试图片与底库中所有图片相似度结果高低排序,相似度排名第一的底库图片的人物身份与该低分辨率测试图片的本人身份为同一个人,则为该组相似度排序对应的目标网络累加一个标签。其中,余弦相似度计算公式如下:
Figure BDA0002433459350000091
其中f1、f2分别表示两张图片的512维度特征向量。
重复上述步骤,直至监控场景人脸测试集内的图片均测试完毕后,即可得到所有目标网络对应的标签数量,最后取标签数量最多的目标网络作为最终的特征提取模型。
此外,为保证最终目标网络在高分辨下的识别效果,需要使用公开人脸测试集对目标网络进行测试,测试过程与使用监控场景人脸测试集的测试过程相同。需要说明的是,在实际应用中,监控场景下的图片多为低分辨率的图片,因此,监控场景人脸测试集内的数据数量远多于公开人脸测试集内数据的数量,此外,低分辨率图片剪切比高分辨人脸图片更多的区域,能够帮助提升人脸特征的准确性。
S140:待测试双通道网络通过测试后(即选定最终的目标网络后),使用最终确定的目标网络配合预设的分类网络对待识别的监控图片进行识别。
具体过程如下:
在行人监控视频场景下,通过人脸检测对齐网络得到待识别的监控图片的人脸框(左上角和右下角)和5个关键点坐标(左右眼睛,鼻子,两边嘴角),通过坐标信息对原始图片脸部区域进行对齐剪裁并统一尺寸到112*112。需要说明的是,此部分为待识别的监控图片的前期的预处理过程,属于现有技术,在此不再赘述。
将预处理过的待识别的监控图片输入目标网络中,得到该待识别的监控图片的512维度,然后计算与底库存储的特征数据的相似度(计算过程与步骤S130相同,此处不再赘述),然后对计算结果进行排序(相似度结果范围0~1,1表示最相似,0表示完全不相似),当相似对大于相似度阈值(根据实际验证得到最优值为0.4)时认定为与底库中该照片中的人为同一人;需要说明的是,若有多个大于相似度阈值,则判定相似度最高的底库照片中的人为该待识别的监控图片内的人物。
通过上述表述可知,本发明提供低分辨率人脸识别方法、***、装置及介质至少具备以下优点:
由于监控场景训练数据的缺乏,本法名通过对公开训练数据集进行降采样的方法模拟现实场景下,人脸分辨率较低的情况,帮助模型提取低分辨率图像的特征。
为了基本不增加网络计算量而提升性能,识别网络增加一个优于SE的注意力机制SGE模块。
采用resnet的结构,从而保证提取精度的同时平衡网络的计算能力。
采用复杂的高分辨人脸guided网络(resnet100),是为了更好帮助基础网络提取人脸特征。
采用gan对抗学习思想,对来自高分辨的人脸特征和低分辨率的人脸特征作为两个域,是为了更好的帮助低分辨率人脸网络提取公共特征空间,提升模型的精度。
6、低分辨率测试数据或者训练数据,剪切比高分辨人脸更多的区域,增加人脸区域,减少图片上采样引起的噪声,提升模型性能。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例2
与上述方法相对应,本申请还提供一种低分辨率人脸识别***,该***包括:
降分辨率处理单元,用于对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
网络训练单元,用于使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练,其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
测试单元,用于待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
模型应用单元,用于通过所述目标网络对待识别的监控图片进行识别。
实施例3
本发明还提供一种电子装置70。参照图3所示,该图为本发明提供的电子装置70的较佳实施例结构示意图。
在本实施例中,电子装置70可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置70包括:处理器71以及存储器72。
存储器72包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中,可读存储介质可以是该电子装置70的内部存储单元,例如该电子装置70的硬盘。在另一些实施例中,可读存储介质也可以是电子装置1的外部存储器,例如电子装置70上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
在本实施例中,存储器72的可读存储介质通常用于存储安装于电子装置70的低分辨率人脸识别程序73。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
处理器72在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器72中存储的程序代码或处理数据,例如低分辨率人脸识别程序73等。
在一些实施例中,电子装置70为智能手机、平板电脑、便携计算机等的终端设备。在其他实施例中,电子装置70可以为服务器。
图2仅示出了具有组件71-73的电子装置70,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置70还可以包括用户接口,用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等,可选地用户接口还可以包括标准的有线接口、无线接口。
可选地,该电子装置70还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置70中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置70还可以包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。
此外,该电子装置70的显示器的面积可以与触摸传感器的面积相同,也可以不同。可选地,将显示器与触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地,该电子装置70还可以包括射频(Radio Frequency,RF)电路,传感器、音频电路等等,在此不再赘述。
在图2所示的装置实施例中,作为一种计算机存储介质的存储器72中可以包括操作***以及低分辨率人脸识别程序73;处理器71执行存储器72中存储低分辨率人脸识别程序73时实现如下步骤:
对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练;
其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
待所述双通道网络通过所述测试后,通过所述目标网络对待识别的监控图片进行识别。
在该实施例中,图4为根据本发明实施例的低分辨率人脸识别程序的内部逻辑示意图,如图4所示,低分辨率人脸识别程序73还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器72中,并由处理器71执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图3所示,为图2中低分辨率人脸识别程序73较佳实施例的程序模块图。低分辨率人脸识别程序73可以被分割为:降分辨率处理模块74、网络训练模块75、测试模块76以及模型应用模块77。模块74-77所实现的功能或操作步骤均与上文类似,此处不再详述,示例性地,例如,其中:
降分辨率处理模块,用于对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
网络训练模块,用于使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练,其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
测试模块,用于待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
模型应用模块,用于通过所述目标网络对待识别的监控图片进行识别。
实施例4
本发明还提供一种计算机可读存储介质,计算机可读存储介质中存储有低分辨率人脸识别程序73,低分辨率人脸识别程序73被处理器执行时实现如下操作:
对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练;
其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
待所述双通道网络通过所述测试后,通过所述目标网络对待识别的监控图片进行识别。
本发明提供的计算机可读存储介质的具体实施方式与上述低分辨率人脸识别方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种低分辨率人脸识别方法,应用于电子装置,其特征在于,所述方法包括:
对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练;
其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
待所述双通道网络通过所述测试后,通过所述目标网络对待识别的监控图片进行识别。
2.根据权利要求1所述的低分辨率人脸识别方法,其特征在于,对高分辨率数据样本进行降分辨率处理的过程包括:
选取至少六个不同分辨率的低分辨率尺寸,其中,所述低分辨率尺寸至少包括18*18、25*25、30*30、36*36、42*42以及50*50;
按高斯分布将所述高分辨率数据样本分别降分辨率为各低分辨率尺寸的低分辨率数据样本,其中,所述30*30尺寸的低分辨率数据样本的数量最多。
3.根据权利要求2所述的低分辨率人脸识别方法,其特征在于,
所述指导网络为经过预先训练的高精度高分辨率特征域提取模型。
4.根据权利要求3所述的低分辨率人脸识别方法,其特征在于,
所述指导网络为resnet100高分辨率人脸模型;
所述目标网络为resnet50低分辨率人脸模型;
所述鉴别器网络为Discriminator网络,且所述鉴别器网络添加有域损失函数LogSoftmax。
5.根据权利要求4所述的低分辨率人脸识别方法,其特征在于,
所述目标网络和所述指导网络均添加有SGE模块。
6.根据权利要求5所述的低分辨率人脸识别方法,其特征在于,
所述分类网络设置有损失函数insightface。
7.根据权利要求1至6中任意一项所述的低分辨率人脸识别方法,其特征在于,通过在所述目标网络配合预设的分类网络对待识别的监控图片进行识别的过程包括:
通过所述目标网络对所述待识别的监控图片进行特征提取;
通过所述分类网络将提取的特征与底库中的标准图片的特征进行对比,并通过余弦距离计算待识别的监控图片与底库中的标准图片的相似度;
当相似度大于阈值时,判定所述待识别监控照片内的人与所述标准图片中的人为同一人。
8.一种低分辨率人脸识别***,其特征在于,所述低分辨率人脸识别方法***包括:
降分辨率处理单元,用于对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
网络训练单元,用于使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练,其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
测试单元,用于待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
模型应用单元,用于通过所述目标网络对待识别的监控图片进行识别。
9.一种电子装置,其特征在于,所述电子装置包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的低分辨率人脸识别程序,所述低分辨率人脸识别程序被所述处理器执行时实现如下步骤:
对高分辨率数据样本进行降分辨率处理,以获取低分辨率数据样本;
使用所述高分辨数据样本和所述低分辨率数据样本对预设的双通道网络进行训练;
其中,所述双通道网络包括指导网络、目标网络以及鉴别器网络,所述指导网络用于接收所述高分辨率数据样本,所述目标网络用于接收所述低分辨数据样本;所述鉴别器网络用于对所述指导网络和所述目标网络的输出数据进行鉴别,以实现所述鉴别器网络与所述目标网络之间的对抗训练;
待所述对抗训练完毕后,通过预设的监控场景人脸测试集和公开人脸测试集对所述双通道网络进行测试;
待所述双通道网络通过所述测试后,通过所述目标网络对待识别的监控图片进行识别。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有低分辨率人脸识别程序,所述低分辨率人脸识别程序被处理器执行时,实现如权利要求1至7中任一项所述的低分辨率人脸识别方法的步骤。
CN202010243930.5A 2020-03-31 2020-03-31 低分辨率人脸识别方法、***、装置及存储介质 Pending CN111414888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010243930.5A CN111414888A (zh) 2020-03-31 2020-03-31 低分辨率人脸识别方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010243930.5A CN111414888A (zh) 2020-03-31 2020-03-31 低分辨率人脸识别方法、***、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111414888A true CN111414888A (zh) 2020-07-14

Family

ID=71493493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010243930.5A Pending CN111414888A (zh) 2020-03-31 2020-03-31 低分辨率人脸识别方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111414888A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417986A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及***
CN113255517A (zh) * 2021-05-24 2021-08-13 中国科学技术大学 保护隐私的表情识别模型训练方法及表情识别方法及装置
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113887371A (zh) * 2021-09-26 2022-01-04 华南理工大学 一种用于低分辨率人脸识别的数据增强方法
CN114020951A (zh) * 2020-07-17 2022-02-08 北京搜狗科技发展有限公司 一种人脸质量增强模型的训练方法、图片搜索方法及装置
CN114332649A (zh) * 2022-03-07 2022-04-12 湖北大学 基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法
CN114612990A (zh) * 2022-03-22 2022-06-10 河海大学 一种基于超分辨率的无人机人脸识别方法
CN117238020A (zh) * 2023-11-10 2023-12-15 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备
CN117542105A (zh) * 2024-01-09 2024-02-09 江西师范大学 一种课堂教学下低分辨率图像的人脸超分与表情识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123201A1 (en) * 2003-12-09 2005-06-09 Fujitsu Limited Image processing apparatus for detecting and recognizing mobile object
WO2016150240A1 (zh) * 2015-03-24 2016-09-29 北京天诚盛业科技有限公司 身份认证方法和装置
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN108334847A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种真实场景下的基于深度学习的人脸识别方法
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
CN109543548A (zh) * 2018-10-26 2019-03-29 桂林电子科技大学 一种人脸识别方法、装置及存储介质
CN109671442A (zh) * 2019-01-14 2019-04-23 南京邮电大学 基于STARGAN与x向量的多对多说话人转换方法
CN110060690A (zh) * 2019-04-04 2019-07-26 南京邮电大学 基于STARGAN和ResNet的多对多说话人转换方法
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
JP2019168417A (ja) * 2018-03-26 2019-10-03 株式会社デンソー 物体認識装置、及び物体認識方法
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
US20190370608A1 (en) * 2018-05-31 2019-12-05 Seoul National University R&Db Foundation Apparatus and method for training facial locality super resolution deep neural network

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123201A1 (en) * 2003-12-09 2005-06-09 Fujitsu Limited Image processing apparatus for detecting and recognizing mobile object
WO2016150240A1 (zh) * 2015-03-24 2016-09-29 北京天诚盛业科技有限公司 身份认证方法和装置
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
CN108334847A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种真实场景下的基于深度学习的人脸识别方法
JP2019168417A (ja) * 2018-03-26 2019-10-03 株式会社デンソー 物体認識装置、及び物体認識方法
US20190370608A1 (en) * 2018-05-31 2019-12-05 Seoul National University R&Db Foundation Apparatus and method for training facial locality super resolution deep neural network
CN109543548A (zh) * 2018-10-26 2019-03-29 桂林电子科技大学 一种人脸识别方法、装置及存储介质
CN109671442A (zh) * 2019-01-14 2019-04-23 南京邮电大学 基于STARGAN与x向量的多对多说话人转换方法
CN110084119A (zh) * 2019-03-26 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的低分辨率人脸图像识别方法
CN110060690A (zh) * 2019-04-04 2019-07-26 南京邮电大学 基于STARGAN和ResNet的多对多说话人转换方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110533184A (zh) * 2019-08-31 2019-12-03 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐文博等: "预训练网络引导的人脸图像超分辨率重建", 工业控制计算机, vol. 33, no. 06, pages 36 - 38 *
林森等: "水下光学图像中目标探测关键技术研究综述", 激光与光电子学进展, vol. 57, no. 06, pages 060002 - 1 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020951A (zh) * 2020-07-17 2022-02-08 北京搜狗科技发展有限公司 一种人脸质量增强模型的训练方法、图片搜索方法及装置
CN112417986A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及***
CN112417986B (zh) * 2020-10-30 2023-03-10 四川天翼网络股份有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及***
CN113255517A (zh) * 2021-05-24 2021-08-13 中国科学技术大学 保护隐私的表情识别模型训练方法及表情识别方法及装置
CN113255517B (zh) * 2021-05-24 2023-10-24 中国科学技术大学 保护隐私的表情识别模型训练方法及表情识别方法及装置
CN113362223B (zh) * 2021-05-25 2022-06-24 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113887371A (zh) * 2021-09-26 2022-01-04 华南理工大学 一种用于低分辨率人脸识别的数据增强方法
CN113887371B (zh) * 2021-09-26 2024-05-28 华南理工大学 一种用于低分辨率人脸识别的数据增强方法
CN114332649A (zh) * 2022-03-07 2022-04-12 湖北大学 基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法
CN114612990A (zh) * 2022-03-22 2022-06-10 河海大学 一种基于超分辨率的无人机人脸识别方法
CN117238020A (zh) * 2023-11-10 2023-12-15 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备
CN117238020B (zh) * 2023-11-10 2024-04-26 杭州启源视觉科技有限公司 人脸识别方法、装置和计算机设备
CN117542105A (zh) * 2024-01-09 2024-02-09 江西师范大学 一种课堂教学下低分辨率图像的人脸超分与表情识别方法

Similar Documents

Publication Publication Date Title
CN111414888A (zh) 低分辨率人脸识别方法、***、装置及存储介质
Shi et al. Aster: An attentional scene text recognizer with flexible rectification
CN109961009B (zh) 基于深度学习的行人检测方法、***、装置及存储介质
US9436883B2 (en) Collaborative text detection and recognition
US10013624B2 (en) Text entity recognition
WO2021026805A1 (zh) 对抗样本检测方法、装置、计算设备及计算机存储介质
US9390340B2 (en) Image-based character recognition
CN109993201B (zh) 一种图像处理方法、装置和可读存储介质
US20120027263A1 (en) Hand gesture detection
CN111242124B (zh) 一种证件分类方法、装置及设备
CN105447532A (zh) 身份认证方法和装置
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112560753B (zh) 基于特征融合的人脸识别方法、装置、设备及存储介质
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
CN104751093A (zh) 用于获取宿主设备显示的图像识别码的方法和装置
CN109635633A (zh) 电子装置、票据识别方法及存储介质
He et al. Aggregating local context for accurate scene text detection
Petrova et al. Weighted combination of per-frame recognition results for text recognition in a video stream
CN114764869A (zh) 利用每个对象的单个检测的多对象检测
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
CN110232381B (zh) 车牌分割方法、装置、计算机设备及计算机可读存储介质
Zuo et al. An intelligent knowledge extraction framework for recognizing identification information from real-world ID card images
Chaki et al. Fragmented handwritten digit recognition using grading scheme and fuzzy rules
Anusudha Real time face recognition system based on YOLO and InsightFace

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination