CN111898412A - 人脸识别方法、装置、电子设备和介质 - Google Patents

人脸识别方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN111898412A
CN111898412A CN202010549072.7A CN202010549072A CN111898412A CN 111898412 A CN111898412 A CN 111898412A CN 202010549072 A CN202010549072 A CN 202010549072A CN 111898412 A CN111898412 A CN 111898412A
Authority
CN
China
Prior art keywords
face
face image
face recognition
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010549072.7A
Other languages
English (en)
Inventor
高亚南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Emperor Technology Co Ltd
Original Assignee
Shenzhen Emperor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Emperor Technology Co Ltd filed Critical Shenzhen Emperor Technology Co Ltd
Priority to CN202010549072.7A priority Critical patent/CN111898412A/zh
Publication of CN111898412A publication Critical patent/CN111898412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别方法、装置、电子设备和介质。其中方法包括:获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;获取待处理人脸图像,对所述待处理人脸图像进行所述预处理操作,获得符合预设参数的待识别人脸图像;将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果,可以更准确提取人脸特征进行识别,提升人脸识别的准确率。

Description

人脸识别方法、装置、电子设备和介质
技术领域
本申请涉及计算机视觉技术领域,尤其是涉及一种人脸识别方法、装置、电子设备和介质。
背景技术
人脸识别技术隶属生物识别技术范畴,已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域,用于提升***的安全性以及应用服务的便捷性。
一般而言,通过提取视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征以及深度学习卷积网络模型提取的卷积特征,并根据提取出的差异性人脸特征构建分类模型,实现人脸唯一性识别。人脸识别技术受环境因素较大,比如光照不足或过度曝光,或者如果人脸没有与摄像头呈垂直角度,也同样会造成人像变形失真,这反应在提取的浅层特征上丢失,无法准确与对照人像做比对。另一方面人脸的外形(姿态)很不稳定,也存在很多情绪变化,导致表情多样化,使得人脸图像更复杂,而在不同观察角度,人脸的视觉图像也相差很大,其复杂的结构又能提供非常丰富的信息,从而也增加了人脸识别的难度。这就需要设计更为合理的模型结构以具备提取更详细准确特征的能力。
发明内容
本申请提供了一种人脸识别方法、装置、电子设备和介质。
第一方面,提供了一种人脸识别方法,包括:
获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;
获取待处理人脸图像,对所述待处理人脸图像进行所述预处理操作,获得符合预设参数的待识别人脸图像;
将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
在一种可选的实施方式中,所述深度可分离卷积网络结构包括:
两个普通卷积层、三个深度可分离卷积层、四个残差块、一个全局深度可分离卷积层和一个线性卷积层。
在一种可选的实施方式中,所述深度可分离卷积网络结构具体包括十一个卷积模块,其中:
第一个卷积模块为一个3×3的所述普通卷积层;
第三个、第五个、第七个卷积模块分别为一个3×3的所述深度可分离卷积卷积层;
第二个、第四个、第六个和第八个卷积模块分别为一个所述残差块;
第九个卷积模块为一个1×1的所述普通卷积层;
第十个卷积模块为一个7×7的所述全局深度可分离卷积层;
第十一个卷积模块为一个1×1的所述线性卷积层。
可选的,所述第二个卷积模块的残差块包括4个残差单元,所述第四个卷积模块的残差块包括8个残差单元,所述第六个卷积模块的残差块包括16个残差单元,所述第八个卷积模块的残差块包括5个残差单元。
在一种可选的实施方式中,所述将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果包括:
将所述待识别人脸图像输入所述目标网络模型,获得所述目标网络模型的所述线性卷积层输出的目标人脸特征向量;
基于所述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得所述人脸识别判定结果。
在一种可选的实施方式中,所述基于所述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得所述人脸识别判定结果,包括:
获取所述目标人脸特征向量和所述模板人脸特征向量的相似度;
在所述相似度大于或等于预设的特征相似度阈值的情况下,确定所述待识别人脸图像识别成功;在所述相似度小于所述预设的特征相似度阈值的情况下,确定所述待识别人脸图像识别失败。
在一种可选的实施方式中,所述深度可分离卷积卷积层采用分组归一化层;
所述深度可分离卷积卷积层包括两个1×1卷积层和一个3×3卷积层。
在一种可选的实施方式中,所述预处理操作包括:
对角拉伸、横向拉伸、纵向拉升、水平旋转、变化亮度、加入椒盐噪音、加入高斯噪音中的任意一种或几种。
第二方面,提供了一种人脸识别装置,包括:
训练模块,用于获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;
预处理模块,用于获取待处理人脸图像,对所述待处理人脸图像进行预处理操作,获得符合预设参数的待识别人脸图像;
识别模块,用于将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。
第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。
本申请通过获取深度可分离卷积网络结构和样本人脸图像,基于上述样本人脸图像训练上述深度可分离卷积网络结构,获得训练好的目标网络模型,上述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由上述基本人脸图像经过预处理操作获得的人脸扩展图像,之后可以获取待处理人脸图像,对上述待处理人脸图像进行预处理操作,获得符合预设参数的待识别人脸图像,再将上述待识别人脸图像输入上述目标网络模型进行人脸识别处理,获得人脸识别判定结果。由于本申请实施例中通过训练的目标网络模型可以对人脸特征的提取更准确全面,因而能够适应一些人脸识别难以执行或准确执行的场景,如受环境因素影响、人脸的外形(姿态) 不稳、情绪变化等导致表情多样化的情况,可以提升人脸识别的准确率。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种人脸识别方法的流程示意图;
图2为本申请实施例提供的一种人脸图像预处理效果示意图;
图3为本申请实施例提供的人脸识别装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种人脸识别方法的流程示意图。该方法可包括:
101、获取深度可分离卷积网络结构和样本人脸图像,基于上述样本人脸图像训练上述深度可分离卷积网络结构,获得训练好的目标网络模型,上述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由上述基本人脸图像经过预处理操作获得的人脸扩展图像。
本申请实施例中的执行主体为人脸识别装置,可以实现人脸特征提取和识别。该人脸识别装置可以为一种电子设备,具体实现中,上述电子设备为一种终端,也可称为终端设备,包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备,可以通过应用程序实现人脸识别功能。还应当理解的是,在某些实施例中,上述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在一种实施方式中,本申请实施例中的电子设备可以为具有摄像头的人脸识别装置,如考勤装置或门禁装置等。
上述样本人脸图像可以为真实采集的人脸图像和/或合成的虚拟人脸图像,作为样本的人脸图像,可以是一个人对应多张图像。
可选的,上述样本人脸图像可包括基本人脸图像和/或由该基本人脸图像经过预处理操作获得的图像。
在一种可选的实施方式中,可以先判断上述样本人脸图像中的各个用户对应的图像数量是否小于预设阈值;
若是,则对上述图像数量小于上述预设阈值的基本人脸图像进行扩展。
上述扩展的操作可包括:对所述基本人脸图像进行预处理操作,获得对应的人脸扩展图像。若对于某个用户的多张样本人脸图像,其数量不小于预设阈值,则可以不进行扩展,作为大众样本可以直接用于网络训练。
比如预设阈值为10,则每人对应的样本人脸图像不超过10张,可称为小众样本,需要进行扩展后用于训练。
本申请实施例中提到的用户可以是真实个体或者虚拟角色。举例来讲,如应用于企事业单位使用人脸考勤***的场景等,网络训练使用的可以是真实用户的人脸图像样本;而在一种可选的实施方式中,可能还存在其他情形,比如使用合成虚拟角色的人脸图像等,本申请实施例对此不作限制。
具体的,可以通过对上述小众样本进行对角拉伸、横向拉伸、纵向拉升、水平旋转、变化亮度、加入椒盐噪音、高斯噪音等操作,进行数据增强,扩展小众样本数量,使得样本数比较均衡。
具体的,可以参考图2所示的一种预处理图像示意图,其中的图像可以为彩色,此处以灰度图作为示例,并且需要理解的是其中的白色长方形是为保护隐私所增加的马赛克,实际应用中无类似的马赛克遮挡。其中,对于同一用户的人脸图像a2、b2、c2举例来讲,a2为原图,即上述基本人脸图像,a1由a2 经纵向拉伸后获得;b2为基本人脸图像,b1由b2经横向拉伸后获得;c2为基本人脸图像,c1由c2经亮度变暗处理获得。
通过对任意一张基本人脸图像的上述预处理的变换操作能够获得新增图像作为样本,比如在一张人脸图像的基础上变化亮度后获得新的样本图像,一定程度上避免有的人人脸图片多,有的人人脸图片少的问题。可选的,可以对已有的同一人的多张人脸图像均进行上述预处理操作,获得对应的处理后的人脸图像作为样本(原人脸图像也可以作为样本)。通过以上方法可以解决人脸图片类别不均衡的问题,提高模型训练的全面性和准确率,使模型对出现各类噪声、变形、光线过强或不足等恶劣情况的人脸特征提取更加适应。
本申请实施例中涉及到的椒盐噪声是由图像传感器,传输信道,解码处理等产生的黑白相间的亮暗点噪声。由摄像机拍摄得到的图像受离散的脉冲、椒盐噪声和零均值的高斯噪声的影响较严重。一般噪声给图像处理带来很多困难,对图像分割、特征提取、图像识别等具有直接影响。因此,在训练时使用这类样本能够使训练后的模型能够对这类质量不高的采集人脸具备更好的特征提取能力。
在一种实施方式中,上述深度可分离卷积网络结构包括:两个普通卷积层、三个深度可分离卷积卷积层、四个残差块、一个全局深度可分离卷积层和一个线性卷积层。
深度可分离卷积(depthwise separable convolution),相比常规的卷积操作,其参数数量和运算成本比较低。本申请实施例使用深度可分离卷积进行特征提取,减少传统2D卷积操作,提升处理效率。
具体的,其两个普通卷积层(Conv)分别用于降低和升高特征维度,主要目的是为了减少参数的数量,从而减少计算量,且在降维之后可以更加有效、直观地进行数据的训练和特征提取。在深度可分离卷积层的前后设置残差块,也称为残差单元(bottleneck),在一定程度上避免梯度消失的现象,加快收敛,提升准确率。
本申请实施例中涉及到的感受野,可以理解为,在典型卷积神经网络结构中,全连接层(Fully Connected Layer)每个输出节点的值都依赖全连接层所有输入,而卷积层每个输出节点的值仅依赖卷积层输入的一个区域,这个区域之外的其他输入值都不会影响输出值,该区域就是感受野。
具体的,全局深度可分离卷积层使用linear GDC Conv7X7,其中linear表示该卷积层为线性卷积,设置卷积核的大小等于输出特征图的长、宽7x7,为感受野内各个区域分配不同的权重,距离感受野中心越近,特征越重要。另外的一个线性卷积层应用1x1卷积,用于扩展深度,对每个通道提取更具有区分性的人脸特征。
通过上述网络结构,输入上述样本人脸图像进行训练,以获得上述目标网络模型,进而可以应用于人脸识别处理中。
102、获取待处理人脸图像,对上述待处理人脸图像进行上述预处理操作,获得符合预设参数的待识别人脸图像。
其中,上述待处理人脸图像即为进行人脸特征提取和身份识别的人脸图像,可以通过摄像头采集。
可选的,上述预处理操作包括:对角拉伸、横向拉伸、纵向拉升、水平旋转、变化亮度、加入椒盐噪音、加入高斯噪音中的任意一种或几种。上述预设参数即为对应的指标,比如针对图像尺寸的参数、预设亮度参数(可以是一定范围)等,此处不做限制。对于预处理的操作具体可以参考图2及其相关描述,此处不再赘述。预处理后的待识别人脸图像统一了标准,更适用于模型的识别和处理,提高准确率。
103、将上述待识别人脸图像输入上述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
使用前述训练的目标网络模型可以对待识别人脸图像进行特征提取和识别。在一种可选的实施方式中,上述步骤102可包括:
将上述待识别人脸图像输入上述目标网络模型,获得上述目标网络模型的上述线性卷积层输出的目标人脸特征向量;
基于上述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得上述人脸识别判定结果。
具体可以通过特征的相似度度量的方式识别是否为同一人脸,可以包括一对一的比对和/或一对多的比对。
进一步的,上述基于上述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得上述人脸识别判定结果,包括:
获取上述目标人脸特征向量和上述模板人脸特征向量的相似度;
在上述相似度大于或等于预设的特征相似度阈值的情况下,确定上述待识别人脸图像识别成功;在上述相似度小于上述预设的特征相似度阈值的情况下,确定上述待识别人脸图像识别失败。
在人脸识别的身份认证场景中,可以预先设置特征相似度阈值,通过与用户注册时的模板人脸图像对应的人脸特征向量进行比对,获得两两比对的人脸相似度,通过比较该相似度与预设的特征相似度阈值来确定人脸身份是否匹配:
若该相似度大于或等于特征相似度阈值,则判定匹配,身份验证成功;若小于该特征相似度阈值,则判定不匹配,身份验证失败。比如,特征相似度阈值可以设置为0.45-0.54,若需要拒识率低,可阈值设置偏小,为0.45左右;若需要错误接收率低(误识率),则阈值设置偏大,为0.54左右,可根据具体的应用场景设置,本申请实施例对此不做限制。
需要注意的是,上述模板人脸特征向量也是由预存的模板人脸图像通过相同的目标网络模型提取的。比如用户注册时采集的模板人脸图像可以和相关的身份信息一同存储在人脸识别装置中,在需要进行人脸识别时获取,也可以在接收到上述模板人脸图像时就进行特征提取获得上述模板人脸特征向量并存储,不需要在人脸识别处理时再次进行特征提取,提高处理效率。即上述模板人脸图像的处理时间节点不做限制。
上述模板人脸图像可以是在用户注册时采集并存储的人脸图像,用于身份核验时的人脸识别。在一种实施方式中,上述模板人脸图像为待识别人脸图像对应的比对图像,该方法通过一对一的相似度度量,验证待识别人脸图像与模板人脸图像是否匹配。举例来讲适用于用户通过任意自身账号进行身份核验的场景,如基于身份证的人脸识别,则模板人脸图像为身份证人脸图像,或者用户使用已注册账号登录应用程序、在应用程序内执行操作时需要的人脸识别验证,其中的模板人脸图像为预先采集的并与该账号绑定的模板人脸图像。
可选的,本申请实施例中存储的模板人脸图像可以包括多个用户的模板人脸图像,则在人脸识别过程中需要将该待识别人脸图像与各个模板人脸图像进行比对,可通过一对多的相似度度量,验证待识别人脸图像是否与其中一个模板人脸图像匹配,以确定用户身份。举例来讲,企事业单位使用人脸考勤***的场景,在考勤设备中录入各个员工的模板人脸图像,在每个员工进行考勤时的处理操作如上;又如某些单位通过布设在相关位置的监控头进行人脸识别,或者社区的管理单位通过门禁***的摄像头进行身份核验的场景;以及刷脸乘车、刷脸登机、刷脸支付时的应用场景,均适用。
上述人脸识别判定结果可以通过文字、图像和/或语音信息输出,提示用户是否通过本次人脸识别,本申请实施例对此不作限制。
本申请实施例通过获取深度可分离卷积网络结构和样本人脸图像,基于上述样本人脸图像训练上述深度可分离卷积网络结构,获得训练好的目标网络模型,上述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由上述基本人脸图像经过预处理操作获得的人脸扩展图像,之后可以获取待处理人脸图像,对上述待处理人脸图像进行预处理操作,获得符合预设参数的待识别人脸图像,再将上述待识别人脸图像输入上述目标网络模型进行人脸识别处理,获得人脸识别判定结果。由于本申请实施例中通过训练的目标网络模型可以对人脸特征的提取更准确全面,因而能够适应人脸识别难以执行或准确执行的场景,如受环境因素影响、人脸的外形(姿态)不稳、情绪变化等导致表情多样化的情况,可以提升人脸识别的准确率。
上述实施例主要介绍了人脸识别方法在训练和应用侧的处理步骤。为了更清楚地介绍本申请实施例中的方案,将结合表1进一步进行阐述。
请参阅表1,表1是本申请实施例提供的一种深度可分离卷积网络结构示意表。如表1所示,该深度可分离卷积网络结构具体包括十一个卷积模块,其中:
第一个卷积模块为一个3×3的上述普通卷积层;
第三个、第五个、第七个卷积模块分别为一个3×3的上述深度可分离卷积卷积层;
第二个、第四个、第六个和第八个卷积模块分别为一个上述残差块;
第九个卷积模块为一个1×1的上述普通卷积层;
第十个卷积模块为一个7×7的上述全局深度可分离卷积层;
第十一个卷积模块为一个1×1的上述线性卷积层。
输入(Input) 操作(Operator) c n s
112×112×3 conv3×3 64 1 2
56×56×64 bottleneck 64 4 1
56×56×64 depthwise conv3×3 128 1 2
28×28×128 bottleneck 128 8 1
28×28×128 depthwise conv3×3 256 1 2
14×14×256 bottleneck 256 16 1
14×14×256 depthwise conv3×3 512 1 2
7×7×512 bottleneck 512 5 1
7×7×512 conv1×1 512 1 1
7×7×512 linear GDC Conv7×7 512 1 1
1×1×512 linear conv1×1 512/256 1 1
表1
具体的,上述输入中112x112x3为输入图片尺寸:长、宽、RGB 3通道(长宽范围96-112),56x56x64为上层112x112x3输入图片经过操作(Operator)中的conv3X3卷积得到的输出特征图的尺寸,56x56x64分别为特征图长、宽、通道数,c为本层的输入经过操作得到输出的特征图的通道数,n为本层操作的次数,s为本层操作的步长,以此类推。其中512/256为最终输出的人脸特征编码或向量维数,512还可以换成256或128等,此处不做限制。bottleneck为残差块的残差单元,对应的n为残差单元的个数;depthwise conv3X3为深度可分离卷积,具体操作为上述表格中所述,conv为卷积层,后面的数字1x1、3x3表示卷积核的长、宽大小;linear GDC Conv7X7为全局深度可分离卷积,设置卷积核的大小等于输出特征图的长、宽7x7;linear conv1x1为卷积核长、宽为1x1 的线性卷积层。
该深度可分离卷积网络结构可以对人脸图像进行特征提取处理,输出上述人脸图像的人脸特征数据。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征,特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。对于人脸图像的特征提取可以将人脸图像上的像素点分为对应人脸特征(如眉毛、眼睛、鼻子等)的子集。
表1所示的网络结构提高了网络层次深度,如表1中的n所示,层次深度为(1+4+1+8+1+16+1+5+1+1+1),降低每层的复杂度,每层的c的数量比较小,每层的参数量比较小,而层次深度比较深,能够实现更快速提取更具有区分性的人脸特征;在深度可分离卷积层的前后设置残差块,增加残差单元个数,如网络结构表1中bottleneck对应的n:4、8、16、5,可以避免梯度消失的现象,加快收敛,提升准确率。
在一种可选的实施方式中,上述深度可分离卷积卷积层采用分组归一化层;
上述深度可分离卷积卷积层包括两个1×1卷积层和一个3×3卷积层。
其中,上述分组归一化层即GroupNorm(GN层)。一般Batch Norm(BN) 是对每个单一通道输入进行归一化,本申请实施例中使用GroupNorm将通道分组再做归一化,解决BatchNorm容易受batch大小影响的问题,如batch过小会导致人脸识别准确率下降,而GroupNorm层中batch过小不会影响准确率。
具体的,可以参考表2所示的一种深度可分离卷积卷积层结构,对上述 depthwiseconv3x3进行说明。
Figure RE-GDA0002705478120000111
表2
本申请实施例中的depthwise conv3x3具体操作为上述表2中所述,PReLu 为PReLu激活层,使用PReLu激活函数。GN为GroupNorm层,conv为卷积层,后面的数字1x1、3x3表示卷积核的长、宽大小。其中应用1x1卷积,扩展深度,以对每个通道提取更具有区分性的人脸特征。
其中,上述网络结构的设置还可以参考图1所示实施例中的相关具体描述,此处不再赘述。
目前的人脸识别技术,面临的主要问题为人脸的外形(姿态)很不稳定,人可以通过脸部的变化产生很多表情,而在不同观察角度,人脸的视觉图像也相差很大,另外,人脸识别还受光照条件(例如白天和夜晚,室内和室外等)、遮挡物、年龄等多方面因素的影响。本申请使用经过预处理一人多张样本人脸图像训练网络模型,能够使模型更好地学习对不同质量、风格的人脸图像特征提取,比如通过光照变化的预处理使模型能够学习到不同光照情况下的人脸特征提取,在应用时也可以经过类似的预处理,通过数据增强以及构造针对性的人脸特征提取网络层,可以对人脸特征的提取更准确全面,因而能够适应如前述所述人脸识别难以执行或准确执行的场景,如受环境因素影响、人脸的外形 (姿态)不稳、情绪变化等导致表情多样化的情况,可以提升人脸识别的准确率。
基于上述人脸识别方法实施例的描述,本申请实施例还公开了一种人脸识别装置。请参见图3,人脸识别装置300包括:
训练模块310,用于获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;
预处理模块320,用于获取待处理人脸图像,对上述待处理人脸图像进行上述预处理操作,获得符合预设参数的待识别人脸图像;
识别模块330,用于将上述待识别人脸图像输入上述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
可选的,上述深度可分离卷积网络结构包括:
两个普通卷积层、三个深度可分离卷积层、四个残差块、一个全局深度可分离卷积层和一个线性卷积层。
可选的,上述深度可分离卷积网络结构具体包括十一个卷积模块,其中:
第一个卷积模块为一个3×3的上述普通卷积层;
第三个、第五个、第七个卷积模块分别为一个3×3的上述深度可分离卷积卷积层;
第二个、第四个、第六个和第八个卷积模块分别为一个上述残差块;
第九个卷积模块为一个1×1的上述普通卷积层;
第十个卷积模块为一个7×7的上述全局深度可分离卷积层;
第十一个卷积模块为一个1×1的上述线性卷积层。
可选的,上述第二个卷积模块的残差块包括4个残差单元,上述第四个卷积模块的残差块包括8个残差单元,上述第六个卷积模块的残差块包括16个残差单元,上述第八个卷积模块的残差块包括5个残差单元。
可选的,上述识别模块330具体用于,将上述待识别人脸图像输入上述目标网络模型,获得上述目标网络模型的上述线性卷积层输出的目标人脸特征向量;
基于上述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得上述人脸识别判定结果。
可选的,上述识别模块330具体用于,获取上述目标人脸特征向量和上述模板人脸特征向量的相似度;
在上述相似度大于或等于预设的特征相似度阈值的情况下,确定上述待识别人脸图像识别成功;在上述相似度小于上述预设的特征相似度阈值的情况下,确定上述待识别人脸图像识别失败。
可选的,上述深度可分离卷积卷积层采用分组归一化层;
上述深度可分离卷积卷积层包括两个1×1卷积层和一个3×3卷积层。
可选地,上述预处理操作包括:
对角拉伸、横向拉伸、纵向拉升、水平旋转、变化亮度、加入椒盐噪音、加入高斯噪音中的任意一种或几种。
根据本申请的一个实施例,前述实施例中所示的方法所涉及的各个步骤均可以是由图3所示的人脸识别装置300中的各个模块执行的,此处不再赘述。
在一种实施方式中,可以在其他设备上执行本申请实施例中涉及的网络训练过程,获得训练后的目标网络模型,再在该人脸识别装置300中基于训练后的模型执行如图1中所示的步骤101和步骤102,进行人脸特征提取和识别的应用。也可以在该人脸识别装置300中执行训练和应用步骤,即图1所示的步骤101-步骤103,本申请实施例对此不作限制。
本申请实施例中的人脸识别装置300,可以获取深度可分离卷积网络结构和样本人脸图像,基于上述样本人脸图像训练上述深度可分离卷积网络结构,获得训练好的目标网络模型,上述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由上述基本人脸图像经过预处理操作获得的人脸扩展图像,之后可以获取待处理人脸图像,对上述待处理人脸图像进行预处理操作,获得符合预设参数的待识别人脸图像,再将上述待识别人脸图像输入上述目标网络模型进行人脸识别处理,获得人脸识别判定结果。由于本申请实施例中通过训练的目标网络模型可以对人脸特征的提取更准确全面,因而能够适应一些人脸识别难以执行或准确执行的场景,如受环境因素影响、人脸的外形(姿态)不稳、情绪变化等导致表情多样化的情况,可以提升人脸识别的准确率。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种电子设备。请参见图4,该电子设备400至少包括处理器401、输入设备402、输出设备403以及计算机存储介质404。其中,终端内的处理器401、输入设备402、输出设备403以及计算机存储介质404可通过总线或其他方式连接。
计算机存储介质404可以存储在终端的存储器中,上述计算机存储介质404 用于存储计算机程序,上述计算机程序包括程序指令,上述处理器401用于执行上述计算机存储介质404存储的程序指令。处理器401(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例上述的处理器401可以用于进行一系列的处理,包括前述实施例中所涉及的方法中的任意步骤等等。
本申请实施例还提供了一种计算机存储介质(Memory),上述计算机存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作***。并且,在该存储空间中还存放了适于被处理器401加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器401加载并执行计算机存储介质中存放的一条或多条指令,以实现上述实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条指令可以由处理器401加载并执行前述实施例中方法的任意步骤,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-only memory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。

Claims (11)

1.一种人脸识别方法,其特征在于,所述方法包括:
获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;
获取待处理人脸图像,对所述待处理人脸图像进行所述预处理操作,获得符合预设参数的待识别人脸图像;
将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
2.根据权利要求1所述的人脸识别方法,其特征在于,所述深度可分离卷积网络结构包括:
两个普通卷积层、三个深度可分离卷积层、四个残差块、一个全局深度可分离卷积层和一个线性卷积层。
3.根据权利要求2所述的人脸识别方法,其特征在于,所述深度可分离卷积网络结构具体包括十一个卷积模块,其中:
第一个卷积模块为一个3×3的所述普通卷积层;
第三个、第五个、第七个卷积模块分别为一个3×3的所述深度可分离卷积卷积层;
第二个、第四个、第六个和第八个卷积模块分别为一个所述残差块;
第九个卷积模块为一个1×1的所述普通卷积层;
第十个卷积模块为一个7×7的所述全局深度可分离卷积层;
第十一个卷积模块为一个1×1的所述线性卷积层。
4.根据权利要求3所述的人脸识别方法,其特征在于,所述第二个卷积模块的残差块包括4个残差单元,所述第四个卷积模块的残差块包括8个残差单元,所述第六个卷积模块的残差块包括16个残差单元,所述第八个卷积模块的残差块包括5个残差单元。
5.根据权利要求1-4任一项所述的人脸识别方法,其特征在于,所述将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果包括:
将所述待识别人脸图像输入所述目标网络模型,获得所述目标网络模型的所述线性卷积层输出的目标人脸特征向量;
基于所述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得所述人脸识别判定结果。
6.根据权利要求5所述的人脸识别方法,其特征在于,所述基于所述目标人脸特征向量与模板人脸特征向量进行相似度度量,获得所述人脸识别判定结果,包括:
获取所述目标人脸特征向量和所述模板人脸特征向量的相似度;
在所述相似度大于或等于预设的特征相似度阈值的情况下,确定所述待识别人脸图像识别成功;在所述相似度小于所述预设的特征相似度阈值的情况下,确定所述待识别人脸图像识别失败。
7.根据权利要求2-4任一项所述的人脸识别方法,其特征在于,所述深度可分离卷积卷积层采用分组归一化层;
所述深度可分离卷积卷积层包括两个1×1卷积层和一个3×3卷积层。
8.根据权利要求1-4任一项所述的人脸识别方法,其特征在于,所述预处理操作包括:
对角拉伸、横向拉伸、纵向拉升、水平旋转、变化亮度、加入椒盐噪音、加入高斯噪音中的任意一种或几种。
9.一种人脸识别装置,其特征在于,包括:
训练模块,用于获取深度可分离卷积网络结构和样本人脸图像,基于所述样本人脸图像训练所述深度可分离卷积网络结构,获得训练好的目标网络模型,所述样本人脸图像包括多个用户的人脸图像,其中每个用户的人脸图像包括至少五个基本人脸图像和/或由所述基本人脸图像经过预处理操作获得的人脸扩展图像;
预处理模块,用于获取待处理人脸图像,对所述待处理人脸图像进行预处理操作,获得符合预设参数的待识别人脸图像;
识别模块,用于将所述待识别人脸图像输入所述目标网络模型进行人脸识别处理,获得人脸识别判定结果。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的人脸识别方法的步骤。
11.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的人脸识别方法的步骤。
CN202010549072.7A 2020-06-16 2020-06-16 人脸识别方法、装置、电子设备和介质 Pending CN111898412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549072.7A CN111898412A (zh) 2020-06-16 2020-06-16 人脸识别方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549072.7A CN111898412A (zh) 2020-06-16 2020-06-16 人脸识别方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN111898412A true CN111898412A (zh) 2020-11-06

Family

ID=73206708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549072.7A Pending CN111898412A (zh) 2020-06-16 2020-06-16 人脸识别方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN111898412A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446337A (zh) * 2020-12-02 2021-03-05 电子科技大学 一种基于表情识别的智慧博物馆管理***
CN113343955A (zh) * 2021-08-06 2021-09-03 北京惠朗时代科技有限公司 一种基于深度金字塔的人脸识别智能尾箱应用方法
CN113657498A (zh) * 2021-08-17 2021-11-16 展讯通信(上海)有限公司 生物特征提取方法、训练方法、认证方法、装置和设备
CN113688762A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113869282A (zh) * 2021-10-22 2021-12-31 马上消费金融股份有限公司 人脸识别方法、超分模型训练方法及相关设备
CN115937956A (zh) * 2023-01-05 2023-04-07 广州蚁窝智能科技有限公司 一种人脸识别方法及后厨用看板***
WO2023124040A1 (zh) * 2021-12-31 2023-07-06 深圳须弥云图空间科技有限公司 一种人脸识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960053A (zh) * 2018-05-28 2018-12-07 北京陌上花科技有限公司 归一化处理方法及装置、客户端
CN108985236A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 一种基于深度化可分离卷积模型的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960053A (zh) * 2018-05-28 2018-12-07 北京陌上花科技有限公司 归一化处理方法及装置、客户端
CN108985236A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 一种基于深度化可分离卷积模型的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田萱 等: "《深度学习之PyTorch物体检测实战》", 北京:机械工业出版社, pages: 17 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446337A (zh) * 2020-12-02 2021-03-05 电子科技大学 一种基于表情识别的智慧博物馆管理***
CN113343955A (zh) * 2021-08-06 2021-09-03 北京惠朗时代科技有限公司 一种基于深度金字塔的人脸识别智能尾箱应用方法
CN113657498A (zh) * 2021-08-17 2021-11-16 展讯通信(上海)有限公司 生物特征提取方法、训练方法、认证方法、装置和设备
CN113688762A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113688762B (zh) * 2021-08-31 2023-08-08 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113869282A (zh) * 2021-10-22 2021-12-31 马上消费金融股份有限公司 人脸识别方法、超分模型训练方法及相关设备
WO2023124040A1 (zh) * 2021-12-31 2023-07-06 深圳须弥云图空间科技有限公司 一种人脸识别方法及装置
CN115937956A (zh) * 2023-01-05 2023-04-07 广州蚁窝智能科技有限公司 一种人脸识别方法及后厨用看板***

Similar Documents

Publication Publication Date Title
CN111898412A (zh) 人脸识别方法、装置、电子设备和介质
CN107633204B (zh) 人脸遮挡检测方法、装置及存储介质
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
US10635946B2 (en) Eyeglass positioning method, apparatus and storage medium
WO2020192112A1 (zh) 人脸识别方法及装置
CN108388878A (zh) 用于识别人脸的方法和装置
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
US11074469B2 (en) Methods and systems for detecting user liveness
CN113515988B (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN105335719A (zh) 活体检测方法及装置
CN113614731A (zh) 使用软生物特征的认证验证
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN110245573A (zh) 一种基于人脸识别的签到方法、装置及终端设备
EP2701096A2 (en) Image processing device and image processing method
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN111784665A (zh) 基于傅里叶变换的oct图像质量评估方法、***及装置
Ríos-Sánchez et al. gb2sμMOD: A MUltiMODal biometric video database using visible and IR light
CN110363111A (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN103984415B (zh) 一种信息处理方法及电子设备
CN108647600A (zh) 人脸识别方法、设备及计算机可读存储介质
CN109933969B (zh) 验证码识别方法、装置、电子设备及可读存储介质
CN105760881A (zh) 基于Haar分类器方法的人脸建模检测方法
Lee et al. Advanced face recognition and verification in mobile platforms
US20240144713A1 (en) Methods and systems for determining the authenticity of an identity document

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination