CN111597933A - 人脸识别方法和装置 - Google Patents

人脸识别方法和装置 Download PDF

Info

Publication number
CN111597933A
CN111597933A CN202010367239.8A CN202010367239A CN111597933A CN 111597933 A CN111597933 A CN 111597933A CN 202010367239 A CN202010367239 A CN 202010367239A CN 111597933 A CN111597933 A CN 111597933A
Authority
CN
China
Prior art keywords
face
speckle
image
sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010367239.8A
Other languages
English (en)
Other versions
CN111597933B (zh
Inventor
户磊
王海彬
张举勇
薛远
王秋雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010367239.8A priority Critical patent/CN111597933B/zh
Publication of CN111597933A publication Critical patent/CN111597933A/zh
Application granted granted Critical
Publication of CN111597933B publication Critical patent/CN111597933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人脸识别方法和装置，人脸识别方法包括获取人脸散斑图像和与人脸散斑图像对应的参考散斑图像；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征；人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。本发明实施例提供的人脸识别方法，提出一个端到端的散斑人脸识别框架，可以充分利用人脸散斑图像中包含的丰富信息，明显优于基于深度的人脸识别方法，通过对视差网络和识别网络进行联合训练，充分利用人脸散斑图像中的信息，显著提高人脸识别的准确度。

Description

人脸识别方法和装置
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种人脸识别方法和装置。
背景技术
人脸识别是根据输入信号来进行人的身份识别，现有的大多数人脸识别方法都是直接在视觉图像上进行人脸识别，比如RGB图像、灰度图像和深度图像。目前主流的人脸识别方法有基于RGB的人脸识别方法和基于RGB-D的人脸识别方法。
近年来，由于卷积神经网络强大的学习能力和大规模人脸数据的应用，使得基于RGB的人脸识别方法取得了长足的进步，在流行的基准评测上具有很强的竞争力表现。虽然基于RGB的人脸识别方法取得了较好的识别精度，但是，当视角变化较大或者较强的光照变化下，其识别性能就会急剧下降，从而限制了其在高安全级别的应用，比如金融交易。
随着诸如Kinect V1和PrimeSense等消费级别深度传感器的普及，除RGB图像之外，深度图像还可以用作输入信号来辅助人脸识别，进一步提高识别精度。基于RGB-D的人脸识别方法，利用了更多的深度信息，提升了识别精度，并获得了更好的鲁棒性。
基于RGB-D的人脸识别方法，首先从深度传感器中获得原始的散斑图像，然后使用其内部算法计算深度，最后将恢复出来的深度图像用于人脸识别。但是，这种两阶段过程可能无法充分利用原始信号中存储的信息，主要表现在，在第一阶段可能会丢失一些对于深度恢复不重要而对于人脸识别很关键的信息，在第二阶段永远无法恢复这些丢失的信息。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的人脸识别方法、装置、电子设备和可读存储介质。
第一方面，本发明实施例提供一种人脸识别方法包括：获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像；将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征；其中，所述人脸识别模型包括视差网络和识别网络；所述将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征包括：将所述人脸散斑图像和所述参考散斑图像输入至所述视差网络，得到视差图；基于所述视差图，得到深度图；将所述深度图输入至所述识别网络，得到所述人脸散斑图像的人脸特征；所述人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与所述人脸散斑样本图像对应的样本人脸特征与所述人脸样本标注结果对应。
在一些实施例中，所述视差网络的确定步骤包括：以散斑样本图像为样本，以预先确定的与所述散斑样本图像对应的每个像素点的视差真实值为样本标签进行训练。
在一些实施例中，所述识别网络的确定步骤包括：固定训练后的所述视差网络，以所述人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练。
在一些实施例中，所述视差网络基于Smooth-L1损失函数确定，所述识别网络基于Softmax-Loss损失函数确定。
在一些实施例中，所述视差网络包括：特征提取模块、构建立体匹配代价模块、立体匹配代价聚合模块和视差计算模块；其中，所述特征提取模块用于对与所述散斑样本图像对应的所述每个像素点进行特征提取；所述构建立体匹配代价模块用于计算所述每个像素点的匹配代价值；所述立体匹配代价聚合模块用于对所述匹配代价值进行聚合；所述视差计算模块用于计算所述每个像素点的视差测量值。
在一些实施例中，所述获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像包括：获取原始散斑图像、原始彩色图像和所述参考散斑图像；基于所述原始彩色图像，获取人脸边界框；基于所述原始散斑图像和所述人脸边界框，获取原始散斑识别图像；对所述原始散斑识别图像进行预处理，获取所述人脸散斑图像。
在一些实施例中，所述对所述原始散斑识别图像进行预处理，获取所述人脸散斑图像包括：对所述原始散斑识别图像进行局部对比度归一化处理，获取所述人脸散斑图像。
第二方面，本发明实施例提供一种人脸识别装置包括：获取单元，用于获取人脸散斑图像和参考散斑图像；识别单元，用于将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征；其中，所述人脸识别模型包括视差网络和识别网络；所述将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征包括：将所述人脸散斑图像和所述参考散斑图像输入至所述视差网络，得到视差图；基于所述视差图，得到深度图；将所述深度图输入至所述识别网络，得到所述人脸散斑图像的人脸特征；所述人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与所述人脸散斑样本图像对应的样本人脸特征与所述人脸样本标注结果对应。
第三方面，本发明实施例提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的人脸识别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的人脸识别方法的步骤。
本发明实施例提供的人脸识别方法、装置、电子设备和可读存储介质，提出了一个端到端的散斑人脸识别框架，视差网络对人脸散斑图像进行视差回归，将视差图转换为深度图，识别网络对深度图提取人脸特征。这种由视差网络和识别网络组成的级联网络模型架构，可以充分利用人脸散斑图像中包含的丰富信息，明显优于基于深度的人脸识别方法。同时通过对视差网络和识别网络进行联合训练，充分利用了人脸散斑图像中的信息，显著提高了人脸识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸识别方法的流程图；
图2为本发明实施例提供的另一人脸识别方法的流程图；
图3为本发明实施例提供的另一人脸识别方法的网络架构图；
图4为本发明实施例提供的另一人脸识别方法的人脸边界区域示意图；
图5为本发明实施例提供的人脸识别装置的结构示意图；
图6为本发明实施例提供的人脸识别电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明实施例提供的人脸识别方法。
如图1所示，本发明实施例提供的人脸识别方法包括步骤S100和S200。
步骤S100、获取人脸散斑图像和与人脸散斑图像对应的参考散斑图像。
可以理解的是，深度相机有两个摄像头和一个投射器，摄像头中的一个是普通摄像头，另一个是红外摄像头，普通摄像头拍摄彩色图像，红外摄像头同步拍摄散斑图像；投射器用于投射散斑信号。本发明实施例采用深度相机的红外摄像头来获取人脸散斑图像和参考散斑图像，其中，参考散斑图像为任意的平面散斑图像，并且人脸散斑图像和参考散斑图像是采用同一部深度相机来获取，人脸散斑图像的大小和参考散斑图像的大小相同。
步骤S200、将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征。
可以理解的是，在人脸识别模型的应用阶段，人脸识别模型的输入为人脸散斑图像和参考散斑图像，人脸识别模型的输出为人脸散斑图像的人脸特征。
其中，步骤S200包括步骤S210-S230。
步骤S210、将人脸散斑图像和参考散斑图像输入至视差网络，得到视差图。
可以理解的是，如图2所示，本发明实施例提供的人脸识别模型是针对散斑图像构建的一个端到端的Speckle Face Recognition Net(SFR-Net)网络模型，人脸识别模型包含视差网络和识别网络这两个子网络，其中视差网络是一个权重很小的视差回归网络，用于得到人脸散斑图像和参考散斑图像之间的视差图，识别网络是一个人脸识别卷积神经网络，用于识别人脸散斑图像中的人脸特征。
在人脸识别模型的应用阶段，视差网络的输入为人脸散斑图像和参考散斑图像，计算人脸散斑图像和参考散斑图像之间每个对应的像素点的视差值，所有像素点的视差值构成视差图，视差网络的输出为视差图。
步骤S220、基于视差图，得到深度图。
可以理解的是，将视差图中每个像素点的视差值转换为深度值，可以得到人脸散斑图像对应的深度图。将视差值转换为深度值的转换公式为：
Figure BDA0002476923360000061
其中，z为深度值，b为红外相机与投射器之间的基线的长度值，f为红外相机的焦距，d为视差值。
步骤S230、将深度图输入至识别网络，得到人脸散斑图像的人脸特征。
可以理解的是，本发明实施例提供的识别网络采用Sphere Face网络，本发明实施例对卷积神经网络的层数不作具体限定，本发明实施例以卷积神经网络的层数为20层举例，构建了20层的卷积神经网络来提取人脸特征，然后使用交叉熵损失函数对人脸特征进行分类。识别网络输入为深度图，输出为人脸散斑图像的人脸特征。
需要注意的是，人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
可以理解的是，在人脸识别模型的训练阶段，是对视差网络和识别网络以端到端的方式进行联合训练，并且，视差网络和识别网络的学习率是独立设置和调整的。人脸识别模型的输入为人脸散斑样本图像和参考散斑样本图像，样本标签为人脸散斑样本图像对应的人脸样本标注结果，人脸识别模型的输出为人脸样本识别结果。
其中，参考散斑样本图像为任意的平面散斑图像，人脸散斑样本图像和参考散斑样本图像是采用同一部深度相机来获取，人脸散斑样本图像的大小和参考散斑样本图像的大小相同。
人脸样本标注结果为自动标注，人脸样本标注结果和人脸散斑样本图像呈对应关系，人脸样本标注结果也和人脸散斑样本图像对应的样本人脸特征呈对应关系。
本发明实施例提供的人脸识别方法，提出了一个端到端的散斑人脸识别框架，视差网络对人脸散斑图像进行视差回归，将视差图转换为深度图，识别网络对深度图提取人脸特征。这种由视差网络和识别网络组成的级联网络模型架构，可以充分利用人脸散斑图像中包含的丰富信息，明显优于基于深度的人脸识别方法。同时通过对视差网络和识别网络进行联合训练，充分利用了人脸散斑图像中的信息，显著提高了人脸识别的准确度。
在一些实施例中，视差网络的确定步骤包括：以散斑样本图像为样本，以预先确定的与散斑样本图像对应的每个像素点的视差真实值为样本标签进行训练。
可以理解的是，在人脸识别模型的训练阶段，对视差网络和识别网络进行联合训练之前，对视差网络进行独立地预训练。
对视差网络进行预训练阶段，视差网络的输入为散斑样本图像和参考散斑样本图像，样本标签为与散斑样本图像对应的每个像素点的视差真实值，视差网络的输出为与散斑样本图像对应的每个像素点的视差测量值。
其中，参考散斑样本图像为任意的平面散斑图像，散斑样本图像和参考散斑样本图像是采用同一部深度相机来获取，散斑样本图像的大小和参考散斑样本图像的大小相同。
与散斑样本图像对应的每个像素点的视差真实值为散斑样本图像和参考散斑样本图像之间每个对应的像素点的视差真实值，是预先自动确定的。
本发明实施例提供的人脸识别方法，在有视差真实值监督的情况下，独立地对视差网络进行预训练，视差网络可以避免输出一些杂乱的特征，从而提高视差网络的计算精度。
在一些实施例中，识别网络的确定步骤包括：固定训练后的视差网络，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练。
可以理解的是，在人脸识别模型的训练阶段，对视差网络和识别网络进行联合训练之前，对视差网络进行独立地预训练之后，对识别网络进行独立地预训练。
对识别网络进行预训练阶段，固定已经进行预训练的视差网络，只对识别网络进行预训练。识别网络的输入为人脸散斑样本图像和参考散斑样本图像，样本标签为人脸散斑样本图像对应的人脸样本标注结果，识别网络的输出为人脸样本识别结果。
其中，参考散斑样本图像为任意的平面散斑图像，人脸散斑样本图像和参考散斑样本图像是采用同一部深度相机来获取，人脸散斑样本图像的大小和参考散斑样本图像的大小相同。
人脸样本标注结果为自动标注，人脸样本标注结果和人脸散斑样本图像呈对应关系，人脸样本标注结果也和人脸散斑样本图像对应的样本人脸特征呈对应关系。
采用人脸识别行业通用指标1v.1比对和1v.n比对，对本发明实施例的人脸识别方法进行测试，对比结果如表1和表2所示。
表1没有预训练和有预训练对比表
方法 1v.1 1v.n
没有预训练的对比结果 80.63％ 57.59％
有预训练的对比结果 92.12％ 89.66％
表2分开训练和联合训练对比表
方法 1v.1 1v.n
分开训练的对比结果 86.43％ 71.71％
联合训练的对比结果 92.12％ 89.66％
本发明实施例提供的人脸识别方法，使用预训练和联合训练相结合的方法，在有监督的情况下，分别独立地对视差网络和识别网络进行预训练，再对视差网络和识别网络进行联合训练，以统一两个网络，使视差网络和识别网络各自的优势相互补充。通过对视差网络和识别网络各进行两次训练，更加充分利用了原始散斑图像中的信息，得到了效果更好的人脸特征。
在一些实施例中，视差网络基于Smooth-L1损失函数确定，识别网络基于Softmax-Loss损失函数确定。
可以理解的是，损失函数为度量神经网络的输出测量值与实际值之间差距的一种方式，视差网络采用Smooth-L1损失函数，用以对视差网络进行优化，识别网络采用Softmax-Loss损失函数，用以对识别网络进行优化。
Smooth-L1损失函数的公式为：
Figure BDA0002476923360000101
Figure BDA0002476923360000102
其中，d为视差真实值，
Figure BDA0002476923360000103
为视差模型输出的视差测量值，N为散斑样本图像中像素点的总数，i为散斑样本图像中的像素点，x为视差真实值与视差测量值差的绝对值，SmoothL1(x)为Smooth-L1损失函数，
Figure BDA0002476923360000107
为视差真实值和视差测量值的损失值。
Softmax-Loss损失函数的公式为：
Figure BDA0002476923360000104
其中，N为训练识别网络的样本的总数，i为样本的标号，C为训练样本类别的总数，j为对应的类别号，FR(.)是在识别网络中，空间RHxW到空间RK的转换，K代表FR(Z)的特征维度，Z为深度图，H为深度图的高度，W为深度图的宽度，
Figure BDA0002476923360000105
和
Figure BDA0002476923360000106
为最后一层全连接层对应类别的权重参数，byi和bj为最后一层全连接层对应类别的偏置参数，Ls为Softmax-Loss损失函数。
本发明实施例提供的人脸识别方法，通过Smooth-L1损失函数对视差网络进行优化确定，通过Softmax-Loss对识别网络进行优化确定，进一步提高了人脸特征的准确度。
在一些实施例中，如图3所示，视差网络包括特征提取模块、构建立体匹配代价模块、立体匹配代价聚合模块和视差计算模块。
可以理解的是，特征提取模块包括第一卷积层-第五卷积层，用于对与散斑样本图像对应的每个像素点进行特征提取。特征提取是指提取散斑样本图像和参考散斑样本图像对应的每个像素点的图像信息，提取的特征用以决定每个像素点是否属于一个图像特征，从而将散斑样本图像中的像素点进行分类。
构建立体匹配代价模块用于计算散斑样本图像和参考散斑样本图像对应的每个像素点的匹配代价值。
立体匹配代价聚合模块包括第六卷积层-第十四卷积层，用于对匹配代价值进行聚合。由于上面匹配代价值计算的步骤只考虑了局部相关性，对噪声却非常敏感，因此无法直接用来计算视差值。采用立体匹配代价聚合模块对匹配代价值进行聚合，使聚合后的匹配代价值能够更准确的反应像素点之间的相关性。
将聚合后的匹配代价值进行重调整和上采样后，采用视差计算模块用于计算每个像素点的视差测量值。
本发明实施例提供的人脸识别方法，采用了一个权重很小的视差回归网络，提高了视差计算的准确率。
在一些实施例中，步骤S100包括步骤S110-S140。
步骤S110、获取原始散斑图像、原始彩色图像和参考散斑图像。
可以理解的是，本发明实施例采用深度相机的红外摄像头来获取原始散斑图像和参考散斑图像，采用深度相机的普通摄像头来获取原始彩色图像。
步骤S120、基于原始彩色图像，获取人脸边界框。
可以理解的是，基于原始彩色图像，采用二维人脸检测算法，获取原始彩色图像中的人脸边界框。
步骤S130、基于原始散斑图像和人脸边界框，获取原始散斑识别图像。
可以理解的是，将原始散斑图像和原始彩色图像进行对齐，根据原始彩色图像中的人脸边界框裁剪原始散斑图像中的对应的人脸边界区域，裁剪后得到原始散斑识别图像，如图4所示。
步骤S140、对原始散斑识别图像进行预处理，获取人脸散斑图像。
可以理解的是，对原始散斑识别图像进行预处理，用以获取更加适合人脸识别模型的人脸散斑图像。
本发明实施例提供的人脸识别方法，采用二维人脸检测算法获取原始彩色图像中的人脸边界框，再用人脸边界框对原始散斑图像进行处理，获取人脸散斑图像，使得人脸散斑图像更加适合人脸识别模型，提高了人脸识别模型的识别效果。
在一些实施例中，步骤S140包括：对原始散斑识别图像进行局部对比度归一化处理，获取人脸散斑图像。
可以理解的是，局部对比度归一化是深度学习中常用的一种数据预处理方法，不仅可以移除亮度和视差的相关性，而且还使亮度的变化不会对原始散斑识别图像造成影响。局部对比度归一化的计算公式为：
Figure BDA0002476923360000121
其中，I为像素点的像素值，μ为像素点邻域窗口内的平均值，σ为像素点邻域窗口内的标准差，∈为一个预设的小常数，
Figure BDA0002476923360000122
为经公式计算后求得的值用来替换像素点的像素值。
本发明实施例提供的人脸识别方法，引入局部对比度归一化处理，消除了散斑影像中对比度和亮度的不一致带来的误差问题。
下面对本发明实施例提供的人脸识别装置进行描述，下文描述的人脸识别装置与上文描述的人脸识别方法可相互对应参照。
下面结合图5描述本发明实施例提供的人脸识别装置。
如图5所示，该装置包括获取单元310和识别单元320。
获取单元310，用于获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像。
可以理解的是，本发明实施例采用深度相机的红外摄像头来获取人脸散斑图像和参考散斑图像，其中，参考散斑图像为任意的平面散斑图像，并且人脸散斑图像和参考散斑图像是采用同一部深度相机来获取，人脸散斑图像的大小和参考散斑图像的大小相同。识别单元310获取人脸散斑图像和参考散斑图像。
识别单元320，用于将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征；其中，人脸识别模型包括视差网络和识别网络；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征包括：将人脸散斑图像和参考散斑图像输入至视差网络，得到视差图；基于视差图，得到深度图；将深度图输入至识别网络，得到人脸散斑图像的人脸特征；人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
可以理解的是，识别单元320用于将人脸散斑图像和参考散斑图像输入至人脸识别模型，输出人脸散斑图像的人脸特征。
人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
本发明实施例提供的人脸识别装置，提出了一个端到端的散斑人脸识别框架，视差网络对人脸散斑图像进行视差回归，将视差图转换为深度图，识别网络对深度图提取人脸特征。这种由视差网络和识别网络组成的级联网络模型架构，可以充分利用人脸散斑图像中包含的丰富信息，明显优于基于深度的人脸识别方法。同时通过对视差网络和识别网络进行联合训练，充分利用了人脸散斑图像中的信息，显著提高了人脸识别的准确度。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行人脸识别方法，该方法包括获取人脸散斑图像和与人脸散斑图像对应的参考散斑图像；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征；其中，人脸识别模型包括视差网络和识别网络；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征包括：将人脸散斑图像和参考散斑图像输入至视差网络，得到视差图；基于视差图，得到深度图；将深度图输入至识别网络，得到人脸散斑图像的人脸特征；人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图6所示的处理器410、通信接口420、存储器430和通信总线440，其中处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信，且处理器410可以调用存储器430中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的人脸识别方法，该方法包括获取人脸散斑图像和与人脸散斑图像对应的参考散斑图像；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征；其中，人脸识别模型包括视差网络和识别网络；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征包括：将人脸散斑图像和参考散斑图像输入至视差网络，得到视差图；基于视差图，得到深度图；将深度图输入至识别网络，得到人脸散斑图像的人脸特征；人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的人脸识别方法，该方法包括获取人脸散斑图像和与人脸散斑图像对应的参考散斑图像；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征；其中，人脸识别模型包括视差网络和识别网络；将人脸散斑图像和参考散斑图像输入至人脸识别模型，获取人脸散斑图像的人脸特征包括：将人脸散斑图像和参考散斑图像输入至视差网络，得到视差图；基于视差图，得到深度图；将深度图输入至识别网络，得到人脸散斑图像的人脸特征；人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与人脸散斑样本图像对应的样本人脸特征与人脸样本标注结果对应。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像；
将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征；
其中，所述人脸识别模型包括视差网络和识别网络；
所述将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征，包括：
将所述人脸散斑图像和所述参考散斑图像输入至所述视差网络，得到视差图；
基于所述视差图，得到深度图；
将所述深度图输入至所述识别网络，得到所述人脸散斑图像的人脸特征；
所述人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与所述人脸散斑样本图像对应的样本人脸特征与所述人脸样本标注结果对应。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述视差网络的确定步骤，包括：
以散斑样本图像为样本，以预先确定的与所述散斑样本图像对应的每个像素点的视差真实值为样本标签进行训练。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述识别网络的确定步骤，包括：
固定训练后的所述视差网络，以所述人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述视差网络基于Smooth-L1损失函数确定，所述识别网络基于Softmax-Loss损失函数确定。
5.根据权利要求1-4任一所述的人脸识别方法，其特征在于，所述视差网络包括：特征提取模块、构建立体匹配代价模块、立体匹配代价聚合模块和视差计算模块；
其中，所述特征提取模块用于对与所述散斑样本图像对应的所述每个像素点进行特征提取；
所述构建立体匹配代价模块用于计算所述每个像素点的匹配代价值；
所述立体匹配代价聚合模块用于对所述匹配代价值进行聚合；
所述视差计算模块用于计算所述每个像素点的视差测量值。
6.根据权利要求1-4任一所述的人脸识别方法，其特征在于，所述获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像，包括：
获取原始散斑图像、原始彩色图像和所述参考散斑图像；
基于所述原始彩色图像，获取人脸边界框；
基于所述原始散斑图像和所述人脸边界框，获取原始散斑识别图像；
对所述原始散斑识别图像进行预处理，获取所述人脸散斑图像。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述对所述原始散斑识别图像进行预处理，获取所述人脸散斑图像，包括：
对所述原始散斑识别图像进行局部对比度归一化处理，获取所述人脸散斑图像。
8.一种人脸识别装置，其特征在于，包括：
获取单元，用于获取人脸散斑图像和与所述人脸散斑图像对应的参考散斑图像；
识别单元，用于将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征；
其中，所述人脸识别模型包括视差网络和识别网络；
所述将所述人脸散斑图像和所述参考散斑图像输入至人脸识别模型，获取所述人脸散斑图像的人脸特征，包括：
将所述人脸散斑图像和所述参考散斑图像输入至所述视差网络，得到视差图；
基于所述视差图，得到深度图；
将所述深度图输入至所述识别网络，得到所述人脸散斑图像的人脸特征；
所述人脸识别模型为，以人脸散斑样本图像为样本，以预先确定的与所述人脸散斑样本图像对应的人脸样本标注结果为样本标签进行训练得到，与所述人脸散斑样本图像对应的样本人脸特征与所述人脸样本标注结果对应。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述人脸识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述人脸识别方法的步骤。
CN202010367239.8A 2020-04-30 2020-04-30 人脸识别方法和装置 Active CN111597933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367239.8A CN111597933B (zh) 2020-04-30 2020-04-30 人脸识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367239.8A CN111597933B (zh) 2020-04-30 2020-04-30 人脸识别方法和装置

Publications (2)

Publication Number Publication Date
CN111597933A true CN111597933A (zh) 2020-08-28
CN111597933B CN111597933B (zh) 2023-07-14

Family

ID=72185614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367239.8A Active CN111597933B (zh) 2020-04-30 2020-04-30 人脸识别方法和装置

Country Status (1)

Country Link
CN (1) CN111597933B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112861764A (zh) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN114117514A (zh) * 2021-10-29 2022-03-01 香港理工大学深圳研究院 一种基于光学散斑的加密人脸识别方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096551A (zh) * 2016-06-14 2016-11-09 湖南拓视觉信息技术有限公司 人脸部位识别的方法和装置
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108734776A (zh) * 2018-05-23 2018-11-02 四川川大智胜软件股份有限公司 一种基于散斑的三维人脸重建方法及设备
CN108804895A (zh) * 2018-04-28 2018-11-13 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096551A (zh) * 2016-06-14 2016-11-09 湖南拓视觉信息技术有限公司 人脸部位识别的方法和装置
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108804895A (zh) * 2018-04-28 2018-11-13 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108734776A (zh) * 2018-05-23 2018-11-02 四川川大智胜软件股份有限公司 一种基于散斑的三维人脸重建方法及设备
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN109948573A (zh) * 2019-03-27 2019-06-28 厦门大学 一种基于级联深度卷积神经网络的噪声鲁棒人脸识别方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERNOT RIEGLER等: "Connecting the Dots: Learning Representations for Active Monocular Depth Estimation" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN111932482B (zh) * 2020-09-25 2021-05-18 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112861764A (zh) * 2021-02-25 2021-05-28 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN112861764B (zh) * 2021-02-25 2023-12-08 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN114117514A (zh) * 2021-10-29 2022-03-01 香港理工大学深圳研究院 一种基于光学散斑的加密人脸识别方法和***

Also Published As

Publication number Publication date
CN111597933B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111597933B (zh) 人脸识别方法和装置
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
CN110674688B (zh) 用于视频监控场景的人脸识别模型获取方法、***和介质
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、***和设备
US20220174089A1 (en) Automatic identification and classification of adversarial attacks
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111222395A (zh) 目标检测方法、装置与电子设备
CN110082821B (zh) 一种无标签框微地震信号检测方法及装置
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109815823B (zh) 数据处理方法及相关产品
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和***
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111680577A (zh) 人脸检测方法和装置
CN113743378A (zh) 一种基于视频的火情监测方法和装置
CN110633630B (zh) 一种行为识别方法、装置及终端设备
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220629

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant