CN111091075A - 人脸识别方法、装置、电子设备及存储介质 - Google Patents

人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111091075A
CN111091075A CN201911213058.3A CN201911213058A CN111091075A CN 111091075 A CN111091075 A CN 111091075A CN 201911213058 A CN201911213058 A CN 201911213058A CN 111091075 A CN111091075 A CN 111091075A
Authority
CN
China
Prior art keywords
face
point cloud
cloud data
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911213058.3A
Other languages
English (en)
Other versions
CN111091075B (zh
Inventor
张彦博
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201911213058.3A priority Critical patent/CN111091075B/zh
Publication of CN111091075A publication Critical patent/CN111091075A/zh
Application granted granted Critical
Publication of CN111091075B publication Critical patent/CN111091075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种人脸识别方法、装置、电子设备及存储介质，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。提高了3D人脸识别精度。

Description

人脸识别方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸识别技术领域，更具体地说，涉及一种人脸识别方法、装置、电子设备及存储介质。
背景技术
人脸识别广泛应用于身份鉴定、信息安全、刑事侦破、出入口控制等领域。
目前，主流的人脸识别方法是二维(2D)人脸识别方法，2D人脸识别方法虽然具有运算量小，识别快的特点，但是因为提取的特征比较局限，在复杂的场景中容易判别错误。为了弥补这一不足，三维(3D)人脸识别应用而生。
然而，发明人研究发现，基于传统方法(传统方法主要采用数据方法，从图像数据中提取特征，基于提取的特征进行人脸识别)的3D人脸识别方法只提取脸部的一些局部特征(如眼、口、鼻等区域的特征)进行人脸匹配，对于脸部稍微相似的人就容易判断错误，识别精度较低。而基于神经网络的3D人脸识别方法虽然可以提高识别精度，但其是以具有足够多的训练样本为前提的，而事实是，目前的3D人脸数据非常少，因而，目前基于神经网络的3D人脸识别方法的识别精度也较低。
发明内容
本申请的目的是提供一种人脸识别方法、装置、电子设备及存储介质，以提高3D人脸识别精度，具体包括如下技术方案：
一种人脸识别方法，包括：
获取深度图像；
根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
从姿态校正后的人脸区域中裁剪出目标区域；
对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
将所述归一化的点云数据映射为平面三通道图像；
将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
上述方法，优选的，所述根据所述深度图中的人脸区域的点云数据，对所述人脸区域进行姿态校正，包括：
对与所述深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标；
根据所述人脸区域坐标和多个关键点坐标，从所述深度图像中确定待处理人脸区域和多个关键点；
根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵；
利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正。
上述方法，优选的，所述多个关键点包括：两个眼球点、鼻尖和两个嘴角点；
在根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵之前还包括：
获取所述鼻尖点周围预设区域内各个像素的深度值；
将所述预设区域内所有像素的深度值的中值作为所述鼻尖点最终的深度值。
上述方法，优选的，在确定所述鼻尖点最终的深度值之后，在利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正之前还包括：
将所述深度图中深度值小于所述鼻尖点最终的深度值的像素点，以及深度值与所述鼻尖点最终的深度值的差值大于预设阈值的像素点删除。
上述方法，优选的，所述人脸区域的点云数据利用如下公式获取得到：
z＝(double)I(i，j)/s
x＝(j-cx)*z/fx
y＝(i-cy)*z/fy
其中，I代表一帧深度图像；I(i，j)是指图像矩阵中(i，j)位置的深度值；double是用来数据格式转换；fx，fy是采集所述深度图的摄像头的焦距；cx，cy是像主点坐标；s是倾斜参数；x，y，z是转换之后的点云坐标。
上述方法，优选的，第二类样本数据通过如下方法获得：
对应图像采集装置采集的每一帧深度图像，以鼻尖点为中心，从该帧深度图像的点云数据中截取距离鼻尖点最近的第一预设数量的点云数据作为人脸点云数据；
对于图像采集装置采集的任意两帧深度图像，根据截取的人脸点云数据计算该两帧深度图像的差异；
按照差异由大到小的顺序，将差异最大的第二预设数量的深度图像对作为目标深度图对；
对应每一目标深度图像对，利用该目标深度图像对中两帧深度图像的点云数据，计算得到新的人脸点云数据；
对于每一新的人脸点云数据，对该新的人脸点云数据进行多种增强处理，得到增强的人脸点云数据，每一种增强处理均进行一次姿态旋转并增加噪声；
对于每一增强的人脸点云数据，对该增强的人脸点云数据进行归一化处理；将归一化的增强的人脸点云数据映射为平面三通道图像，得到第二类样本数据。
上述方法，优选的，所述人脸识别模型为四层卷积神经网络。
一种人脸识别装置，包括：
获取模块，用于获取深度图像；
校正模块，用于根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
裁剪模块，用于从姿态校正后的人脸区域中裁剪出目标区域；
归一化模块，用于对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
映射模块，用于将所述归一化的点云数据映射为平面三通道图像；
识别模块，用于将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
一种电子设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上任一项所述的人脸识别方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的人脸识别方法的各个步骤。
通过以上方案可知，本申请提供的一种人脸识别方法、装置、电子设备及存储介质，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。由于训练人脸识别模型所使用的样本数据中增加了基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，增加了训练样本的数量，结合对待识别的深度图像中的人脸进行了姿态校正，从而提高3D人脸识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的人脸识别方法的一种实现流程图；
图2为本申请实施例提供的根据深度图中的人脸区域的点云数据，对人脸区域进行姿态校正的一种实现流程图；
图3为本申请实施例提供的基于图像采集装置采集的深度图像得到增强人脸区域的第二类样本数据的一种实现流程图；
图4为本申请实施例提供的卷积神经网络的一种结构示意图；
图5为本申请实施例提供的人脸识别装置的一种结构示意图；
图6为本申请实施例提供的电子设备的硬件结构框图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人脸的表达模型分为2D人脸和3D人脸，2D人脸识别的优势是实现的算法相对比较多，有一套比较成熟的流程，图像数据获取比较简单，只需一个普通的摄像头即可，所以，基于2D图像数据的人脸识别是目前的主流，在安防、监控、门禁、考勤、金融身份辅助认证、娱乐等多种场景中都有应用。2D人脸识别根据其技术发展可分为两大类：传统人脸识别、基于神经网络人脸识别。传统的2D人脸识别主要采用数学方法，从图像矩阵中提取对应的特征，该特征一般为尺度不变特征，常用的算法有SURF、SIFT、HARRIS、GFTT等；基于神经网络的2D人脸识别在各个人脸识别挑战赛、在各种的开源数据集上测试的识别准确率已经达到了99.80％，识别准确率甚至可以跟人类相媲美，但在苛刻的金融环境中却仅作为一种辅助手段，人脸识别之后还需要别的验证手段，如输入手机号等。因为2D人脸识别有一定的局限性，为了弥补不足，3D人脸识别应运而生。2D的人脸识别只有RGB数据，而3D人脸识别基本是基于点云数据进行识别，点云数据多了深度信息，所以基于点云数据的模型比只有RGB数据的模型具有更高的识别准确率、更高的活体检测准确率。
基于神经网络的人脸识别，无论是2D算法还是3D算法都需要大量的数据来训练，目前公开的2D人脸数据已经达到百万级别，能够训练出一个较好的人脸识别模型。而3D人脸识别的研究还处于发展阶段，而且公开的数据少之又少，采集数据需要漫长的时间和昂贵的成本，基于此，本申请提出，在公开数据集或者采集到的少量数据集上进行数据增强，达到扩充数据的目的，进而利用扩充后的数据训练3D人脸识别模型，从而提高3D人脸识别模型的精度。下面对本申请实施例进行详细说明。
请参阅图1，图1为本申请实施例提供的人脸识别方法的一种实现流程图，可以包括：
步骤S11：获取深度图像。
该深度图像即为待进行3D人脸识别的图像。可以通过图像采集装置实施采集得到深度图像，或者，可以从内存中读取图像采集装置预先采集的深度图像。
步骤S12：根据深度图中的人脸区域的点云数据，对人脸区域进行姿态校正。
深度图像为平面图像，即二维图像。本申请实施例中，先在二维的深度图像中确定出人脸区域，该人脸区域通常为包含人脸的矩形区域。然后将人脸区域转换为三维的点云数据，对该三维点云数据进行姿态校正，实现对人脸区域的校正。
可选的，可以通过如下方式获得深度图中人脸区域的点云数据：
z＝(double)I(i，j)/s
x＝(j-cx)*z/fx
y＝(i-cy)*z/fy
其中，I代表一帧深度图像；I(i，j)是指图像矩阵中(i，j)位置的深度值；double是用来数据格式转换；fx，fy是采集深度图像的摄像头的焦距，通常fx＝fy；cx，cy是像主点(即摄影中心与像平面的垂线与像平面的交点)坐标；s是倾斜参数；x，y，z是转换之后的点云坐标。需要说明的是，这里的fx，fy，cx，cy，以及s是采集深度图像的图像采集装置的内机参数，图像采集装置确定了，fx，fy，cx，cy，以及s的具体取值也就确定了，不同的图像采集装置的上述这些参数一般不同。比如，某个图像采集装置的上述参数配置如下：fx＝474.376，fy＝474.376，s＝1000，cx＝317.301，cy＝245.217。
为了便于后续将归一化的点云数据映射为平面三通道图像，在获得人脸区域的点云数据的过程中，还可以记录人脸区域中的各个像素点在深度图中的相对位置。具体的，对于人脸区域内的任意一个像素点(为便于叙述，记为像素点B，其坐标记为(xB，yB))，则该像素点B在深度图中的相对位置可以用(xB/nc，yB/nr)表征，其中，nc为深度图的长度，nr为深度图的宽度。
步骤S13：从姿态校正后的人脸区域中裁剪出目标区域。
上述在二维深度图像中确定出的人脸区域通常会包含较多的冗余信息，为了减少后续的数据处理量，本申请实施例中，对姿态校正后的人脸区域进行裁剪。可选的，可以以鼻尖点为中心，截取预设大小的区域作为目标区域，该目标区域小于姿态校正后的人脸区域。发明人研究发现，以鼻尖点为中心，截取180×180的区域作为目标区域(即目标区域的长和宽均为180个像素)时，目标区域包含了人脸的主要信息，基于此进行人脸识别，在保证识别精度的同时提高了识别速度。
具体的，可以将姿态校正后的人脸区域转换到深度图中，在深度图中以鼻尖点为中心，截取180×180的区域作为目标区域。
步骤S14：对目标区域的点云数据进行归一化处理，得到归一化的点云数据。
可选的，可以利用姿态校正后的人脸区域的点云数据的每一个维度的坐标的最大值和最小值对点云数据进行归一化处理，具体的，可以利用如下公式对目标区域的点云数据进行归一化：
x′＝(2x-xmax-xmin)/(xmax-xmin)
y′＝(2y-ymax-ymin)/(ymax-ymin)
z′＝(2z-zmax-zmin)/(zmax-zmin)
其中，x，y，z为归一化之前三个维度的坐标，x′为x归一化之后的坐标，y′为y归一化之后的坐标，z′为z归一化之后的坐标，xmax为x所属维度的最大值，xmin为x所属维度的最小值，ymax为y所属维度的最大值，ymin为y所属维度的最小值，zmax为z所属维度的最大值，zmin为z所属维度的最小值。
通过上述归一化方法，将目标区域的点云数据中的各个点的坐标均归一化到[-1，1]。
步骤S15：将归一化的点云数据映射为平面三通道图像(即RGB图像)。
可选的，可以将归一化后的点云数据映射为目标大小的平面三通道图像，该平面三通道图像的大小等于或小于上述目标区域的大小。在优选的实施例中，该平面三通道图像的大小小于上述目标区域的大小。
可以根据深度图中与归一化后的点云数据对应的像素点在深度图中的相对位置，以及平面三通道图像的目标大小，将归一化的点云数据映射为平面三通道图像。
具体的，以前述深度图中像素点B的相对位置用(xB/nc，yB/nr)表征为例，用像素点B在深度图中的相对位置乘以平面三通道图像的目标大小，得到像素点B在目标大小的平面三通道图像中的位置。假设平面三通道图像的目标大小为n′c×n′r，即平面三通道图像的目标长度为n′c，目标宽度为n′r。则，像素点B在平面三通道图像中的位置为：(xB×n′c/nc，yB×n′r/nr)。
假设深度图中像素点B的点云坐标归一化后为(x′B，y′B，z′B)，则在平面三通道图像中的(xB×n′c/nc，yB×n′r/nr)位置处，RGB三通道的值依次为x′B，y′B，z′B。
步骤S16：将映射得到的平面三通道数据输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
每个样本数据的识别标签用于标识该样本数据属于哪个人脸。本申请实施例中，对于通过图像采集装置采集的深度图像(为便于叙述，记为M1)，根据该深度图像M1中的人脸区域的点云数据，对该深度图M1中的人脸区域进行姿态校正，从姿态校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化处理，得到归一化的点云数据，将该归一化的点云数据映射为平面三通道图像(即第一类样本数据)。
增强人脸区域可以是通过对图像采集装置采集的深度图像中的人脸区域的点云数据进行增强处理得到的增强的人脸点云数据，对该增强的人脸点云数据进行归一化，得到归一化的点云数据，将该归一化的点云数据映射为平面三通道图像(即第二类样本数据)。
本申请实施例提供的人脸识别方法，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。由于训练人脸识别模型所使用的样本数据中增加了基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，增加了训练样本的数量，结合对待识别的深度图像中的人脸进行了姿态校正，从而提高3D人脸识别精度。
在一可选的实施例中，上述根据深度图中的人脸区域的点云数据，对人脸区域进行姿态校正的一种实现流程图如图2所示，可以包括：
步骤S21：对与深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标。
可选的，多个关键点具体可以为5个关键点，具体可以包括：两个眼球点、鼻尖点和两个嘴角点。
图像采集装置在采集深度图像的同时会采集对应的彩色图像(即RGB图像)。本申请实施例中，可以利用与深度图像对应的彩色图像进行人脸检测和关键点检测，以确定彩色图像中的人脸区域坐标和关键点坐标，由于深度图像中的人脸区域坐标与对应的彩色图像中的人脸区域坐标相同，因而，深度图像对应的彩色图像中的人脸区域坐标，也就是深度图像中的人脸区域坐标。
可选的，可以利用预先训练好的检测模型对彩色图像进行人脸检测和关键点检测，得到人脸区域坐标和多个关键点坐标。
步骤S22：根据人脸区域坐标和多个关键点坐标，从深度图像中确定待处理人脸区域和多个关键点，该待处理人脸区域的坐标与步骤S21中检测到的人脸区域的坐标相同，深度图像中的多个关键点的坐标与步骤S21中检测到的多个关键点的坐标相同。
步骤S23根据多个关键点的点云数据，以及预置的多个关键点的点云数据模板，确定姿态变换矩阵。
预置的多个关键点的点云数据模板是指预置的标准脸部区域中的多个关键点的点云数据。
关键点的点云数据模板中，关键点之间的相对位置关系是确定的，根据深度图像中的关键点之间的相对位置关系，以及点云数据模板中关键点之间的相对位置关系，可以得到关键点的姿态变换矩阵，该姿态变换矩阵体现了从深度图中的多个关键点的点云数据到点云数据模板的映射关系。
具体如何得到姿态变换矩阵可以参看现有技术，这里不再赘述。本申请实施例中，将关键点的姿态变换矩阵作为人脸区域的姿态变换矩阵。
步骤S24：利用上述姿态变换矩阵对待处理人脸区域的点云数据进行姿态校正。
利用姿态变换矩阵对待处理人脸区域的点云数据进行姿态校正的过程可以参看现有技术，这里不再详述。
本申请的发明人研究发现，由于设备的缺陷和环境的改变，在彩色图像中检测到鼻尖点，在深度图像中对应的位置很可能存在空洞，即鼻尖点的深度为零，这会降低识别精度，为了避免这这种情况，在根据多个关键点的点云数据，以及预置的多个关键点的点云数据模板，确定姿态变换矩阵之前还可以对鼻尖点进行校正。具体的，
在一可选的实施例中，在根据多个关键点的点云数据，以及预置的多个关键点的点云数据模板，确定姿态变换矩阵之前还可以包括：
获取鼻尖点周围预设区域内各个像素的深度值，将预设区域内所有像素的深度值的均值作为鼻尖点最终的深度值。
本申请的发明人研究发现，这种校正方式虽然一定程度上提高了识别精度，但提高效果仍不理想。
在另一可选的实施例中，在根据多个关键点的点云数据，以及预置的多个关键点的点云数据模板，确定姿态变换矩阵之前还可以包括：
获取鼻尖点周围预设区域内各个像素的深度值。比如，可以获取鼻尖点周围10×10区域内各个像素的深度值。
将预设区域内所有像素的深度值的中值作为鼻尖点最终的深度值。
与将预设区域内所有像素的深度值的均值作为鼻尖点最终的深度值相比，将预设区域内所有像素的深度值的中值作为鼻尖点最终的深度值使得人脸识别精度明显提升。
为了进一步提高识别精度和识别速度，本申请实施例中，在利用姿态变换矩阵对待处理人脸区域的点云数据进行姿态校正之前还可以包括：
将深度图中深度值小于鼻尖点最终的深度值的像素点，以及深度值与鼻尖点最终的深度值的差值大于预设阈值的像素点删除。
本申请的发明人研究发现，一般人脸的深度都在30cm以内，所以，深度图像中的待处理人脸区域中比鼻尖点最终的深度值小的点，以及比鼻尖点最终的深度值大且与鼻尖点最终的深度值之差大于30cm的点均认为是冗余信息，将这些点删除，仅对深度图像中的待处理人脸区域中剩余的点进行姿态校正，在保证人脸识别精度的同时提高数据处理速度。
另外，姿态校正后的人脸点云数据的边缘可能仍然会有一些本不属于脸部的点的噪点存在，这类点一般称为离群点。这类点的存在也会降低识别精度。因而，为了进一步提升人脸识别精度和速度，可以识别待处理人脸区域中的离群点，将离群点删除。具体的，对于待处理人脸区域中的任意一个点(为便于叙述，记为点A)，统计以点A为中心，以设定半径所确定的圆形区域内的点的个数，若该圆形区域内点的个数小于阈值，则确定点A为离群点。
在一可选的实施例中，基于图像采集装置采集的深度图像得到增强人脸区域的第二类样本数据的一种实现流程图如图3所示，可以包括：
步骤S31：对应图像采集装置采集的每一帧深度图像(为便于叙述，将第k(k＝1，2，…，N，N为图像采集装置采集的深度图像的数量)帧深度图像记为Mk)，以鼻尖点为中心，从该帧深度图像Mk的点云数据中截取距离鼻尖点最近的第一预设数量(为便于叙述，记为n1，比如n1取值可以为10000)的点云数据作为人脸点云数据。
本申请实施例中，计算深度图像Mk中的各个点与鼻尖点的距离，将Mk中的各个点按照与鼻尖点的距离由大到小的顺序排序，取前n1个点作为深度图像Mk中人脸的点云数据(记为Fk)。其中，Fk＝[xp,yp,zp]T；xp，yp，zp为人脸点云数据Fk中第p个点的坐标；p＝1，2，…，P，P为人脸点云数据Fk中点的个数。
步骤S32：对于图像采集装置采集的任意两帧深度图像(为便于叙述，记为第i帧深度图像Mi和第j帧深度图像Mj)，根据步骤S31中截取的人脸点云数据计算该两帧深度图像的差异。
在确定第i帧深度图像Mi的人脸点云数据Fi和第j帧深度图像Mj的人脸点云数据Fj后，建立两个人脸点云数据之间的稠密对应关系，即对于人脸点云数据Fi上的每一个点，在人脸点云数据Fj上都有一个点与其对应，这两个点在人脸点云上代表同一个对象。
可选的，可以通过薄板样条插值函数和约束函数，以让两个人脸点云数据中的对应点完全匹配的过程中弯曲能量最小为目标，通过求解方程组得到弯曲能量值，具体计算过程可以参看已有技术，这里不再详述。弯曲能量最小时确定的薄板样条插值函数即为由一个人脸点云数据到另一个人脸点云数据的映射关系，即一个人脸点云数据中的点与另一个人脸点云数据的点的稠密对应关系。
本申请实施例中，从两个方向计算两个人脸点云数据之间的稠密对应关系建立时的弯曲能量，即：计算从Fi变形到Fj的弯曲能量γij，以及从Fj变形到Fi的弯曲能量γji。
将弯曲能量γij与弯曲能量γji的均值作为第i帧深度图像Mi和第j帧深度图像Mj的的差异。
步骤S33：按照差异由大到小的顺序，将差异最大的第二预设数量(为便于叙述，记为n2，比如n2取值可以为10000)的深度图像对作为目标深度图对。
假设图像采集装置采集的深度图像的数量N＝600，则一共计算了
Figure BDA0002298683060000133
对深度图像的差异。本申请实施例中，所有的深度图像对按照差异由大到小的顺序排序，取前n2对作为目标深度图像对。
步骤S34：对应每一目标深度图像对，利用该目标深度图像对中两帧深度图像的点云数据，计算得到新的人脸点云数据。
可选的，可以将目标深度图像对中，具有对应关系的点的坐标的均值作为新的人脸点云数据中的点的坐标。用公式可以表示为：
Figure BDA0002298683060000131
其中，
Figure BDA0002298683060000132
表示新的人脸点云数据。
步骤S35：对于每一新的人脸点云数据，对该新的人脸点云数据进行多种增强处理，得到增强的人脸点云数据，每一种增强处理均进行一次姿态旋转并增加噪声。
增强的人脸点云数据相比增强前的人脸点云数据，人脸姿态和噪声(高斯噪声)中的至少一项发生了变化。
可选的，可以通过如下两种方式进行数据增强：
1、不同姿态的点云数据：
利用预先构造的3D旋转矩阵，根据设定的不同角度，对新的人脸点云数据进行3D旋转变换，生成不同姿态的点云数据。3D旋转矩阵中的部分参数为以角度为自变量的函数，部分参数为常数，通过为3D旋转矩阵中的函数的角度变量赋予不同的值得到不同的3D旋转变换关系，对于每一新的人脸点云数据，利用不同的3D旋转变换关系分别对该新的人脸点云数据进行3D旋转变换，生成不同姿态的点云数据。这样，对应每一个新的人脸点云数据都可以生成几十个甚至更多个不同姿态的点云数据。
其中，角度包括三个维度的分量：水平角，俯仰角和倾斜角；其中，水平较的取值范围在-60°～60°之间；俯仰角的取值范围在-45°～45°之间；倾斜角的取值范围在-45°～45°之间。通过水平角、俯仰角和倾斜角三个分量的不同组合，可以得到不同的3D旋转变换关系。
2、仿真噪声的点云数据：
本申请实施例中，通过对人脸点云数据增加高斯噪声来仿真真实的点云数据，能够增强数据的丰富程度。具体的，可以对应利用3D旋转变换关系生成的每一个姿态的点云数据分别添加高斯噪声。高斯噪声是一个均值为零方，差可变的正态分布，可以通过调整方差的大小来控制噪声的级别。在一可选的实施例中，方差设置为0.06。
所添加的噪声可以是对高斯噪声进行随机采样得到的噪声。
步骤S36：对于每一增强的人脸点云数据，对该增强的人脸点云数据进行归一化处理；将归一化的增强的人脸点云数据映射为平面三通道图像，得到第二类样本数据。
归一化处理过程和映射为平面三通道图像的过程可以参看前述实施例，这里不再详述。
基于第一类样本数据和第二类样本数据训练得到的人脸识别模型，能够抗姿态和光照的影像，提高3D人脸识别能力。
为了提高网络运行速率，本申请实施例构造了一个轻量级的卷积神经网络(Convolutional Neural Network，CNN)。在一可选的实施例中，上述人脸识别模型可以为四层卷积神经网络。如图4所示，为本申请实施例提供的卷积神经网络的一种结构示意图，可以包括：
四个卷积层，四个卷积层中卷积核的个数从上到下依次为：第一卷积层中配置有32个卷积核，第二卷积层中配置有64个卷积核，第三卷积层中配置有128个卷积核，第四卷积层中配置有256个卷积核，卷积核的大小统一为3×3，另外，每个卷积层中还包含一个批量标准化(batch normlization，BN)模块和激活函数(图中未示出)，每个卷积层之后接一个池化层，在最后一个池化层(即第四池化层)之后连接丢弃层(Dropout层)防止过拟合，最后连接全连接层和输出层。
与方法实施例相对应，本申请实施例还提供一种人脸识别装置，本申请实施例提供的人脸识别装置的一种结构示意图如图5所示，可以包括：
获取模块51，校正模块52，裁剪模块53，归一化模块54，映射模块55和识别模块56；其中，
获取模块51用于获取深度图像；
校正模块52用于根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
裁剪模块53用于从姿态校正后的人脸区域中裁剪出目标区域；
归一化模块54用于对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
映射模块55用于将所述归一化的点云数据映射为平面三通道图像；
识别模块56用于将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
本申请实施例提供的人脸识别装置，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。由于训练人脸识别模型所使用的样本数据中增加了基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，增加了训练样本的数量，结合对待识别的深度图像中的人脸进行了姿态校正，从而提高3D人脸识别精度。
在一可选的实施例中，校正模块52可以包括：
检测单元，用于对与所述深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标；
第一确定单元，用于根据所述人脸区域坐标和多个关键点坐标，从所述深度图像中确定待处理人脸区域和多个关键点；
第二确定单元，用于根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵；
第一校正单元，用于利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正。
在一可选的实施例中，所述多个关键点包括：两个眼球点、鼻尖和两个嘴角点；
校正模块52还可以包括：
获取单元，用于获取所述鼻尖点周围预设区域内各个像素的深度值；
第二校正单元，用于将所述预设区域内所有像素的深度值的中值作为所述鼻尖点最终的深度值。
在一可选的实施例中，校正模块52还可以包括：
删除单元，用于将所述深度图中深度值小于所述鼻尖点最终的深度值的像素点，以及深度值与所述鼻尖点最终的深度值的差值大于预设阈值的像素点删除。
在一可选的实施例中，所述人脸识别装置还可以包括增强模块，用于：
对应图像采集装置采集的每一帧深度图像，以鼻尖点为中心，从该帧深度图像的点云数据中截取距离鼻尖点最近的第一预设数量的点云数据作为人脸点云数据；
对于图像采集装置采集的任意两帧深度图像，根据截取的人脸点云数据计算该两帧深度图像的差异；
按照差异由大到小的顺序，将差异最大的第二预设数量的深度图像对作为目标深度图对；
对应每一目标深度图像对，利用该目标深度图像对中两帧深度图像的点云数据，计算得到新的人脸点云数据；
对于每一新的人脸点云数据，对该新的人脸点云数据进行多种增强处理，得到增强的人脸点云数据，每一种增强处理均进行一次姿态旋转并增加噪声；
对于每一增强的人脸点云数据，对该增强的人脸点云数据进行归一化处理；将归一化的增强的人脸点云数据映射为平面三通道图像，得到第二类样本数据。
本申请实施例提供的人脸识别装置可应用于电子设备，如PC终端、智能手机、翻译机、机器人、智能家居(家电)、遥控器、云平台、服务器及服务器集群等。可选的，图6示出了电子设备的硬件结构框图，参照图6，电子设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取深度图像；
根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
从姿态校正后的人脸区域中裁剪出目标区域；
对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
将所述归一化的点云数据映射为平面三通道图像；
将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取深度图像；
根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
从姿态校正后的人脸区域中裁剪出目标区域；
对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
将所述归一化的点云数据映射为平面三通道图像；
将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取深度图像；
根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
从姿态校正后的人脸区域中裁剪出目标区域；
对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
将所述归一化的点云数据映射为平面三通道图像；
将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图中的人脸区域的点云数据，对所述人脸区域进行姿态校正，包括：
对与所述深度图像对应的彩色图像进行人脸检测和人脸区域中的关键点检测，得到人脸区域坐标和多个关键点坐标；
根据所述人脸区域坐标和多个关键点坐标，从所述深度图像中确定待处理人脸区域和多个关键点；
根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵；
利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正。
3.根据权利要求2所述的方法，其特征在于，所述多个关键点包括：两个眼球点、鼻尖和两个嘴角点；
在根据所述多个关键点的点云数据，以及预置的所述多个关键点的点云数据模板，确定姿态变换矩阵之前还包括：
获取所述鼻尖点周围预设区域内各个像素的深度值；
将所述预设区域内所有像素的深度值的中值作为所述鼻尖点最终的深度值。
4.根据权利要求3所述的方法，其特征在于，在确定所述鼻尖点最终的深度值之后，在利用所述姿态变换矩阵对所述待处理人脸区域的点云数据进行姿态校正之前还包括：
将所述深度图中深度值小于所述鼻尖点最终的深度值的像素点，以及深度值与所述鼻尖点最终的深度值的差值大于预设阈值的像素点删除。
5.根据权利要求1所述的方法，其特征在于，所述人脸区域的点云数据利用如下公式获取得到：
z＝(double)I(i，j)/s
x＝(j-cx)*z/fx
y＝(i-cy)*z/fy
其中，I代表一帧深度图像；I(i，j)是指图像矩阵中(i，j)位置的深度值；double是用来数据格式转换；fx，fy是采集所述深度图像的摄像头的焦距；cx，cy是像主点坐标；s是倾斜参数；x，y，z是转换之后的点云坐标。
6.根据权利1所述的方法，其特征在于，第二类样本数据通过如下方法获得：
对应图像采集装置采集的每一帧深度图像，以鼻尖点为中心，从该帧深度图像的点云数据中截取距离鼻尖点最近的第一预设数量的点云数据作为人脸点云数据；
对于图像采集装置采集的任意两帧深度图像，根据截取的人脸点云数据计算该两帧深度图像的差异；
按照差异由大到小的顺序，将差异最大的第二预设数量的深度图像对作为目标深度图对；
对应每一目标深度图像对，利用该目标深度图像对中两帧深度图像的点云数据，计算得到新的人脸点云数据；
对于每一新的人脸点云数据，对该新的人脸点云数据进行多种增强处理，得到增强的人脸点云数据，每一种增强处理均进行一次姿态旋转并增加噪声；
对于每一增强的人脸点云数据，对该增强的人脸点云数据进行归一化处理；将归一化的增强的人脸点云数据映射为平面三通道图像，得到第二类样本数据。
7.根据权利要求1所述的方法，其特征在于，所述人脸识别模型为四层卷积神经网络。
8.一种人脸识别装置，其特征在于，包括：
获取模块，用于获取深度图像；
校正模块，用于根据所述深度图像中的人脸区域的点云数据，对所述人脸区域进行姿态校正；
裁剪模块，用于从姿态校正后的人脸区域中裁剪出目标区域；
归一化模块，用于对所述目标区域的点云数据进行归一化处理，得到归一化的点云数据；
映射模块，用于将所述归一化的点云数据映射为平面三通道图像；
识别模块，用于将所述平面三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；所述人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，所述样本数据集中包括通过图像采集装置采集的深度图像中的人脸区域的第一类样本数据，以及基于所述图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。
9.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-7中任一项所述的人脸识别方法的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的人脸识别方法的各个步骤。
CN201911213058.3A 2019-12-02 2019-12-02 人脸识别方法、装置、电子设备及存储介质 Active CN111091075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911213058.3A CN111091075B (zh) 2019-12-02 2019-12-02 人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911213058.3A CN111091075B (zh) 2019-12-02 2019-12-02 人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111091075A true CN111091075A (zh) 2020-05-01
CN111091075B CN111091075B (zh) 2023-09-05

Family

ID=70393884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911213058.3A Active CN111091075B (zh) 2019-12-02 2019-12-02 人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111091075B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626241A (zh) * 2020-05-29 2020-09-04 北京华捷艾米科技有限公司 一种人脸检测方法及装置
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN112200056A (zh) * 2020-09-30 2021-01-08 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN112581357A (zh) * 2020-12-16 2021-03-30 珠海格力电器股份有限公司 人脸数据的处理方法、装置、电子设备和存储介质
CN113255512A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质
CN113837106A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、***、电子设备及存储介质
CN114331915A (zh) * 2022-03-07 2022-04-12 荣耀终端有限公司 图像处理方法及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273761A1 (en) * 2004-06-07 2008-11-06 Kozo Kawata Image Recognition Device, Image Recognition Method, and Program for Causing Computer to Execute the Method
CN104751427A (zh) * 2015-04-16 2015-07-01 山东师范大学 基于改进tps模型的凝胶图像校正算法
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN109961021A (zh) * 2019-03-05 2019-07-02 北京超维度计算科技有限公司 一种深度图像中人脸检测方法
CN110147721A (zh) * 2019-04-11 2019-08-20 阿里巴巴集团控股有限公司 一种三维人脸识别方法、模型训练方法和装置
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273761A1 (en) * 2004-06-07 2008-11-06 Kozo Kawata Image Recognition Device, Image Recognition Method, and Program for Causing Computer to Execute the Method
CN104751427A (zh) * 2015-04-16 2015-07-01 山东师范大学 基于改进tps模型的凝胶图像校正算法
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN110163235A (zh) * 2018-10-11 2019-08-23 腾讯科技（深圳）有限公司 图像增强模型的训练、图像增强方法、装置和存储介质
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN109961021A (zh) * 2019-03-05 2019-07-02 北京超维度计算科技有限公司 一种深度图像中人脸检测方法
CN110147721A (zh) * 2019-04-11 2019-08-20 阿里巴巴集团控股有限公司 一种三维人脸识别方法、模型训练方法和装置
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
L. HAO 等: "Integrated metric learning with adaptive constraints for person re-identification", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, pages 161 - 165 *
袁美玲: "基于统计分析的三维人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, pages 138 - 854 *
魏昇: "基于轮廓线的三维人脸识别算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 08, pages 138 - 940 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626241A (zh) * 2020-05-29 2020-09-04 北京华捷艾米科技有限公司 一种人脸检测方法及装置
CN111626241B (zh) * 2020-05-29 2023-06-23 北京华捷艾米科技有限公司 一种人脸检测方法及装置
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN111723691B (zh) * 2020-06-03 2023-10-17 合肥的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN112200056A (zh) * 2020-09-30 2021-01-08 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN112581357A (zh) * 2020-12-16 2021-03-30 珠海格力电器股份有限公司 人脸数据的处理方法、装置、电子设备和存储介质
CN113255512A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质
CN113255512B (zh) * 2021-05-21 2023-07-28 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质
CN113837106A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、***、电子设备及存储介质
CN114331915A (zh) * 2022-03-07 2022-04-12 荣耀终端有限公司 图像处理方法及电子设备
CN114331915B (zh) * 2022-03-07 2022-08-05 荣耀终端有限公司 图像处理方法及电子设备

Also Published As

Publication number Publication date
CN111091075B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
EP3084682B1 (en) System and method for identifying faces in unconstrained media
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和***
CN105740780B (zh) 人脸活体检测的方法和装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN110569756A (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
CN113298158B (zh) 数据检测方法、装置、设备及存储介质
CN112257696B (zh) 视线估计方法及计算设备
CN112686191B (zh) 基于人脸三维信息的活体防伪方法、***、终端及介质
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN109937434A (zh) 图像处理方法、装置、终端和存储介质
CN111476222A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
CN110647782A (zh) 三维人脸重建与多姿态人脸识别方法及装置
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
CN111222433A (zh) 自动人脸稽核方法、***、设备及可读存储介质
Wu et al. Appearance-based gaze block estimation via CNN classification
EP2790130A1 (en) Method for object recognition
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant