CN111126246B - 基于3d点云几何特征的人脸活体检测方法 - Google Patents

基于3d点云几何特征的人脸活体检测方法 Download PDF

Info

Publication number
CN111126246B
CN111126246B CN201911324737.8A CN201911324737A CN111126246B CN 111126246 B CN111126246 B CN 111126246B CN 201911324737 A CN201911324737 A CN 201911324737A CN 111126246 B CN111126246 B CN 111126246B
Authority
CN
China
Prior art keywords
point
point cloud
face
fpfh
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911324737.8A
Other languages
English (en)
Other versions
CN111126246A (zh
Inventor
郝坤坤
李慧斌
黄义妨
侯宗庆
马可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xitu Zhiguang Intelligent Technology Co ltd
Original Assignee
Shaanxi Xitu Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Xitu Digital Technology Co ltd filed Critical Shaanxi Xitu Digital Technology Co ltd
Priority to CN201911324737.8A priority Critical patent/CN111126246B/zh
Publication of CN111126246A publication Critical patent/CN111126246A/zh
Application granted granted Critical
Publication of CN111126246B publication Critical patent/CN111126246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于3D点云几何特征的人脸活体检测方法，根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；计算测试人脸的FPFH总特征和平均脸的总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。本方法不需要用户进行进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。

Description

基于3D点云几何特征的人脸活体检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于3D点云几何特征的人脸活体检测方法。
背景技术
目前，随着图像处理和计算机视觉技术的进步和发展，人脸识别在日常生活中的应用越来越广泛，在享受人脸识别技术给人们生活带来便捷的同时，识别人脸欺骗，提高人脸识别安全性显得尤为重要。当前的人脸活体检测方法大多是基于2D图像来实现的，通过提取2D纹理图片的特征，利用机器学习或者深度学习方法。这些方法受光照场景、姿态、表情等影响较大，不同的环境和场景下，检测的效果不够稳定，利用3D人脸点云可以减少光照和姿态这些因素带来的影响，提高检测的精度。现有的一些相机设备如RealSense SR300等，利用结构光点云可以很方便得到3D人脸点云，使得利用3D点云来实现活体检测变得现实可行。现有的基于3D的点云的人脸防伪方法，直接用3D点云坐标，没有充分挖掘点云几何信息，只考虑了点云坐标点信息，且没有深度提取3D人脸点云的整体特征，特征描述很单一，对弯曲或者褶皱打印照片攻击难以防御。这些方法如：防视频、照片欺骗的人脸活体检测方法(2019106964037)，一种三维脸部活体检测方法、脸部认证识别方法及装置(201810777429X)，人脸的活体检测方法、装置、计算机设备及可读介质(2018100443154)，用于活体检验的方法和装置，电子设备和存储介质(2019102398251)等。
发明内容
本发明的目的是为解决上述技术问题的不足，提供基于3D点云几何特征的人脸活体检测方法，本方法不需要用户进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。
本发明为解决上述技术问题的不足，所采用的技术方案是：基于3D点云几何特征的人脸活体检测方法：根据若干真人的3D点云数据，计算得到平均脸点云，根据该平均脸点云计算以真人平均脸的左眼、右眼、鼻尖、左嘴角以及右嘴角为中心得到的FPFH特征，将FPFH特征串联后得到平均脸的FPFH总特征；
计算测试人脸左眼、右眼、鼻尖、左嘴角以及右嘴角五个关键点的FPFH特征，将FPFH特征串联后得到测试人脸的FPFH总特征；
计算测试人脸的FPFH总特征和平均脸的FPFH总特征的欧氏距离，若距离大于阈值则判定为真人，否则认为是攻击。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：包括以下步骤：
步骤101：预先采集大量的真人3D点云数据，对采集的真人3D点云数据进行预处理，得到大量预处理过的真人3D人脸点云；
步骤102：对所有预处理过的真人3D人脸点云，利用鼻尖点的坐标找到鼻尖点周围最近邻的N个点，对鼻尖点和最近邻的N个点，以第一个人的鼻尖点坐标为基准，计算其余人脸的鼻尖点坐标与第一个人的鼻尖点坐标的差，对齐鼻尖点，利用鼻尖点坐标差，平移其余人脸的N个点云坐标，最后通过求所有预先采集的真人3D人脸点云在这N个点的平均坐标，得到鼻子平均点云，按照上述方法计算得到真人的左眼、右眼、左嘴角以及右嘴角的平均点云；
步骤103：根据步骤102得到的5个关键点周围区域内的点云，利用每个点最近邻的5个点坐标，估计出每个点的法向量；
步骤104：对于平均脸的左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点，分别计算五个关键点最近邻的M个点，利用这个M个点的点云坐标和法向量信息计算关键点周围的M个点区域内的每个点上的FPFH；
步骤105：对关键点周围M个点的区域内的每个点云，对上述104步骤得到的每个关键点周围的M个点的FPFH特征求平均，每个关键点都得到一个33维的特征，将平均脸的五个关键点周围得到的平均FPFH特征依次串联起来，得到165维的总特征fmean；
步骤106：采集测试人脸的3D点云数据，对采集的测试人脸3D点云数据进行裁剪、填洞以及去噪预处理，得到测试人脸3D模型；
步骤107：检测出预处理之后的测试人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角这5个关键点，参照步骤103-105的方法，并分别计算测试人脸的五个关键点周围M个点的FPFH特征的平均值，串联起来得到165维的总特征ftest；
步骤108：计算平均脸的165维FPFH总特征fmean与测试人脸的165维FPFH总特征ftest的欧氏距离d；
步骤109：计算不同的真人的总FPFH特征和平均脸的总FPFH特征的欧氏距离，取欧氏距离的最小值作为阈值，判断该测试人脸与平均脸的总FPFH特征的欧式距离d与阈值的大小，若距离大于阈值则判定当前测试为真人，否则认为是攻击。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤101还包括以下步骤：对所有预先采集的真人3D点云数据，统计经过预处理后的点云数目，若预处理后的点云数目超过30000，则需要对点云进行用随机采样的降采样处理，保留原始点云的80％，若点云数目少于10000，则需要对点云进行插值，得到更加稠密的点云。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤102中鼻子平均点云的计算方法具体为：假设预先采集了S个真人的人脸，nosei(i＝1…S)表示第i个人的鼻尖点坐标，Fij(i＝1…S，j＝1…N)表示预处理之后第i个真人人脸的鼻尖点的第j个最近邻点坐标，Pij(i＝1…S，j＝1…N)表示经过鼻尖点坐标校准之后的第i个真人人脸的鼻尖点的第j个最近邻点坐标，校准的公式为：
Pij＝Fij-(nosei-nose1)    (1)
Figure BDA0002328082280000031
表示鼻尖点的平均点云的第j个点坐标，则
Figure BDA0002328082280000032
对鼻尖点附近的N个点均按公式(2)来计算，即得到鼻尖点的平均点云。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤103中估计点云的法向量是利用点云的附近邻域的点来拟合平面来实现的，该点的法向量即为拟合平面的法线方向。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤106还包括以下步骤：对预处理后的测试点云参照进行降采样处理或插值处理，保证测试的点云和平均脸点云的点云采样的一致性。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述N为1000，M为500。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤101和106中采用双边滤波对3D点云数据进行去噪处理。
作为本发明基于3D点云几何特征的人脸活体检测方法的进一步优化：所述步骤108中欧氏距离d的计算方法为：
Figure BDA0002328082280000033
有益效果
本发明的人脸活体检测方法利用3D点云来实现人脸活体检测，充分利用3D点云的几何特征，利用点云的坐标和法向量信息，计算了点云的快速点特征直方图(FPFH)，能够实现应对不同的光照、姿态变化的人脸活体检测。此外，本发明的方法不需要用户进行复杂的配合指令，灵活性较好，能很轻松地防御纸质打印攻击、视频重放攻击，甚至对于弯曲、褶皱的照片也能实现防御。
附图说明
图1为本发明人脸活体检测方法的基本原理框图；
图2为本发明人脸活体检测方法的流程模块框图；
图3为本发明实施例中利用Intel RealSense SR300采集到的人脸点云(由MATLAB软件显示)；
图4为本发明实施例中采集人脸的彩色图片；
图5为本发明实施例中一个鼻子的平均点云；
图6为本发明实施例中相机采集到的纸质打印照片攻击的点云图；
图7为本发明实施例中相机采集的纸质打印攻击的彩色图片；
具体实施方式
以下结合具体实施方式进一步对本发明的技术方案进行阐述。
基于3D点云几何特征的人脸活体检测方法，包括以下步骤：
步骤101：预先采集大量的真人3D点云数据，对采集的真人3D点云数据进行去噪、填洞、3D人脸和landmark检测、数目归一化等预处理工作，得到大量预处理过的真人3D人脸点云。
真人的3D点云数据可以通过现有的一些相机(如Intel RealSense SR300)很容易获得，由RealSense SR300相机得到的3D点云数据可以保存为标准的点云ply数据格式。点云数据其实是一些离散的三维点，通常包含了人脸的3D点几何位置坐标，颜色等纹理信息。由相机采集的3D点云，通常包含噪声和空洞和肩膀等人脸之外的区域。如图3所示，为IntelRealSense SR300采集到的人脸点云(由MATLAB软件显示)，图4为采集人脸的彩色图片。需要对原始采集的点云双边滤波来去噪，和补洞并裁剪去掉人脸之外的区域，得到预处理好的真人3D人脸点云。
对所有预先采集的真人3D点云数据，统计经过步骤101预处理后的点云数目，若预处理后的点云数目超过30000，则需要对点云进行用随机采样的降采样处理，保留原始点云的80％，若点云数目少于10000，则需要对点云进行插值，得到更加稠密的点云，否则不做处理，直接进行下一步操作。
步骤102：对所有预处理过的真人3D人脸点云，利用鼻尖点的坐标找到鼻尖点周围最近邻的N个点，对鼻尖点和最近邻的N个点，以第一个人的鼻尖点坐标为基准，计算其余人脸的鼻尖点坐标与第一个人的鼻尖点坐标的差，对齐鼻尖点，利用鼻尖点坐标差，平移其余人脸的N个点云坐标，最后通过求所有预先采集的真人3D人脸点云在这N个点的平均坐标，得到鼻子平均点云，按照上述方法计算得到真人的左眼、右眼、左嘴角以及右嘴角的平均点云。如图5为一个鼻子的平均点云。
以鼻尖点的平均点云为例，具体来说，假设预先采集了S个真人的人脸，nosei(i＝1…S)表示第i个人的鼻尖点坐标，Fij(i＝1…S，j＝1…N)表示预处理之后第i个真人人脸的鼻尖点的第j个最近邻点坐标，Pij(i＝1…S，j＝1…N)表示经过鼻尖点坐标校准之后的第i个真人人脸的鼻尖点的第j个最近邻点坐标，校准的公式为：
Pij＝Fij-(nosei-nose1)  (1)
Figure BDA0002328082280000041
表示鼻尖点的平均点云的第j个点坐标，则
Figure BDA0002328082280000051
对鼻尖点附近的N个点均按公式(2)来计算，即得到鼻尖点的平均点云。
步骤103：根据步骤102得到的5个关键点周围区域内的点云，利用每个点最近邻的5个点的坐标，估计出每个点的法向量；
具体来说，估计点云的法向量是利用点云的附近邻域的点来拟合平面来实现的。该点的法向量即为拟合平面的法线方向。例如：估计点Pj的法向量，首先选取Pj的邻近的5个点，形成一个邻域δ＝{Pi(xi，yi，zi)|i＝1，2，…k}，这里k取5需要拟合的平面为：
Ax+By+Cz+D＝0
满足A2+B2+C2＝1
通过最小二乘法以及拉格朗日乘子法，求解上述平面拟合问题，最终估计Pi的法向量即为协方差矩阵∑的最小特征值对应的归一化向量
Figure BDA0002328082280000052
∑的形式如下：
Figure BDA0002328082280000053
其中
Figure BDA0002328082280000054
依次类推。
步骤104：对于平均脸的左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点，分别计算五个关键点最近邻的M个点，利用这个M个点的点云坐标和法向量信息计算关键点周围的M个点区域内的每个点上的FPFH；
其中，点快速特征直方图(FPFH)是一种常见的表示三维点云的特征，运用了点云的坐标信息和法向量信息。以计算点Pj的FPFH特征为例，计算FPFH的过程如下：
首先选取Pj的邻近的10个点，形成一个邻域δ＝{Ps(xs，ys，zs)|s＝1，2，…，10}，对于这个领域内的任意一点Ps来说，其对应的法向量为
Figure BDA0002328082280000055
计算Ps的最近邻的10个点Pt(k＝1…10)，计算如下的向量，
Figure BDA0002328082280000056
Figure BDA0002328082280000057
w＝u×v
进而计算：
Figure BDA0002328082280000058
Figure BDA0002328082280000059
Figure BDA00023280822800000510
统计上述三个特征元素α，
Figure BDA00023280822800000511
θ的值统计(每个元素分成11个小区间来统计)形成SPFH特征，这里的SPFH是33维的。
进一步得到FPFH的结果如下：
Figure BDA0002328082280000061
其中ws＝||pt-ps||2，最终的FPFH也是33维的。
由于平均脸的每个关键点附近都能得到33维的FPFH特征，将这5个33维的特征串联起来，就能得到165维的特征(5*33)。
步骤105：对关键点周围M个点的区域内的每个点云，对上述104步骤得到的每个关键点周围的M个点的FPFH特征求平均，每个关键点都得到一个33维的特征，将平均脸的五个关键点周围得到的平均FPFH特征依次串联起来，得到165维的总特征。
具体来说，以鼻尖点为例，对鼻尖点周围的M个点的区域内的点云，每一个点云都计算FPFH特征，记Hnosej表示鼻尖点周围第j个点的FPFH特征，进一步计算：
Figure BDA0002328082280000062
Hnosej是33维的，这样得到的
Figure BDA0002328082280000063
也是33维的。
Figure BDA0002328082280000064
为鼻尖点附近的平均FPFH特征。类似可以计算左眼、右眼、左嘴角、右嘴角附近的平均FPFH特征，依次记为：
Figure BDA0002328082280000065
Figure BDA0002328082280000066
将上述的关键点附***均特征串联起来，得到平均脸人脸的总FPFH特征fmean，即：
Figure BDA0002328082280000067
步骤106：采集测试人脸的3D点云数据，对采集的测试人脸3D点云数据进行去噪、填洞、3D人脸和landmark检测、归一化等预处理工作，得到测试人脸3D人脸点云；
步骤107：检测出预处理之后的测试人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角这5个关键点，参照步骤103-105的方法，并分别计算测试人脸的五个关键点周围M个点的FPFH特征的平均值，串联起来得到165维的总特征ftest；
步骤108：计算平均脸的165维FPFH总特征与测试人脸的165维FPFH总特征的欧氏距离；平均脸的FPFH总特征为fmean，测试人脸的FPFH总特征为：ftest，欧式距离的计算为：
Figure BDA0002328082280000068
步骤109：计算不同的真人的总FPFH特征和平均脸的总FPFH特征的欧氏距离，取欧氏距离的最小值作为阈值，判断该测试人脸与平均脸的总FPFH特征的欧式距离与阈值的大小，若距离大于阈值则判定当前测试为真人，否则认为是攻击。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于3D点云几何特征的人脸活体检测方法，其特征在于：包括以下步骤：
步骤101：预先采集大量的真人3D点云数据，对采集的真人3D点云数据进行预处理，得到大量预处理过的真人3D人脸点云；
步骤102：对所有预处理过的真人3D人脸点云，利用鼻尖点的坐标找到鼻尖点周围最近邻的N个点，对鼻尖点和最近邻的N个点，以第一个人的鼻尖点坐标为基准，计算其余人脸的鼻尖点坐标与第一个人的鼻尖点坐标的差，对齐鼻尖点，利用鼻尖点坐标差，平移其余人脸的N个点云坐标，最后通过求所有预先采集的真人3D人脸点云在这N个点的平均坐标，得到鼻子平均点云，按照上述方法计算得到真人的左眼、右眼、左嘴角以及右嘴角的平均点云；
步骤103：根据步骤102得到的5个关键点周围区域内的点云，利用每个点最近邻的5个点坐标，估计出每个点的法向量；
步骤104：对于平均脸的左眼、右眼、鼻尖、左嘴角、右嘴角这5个关键点，分别计算五个关键点最近邻的M个点，利用这个M个点的点云坐标和法向量信息计算关键点周围的M个点区域内的每个点上的FPFH；
步骤105：对关键点周围M个点的区域内的每个点云，对上述104步骤得到的每个关键点周围的M个点的FPFH特征求平均，每个关键点都得到一个33维的特征，将平均脸的五个关键点周围得到的平均FPFH特征依次串联起来，得到165维的总特征fmean；
步骤106：采集测试人脸的3D点云数据，对采集的测试人脸3D点云数据进行裁剪、填洞以及去噪预处理，得到测试人脸3D模型；
步骤107：检测出预处理之后的测试人脸的左眼、右眼、鼻尖、左嘴角以及右嘴角这5个关键点，参照步骤103-105的方法，并分别计算测试人脸的五个关键点周围M个点的FPFH特征的平均值，串联起来得到165维的总特征ftest；
步骤108：计算平均脸的165维FPFH总特征fmean与测试人脸的165维FPFH总特征ftest的欧氏距离d；
步骤109：计算不同的真人的总FPFH特征和平均脸的总FPFH特征的欧氏距离，取欧氏距离的最小值作为阈值，判断该测试人脸与平均脸的总FPFH特征的欧式距离d与阈值的大小，若距离大于阈值则判定当前测试为真人，否则认为是攻击。
2.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤101还包括以下步骤：对所有预先采集的真人3D点云数据，统计经过预处理后的点云数目，若预处理后的点云数目超过30000，则需要对点云进行用随机采样的降采样处理，保留原始点云的80％，若点云数目少于10000，则需要对点云进行插值，得到更加稠密的点云。
3.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤102中鼻子平均点云的计算方法具体为：假设预先采集了S个真人的人脸，nosei(i＝1…S)表示第i个人的鼻尖点坐标，Fij(i＝1…S，j＝1…N)表示预处理之后第i个真人人脸的鼻尖点的第j个最近邻点坐标，Pij(i＝1…S，j＝1…N)表示经过鼻尖点坐标校准之后的第i个真人人脸的鼻尖点的第j个最近邻点坐标，校准的公式为：
Pij＝Fij-(nosei-nose1)     (1)
Figure FDA0004083452940000021
表示鼻尖点的平均点云的第j个点坐标，则
Figure FDA0004083452940000022
对鼻尖点附近的N个点均按公式(2)来计算，即得到鼻尖点的平均点云。
4.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤103中估计点云的法向量是利用点云的附近邻域的点来拟合平面来实现的，该点的法向量即为拟合平面的法线方向。
5.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤106还包括以下步骤：对预处理后的测试点云参照进行降采样处理或插值处理，保证测试的点云和平均脸点云的点云采样的一致性。
6.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述N为1000，M为500。
7.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤101和106中采用双边滤波对3D点云数据进行去噪处理。
8.如权利要求1所述基于3D点云几何特征的人脸活体检测方法，其特征在于：所述步骤108中欧氏距离d的计算方法为：
Figure FDA0004083452940000023
CN201911324737.8A 2019-12-20 2019-12-20 基于3d点云几何特征的人脸活体检测方法 Active CN111126246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911324737.8A CN111126246B (zh) 2019-12-20 2019-12-20 基于3d点云几何特征的人脸活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911324737.8A CN111126246B (zh) 2019-12-20 2019-12-20 基于3d点云几何特征的人脸活体检测方法

Publications (2)

Publication Number Publication Date
CN111126246A CN111126246A (zh) 2020-05-08
CN111126246B true CN111126246B (zh) 2023-04-07

Family

ID=70500591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911324737.8A Active CN111126246B (zh) 2019-12-20 2019-12-20 基于3d点云几何特征的人脸活体检测方法

Country Status (1)

Country Link
CN (1) CN111126246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652086B (zh) * 2020-05-15 2022-12-30 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN111756705B (zh) * 2020-06-05 2021-09-14 腾讯科技（深圳）有限公司 活体检测算法的攻击测试方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446773A (zh) * 2016-08-22 2017-02-22 南通大学 一种全自动、鲁棒的三维人脸检测方法
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别***
CN108319901A (zh) * 2018-01-17 2018-07-24 百度在线网络技术（北京）有限公司 人脸的活体检测方法、装置、计算机设备及可读介质
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
WO2019080580A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN109858439A (zh) * 2019-01-30 2019-06-07 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法及装置
WO2019127365A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 人脸活体检测方法、电子设备和计算机程序产品
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目***的活体人脸检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别***
CN106446773A (zh) * 2016-08-22 2017-02-22 南通大学 一种全自动、鲁棒的三维人脸检测方法
WO2019080580A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
WO2019127365A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 人脸活体检测方法、电子设备和计算机程序产品
CN108319901A (zh) * 2018-01-17 2018-07-24 百度在线网络技术（北京）有限公司 人脸的活体检测方法、装置、计算机设备及可读介质
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN109858439A (zh) * 2019-01-30 2019-06-07 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法及装置
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目***的活体人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李燕春 ; 达飞鹏 ; .基于特征点表情变化的3维人脸识别.中国图象图形学报.2014,(10),全文. *
郭小波 ; 周兆永 ; 李松阳 ; .基于有效能量的3D人脸鼻尖点检测与姿态矫正.计算机工程.2018,(09),全文. *

Also Published As

Publication number Publication date
CN111126246A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和***
CN105956582B (zh) 一种基于三维数据的人脸识别***
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
CN106203294B (zh) 基于人脸属性分析的人证合一身份验证方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
US8374422B2 (en) Face expressions identification
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
CN105740781B (zh) 一种三维人脸活体检测的方法和装置
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
US20110227923A1 (en) Image synthesis method
CN110363047A (zh) 人脸识别的方法、装置、电子设备和存储介质
CN104504723B (zh) 基于视觉显著特征的图像配准方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
WO2018076392A1 (zh) 一种基于人体头顶部识别的行人统计方法及装置
JP2013089252A (ja) 映像処理方法及び装置
CN111126246B (zh) 基于3d点云几何特征的人脸活体检测方法
CN112257641A (zh) 一种人脸识别活体检测方法
CN112926464A (zh) 一种人脸活体检测方法以及装置
CN112257538A (zh) 基于双目深度信息的活体检测方法、设备及存储介质
CN106778491B (zh) 人脸3d特征信息的获取方法及设备
CN110222647A (zh) 一种基于卷积神经网络的人脸活体检测方法
Boukamcha et al. 3D face landmark auto detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211210

Address after: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province

Applicant after: Shaanxi Xitu Digital Technology Co.,Ltd.

Address before: 471000 Room 201, building 1, Chuangzhi Plaza, No. 32, changxiamen street, Luolong District, Luoyang City, Henan Province

Applicant before: Henan Zhongyuan big data Research Institute Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240617

Address after: Room 10207, Building 4A, West Yungu Phase II, Fengxi New City, Xixian New District, Xianyang City, Shaanxi Province, 712000

Patentee after: Xi'an Xitu Zhiguang Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province

Patentee before: Shaanxi Xitu Digital Technology Co.,Ltd.

Country or region before: China