CN112257641A - 一种人脸识别活体检测方法 - Google Patents

一种人脸识别活体检测方法 Download PDF

Info

Publication number
CN112257641A
CN112257641A CN202011188595.XA CN202011188595A CN112257641A CN 112257641 A CN112257641 A CN 112257641A CN 202011188595 A CN202011188595 A CN 202011188595A CN 112257641 A CN112257641 A CN 112257641A
Authority
CN
China
Prior art keywords
human face
points
face
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011188595.XA
Other languages
English (en)
Inventor
李保印
秦瑾
张宝玉
刘博�
张亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Wanwei Information Technology Co Ltd
Original Assignee
China Telecom Wanwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Wanwei Information Technology Co Ltd filed Critical China Telecom Wanwei Information Technology Co Ltd
Priority to CN202011188595.XA priority Critical patent/CN112257641A/zh
Publication of CN112257641A publication Critical patent/CN112257641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人脸识别***，特别涉及一种人脸识别活体检测方法。通过对近红外和可见光人脸图像进行特征点检测和匹配，计算特征点的深度信息，进行特征点三维重建，并基于深度信息构造相应的特征，用SVM进行分类，其中特征点的匹配和校正以及特征提取最为关键。首先，对近红外和可见光相机进行标定，获取相机的参数；然后，同步采集左右相机的图像，通过立体校正使得两幅图像共面行对准；其次，对两幅图像进行人脸特征点检测、校正和匹配，通过双目视觉计算获得人脸特征点的深度信息并实现点云重建；最后，利用深度信息中的方差和距离进行特征提取并建立深度样本库，使用SVM方法进行样本分类，进而实现对活体人脸的判断。

Description

一种人脸识别活体检测方法
技术领域
本发明涉及人脸识别***，特别涉及一种人脸识别活体检测方法。
背景技术
目前，人脸识别技术已日趋成熟并得到广泛的应用，但在无人值守的场合，人脸识别***很容易受到人脸模型、人脸照片以及人皮面具等方式的攻击，因此需要活体人脸检测。基于运动信息的检测方法是一种常用的活体人脸检测方法，其原理是让用户完成转头、眨眼等动作，通过对这些动作的检测来实现活体人脸检测；但是该类方法耗时较长，且需要用户配合，同时攻击者也可以通过预设动作进行攻击。基于人脸三维信息的检测方法是一种新型的活体人脸检测方法，通过计算人脸整体的三维信息来防止诸如人脸照片的攻击；但不仅需要预先建模，识别时也需要重建三维人脸模型，实现时存在较多困难。基于主动式近红外图像的活体人脸检测方法，充分利用活体人脸的近红外纹理特征，基本不受外界光照影响，可实现对电子屏或视频人脸、普通人脸照片和人脸模型的检测，但面对高质量的经特殊处理的人脸照片也会由于纹理差异减小而导致检测失败。
发明内容
针对活体人脸检测技术存在的问题，本方法提出了一种在无需用户配合的场景下，采用近红外与可见光双目视觉技术的活体人脸检测方法。其中，利用近红外成像特性可以防止电子屏、视频以及光滑照片人脸的攻击；利用双目视觉获取的深度信息进行特征点三维重建，利用检测到的深度差异防止高质量伪造图的攻击。相较于单纯采用红外特征和建立全脸三维模型的方法，本方法方法具有简单高效、鲁棒性好的特点。
本发明解决其技术问题所采用的技术方案为：一种人脸识别活体检测方法，包括如下步骤：
A、人脸特征点检测
采用DLIB数据库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测，由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则直接判定为非活体人脸，能够在人脸检测开始阶段就直接排除电子屏或视频人脸；
B、人脸特征点校正和匹配
将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点1到17号的平均距离；
C、人脸特征点三维坐标获取
在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息，通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且进行对准；
Figure 872329DEST_PATH_IMAGE001
与
Figure 656614DEST_PATH_IMAGE002
表示左右摄像机投影中心，
Figure 802294DEST_PATH_IMAGE001
与
Figure 558783DEST_PATH_IMAGE002
之间的连线T为基线距离，P表示物体点，f表示焦距，
Figure 639871DEST_PATH_IMAGE003
与
Figure 911453DEST_PATH_IMAGE004
表示物体点 P在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，
Figure 860823DEST_PATH_IMAGE005
与
Figure 901460DEST_PATH_IMAGE006
分别表示左右摄像机图像平面的光心，Z表示物体点P到基线T的距离，直接得到物体点P在左右摄像机的视差：
Figure 419029DEST_PATH_IMAGE007
（1）
以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离T，空间物体点P在左图像投影点的坐标为
Figure 850010DEST_PATH_IMAGE008
，在右图像投影点的坐标为
Figure 540755DEST_PATH_IMAGE009
，经过立体校正后，可得到空间物体点P在左右图像中的投影点的Y坐标相同，再由几何中的三角关系可得：
Figure 701478DEST_PATH_IMAGE010
（2）
式(1)表示了空间物体点P在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点P在的三维坐标：
Figure 717844DEST_PATH_IMAGE011
（3）；
D、人脸特征点三维特征提取
以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 SVM分类，并使用SVM分类器进行识别判定活体人脸；
SVM分类方差计算公式为：
Figure 901701DEST_PATH_IMAGE012
（4）
Figure 130557DEST_PATH_IMAGE013
（5）
式中：
Figure 942524DEST_PATH_IMAGE014
表示人脸每个特征点的深度值；M表示相应的特征点深度值的均值；
Figure 270737DEST_PATH_IMAGE015
表示相应的特征点深度值的方差。
所述步骤D中人脸特征点三维特征提取方案，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，将人脸的68个特征点划分为四个部分，第一部分为整个人脸，即全部68个特征点；第二部分为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为鼻子、两只眼睛的特征点；第四部分为鼻子、嘴巴的特征点，用
Figure 738627DEST_PATH_IMAGE016
、
Figure 240016DEST_PATH_IMAGE017
、
Figure 375331DEST_PATH_IMAGE018
、
Figure 999079DEST_PATH_IMAGE019
依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为
Figure 954266DEST_PATH_IMAGE020
、
Figure 197028DEST_PATH_IMAGE021
、
Figure 983588DEST_PATH_IMAGE022
、
Figure 981500DEST_PATH_IMAGE023
，用这四个方差组成四维向量，采用SVM分类器对其进行分类。
本方法方法的总体思路是：通过对近红外和可见光人脸图像进行特征点检测和匹配，计算特征点的深度信息，进行特征点三维重建，并基于深度信息构造相应的特征，用SVM进行分类，其中特征点的匹配和校正以及特征提取最为关键。首先，对近红外和可见光相机进行标定，获取相机的参数；然后，同步采集左右相机的图像，通过立体校正使得两幅图像共面行对准；其次，对两幅图像进行人脸特征点检测、校正和匹配，通过双目视觉计算获得人脸特征点的深度信息并实现点云重建；最后，利用深度信息中的方差和距离进行特征提取并建立深度样本库，使用SVM方法进行样本分类，进而实现对活体人脸的判断。
附图说明
图1为人脸特征点示意图；
图2为双目立体坐标系；
图3为双目成像原理图；
图4人脸活体识别流程图。
具体实施方式
一种人脸识别活体检测方法，包括如下步骤：
A、人脸特征点检测
采用DLIB数据库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测，由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则直接判定为非活体人脸，能够在人脸检测开始阶段就直接排除电子屏或视频人脸；
B、人脸特征点校正和匹配
将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点1到17号的平均距离；
C、人脸特征点三维坐标获取
在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息，通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且进行对准；
Figure 96086DEST_PATH_IMAGE001
与
Figure 673698DEST_PATH_IMAGE002
表示左右摄像机投影中心，
Figure 314764DEST_PATH_IMAGE001
与
Figure 155681DEST_PATH_IMAGE002
之间的连线T为基线距离，P表示物体点，f表示焦距，
Figure 85460DEST_PATH_IMAGE003
与
Figure 60238DEST_PATH_IMAGE004
表示物体点 P在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，
Figure 759072DEST_PATH_IMAGE005
与
Figure 36470DEST_PATH_IMAGE006
分别表示左右摄像机图像平面的光心，Z表示物体点P到基线T的距离，直接得到物体点P在左右摄像机的视差：
Figure 374916DEST_PATH_IMAGE007
（1）
以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离T，空间物体点P在左图像投影点的坐标为
Figure 950123DEST_PATH_IMAGE008
，在右图像投影点的坐标为
Figure 441147DEST_PATH_IMAGE009
，经过立体校正后，可得到空间物体点P在左右图像中的投影点的Y坐标相同，再由几何中的三角关系可得：
Figure 951763DEST_PATH_IMAGE010
（2）
式(1)表示了空间物体点P在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点P在的三维坐标：
Figure 324975DEST_PATH_IMAGE011
（3）；
D、人脸特征点三维特征提取
以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 SVM分类，并使用SVM分类器进行识别判定活体人脸；
SVM分类方差计算公式为：
Figure 579239DEST_PATH_IMAGE012
（4）
Figure 72841DEST_PATH_IMAGE013
（5）
式中：
Figure 19937DEST_PATH_IMAGE014
表示人脸每个特征点的深度值；M表示相应的特征点深度值的均值；
Figure 83708DEST_PATH_IMAGE015
表示相应的特征点深度值的方差。
所述步骤D中人脸特征点三维特征提取方案，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，将人脸的68个特征点划分为四个部分，第一部分为整个人脸，即全部68个特征点；第二部分为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为鼻子、两只眼睛的特征点；第四部分为鼻子、嘴巴的特征点，用
Figure 735138DEST_PATH_IMAGE016
、
Figure 669596DEST_PATH_IMAGE017
、
Figure 53173DEST_PATH_IMAGE018
、
Figure 197716DEST_PATH_IMAGE019
依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为
Figure 652837DEST_PATH_IMAGE020
、
Figure 363172DEST_PATH_IMAGE021
、
Figure 120913DEST_PATH_IMAGE022
、
Figure 18331DEST_PATH_IMAGE023
，用这四个方差组成四维向量，采用SVM分类器对其进行分类。
与普通双目视觉相比，近红外与可见光双目视觉的异源匹配误差可能较大，也是难点所在。本方法提出一种根据人脸特征点的位置信息进行异源匹配和校正的方法，虽然较粗略但简单有效地减小了误差。本方法使用的双目装置由一个近红外摄像头，一个可见光摄像头，以及一个主动近红外发光模组组成。传统的人脸识别技术大多针对可见光人脸图像，可见光图像是由物体反射自然光所形成的，对自然光照变化比较敏感，而红外光图像则较少受到自然光照变化的影响，也可用于人脸识别。该方法因为红外光对表面光滑的物体如镜面、油纸面的反射微弱，近红外图像几无信息，无法检测出人脸，可防止电子屏及视频中的人脸的伪造攻击。
本方法的重点是活体人脸判断，因此直接采用DLIB库进行人脸特征点检测，其能够实时且准确地根据人脸姿态和表情的变化检测到人脸及其特征点。考虑到本方法的活体人脸检测是个典型的二分类问题，而SVM对此有较为突出的优点，它没有局部最优，对于非线性、高维度、少样本的情况有着较好的效果，因此选择SVM作为活体人脸检测分类器。
A、人脸特征点检测
本方法采用DLIB库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测。由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则可直接判定为非活体人脸，所以本方法能够在人脸检测开始时就直接排除电子屏或视频人脸，从而较容易地抵御此类攻击。
B、人脸特征点校正和匹配
考虑到活体检测中最重要的是检测出人脸的立体特征，而人脸特征点作为通常人脸检测的依据，如果能直接得到其深度方向的信息，则在活体检测中比用全脸的深度方便很多。因此本方法采用了一种简单的对特征点进行匹配并校正的方法，来获取特征点的深度信息。
观察近红外和可见光图像的特征点信息发现，在68个特征点中，人脸中部的点在两幅图像中是可以对应的，而脸颊部分的点则可能不是一一对应的。为了便于观察，将两幅图像的人脸轮廓点重叠。以近红外图像为基准，并以两图像鼻尖点对准重合的方式，将可见光图像的特征点标记到近红外图像中，其中形状为圆形的点是近红外人脸图像的特征点，形状为三角形的点是可见光人脸图像的特征点。但由于68个特征点中，鼻尖点重合后，人脸的嘴巴，鼻子，眼睛，眉毛部分的轮廓特征点基本重合，而脸颊特征点位置存在一定差异。
这种差异一方面是双目视觉本身的差异造成的，另一方面是红外图像和可见光图像特征点检测过程造成的。其中，非脸颊部分的特征点遮挡少，可以简单认为是立体匹配的点；而脸颊部分的特征点，因为遮挡的原因，不是一个物理点在两个不同位置相机成像得到的，不是立体匹配的，必须进行校正后才能视为匹配。
本方法的校正策略是：以脸颊内侧的点为准，将向外侧偏移的点向内靠拢。具体做法为：将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点（1到17号）平均距离。注意这种方式也是比较粗略的方式，目的是为了得到人脸特征点的近似深度。
C、人脸特征点三维坐标获取
在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息。通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且行对准，校正后的双目立体坐标系如下图所示。
Figure DEST_PATH_IMAGE024
与
Figure 542722DEST_PATH_IMAGE025
表示左右摄像机投影中心，
Figure 310826DEST_PATH_IMAGE024
与
Figure 177151DEST_PATH_IMAGE025
之间的连线T为基线距离，P表示物体点，f表示焦距，
Figure DEST_PATH_IMAGE026
与
Figure 358603DEST_PATH_IMAGE027
表示物体点 P在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，
Figure DEST_PATH_IMAGE028
与
Figure 421106DEST_PATH_IMAGE029
分别表示左右摄像机图像平面的光心，Z表示物体点P到基线T的距离。可以直接得到物体点P在左右摄像机的视差：
Figure DEST_PATH_IMAGE030
（1）
上图直观展示了两摄像机平面的关系，以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离T。空间物体点P在左图像投影点的坐标为
Figure 965088DEST_PATH_IMAGE031
，在右图像投影点的坐标为
Figure DEST_PATH_IMAGE032
。经过立体校正后，可得到空间物体点P在左右图像中的投影点的Y坐标相同，再由几何中的三角关系可得：
Figure 720424DEST_PATH_IMAGE033
（2）
式(1)表示了空间物体点P在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点P在的三维坐标：
Figure DEST_PATH_IMAGE034
（3）
D、人脸特征点三维特征提取方案
获取人脸特征点三维信息后，需要构造相应的特征来实现对真实人脸与伪造人脸的检测。本方法的做法是从人脸特征点三维深度信息变化强弱出发，以鼻尖点为参照，分别提取深度值的方差以及空间特征点之间的距离值组成相应的特征向量进行SVM分类。
考虑到真实人脸图像特征点在三维结构上的信息要明显好于以弯曲和扭曲照片的方式模仿真实人脸，本方法考虑以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 SVM分类。方差是表现数据变化强弱的指标，针对一组一维数据，当数据之间大小变化剧烈，那么这组数据的方差就会相对较大，而当数据之间大小基本相同，那么这组数据的方差就会相对较小。针对本方法的人脸68个特征点的深度值构成的一维数据，由于真实人脸的深度值变化相较于伪造人脸的深度变化强，则前者的深度值的方差要明显大于后者。
方差计算公式为：
Figure 592434DEST_PATH_IMAGE035
（4）
Figure DEST_PATH_IMAGE036
（5）
式中：
Figure 458627DEST_PATH_IMAGE037
表示人脸每个特征点的深度值；M表示相应的特征点深度值的均值；
Figure DEST_PATH_IMAGE038
表示相应的特征点深度值的方差。
在二维平面中人脸68个特征点的相对位置关系，考虑到弯曲照片的攻击方式，本方法将人脸的68个特征点划分为四个部分，第一部分为大矩形框内的整个人脸，即全部68个特征点；第二部分为图中小的矩形框内的特征点，即为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为图中上方的椭圆内的特征点；第四部分为图中下方的椭圆内的特征点。这里用
Figure 857116DEST_PATH_IMAGE039
依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为
Figure DEST_PATH_IMAGE040
，本方法用这四个方差组成四维向量，采用SVM分类器对其进行分类。
在SVM分类时需要选择核函数，SVM提供了多种核函数，不同的核函数具有不同的预测特性。在使用交叉验证的方法去测试不同的核函数对初始数据的预测结果后，本方法选
用速度较快且性能好的高斯核函数，并将核宽设置为1。使用SVM分类时，首先获取人脸特征点三维数据，然后用方差信息进行三维特征提取，并建立三维特征样本库，最后将深度特征进行训练并实现分类，总体流程如下图所示。
本方法考虑到人脸在红外条件下的成像特性以及双目视觉***的优点，提出一种基于近红外和可见光双目***的活体人脸检测方法，旨在解决无需用户配合场景下的活体人脸检测易受光照影响和伪造攻击的问题。用本方法所提方法对近红外和可见光人脸图像进行异源匹配，提取特征点的深度信息并进行点云重建，按本方法提出的方差深度特征方案对真伪人脸进行判别。总的来说，本方法所提方法能够实现对活体人脸检测和伪造攻击防御。进一步的研究方向是思考如何更好地融合近红外与可见光的特征，实现更好的异源匹配方法，并且利用深度学习的方法进行特征提取与分类，以及实现算法在智能监控上的应用。

Claims (2)

1.一种人脸识别活体检测方法，其特征在于包括如下步骤：
A、人脸特征点检测
采用DLIB数据库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测，由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则直接判定为非活体人脸，能够在人脸检测开始阶段就直接排除电子屏或视频人脸；
B、人脸特征点校正和匹配
将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点1到17号的平均距离；
C、人脸特征点三维坐标获取
在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息，通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且进行对准；
Figure 64340DEST_PATH_IMAGE001
与
Figure 599488DEST_PATH_IMAGE002
表示左右摄像机投影中心，
Figure 108224DEST_PATH_IMAGE001
与
Figure 119036DEST_PATH_IMAGE002
之间的连线T为基线距离，P表示物体点，f表示焦距，
Figure 948583DEST_PATH_IMAGE003
与
Figure 994030DEST_PATH_IMAGE004
表示物体点 P在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，
Figure 313147DEST_PATH_IMAGE005
与
Figure 76835DEST_PATH_IMAGE006
分别表示左右摄像机图像平面的光心，Z表示物体点P到基线T的距离，直接得到物体点P在左右摄像机的视差：
Figure 506811DEST_PATH_IMAGE007
（1）
以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离T，空间物体点P在左图像投影点的坐标为
Figure 180385DEST_PATH_IMAGE008
，在右图像投影点的坐标为
Figure 139245DEST_PATH_IMAGE009
，经过立体校正后，可得到空间物体点P在左右图像中的投影点的Y坐标相同，再由几何中的三角关系可得：
Figure 859071DEST_PATH_IMAGE010
（2）
式(1)表示了空间物体点P在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点P在的三维坐标：
Figure 827158DEST_PATH_IMAGE011
（3）；
D、人脸特征点三维特征提取
以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 SVM分类，并使用SVM分类器进行识别判定活体人脸；
SVM分类方差计算公式为：
Figure 316039DEST_PATH_IMAGE012
（4）
Figure 445800DEST_PATH_IMAGE013
（5）
式中：
Figure 387343DEST_PATH_IMAGE014
表示人脸每个特征点的深度值；M表示相应的特征点深度值的均值；
Figure 362383DEST_PATH_IMAGE015
表示相应的特征点深度值的方差。
2.根据权利要求1所述的一种人脸识别活体检测方法，其特征在于所述步骤D中人脸特征点三维特征提取方案，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，将人脸的68个特征点划分为四个部分，第一部分为整个人脸，即全部68个特征点；第二部分为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为鼻子、两只眼睛的特征点；第四部分为鼻子、嘴巴的特征点，用
Figure 174612DEST_PATH_IMAGE016
、
Figure 209695DEST_PATH_IMAGE017
、
Figure 638534DEST_PATH_IMAGE018
、
Figure 214003DEST_PATH_IMAGE019
依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为
Figure 474214DEST_PATH_IMAGE020
、
Figure 476936DEST_PATH_IMAGE021
、
Figure 189808DEST_PATH_IMAGE022
、
Figure 834548DEST_PATH_IMAGE023
，用这四个方差组成四维向量，采用SVM分类器对其进行分类。
CN202011188595.XA 2020-10-30 2020-10-30 一种人脸识别活体检测方法 Pending CN112257641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188595.XA CN112257641A (zh) 2020-10-30 2020-10-30 一种人脸识别活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188595.XA CN112257641A (zh) 2020-10-30 2020-10-30 一种人脸识别活体检测方法

Publications (1)

Publication Number Publication Date
CN112257641A true CN112257641A (zh) 2021-01-22

Family

ID=74268300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188595.XA Pending CN112257641A (zh) 2020-10-30 2020-10-30 一种人脸识别活体检测方法

Country Status (1)

Country Link
CN (1) CN112257641A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753781A (zh) * 2020-06-30 2020-10-09 厦门瑞为信息技术有限公司 一种基于双目红外的实时3d人脸活体判断方法
CN113065507A (zh) * 2021-04-20 2021-07-02 支付宝(杭州)信息技术有限公司 人脸认证的实现方法和装置
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113158877A (zh) * 2021-04-16 2021-07-23 上海云从企业发展有限公司 成像偏差分析及活体检测方法、装置及计算机存储介质
CN113408377A (zh) * 2021-06-03 2021-09-17 山东交通学院 基于温度信息的人脸活体检测方法
CN113808255A (zh) * 2021-09-10 2021-12-17 广州益业机电设备科技有限公司 一种即时建模设备及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101379A (zh) * 2006-07-05 2008-01-09 株式会社Ntt都科摩 图像提示装置及图像提示方法
US20190354746A1 (en) * 2018-05-18 2019-11-21 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
CN110909634A (zh) * 2019-11-07 2020-03-24 深圳市凯迈生物识别技术有限公司 可见光与双红外线相结合的快速活体检测方法
CN111652086A (zh) * 2020-05-15 2020-09-11 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101379A (zh) * 2006-07-05 2008-01-09 株式会社Ntt都科摩 图像提示装置及图像提示方法
US20080007511A1 (en) * 2006-07-05 2008-01-10 Ntt Docomo, Inc Image display device and image display method
US20190354746A1 (en) * 2018-05-18 2019-11-21 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
CN110909634A (zh) * 2019-11-07 2020-03-24 深圳市凯迈生物识别技术有限公司 可见光与双红外线相结合的快速活体检测方法
CN111652086A (zh) * 2020-05-15 2020-09-11 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YING FAN等: "Research on Liveness Detection Algorithms Based on Deep Learning", 《2019 IEEE 10TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE (ICSESS)》 *
邓茜文等: "基于近红外与可见光双目视觉的活体人脸检测方法", 《计算机应用》 *
陆成学: "人脸认证应用中活体检测技术探讨", 《中国金融电脑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753781A (zh) * 2020-06-30 2020-10-09 厦门瑞为信息技术有限公司 一种基于双目红外的实时3d人脸活体判断方法
CN111753781B (zh) * 2020-06-30 2024-03-19 厦门瑞为信息技术有限公司 一种基于双目红外的实时3d人脸活体判断方法
CN113158877A (zh) * 2021-04-16 2021-07-23 上海云从企业发展有限公司 成像偏差分析及活体检测方法、装置及计算机存储介质
CN113065507A (zh) * 2021-04-20 2021-07-02 支付宝(杭州)信息技术有限公司 人脸认证的实现方法和装置
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113408377A (zh) * 2021-06-03 2021-09-17 山东交通学院 基于温度信息的人脸活体检测方法
CN113808255A (zh) * 2021-09-10 2021-12-17 广州益业机电设备科技有限公司 一种即时建模设备及方法

Similar Documents

Publication Publication Date Title
CN112257641A (zh) 一种人脸识别活体检测方法
CN106372629B (zh) 一种活体检测方法和装置
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN105335722B (zh) 一种基于深度图像信息的检测***及方法
CN110309782B (zh) 一种基于红外与可见光双目***的活体人脸检测方法
TWI383325B (zh) 臉部表情辨識
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
US9305206B2 (en) Method for enhancing depth maps
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
WO2015161816A1 (en) Three-dimensional facial recognition method and system
KR20180072734A (ko) 눈 피처들을 사용한 눈 포즈 식별
Boehnen et al. A fast multi-modal approach to facial feature detection
CN105913013A (zh) 双目视觉人脸识别算法
CN112926464B (zh) 一种人脸活体检测方法以及装置
Xu et al. Integrated approach of skin-color detection and depth information for hand and face localization
WO2018173314A1 (ja) 顔認識装置
JP2014194617A (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
CN112712059A (zh) 基于红外热图像和rgb图像的活体人脸识别方法
CN107749084A (zh) 一种基于图像三维重建技术的虚拟试戴方法和***
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN111582036A (zh) 可穿戴设备下基于形状和姿态的跨视角人物识别方法
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122