CN105740780B - 人脸活体检测的方法和装置 - Google Patents

人脸活体检测的方法和装置 Download PDF

Info

Publication number
CN105740780B
CN105740780B CN201610048500.1A CN201610048500A CN105740780B CN 105740780 B CN105740780 B CN 105740780B CN 201610048500 A CN201610048500 A CN 201610048500A CN 105740780 B CN105740780 B CN 105740780B
Authority
CN
China
Prior art keywords
group
feature points
face
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610048500.1A
Other languages
English (en)
Other versions
CN105740780A (zh
Inventor
孔勇
王玉瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Techshino Technology Co Ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyes Intelligent Technology Co ltd, Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyes Intelligent Technology Co ltd
Priority to CN201610048500.1A priority Critical patent/CN105740780B/zh
Publication of CN105740780A publication Critical patent/CN105740780A/zh
Application granted granted Critical
Publication of CN105740780B publication Critical patent/CN105740780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸活体检测的方法和装置，属于人脸识别领域，该方法包括：采集3D人脸图像；在3D人脸图像的整个区域上选择第一组特征点，并获取第一组特征点的三维坐标；在3D人脸图像的局部区域上选择第二组特征点，并获取第二组特征点的三维坐标；局部区域为鼻子区域、眼睛区域或嘴巴区域；使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征；使用第一组特征点和第二组特征点的三维坐标计算得到表示第一组特征点和第二组特征点的深度信息的第二人脸特征；使用第一人脸特征和/或第二人脸特征判断3D人脸图像是否是活体。本发明能够判断人脸图像是否是活体，并且识别的精确度高，识别结果具有鲁棒性和稳定性。

Description

人脸活体检测的方法和装置
技术领域
本发明属于人脸识别领域，特别是指一种人脸活体检测的方法和装置。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术。
现有技术中判断采集到的人脸图像是否是活体图像一般采用如下方法：要求用户做出指定的动作，如眨眼、张嘴等，并采集人脸图像，根据采集到的人脸图像判断用户是否完成了指定的动作，如果是，则判断采集到的人脸图像为活体图像。
但是，这种方法对用户很不友好，并且一些非法用户可以使用预先录制的包含指定的动作的视频欺骗人脸识别设备，导致识别准确度低。
发明内容
本发明提供一种人脸活体检测的方法和装置，本发明能够判断人脸图像是否是活体，并且识别的精确度高，识别结果具有鲁棒性和稳定性。
为解决上述技术问题，本发明提供技术方案如下：
一方面，提供一种人脸活体检测的方法，包括：
采集3D人脸图像；
在所述3D人脸图像的整个区域上选择第一组特征点，并获取所述第一组特征点的三维坐标；
在所述3D人脸图像的局部区域上选择第二组特征点，并获取所述第二组特征点的三维坐标；所述局部区域为鼻子区域、眼睛区域或嘴巴区域；
使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征；
使用所述第一组特征点和第二组特征点的三维坐标计算得到表示所述第一组特征点和第二组特征点的深度信息的第二人脸特征；
使用所述第一人脸特征和/或第二人脸特征判断所述3D人脸图像是否是活体。
另一方面，提供一种人脸活体检测的装置，包括：
采集模块，用于采集3D人脸图像；
第一选择模块，用于在所述3D人脸图像的整个区域上选择第一组特征点，并获取所述第一组特征点的三维坐标；
第二选择模块，用于在所述3D人脸图像的局部区域上选择第二组特征点，并获取所述第二组特征点的三维坐标；所述局部区域为鼻子区域、眼睛区域或嘴巴区域；
第一提取模块，用于使用所述第一组特征点的三维坐标计算得到表示所述第一组特征点的深度信息的第一人脸特征；
第二提取模块，用于使用所述第一组特征点和第二组特征点的三维坐标计算得到表示所述第一组特征点和第二组特征点的深度信息的第二人脸特征；
判断模块，用于使用所述第一人脸特征和/或第二人脸特征判断所述3D人脸图像是否是活体。
本发明具有以下有益效果：
本发明能够判断人脸图像是否是活体。首先采集得到3D人脸图像，并在3D人脸图像上选择第一组特征点，到第一组特征点的三维坐标；再通过三维坐标计算得到第一人脸特征，该第一人脸特征能够表示第一组特征点的深度信息(即反映3D人脸图像整体的深度信息)；然后在3D人脸图像的局部区域上选择第二组特征点，并获取第二组特征点的三维坐标，并使用第一组特征点和第二组特征点的三维坐标计算得到表示第一组特征点和第二组特征点的深度信息的第二人脸特征，该第二人脸特征能够表示第一组特征点和第二组特征点的深度信息(即反映3D人脸图像整体的深度信息和局部深度信息)；最后使用第一人脸特征和第二人脸特征判断人脸图像是否是活体。
本发明精确度高。本发明利用3D人脸图像上第一组特征点和第二组特征点的深度信息(即3D人脸图像整体的深度信息和局部深度信息)来判断人脸图像是否是活体，并且进一步提取出第一人脸特征来表征深度信息，使得识别的精确度高。
并且，第一人脸特征和第二人脸特征具有鲁棒性和稳定性，能够很好的表征人脸图像整体的深度信息，使得识别结果也具有鲁棒性和稳定性。
综上所述，本发明的人脸活体检测的方法能够判断人脸图像是否是活体，并且识别的精确度高，识别结果具有鲁棒性和稳定性。
附图说明
图1为本发明的人脸活体检测的方法的一个实施例的流程图；
图2为本发明实施例中3D摄像头给出坐标值的各个点的示意图；
图3为本发明实施例中第一组特征点的一个选择方式示意图；
图4为本发明实施例中第二组特征点的一个选择方式示意图；
图5为本发明的人脸活体检测的装置的一个实施例的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
一方面，本发明实施例提供一种人脸活体检测的方法，如图1所示，包括：
步骤101：采集3D人脸图像。本步骤中，优选使用3D摄像头采集得到3D人脸图像。
步骤102：在3D人脸图像的整个区域上选择第一组特征点，并获取第一组特征点的三维坐标。
普通的2D人脸图像只能得到特征点的二维坐标，而3D人脸图像能够得到特征点的三维坐标，例如有的3D摄像头能够直接给出3D人脸图像上一些点的三维坐标，其他点的三维坐标可以通过计算得出，我们可以选择这些点作为第一组特征点，也可以选择其他的点作为第一组特征点。第一组特征点可以在整个3D人脸图像上均匀的选择，也可以在3D人脸图像上的重点区域，重点区域是指3D人脸图像上起伏较大的地方，例如可以是鼻子，眼睛嘴巴等。
得到第一组特征点的三维坐标的前提是已经确定出了三维坐标系，三维坐标系在选择时，可以将3D摄像头面向用户的方向作为z轴的正方向，x轴和y轴的正方向可以根据右手坐标系确定。
步骤103：在3D人脸图像的局部区域上选择第二组特征点，并获取第二组特征点的三维坐标；局部区域为鼻子区域、眼睛区域或嘴巴区域.
上述第一组特征点是在整个人脸上选择的，它能够反映3D人脸图像整体的深度信息，我们还可以在3D人脸图像的局部区域再选择一组特征点，记为第二组特征点，第二组特征点优选在鼻子区域、眼睛区域或嘴巴区域处，并且，第二组特征点可以是第一组特征点的一部分，也可以是新选择出的特征点。
步骤104：使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征。
本步骤中的深度信息是指第一组特征点与3D摄像头的理论距离，理论距离是指在理想情况下(当人脸正对3D摄像头，人脸没有任何的偏斜时)，第一组特征点与3D摄像头的距离，因为真实的人脸(活体人脸)不是平面的，而脸部照片以及视频伪造的人脸是平面的，若多个第一组特征点的理论距离不同，则可以认为3D人脸图像是活体。
在理想情况下，深度信息可以使用三维坐标中z的值来表征，此时，若多个第一组特征点的z的值不同，就可以判断3D人脸图像是活体。但是，实际上在采集3D人脸图像时，人脸会存在偏斜等情况，导致三维坐标中z的值不能完全的表示深度信息，而且，如果将脸部照片倾斜或折叠，或者将视频倾斜，也会使得多个第一组特征点的z的值不同，并且，3D摄像头在采集3D人脸图像时，若人脸出现倾斜，也有可能使得多个第一组特征点的z的值相同，所以仅仅使用z的值来判断3D人脸图像是否为活体是不准确的。
因此我们使用三维坐标(包括x，y，z的值)来表征深度信息，并使用多个第一组特征点的三维坐标(深度信息)来判断3D人脸图像是否为活体。优选的，可以通过多个第一组特征点的三维坐标计算得到第一人脸特征，该第一人脸特征能够表征多个第一组特征点的深度信息(即反映3D人脸图像整体的深度信息)，并且该第一人脸特征具有鲁棒性和稳定性，具体的为：即使将脸部照片倾斜或折叠，或者将视频倾斜，提取到的第一人脸特征也能够使得该照片和视频被识别为非活体；并且3D摄像头在采集3D人脸图像时，若人脸出现倾斜，提取到的第一人脸特征也能够使得该3D人脸图像被识别为活体。
第一人脸特征包括多个参数值，可以写成向量的形式，我们称之为第一人脸特征向量，第一人脸特征向量能够反映3D人脸图像的整体深度信息。
步骤105：使用第一组特征点和第二组特征点的三维坐标计算得到表示第一组特征点和第二组特征点的深度信息的第二人脸特征。
第一人脸特征能够反映3D人脸图像的整体深度信息，为了更好地表征3D人脸图像，我们还可以使用第一组特征点和第二组特征点的三维坐标计算得到第二人脸特征，第二人脸特征表示第一组特征点和第二组特征点的深度信息的，既包含3D人脸图像的整体深度信息又包含3D人脸图像的局部深度信息，并且3D人脸图像的整体深度信息和局部深度信息相互关联，使得第二人脸特征的特征更多，更能表征3D人脸图像，使得后续的判断准确率更高。
步骤106：使用第一人脸特征和/或第二人脸特征判断3D人脸图像是否是活体。本步骤中，预先定义了判断标准，若第一人脸特征和/或第二人脸特征符合该标准，则认为3D人脸图像是活体，否则，3D人脸图像是非活体。并且本步骤可以单独使用第一人脸特征或第二人脸特征，也可以综合使用第一人脸特征和第二人脸特征，手段更加灵活，判断更加准确。
本发明实施例能够判断人脸图像是否是活体。首先采集得到3D人脸图像，并在3D人脸图像上选择第一组特征点，到第一组特征点的三维坐标；再通过三维坐标计算得到第一人脸特征，该第一人脸特征能够表示第一组特征点的深度信息(即反映3D人脸图像整体的深度信息)；然后在3D人脸图像的局部区域上选择第二组特征点，并获取第二组特征点的三维坐标，并使用第一组特征点和第二组特征点的三维坐标计算得到表示第一组特征点和第二组特征点的深度信息的第二人脸特征，该第二人脸特征能够表示第一组特征点和第二组特征点的深度信息(即反映3D人脸图像整体的深度信息和局部深度信息)；最后使用第一人脸特征和第二人脸特征判断人脸图像是否是活体。
本发明实施例精确度高。本发明实施例利用3D人脸图像上第一组特征点和第二组特征点的深度信息(即3D人脸图像整体的深度信息和局部深度信息)来判断人脸图像是否是活体，并且进一步提取出第一人脸特征来表征深度信息，使得识别的精确度高。
并且，第一人脸特征和第二人脸特征具有鲁棒性和稳定性，能够很好的表征人脸图像整体的深度信息，使得识别结果也具有鲁棒性和稳定性。
综上所述，本发明实施例的人脸活体检测的方法能够判断人脸图像是否是活体，并且识别的精确度高，识别结果具有鲁棒性和稳定性。
本发明实施例中，第一人脸特征通过各种方法得到，这里给出一个实施例：
确定邻域的大小。本步骤中，确定邻域的边长s，并对每一个第一组特征点，选择s*s大小的邻域。
对每个第一组特征点，使用该特征点邻域内的像素点的三维坐标拟合得到第一目标平面。将第一组特征点的邻域内的像素点的三维坐标使用最小二乘法、插值法等方法进行拟合，可以得到一个平面，我们将这个平面称为第一目标平面。
以第一目标平面的系数作为第一人脸特征。第一目标平面的方程为z＝a1*x+b1*y+c1。以第一目标平面的系数作为人脸特征，即第一人脸特征可以为[a1,b1,c1]，进一步的，可以对其进行归一化，得到第一人脸特征：
Figure BDA0000913608610000071
第一目标平面是通过第一组特征点邻域内的像素点的三维坐标拟合得到的，对同一个人的同一个特征点而言，这个第一目标平面具有很好的稳定性和鲁棒性，不受人脸采集的姿势以及图像噪声的影响，因此各个第一组特征点的目标平面的系数组成的第一人脸特征向量也具有很好的稳定性和鲁棒性，更能表征3D人脸图像的整体深度信息，使得识别结果精确度更高，鲁棒性和稳定性更好。
本发明实施例中，第二人脸特征通过各种方法得到，这里给出一个实施例：
使用第二组特征点的三维坐标拟合得到第二目标平面。将第二组特征点的三维坐标使用最小二乘法、插值法等方法进行拟合，可以得到一个平面，我们将这个平面称为第二目标平面。
计算第一组特征点到第二目标平面的距离值，得到第二人脸特征，其中，位于第二目标平面两侧的第一组特征点的距离值的符号不同。
我们使用第一组特征点到第二目标平面的距离表征深度信息，第二目标平面是通过第二组特征点的三维坐标拟合得到的，对同一个人而言，这个第二目标平面具有很好的稳定性和鲁棒性，不受人脸采集的姿势以及图像噪声的影响，因此各个第一组特征点到第二目标平面的距离组成的第二人脸特征也具有很好的稳定性和鲁棒性，更能表征人脸图像的深度信息，使得识别结果精确度更高，鲁棒性和稳定性更好。
而且，第二目标平面将第一组特征点分成两部分，分别在第二目标平面的两侧，若单纯的以距离值来表征深度信息，由于距离值都是正的，不能反映出距离值对应的第一组特征点是在第二目标平面的哪一侧，这就丢失了一部分信息，使得在后续使用第二人脸特征进行判断时的结果不够准确。因此，我们将位于第二目标平面两侧的第一组特征点的距离值取不同的符号。
理论上，点(x1,y1,z1)到第二目标平面z＝a2*x+b2*y+c2的距离值公式为：
Figure BDA0000913608610000081
我们将分子的绝对值号去掉，即可使得位于第二目标平面两侧的第一组特征点的距离值的符号不同，因此本实施例的距离值公式为：
Figure BDA0000913608610000082
第二人脸特征包括多个参数值，可以写成向量的形式，我们称之为第二人脸特征向量，第二人脸特征向量能够反映3D人脸图像的深度信息。
在提取出第一人脸特征和/或第二人脸特征后，就可以使用第一人脸特征和/或第二人脸特征判断3D人脸图像是否是活体。这里给出一个判断的实施例：
使用预先训练好的分类器对第一人脸特征和/或第二人脸特征进行分类；
根据分类结果判断3D人脸图像是否是活体。
本发明实施例采用分类器判断3D人脸图像是否是活体，事先需要使用第一人脸特征和/或第二人脸特征对分类器进行训练，即设定好判断标准，然后将第一人脸特征和/或第二人脸特征输入分类器，得到类别输出，根据类别判断人脸图像是否是活体。
例如，分类器为SVM分类器，SVM分类器使用多个第一人脸特征和/或第二人脸特征样本进行训练得到。将第一人脸特征和/或第二人脸特征输入分类器，若输出结果为1，则为活体，若输出结果为-1，则为非活体。
本发明实施例采用分类器判断3D人脸图像是否是活体，进一步提高了识别的精确度。
上述的各个实施例中，对特征点的选取可以有多种方式，这里给出一个实施例：
第一组特征点为17*17个，均匀分布在3D人脸图像上，第二组特征点为鼻子区域的3个特征点。
第一组特征点的选取过程为；
获取人脸外框的大小，人脸外框是一个矩形，其宽度由3D人脸图像最左右的两个点决定，高度由最上下的两个点决定。
定位鼻尖位置。
以鼻尖位置为中心，以人脸外框的长和宽的2/3为大小，构造矩形框。
将矩形框均匀分为17*17的网格，得到289个第一组特征点。
第二组特征点优选为鼻子根部的3个特征点。
第一组特征点均匀分布在3D人脸图像上，使得提取到的人脸特征更加丰富，更能表征3D人脸图像，使得识别结果更准确。
这里我们选取了鼻子区域的特征点为第二组特征点，是因为鼻子是人脸区域中一个突出的部位，它的深度信息是很有区分度的。并且更进一步的，这3个特征点是鼻子根部的3个点，拟合得到的第二目标平面是鼻子底部的平面，这个平面最为简单，计算方便。
下面以一个优选的实施例对本发明进行阐述：
步骤1)、打开3D摄像头，获取一张3D人脸图像，获取鼻子区域4个特征点的深度信息，同时有规则的标记人脸区域的289个点并获取它们的深度信息；
首先，我们调用已有的算法来打开摄像头、拍摄3D人脸图像、获得人脸框的大小，并提取鼻子区域4个特征点的深度信息，见图4。
图2是78个特征点的标记，这78个特征点的坐标是3D摄像头直接给出的，依次用如下符号表示：Point0,Point1,…,Point76,Point77；
我们只选取鼻子区域的四个特征点Point26,Point29,Point30,Point32，它们的深度信息依次由下面的三维坐标来表示：(x26,y26,z26),(x29,y29,z29),(x30,y30,z30),(x32,y32,z32).
同时，以鼻尖Point29为中心的，构造一个网格(网格的长和宽分别是检测到的人脸框长和宽的2/3)，同时将网格分为等长等宽的17×17个小网格、并获取这17×17个网格点的深度信息，按列依次标记为netPoint0,netPoint1,…,netPoint287,netPoint288(见图3)，它们的深度信息依次由下面的三维坐标来表示：(net_x0,net_y0,net_z0),…,(net_x288,net_y288,net_z288)
这里我们获取289个点比原有的78个点更能体现人脸的凸凹起伏状况，比如鼻子的凸出信息、鼻子边缘的凸凹信息、脸颧骨处的凸凹信息、眼睛部位的凸凹信息等。
步骤2)、对于步骤1)中289个点中的每一个点，获取其周围3×3邻域的点的深度信息、并由这些深度信息计算出一个三维的方向向量。将这些方向向量组合在一起构成一个289×3维的数据，来作为第一人脸特征；
可以将人脸看成一个起伏不平的有特定规则的面(比如鼻子部位高凸，眼睛部位凹陷等)，因为照片等是平面，或者即使人为的弯曲照片等来模拟人脸的起伏特点、其实也是可以区分的，这里我们可以应用一些脸部小区域(近似为一个小平面)的法向量，则这些法向量是很有区分度的。
具体的，对于第i个网格点netPointi，获取其3×3邻域共9个点的深度信息，并依次表示为
(i_x0,i_y0,i_z0),(i_x1,i_y1,i_z1),…,(i_x8,i_y8,i_z8)
利用最小二乘法，由这九个点确定一个平面β1：
z＝a 1*x+b1*y+c1.
计算a,b,c的过程，设
Figure BDA0000913608610000101
即
A1*X1＝Z1,
于是利用Matlab做如下计算，可求出平面的三个系数即
X1＝A1\Z 1or X1＝(A1TA1)-1A1TZ1.
我们记：
Figure BDA0000913608610000111
将这些法向量组合在一起构成一个289×3维的数据，作为特征来表示一张人脸，即
[normal_vect_0,normal_vect_1,..,normal_vect_288]
步骤3)、利用步骤1)中人脸鼻子区域的4个特征点的深度信息，以及289个点的深度信息，计算出一个表示人脸的289维第二人脸特征；
首先，利用最小二乘法，由三个特征点Point26,Point30,Point32确定一个平面β2：
z＝a2*x+b2*y+c2.
计算a2,b2,c2的过程，设
Figure BDA0000913608610000112
即
A2*X2＝Z2,
于是利用Matlab做如下计算，可求出平面的三个系数即
X2＝A2\Z2 or X2＝(A2TA2)-1A2TZ2.
接着，计算289个网格点到此平面的一个数值，记第i个网格点到拟合平面的数值是sign_di，则
Figure BDA0000913608610000113
之后，把这289个数值作为一个人脸的特征，即用289维的数据[sign_d0,sign_d1,…,sign_d288]作为特征来表示一张人脸。
注：这里我们不取点到直线的距离(即上式中分子不取绝对值)，是因为这样的度量数据可以更能有效防止人为的弯曲照片来构造的假的深度数据。
步骤4)、利用步骤1)和2)中的第一人脸特征和第二人脸特征来判断当前的人脸是不是活体。
将第一人脸特征和第二人脸特征输入到我们已经训练好的SVM分类器中，根据输出的结果来判断是不是活体。如果输出的结果是1，则是活体，如果输出的结果是－1，则是非活体。
在机器学习领域，SVM(支持向量机，Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。SVM经常用在二类问题上。
我们采集并计算出了5万多份活体和非活体人脸的特征数据，用Matlab的SVM训练函数svmtrain来训练分类器。
这些特征数据中，训练样本是28000份(其中活体6000份，非活体22000份)，测试样本是24000份(其中活体4000份、非活体20000份)，并且标记真人脸为+1，假人脸为－1。在训练时选取最佳的参数，在Matlab的SVM训练函数svmtrain的参数中，设定了采取高斯核函数、并设置了sigma＝4。
另一方面，本发明实施例提供一种人脸活体检测的装置，如图5所示，包括：
采集模块11，用于采集3D人脸图像.
第一选择模块12，用于在3D人脸图像的整个区域上选择第一组特征点，并获取第一组特征点的三维坐标。
第二选择模块13，用于在3D人脸图像的局部区域上选择第二组特征点，并获取第二组特征点的三维坐标；局部区域为鼻子区域、眼睛区域或嘴巴区域。
第一提取模块14，用于使用第一组特征点的三维坐标计算得到表示第一组特征点的深度信息的第一人脸特征.
第二提取模块15，用于使用第一组特征点和第二组特征点的三维坐标计算得到表示第一组特征点和第二组特征点的深度信息的第二人脸特征.
判断模块16，用于使用第一人脸特征和/或第二人脸特征判断3D人脸图像是否是活体。
本发明实施例的人脸活体检测的装置能够判断人脸图像是否是活体，并且识别的精确度高，识别结果具有鲁棒性和稳定性。
本发明实施例中，第一人脸特征通过各种功能单元得到，这里给出一个实施例：
邻域选择单元，用于确定邻域的大小；
第一拟合单元，用于对每个第一组特征点，使用该特征点邻域内的像素点的三维坐标拟合得到第一目标平面；
第一人脸特征获取单元，用于以第一目标平面的系数作为第一人脸特征。
第一目标平面是通过第一组特征点邻域内的像素点的三维坐标拟合得到的，对同一个人的同一个特征点而言，这个第一目标平面具有很好的稳定性和鲁棒性，不受人脸采集的姿势以及图像噪声的影响，因此各个第一组特征点的目标平面的系数组成的第一人脸特征向量也具有很好的稳定性和鲁棒性，更能表征3D人脸图像的整体深度信息，使得识别结果精确度更高，鲁棒性和稳定性更好。
本发明实施例中，第二人脸特征通过各种功能单元得到，这里给出一个实施例：
第二拟合单元，用于使用第二组特征点的三维坐标拟合得到第二目标平面；
第二人脸特征获取单元，用于计算第一组特征点到第二目标平面的距离值，得到第二人脸特征，其中，位于第二目标平面两侧的第一组特征点的距离值的符号不同。
我们使用第一组特征点到第二目标平面的距离表征深度信息，第二目标平面是通过第二组特征点的三维坐标拟合得到的，对同一个人而言，这个第二目标平面具有很好的稳定性和鲁棒性，不受人脸采集的姿势以及图像噪声的影响，因此各个第一组特征点到第二目标平面的距离组成的第二人脸特征也具有很好的稳定性和鲁棒性，更能表征人脸图像的深度信息，使得识别结果精确度更高，鲁棒性和稳定性更好。
而且，第二目标平面将第一组特征点分成两部分，分别在第二目标平面的两侧，若单纯的以距离值来表征深度信息，由于距离值都是正的，不能反映出距离值对应的第一组特征点是在第二目标平面的哪一侧，这就丢失了一部分信息，使得在后续使用第二人脸特征进行判断时的结果不够准确。因此，我们将位于第二目标平面两侧的第一组特征点的距离值取不同的符号。
在提取出第一人脸特征和/或第二人脸特征后，就可以使用第一人脸特征和/或第二人脸特征判断3D人脸图像是否是活体。这里给出一个判断的实施例：
判断模块包括：
分类单元，用于使用预先训练好的分类器对第一人脸特征和/或第二人脸特征进行分类；
判断单元，用于根据分类结果判断3D人脸图像是否是活体。
本发明实施例采用分类器判断3D人脸图像是否是活体，事先需要使用第一人脸特征和/或第二人脸特征对分类器进行训练，即设定好判断标准，然后将第一人脸特征和/或第二人脸特征输入分类器，得到类别输出，根据类别判断人脸图像是否是活体。
例如，分类器为SVM分类器，SVM分类器使用多个第一人脸特征和/或第二人脸特征样本进行训练得到。将第一人脸特征和/或第二人脸特征输入分类器，若输出结果为1，则为活体，若输出结果为-1，则为非活体。
本发明实施例采用分类器判断3D人脸图像是否是活体，进一步提高了识别的精确度。
上述的各个实施例中，对特征点的选取可以有多种形式，这里给出一个实施例：
第一组特征点为17*17个，均匀分布在3D人脸图像上，第二组特征点为鼻子区域的3个特征点。
第一组特征点均匀分布在3D人脸图像上，使得提取到的人脸特征更加丰富，更能表征3D人脸图像，使得识别结果更准确。
这里我们选取了鼻子区域的特征点为第二组特征点，是因为鼻子是人脸区域中一个突出的部位，它的深度信息是很有区分度的。并且更进一步的，这3个特征点是鼻子根部的3个点，拟合得到的第二目标平面是鼻子底部的平面，这个平面最为简单，计算方便。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种人脸活体检测的方法，其特征在于，包括：
使用3D摄像头采集3D人脸图像；
在所述3D人脸图像的整个区域上均匀选择第一组特征点，并获取所述第一组特征点的三维坐标；
在所述3D人脸图像的局部区域上选择第二组特征点，并获取所述第二组特征点的三维坐标；所述局部区域为鼻子区域、眼睛区域或嘴巴区域，所述第二组特征点为与第一组特征点不同的特征点；
使用所述第一组特征点的三维坐标x，y，z的值计算得到表示所述第一组特征点的深度信息的第一人脸特征；
使用所述第一组特征点和第二组特征点的三维坐标x，y，z的值计算得到表示所述第一组特征点和第二组特征点的深度信息的第二人脸特征；
使用所述第一人脸特征和第二人脸特征判断所述3D人脸图像是否是活体；
所述第一人脸特征通过如下方法得到：
确定邻域的大小；
对每个第一组特征点，使用该特征点邻域内的像素点的三维坐标拟合得到第一目标平面；
计算每个第一目标平面的法向量，将所有第一目标平面的法向量组合在一起，构成第一人脸特征；
所述第一组特征点为17*17个，均匀分布在所述3D人脸图像上，所述第二组特征点为鼻子区域的3个特征点；
所述使用所述第一人脸特征和第二人脸特征判断所述3D人脸图像是否是活体包括：
使用预先训练好的分类器对所述第一人脸特征和第二人脸特征进行分类；
根据分类结果判断所述3D人脸图像是否是活体。
2.根据权利要求1所述的人脸活体检测的方法，其特征在于，所述第二人脸特征通过如下方法得到：
使用第二组特征点的三维坐标拟合得到第二目标平面；
计算所述第一组特征点到第二目标平面的距离值，得到第二人脸特征，其中，位于所述第二目标平面两侧的第一组特征点的距离值的符号不同。
3.一种人脸活体检测的装置，其特征在于，包括：
采集模块，用于使用3D摄像头采集3D人脸图像；
第一选择模块，用于在所述3D人脸图像的整个区域上均匀选择第一组特征点，并获取所述第一组特征点的三维坐标；
第二选择模块，用于在所述3D人脸图像的局部区域上选择第二组特征点，并获取所述第二组特征点的三维坐标；所述局部区域为鼻子区域、眼睛区域或嘴巴区域，所述第二组特征点为与第一组特征点不同的特征点；
第一提取模块，用于使用所述第一组特征点的三维坐标x，y，z的值计算得到表示所述第一组特征点的深度信息的第一人脸特征；
第二提取模块，用于使用所述第一组特征点和第二组特征点的三维坐标x，y，z的值计算得到表示所述第一组特征点和第二组特征点的深度信息的第二人脸特征；
判断模块，用于使用所述第一人脸特征和第二人脸特征判断所述3D人脸图像是否是活体；
所述第一人脸特征通过如下单元得到：
邻域选择单元，用于确定邻域的大小；
第一拟合单元，用于对每个第一组特征点，使用该特征点邻域内的像素点的三维坐标拟合得到第一目标平面；
第一人脸特征获取单元，用于计算每个第一目标平面的法向量，将所有第一目标平面的法向量组合在一起，构成第一人脸特征；
所述第一组特征点为17*17个，均匀分布在所述3D人脸图像上，所述第二组特征点为鼻子区域的3个特征点；
所述判断模块包括：
分类单元，用于使用预先训练好的分类器对所述第一人脸特征和第二人脸特征进行分类；
判断单元，用于根据分类结果判断所述3D人脸图像是否是活体。
4.根据权利要求3所述的人脸活体检测的装置，其特征在于，所述第二人脸特征通过如下单元得到：
第二拟合单元，用于使用第二组特征点的三维坐标拟合得到第二目标平面；
第二人脸特征获取单元，用于计算所述第一组特征点到第二目标平面的距离值，得到第二人脸特征，其中，位于所述第二目标平面两侧的第一组特征点的距离值的符号不同。
CN201610048500.1A 2016-01-25 2016-01-25 人脸活体检测的方法和装置 Active CN105740780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048500.1A CN105740780B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048500.1A CN105740780B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Publications (2)

Publication Number Publication Date
CN105740780A CN105740780A (zh) 2016-07-06
CN105740780B true CN105740780B (zh) 2020-07-28

Family

ID=56247587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048500.1A Active CN105740780B (zh) 2016-01-25 2016-01-25 人脸活体检测的方法和装置

Country Status (1)

Country Link
CN (1) CN105740780B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798279B (zh) * 2016-09-07 2022-01-25 北京眼神科技有限公司 一种人脸活体检测方法及装置
CN106372629B (zh) * 2016-11-08 2020-02-07 汉王科技股份有限公司 一种活体检测方法和装置
CN106845405A (zh) * 2017-01-20 2017-06-13 武汉仟品网络科技有限公司 一种通过生物影像识别身份的方法、装置及电子设备
KR102387571B1 (ko) 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN116311549A (zh) * 2017-03-27 2023-06-23 北京三星通信技术研究有限公司 活体对象识别方法、设备和计算机可读存储介质
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
KR102455633B1 (ko) * 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN107958236B (zh) * 2017-12-28 2021-03-19 深圳市金立通信设备有限公司 人脸识别样本图像的生成方法及终端
CN108334817A (zh) * 2018-01-16 2018-07-27 深圳前海华夏智信数据科技有限公司 基于三目的活体人脸检测方法及***
CN110059579B (zh) * 2019-03-27 2020-09-04 北京三快在线科技有限公司 用于活体检验的方法和装置，电子设备和存储介质
CN110175522A (zh) * 2019-04-24 2019-08-27 深圳智慧林网络科技有限公司 考勤方法、***及相关产品
CN110458069A (zh) * 2019-08-02 2019-11-15 深圳市华方信息产业有限公司 一种基于脸部识别辅助管理用户在线学习状态的方法及***
CN110472582B (zh) * 2019-08-16 2023-07-21 腾讯科技（深圳）有限公司 基于眼部识别的3d人脸识别方法、装置和终端
CN110532957B (zh) * 2019-08-30 2021-05-07 北京市商汤科技开发有限公司 人脸识别方法及装置、电子设备和存储介质
CN110533001B (zh) * 2019-09-06 2022-02-08 厦门久凌创新科技有限公司 基于人脸识别的大数据人脸识别方法
CN111898553B (zh) * 2020-07-31 2022-08-09 成都新潮传媒集团有限公司 一种判别虚像人员的方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106703A (zh) * 2013-01-14 2013-05-15 张平 防作弊驾驶员培训记录仪
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及***
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106703A (zh) * 2013-01-14 2013-05-15 张平 防作弊驾驶员培训记录仪
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及***
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multimodal Person Recognition using Unconstrained Audio and Video;T.Choudhury 等;《AVBPA"99》;20030128;第176-181页 *

Also Published As

Publication number Publication date
CN105740780A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105740780B (zh) 人脸活体检测的方法和装置
CN105740779B (zh) 人脸活体检测的方法和装置
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
JP6125188B2 (ja) 映像処理方法及び装置
CN105740781B (zh) 一种三维人脸活体检测的方法和装置
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US8379937B1 (en) Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6639123B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
JP2008146539A (ja) 顔認証装置
CN104794449B (zh) 基于人体hog特征的步态能量图获取及身份识别方法
Wang et al. Head pose estimation with combined 2D SIFT and 3D HOG features
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
CN107944395A (zh) 一种基于神经网络验证人证合一的方法及***
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
WO2015131710A1 (zh) 人眼定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200617

Address after: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 1, building 8, floor 802, 1

Applicant after: BEIJING TECHSHINO TECHNOLOGY Co.,Ltd.

Applicant after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 1, building 8, floor 802, 1

Applicant before: BEIJING TECHSHINO TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and device for detecting human face in vivo

Effective date of registration: 20220614

Granted publication date: 20200728

Pledgee: China Construction Bank Corporation Xiongxian sub branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000332