CN103530599A

CN103530599A - 一种真实人脸和图片人脸的区别方法和***

Info

Publication number: CN103530599A
Application number: CN201310133442.9A
Authority: CN
Inventors: 李相涛; 邵诗强; 付东
Original assignee: TCL Corp
Current assignee: TCL Corp
Priority date: 2013-04-17
Filing date: 2013-04-17
Publication date: 2014-01-22
Anticipated expiration: 2033-04-17
Also published as: CN103530599B

Abstract

本发明公开了一种真实人脸和图片人脸的区别方法和***，其采用两个摄像头进行图像采集，通过两个摄像头重建出所采集图像的部分深度信息，实现了使用摄像头分辨图片人脸和真实人脸的目的。同时，采用基于双目视觉的方式（即采用两个摄像头进行图像采集）实现对人脸的匹配、特征点提取和特征点的三维坐标重建，具有较高的准确性；另外，由于计算过程中只使用少量的人脸特征点，使得算法整体获得了较高的速度。

Description

一种真实人脸和图片人脸的区别方法和***

技术领域

本发明涉及图像识别技术领域，尤其涉及一种真实人脸和图片人脸的区别方法和***。

背景技术

随着各种智能终端（智能手机、平板电脑和智能电视等）的性能越来越强大，很多基于机器视觉或模式识别的智能算法出现在了各种智能终端上，比如人脸检测与识别技术，其利用分析比较人脸视觉特征信息进行身份鉴别。从而不仅增加了各种终端的智能性，而且也为人机交互提供了一定的基础。

但是，现有的人脸检测识别算法通常都无法区分检测到的人脸是来自图片，还是真实的人脸。这种缺陷严重影响了应用的智能性，比如在人脸识别解锁这种应用中，甚至给智能终端带来安全隐患。

有鉴于此，现有技术有待改进和提高。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种真实人脸和图片人脸的区别方法和***。旨在解决现有技术中人脸检测识别算法无法区分检测图片人脸和真实人脸的问题。

本发明的技术方案如下：

一种真实人脸和图片人脸的区别方法，其中，所述区别方法包括以下步骤：

A、采用摄像头标定算法对固定的第一摄像头和第二摄像头进行标定，计算出两个摄像头的投影矩阵；

B、获取实时同步的第一、第二摄像头所采集的图像；

C、根据第一、二摄像头采集的实时同步图像进行人脸检测，并确定每一帧图像的人脸区域；

D、使用主动形状模型算法分别从每一图像的人脸区域中提取人脸特征点；

E、选取第一摄像头采集的图像中的任一人脸，在第二摄像头采集的图像中找到与之对应的人脸，实现人脸匹配；

F、对相匹配的人脸，根据人脸特征点以及两个摄像头的投影矩阵建立三维特征点坐标，确定三维特征点坐标中特征点间的最大深度差值；并将所述特征点间的最大深度差值与预先设定的深度阈值进行比较：若所述特征点间的最大深度差值大于预先设定的深度阈值，则为真实人脸；否则为图片人脸。

所述的真实人脸和图片人脸的区别方法，其中，所述步骤A中，摄像头标定算法为普通标定方法、自标定方法或基于主动视觉的标定算法。

所述的真实人脸和图片人脸的区别方法，其中，所述步骤B具体包括：

B1、为第一摄像头、第二摄像头建立存放图像帧的先进先出缓冲区；

B2、将第一摄像头、第二摄像头实时采集到的图像帧上标记时间戳，并暂存在相应的缓冲区内；

B3、在第一、第二摄像头的缓冲区内寻找时间戳相近的两帧图像组成一组。

所述的真实人脸和图片人脸的区别方法，其中，所述步骤C中检测是否有人脸采用模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法或基于haar特征的AdaBoost方法。

所述的真实人脸和图片人脸的区别方法，其中，所述基于haar特征的AdaBoost方法包括以下步骤：

C1、搜集一系列带有人脸的图像数据和没有人脸的图像数据组成样本库，对样本库中的各个图像数据使用haar特征提取样本特征向量，训练级联分类器；

C2、对于一帧图像数据，缩放为若干个不同大小的图像，然后遍历所述不同大小的图像中的每个位置，对每个位置使用haar特征提取出其特征向量，并输入给所述的分类器进行分类，确定人脸区域。

所述的真实人脸和图片人脸的区别方法，其中，所述步骤D具体包括：

D1、对每一图像手工设定若干个标定点作为训练数据，并获取每一标定点附近的特征信息；

D2、对每一图像的形状向量归一化，令每一图像在同一坐标系具有一致性，标定点表示为平均形状向量加上第一参数与形状向量的乘积；

D3、利用轮廓的灰度特征在每一图像的人脸区域中进行一个迭代过程，在每一步迭代中通过调整第一参数改变当前模型的位置和形状，完成目标的特征点提取。

一种真实人脸和图片人脸的区别***，其中，所述区别***包括：

标定单元，用于采用摄像头标定算法对固定的第一摄像头和第二摄像头进行标定，计算出两个摄像头的投影矩阵；

采集单元，用于获取实时同步的第一、第二摄像头所采集的图像；

人脸检测单元，用于根据第一、二摄像头采集的实时同步图像进行人脸检测，并确定每一帧图像的人脸区域；

特征提取单元，用于使用主动形状模型算法分别从每一图像的人脸区域中提取人脸特征点；

人脸匹配单元，用于选取第一摄像头采集的图像中的任一人脸，在第二摄像头采集的图像中找到与之对应的人脸，实现人脸匹配；

三维坐标建立及判断单元，用于对相匹配的人脸，根据人脸特征点以及两个摄像头的投影矩阵建立三维特征点坐标，确定三维特征点坐标中特征点间的最大深度差值；并将所述特征点间的最大深度差值与预先设定的深度阈值进行比较：若所述特征点间的最大深度差值大于预先设定的深度阈值，则为真实人脸；否则为图片人脸。

所述的真实人脸和图片人脸的区别***，其中，所述标定单元中，所述摄像头标定算法为普通标定方法、自标定方法或基于主动视觉的标定方法。

所述的真实人脸和图片人脸的区别***，其中，所述采集单元进一步包括：

缓冲模块，用于分别为第一摄像头、第二摄像头建立存放图像帧的先进先出缓冲区；

时间标记模块，用于将第一摄像头、第二摄像头实时采集到的图像帧上标记时间戳，并暂存在相应的缓冲区内；

获取模块，用于分别在第一、第二摄像头的缓冲区内寻找时间戳相近的两帧图像组成一组，即为实时同步的第一、第二摄像头所采集的图像。

所述的真实人脸和图片人脸的区别***，其中，所述人脸检测单元中检测是否有人脸采用模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法或基于haar特征的AdaBoost方法。

有益效果：

本发明的真实人脸和图片人脸的区别方法和***，其采用两个摄像头进行图像采集，通过两个摄像头重建出所采集图像的部分深度信息，实现了使用摄像头分辨图片人脸和真实人脸的目的。同时，采用基于双目视觉的方式（即采用两个摄像头进行图像采集）实现对人脸的匹配、特征点提取和特征点的三维坐标重建，具有较高的准确性；另外，由于计算过程中只使用少量的人脸特征点，使得算法整体获得了较高的速度。

附图说明

图1为本发明的真实人脸和图片人脸的区别方法的流程图。

图2为本发明的真实人脸和图片人脸的区别方法的实施例中haar算法所得的特征点的示意图。

图3为本发明的真实人脸和图片人脸的区别方法的实施例中haar特征与人脸特征的对应关系的示意图。

图4为本发明的真实人脸和图片人脸的区别方法的实施例中人脸特征点标定的示意图。

图5为本发明的真实人脸和图片人脸的区别方法的实施例中极线几何约束原理的示意图。

图6为本发明的真实人脸和图片人脸的区别***的结构框图。

具体实施方式

本发明提供一种真实人脸和图片人脸的区别方法和***，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，其为本发明的真实人脸和图片人脸的区别方法的流程图。如图所示，所述区别方法包括以下步骤：

B、获取实时同步的第一、第二摄像头所采集的图像；

下面分别针对上述步骤进行详细描述：

所述步骤S1为采用摄像头标定算法对固定的第一摄像头和第二摄像头进行标定，计算出两个摄像头的投影矩阵。其具体做法如下：先固定两个摄像头：第一摄像头和第二摄像头，然后使用摄像头标定算法，分别对这两个摄像头进行标定。常用的标定算法有：普通标定方法、自标定方法或基于主动视觉的标定方法。摄像头标定就是通过实验和计算获取到摄像头（如摄像头）成像的几何模型，即获取到真实世界中的物点与其图像平面中的像点

Figure DEST_PATH_719340DEST_PATH_IMAGE002

的射影几何映射关系。一般认为物点的三维坐标

Figure DEST_PATH_977015DEST_PATH_IMAGE001

通过一个投影矩阵

Figure DEST_PATH_155056DEST_PATH_IMAGE003

映射成图像平面像点的二维坐标

Figure DEST_PATH_932519DEST_PATH_IMAGE002

，公式如下：

Figure DEST_PATH_600129DEST_PATH_IMAGE004

其中，

Figure DEST_PATH_830254DEST_PATH_IMAGE005

是一个比例因子，摄像头标定算法最主要的目标就是计算出这个投影矩阵

Figure DEST_PATH_877232DEST_PATH_IMAGE003

。

所述步骤S2为获取实时同步的第一、第二摄像头所采集的图像。在本实施例中，其具体包括：

S21、别为第一摄像头、第二摄像头建立存放图像帧的先进先出缓冲区；

S22、将第一摄像头、第二摄像头实时采集到的图像帧上标记时间戳，并暂存在相应的缓冲区内；

S23、分别在第一、第二摄像头的缓冲区内寻找时间戳相近的两帧图像组成一组，即为实时同步的第一、第二摄像头所采集的图像。

所述步骤S3为根据第一、二摄像头采集的实时同步图像进行人脸检测，并确定每一帧图像的人脸区域。检测是否有人脸的方法有多种，常用的方法包括：模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法和基于haar特征的AdaBoost方法。在本实施例中，采用检测速度较快的基于haar特征的AdaBoost方法检测人脸。具体步骤如下：

S31、搜集一系列带有人脸的图像数据和没有人脸的图像数据组成样本库，对样本库中的各个图像数据使用haar特征提取样本特征向量，训练级联分类器，其中，所述haar算法所有的特征的示意图如图2所示，特征模板内有白色和黑色两种矩形，定义每个模板的特征值为白色矩形像素和减去黑色矩形像素的和。haar特征与人脸特征的对应关系如图3所示，图3示出了将两个haar特征应用到人脸图像上的情况，示意了两个haar特征与人脸特征的对应关系，即将两个haar特征分别应用到图3（a）中，形成图3（b）和图3（c）。

S32、对于一帧图像数据，缩放为若干个不同大小的图像，然后遍历所述不同大小的图像中的每个位置，对每个位置使用haar特征提取出其特征向量，并输入给所述的分类器进行分类，确定人脸区域。

所述步骤S4为使用主动形状模型算法分别从每一图像的人脸区域中提取人脸特征点。ASM算法（即主动形状模型算法）是一种基于模型的特征匹配方法，它既可以灵活地改变模型的形状以适应目标形状不确定的特性，又将形状的变化控制在模型允许的范围内，从而保证模型改变时不会受各种因素影响而出现不合理的形状。其具体包括下面三个步骤：

S41、对每一图像手工设定若干个标定点作为训练数据，并获取每一标定点附近的特征信息。具体来说，对每一图像手工设定n个标定点作为训练数据，如图4所示，图中白色的点即为标定点，同时获取每一标定点附近的特征信息(这些特征是进行匹配的主要依据)，所述第i幅图像的标定点

Figure DEST_PATH_509201DEST_PATH_IMAGE006

表示为：

Figure DEST_PATH_285396DEST_PATH_IMAGE007

其中，

Figure DEST_PATH_517663DEST_PATH_IMAGE008

代表第i幅图像的第j个轮廓点的坐标；n代表每幅图像标定的点数，N代表训练图像数目；

S42、对每一图像的形状向量归一化，令每一图像在同一坐标系具有一致性。具体来说，由于各个样本图像的拍摄条件、分辨率的差异，需要对样本图像的形状向量归一化，通过旋转、平移和缩放使得它们在同一坐标系中表示时具有一致性。由于各个样本向量之间存在一定的相关性，且样本数量比较大会造成计算量过大，需要采用PCA（主成分分析）的思想对样本空间进行正交变换，并确定主成分。最终，标定点S可以表示为：

Figure DEST_PATH_120331DEST_PATH_IMAGE009

其中，

表示平均形状向量，b表示参数，P表示形状向量，且

Figure DEST_PATH_68750DEST_PATH_IMAGE011

；

S43、利用轮廓的灰度特征在各个候选区域进行一个迭代过程，在每一步迭代中通过调整参数b改变当前模型的位置和形状，完成目标的特征点提取。具体来说，在ASM中一般采用基于轮廓的灰度匹配法，主要思想是对训练的样本中的每个轮廓的法线方向采样作为灰度特征。ASM利用轮廓的灰度特征在各个候选区域进行一个迭代过程，在每一步迭代中通过调整参数b改变当前模型的位置和形状，完成目标的特征点提取。

所述步骤S5为选取第一摄像头采集的图像中的任一人脸，在第二摄像头采集的图像中找到与之对应的人脸，实现人脸匹配。具体来说，即对第一摄像头采集的图像和第二摄像头采集的图像中的人脸进行匹配：选取第一摄像头采集的图像中的任一人脸，在第二摄像头采集的图像中找到与之对应的人脸。因为，在左右摄像头的两帧图像，可能有多个人脸，为了正确重建出人脸特征的三维坐标，需要确定两帧图像中人脸的对应关系，即左摄像头图像中的一个人脸，在右摄像头图像中找到与之对应的人脸。可以使用极线几何约束的相关性质进行匹配。

极线几何约束原理如图5所示，如果

Figure DEST_PATH_273467DEST_PATH_IMAGE012

与

Figure DEST_PATH_659317DEST_PATH_IMAGE013

为对应点，则由于，

Figure DEST_PATH_386807DEST_PATH_IMAGE013

，

Figure DEST_PATH_328087DEST_PATH_IMAGE014

，

，

Figure DEST_PATH_650801DEST_PATH_IMAGE016

在同一平面上，

Figure DEST_PATH_205279DEST_PATH_IMAGE012

与

Figure DEST_PATH_365346DEST_PATH_IMAGE013

分别位于此平面与两个图像的交线

与

上，

称为图像上对应于

图像上

Figure DEST_PATH_691864DEST_PATH_IMAGE013

点的极线，

称为图像上对应于

图像上

Figure DEST_PATH_836090DEST_PATH_IMAGE012

点的极线。

两幅图像中对应点的极线约束关系可以用基本矩阵

Figure DEST_PATH_965589DEST_PATH_IMAGE021

来进行代数表达：

Figure DEST_PATH_525227DEST_PATH_IMAGE022

其中

Figure DEST_PATH_883528DEST_PATH_IMAGE024

与

Figure DEST_PATH_543048DEST_PATH_IMAGE026

分别为点

Figure DEST_PATH_328601DEST_PATH_IMAGE012

与

Figure DEST_PATH_440783DEST_PATH_IMAGE013

的齐次坐标表达式，基本矩阵

Figure DEST_PATH_602774DEST_PATH_IMAGE021

的计算公式为：

Figure DEST_PATH_116800DEST_PATH_IMAGE027

式中

Figure DEST_PATH_338834DEST_PATH_IMAGE029

（i=1，2）为左右摄像头投影矩阵

Figure DEST_PATH_878925DEST_PATH_IMAGE030

（i=1，2）中左边的3×3部分，为左右摄像头投影矩阵

Figure DEST_PATH_947561DEST_PATH_IMAGE030

（i=1，2）中右边3×1部分。利用极线约束关系式，就可以建立起左右摄像头图像中的点匹配关系。对于人脸的匹配，左摄像头图像中一个人脸的每个特征点需要分别与右摄像头图像中每个人脸的对应特征点匹配。只有左右摄像头图像中的两个人脸的每个特征点都匹配时才认为这两个脸是匹配。

所述步骤S6为对相匹配的人脸，根据人脸特征点以及两个摄像头的投影矩阵建立三维特征点坐标，确定三维特征点坐标中特征点间的最大深度差值；并将所述特征点间的最大深度差值与预先设定的深度阈值进行比较：若所述特征点间的最大深度差值大于预先设定的深度阈值，则为真实人脸；否则为图片人脸。具体来说，设左右摄像头图像中的相匹配人脸第i个特征点分别为

Figure DEST_PATH_589764DEST_PATH_IMAGE033

与

Figure DEST_PATH_427270DEST_PATH_IMAGE035

，两个摄像头的投影矩阵

Figure DEST_PATH_118014DEST_PATH_IMAGE036

和

Figure DEST_PATH_338124DEST_PATH_IMAGE037

也已知，因此：

Figure DEST_PATH_901960DEST_PATH_IMAGE038

Figure DEST_PATH_476030DEST_PATH_IMAGE039

经过整理推导，消去

Figure DEST_PATH_517936DEST_PATH_IMAGE040

和

Figure DEST_PATH_861061DEST_PATH_IMAGE041

，得到关于X，Y，Z的四个线性方程：

把前面匹配好的人脸特征点坐标分别代入上面四个线性方程，便可以计算出其真实三维坐标。

然后，计算出人脸N个特征点间的最大深度差值，计算公式为：

。

然后，将所述特征点间的最大深度差值与预先设定的深度阈值进行比较，若所述特征点间的最大深度差值大于预先设定的深度阈值，则为真实人脸；否则为图片人脸。其中，深度阈值

需要根据选取的人脸特征点的实际深度情况选取合适的值。

本发明还提供了一种真实人脸和图片人脸的区别***，如图6所示，所述区别***包括：

标定单元100，用于采用摄像头标定算法对固定的第一摄像头和第二摄像头进行标定，计算出两个摄像头的投影矩阵；

采集单元200，用于获取实时同步的第一、第二摄像头所采集的图像；

人脸检测单元300，用于根据第一、二摄像头采集的实时同步图像进行人脸检测，并确定每一帧图像的人脸区域；

特征提取单元400，用于使用主动形状模型算法分别从每一图像的人脸区域中提取人脸特征点；

人脸匹配单元500，用于选取第一摄像头采集的图像中的任一人脸，在第二摄像头采集的图像中找到与之对应的人脸，实现人脸匹配；

三维坐标建立及判断单元600，用于对相匹配的人脸，根据人脸特征点以及两个摄像头的投影矩阵建立三维特征点坐标，确定三维特征点坐标中特征点间的最大深度差值；并将所述特征点间的最大深度差值与预先设定的深度阈值进行比较：若所述特征点间的最大深度差值大于预先设定的深度阈值，则为真实人脸；否则为图片人脸。

在本实施例中，所述采集单元200进一步包括：

进一步地，在本发明的真实人脸和图片人脸的区别***中，所述人脸检测单元中检测是否有人脸采用模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法或基于haar特征的AdaBoost方法。

上述***中各个部分的功能都已经在上述方法中进行了详细介绍，这里就不再冗述了。

综上所述，本发明的真实人脸和图片人脸的区别方法和***，其采用两个摄像头进行图像采集，通过两个摄像头重建出所采集图像的部分深度信息，实现了使用摄像头分辨图片人脸和真实人脸的目的。同时，采用基于双目视觉的方式（即采用两个摄像头进行图像采集）实现对人脸的匹配、特征点提取和特征点的三维坐标重建，具有较高的准确性；另外，由于计算过程中只使用少量的人脸特征点，使得算法整体获得了较高的速度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种真实人脸和图片人脸的区别方法，其特征在于，所述区别方法包括以下步骤：

B、获取实时同步的第一、第二摄像头所采集的图像；

2.根据权利要求1所述的真实人脸和图片人脸的区别方法，其特征在于，所述步骤A中，摄像头标定算法为普通标定方法、自标定方法或基于主动视觉的标定算法。

3.根据权利要求1所述的真实人脸和图片人脸的区别方法，其特征在于，所述步骤B具体包括：

4.根据权利要求1所述的真实人脸和图片人脸的区别方法，其特征在于，所述步骤C中检测是否有人脸采用模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法或基于haar特征的AdaBoost方法。

5.根据权利要求4所述的真实人脸和图片人脸的区别方法，其特征在于，所述基于haar特征的AdaBoost方法包括以下步骤：

6.根据权利要求1所述的真实人脸和图片人脸的区别方法，其特征在于，所述步骤D具体包括：

7.一种真实人脸和图片人脸的区别***，其特征在于，所述区别***包括：

8.根据权利要求7所述的真实人脸和图片人脸的区别***，其特征在于，所述标定单元中，所述摄像头标定算法为普通标定方法、自标定方法或基于主动视觉的标定方法。

9.根据权利要求7所述的真实人脸和图片人脸的区别***，其特征在于，所述采集单元进一步包括：

10.根据权利要求7所述的真实人脸和图片人脸的区别***，其特征在于，所述人脸检测单元中检测是否有人脸采用模板法、基于示例学习法、基于器官特征法、神经网络法、彩色信息加形状分析法或基于haar特征的AdaBoost方法。