CN110008813A - 基于活体检测技术的人脸识别方法和*** - Google Patents

Abstract

本公开提供了一种基于活体检测技术的人脸识别方法和***。该方法包括：分析应用场景；基于应用场景选择包括面部热成像技术的至少一种多模态活体检测技术；接收面部热成像图像和面部照片；基于面部热成像图像提取和识别面部红外特征；基于面部照片提取和识别面部可见光成像特征；确定面部热成像特征和面部可见光成像特征是否匹配；以及如果面部热成像特征和面部可见光成像特征匹配，则人脸识别成功。本公开的基于活体检测技术的人脸识别方法可使用多模态活体检测技术来实现。

Description

基于活体检测技术的人脸识别方法和***

技术领域

本公开主要涉及身份识别，尤其涉及防范假体攻击。

背景技术

在身份识别的技术领域中，人脸识别***以人脸这一唯一生物特征作为身份鉴别依据。在实际应用中人脸作为开放的生物特征容易被第三方以照片或者视频等假体的方式获取，进而利用上述资源以假体的方式进行非本人攻击。假体可以是图片、视频等等。

活体是由自然人表现出的真实存在的、具有生物活性的生物模态。而假体则是仿照活体所具有的生物特征所制作的、具有一定相似性的、虚假的、不具有生物活性的样本，用以模拟、仿冒对应的活体。

目前，人脸识别***逐渐开始商用，并向着自动化、无人监督化的趋势发展，然而如何自动地、高效地辨别图像真伪、抵抗欺骗攻击以确保***安全已成为人脸识别技术中一个迫切需要解决的问题。

通常意义上的活体检测是当生物特征信息从合法用户那里取得时，判断该生物信息是否从具有生物活体的合法用户身上取的。活体检测的方法主要是通过识别活体上的生理信息来进行，它把生理信息作为生命特征来区分用照片、硅胶、塑料等非生命物质伪造的生物特征。

人脸识别***除了“识人”之外，还需要“识真”，也就是说在***面前，不仅要证明这个人的脸是不是这个人的脸，还要证明这张脸是不是活体的人脸，而不是图片、视频。在金融支付(尤其是无人超市、自动取款等)、门禁等应用场景中，判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击是极为重要的。

由此，在本领域中，活体检测被用来验证是否是用户真实本人。因此，在身份识别领域中，需要一种能够有效地纳入活体检测技术来进行身份识别的方法和***。

发明内容

为解决上述技术问题，本公开提供了一种基于活体检测技术的人脸识别方案，所述方案应用了活体检测技术来有效地防范假体攻击。

根据本公开一实施例，提供了一种基于热成像技术的人脸识别方法，包括：获取面部实时热成像图像和面部照片；基于面部实时热成像图像提取和识别面部热成像特征；基于面部照片提取和识别面部可见光成像特征；确定面部热成像特征和面部可见光成像特征是否匹配；如果面部热成像特征和面部可见光成像特征匹配，则人脸识别成功；以及如果面部热成像特征和面部可见光成像特征不匹配，则人脸识别失败。

在本公开一实施例中，面部实时热成像图像通过基于温度传感设备的远红外人脸识别技术实时获取。

在本公开的另一实施例中，面部照片是从数据库获取的静态的单帧或多帧RGB图像。

在本公开的又一实施例中，面部照片是实时动态获取的单帧或多帧RGB图像。

在本公开一实施例中，面部热成像特征和面部可见光成像特征分别包括人脸的全局特征和局部特征。

在本公开的另一实施例中，面部热成像特征包括血管分布特征。

根据本公开一实施例，提供了一种基于活体检测技术的人脸识别方法，包括：分析应用场景；基于应用场景选择至少一种多模态活体检测技术，该多模态活体检测技术至少包括面部热成像技术；获取面部实时热成像图像和面部照片；基于面部实时热成像图像提取和识别面部热成像特征；基于面部照片提取和识别面部可见光成像特征；确定面部热成像特征和面部可见光成像特征是否匹配；以及如果面部热成像特征和面部可见光成像特征匹配，则人脸识别成功；如果面部热成像特征和面部可见光成像特征不匹配，则人脸识别失败。

在本公开一实施例中，多模态活体检测技术还包括交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术。

在本公开一实施例中，基于应用场景选择至少一种多模态活体检测技术包括：除选择面部热成像技术之外，进一步选择交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术中的一种或以上技术。

在本公开的另一实施例中，多模态活体检测技术是基于应用场景的光照条件来选择的。

在本公开的又一实施例中，多模态活体检测技术是基于应用场景的安全要求来选择的。

在本公开一实施例中，面部热成像图像通过基于温度传感设备的远红外人脸识别实时获取。

在本公开的另一实施例中，面部照片是从数据库获取的静态的单帧或多帧RGB图像。

在本公开的又一实施例中，面部照片是实时动态获取的单帧或多帧RGB图像。

根据本公开一实施例，提供了一种基于热成像技术的人脸识别***，包括：

接收模块，用于接收面部实时热成像图像和面部照片；

提取模块，用于：基于所述面部实时热成像图像提取和识别面部热成像特征，以及基于所述面部照片提取和识别面部可见光成像特征；以及

分析模块，用于：确定所述面部热成像特征和所述面部可见光成像特征是否匹配；如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；以及如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。

根据本公开一实施例，提供了一种基于活体检测技术的人脸识别***，包括：

选择模块，用于分析应用场景，并基于应用场景选择至少一种多模态活体检测技术，该多模态活体检测技术至少包括面部热成像技术；

接收模块，用于接收面部实时热成像图像和面部照片；

提取模块，用于基于所述面部实时热成像图像提取和识别面部热成像特征，以及基于所述面部照片提取和识别面部可见光成像特征；

分析模块，用于确定所述面部热成像特征和所述面部可见光成像特征是否匹配，以及如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。

本公开的基于活体检测技术的人脸识别方法和***能够有效地防范假体攻击、尤其是金融支付领域中的假体攻击。本公开的基于活体检测技术的人脸识别方法可使用多模态活体检测技术来实现。值得注意的是，本公开中所纳入的红外活体检测技术使得本公开的技术方案摆脱光照条件的限制，使得应用场景得以拓展到完全黑暗的场景、抑或是恶劣的自然环境中。本公开中所纳入的可见光成像技术是用于防假体攻击的基于可见光的活体检测技术。本领域技术人员可以理解，随着人脸识别技术的发展和多样化，本公开的基于活体检测技术的人脸识别方法的应用也会随之多样化。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图说明

本公开的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1示出了结合有热成像摄像头的收银机以及其所获取的灰度图的示例。

图2示出了根据本公开一实施例的基于热成像技术的人脸识别方法的流程图。

图3示出了根据本公开另一实施例的基于活体检测技术的多模态人脸识别方法的流程图。

图4示出了根据本公开一实施例的基于热成像技术的人脸识别***的框图。

图5示出根据本公开另一实施例的基于活体检测技术的人脸识别***的框图。

具体实施方式

为使得本公开的上述目的、特征和优点能更加明显易懂，以下结合附图对本公开的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但是本公开还可以采用其它不同于在此描述的其它方式来实施，因此本公开不受下面公开的具体实施例的限制。

本公开提供了基于活体检测技术的人脸识别方法和***。

生物识别技术是一种利用人体生物特征进行身份认证的技术。相比传统的身份鉴定方法，包括身份标识物品(诸如钥匙、证件、ATM卡等)和身份标识知识(诸如用户名和密码)，生物识别技术更具安全、保密和方便性。生物特征识别技术具有不易遗忘、防伪防盗性能好、随身“携带”和随时随地可用等优点。

当今已经出现了许多种类的生物识别技术，如指纹识别、掌纹(手掌几何学)识别、虹膜识别、人脸识别、声音识别、签名识别、基因识别等。

本公开的基于活体检测技术的人脸识别方法和***将活体检测技术用于假体防范，使得不法个人或机构无法使用伪造的人脸来进行金融支付。活体检测技术可被结合到不同的硬件设备中，尤其是支付设备中，诸如ATM机、POS机、个人电脑、掌上设备等等。本领域技术人员可以理解，本公开的基于活体检测技术的人脸识别方法和***可被结合到其他硬件设备中，只要该硬件设备能够结合人脸识别技术即可。本公开的基于活体检测技术的人脸识别方法和***可被服务机构(诸如收款方或其他第三方机构)应用。在本公开的各个实施例中，将具体以收款方为例进行阐述，但本领域技术人员可以理解，本公开的基于活体检测技术的人脸识别方法和***可被不同机构或个人应用，并且可应用于不同场景。

基于活体检测技术的人脸识别方法

在目前的人脸识别技术中，活体检测技术所要防范的假体攻击包括例如照片攻击、视频攻击等等。照片攻击通常用交互式动作活体检测技术来防范，即下达数个动作指令、使用户做出相应动作的检测方式。而视频攻击通常用色彩纹理分析技术来防范，即相比真人，视频帧的画面质量较低、失真度较高。

以上活体检测技术基于可见光来工作，其性能受光照(例如白天和夜晚，室内和室外等)、阴影、化妆等一系列因素的影响，也可随表情、姿态、发型等的变化而变化，并且这些影响和变化比较难以建模、描述和分析。

本公开的技术方案涉及通过纳入基于红外图像的人脸识别技术，针对不同场景采用多模态活体检测技术来进行人脸识别。基于红外图像的人脸识别技术独立于可见光源，规避了光照的影响且适用于防范多种假体攻击。

基于红外图像的人脸识别技术分为近红外(波长为0.7-1.0μm)人脸识别和远红外(波长为8-1000μm)人脸识别。近红外人脸识别是通过在相机上安装强度高于环境光线的近红外发光二极管来保证光照，然后相机使用长通滤波片来允许近红外光通过、但滤除可见光，从而获取环境无关的近红外人脸图像。近红外人脸图像只会随着人与摄像头的距离变化而单调变化。近红外人脸识别可在很大程度上减少环境光照对图像的影响。

而与近红外人脸识别不同，远红外人脸识别是通过获取人脸发出的热辐射来成像的。远红外图像基于目标的温度而成像，又称为温谱图。人脸温谱图正是由人脸组织与结构(诸如血管大小和分布)的红外热辐射决定的，由于每个人的血管分布(脸部的静脉和动脉分布)是独特的、不可复制的，并且不随年龄的增长而变化，因此具有唯一性。

获取温谱图可通过各种温度传感设备来实现，温度传感设备包括热成像仪(诸如远红外相机)、热电堆、测温枪等多种模式。温度传感设备输出的信号具有多种形式，包括致密热成像图像和点信号等，在下文中将统称为面部热成像图像。

图1示出了结合有热成像摄像头的收银机以及其所获取的灰度图的示例。植入有热成像摄像头的收银机(如图1左侧所示)是可获取温谱图的温度传感设备的一个示例。

在无人超市的应用场景中，由于付款由用户自助完成，因此当在夜间光线较弱的情况下，或者在白天恶劣天气造成光线较弱的情况下，可利用植入有热成像摄像头的收银机来进行可防范假体攻击的人脸识别。

具体而言，当用户在植入有热成像摄像头的收银机前进行结账时，该收银机可摄取该用户的面部热成像图像，如图1右侧所示。由该灰度图所示，与脸部相关联的灰度(热量)水平的分布同背景热量水平的分布显著不同，由此背景移除是方便的。这是因为人脸皮肤的热辐射系数与周围景物的热辐射系数有明显区别，所以易与周围的景物区分开来。

同样，在安全要求较高的门禁的应用场景中，在夜间光线较弱的情况下，或者在白天恶劣天气造成光线较弱的情况下，也可在门禁处置入热成像摄像头，来进行可防范假体攻击的人脸识别。

在安全要求更高的ATM机的使用场景中，除面部热成像技术外，还可纳入其他活体检测技术，诸如交互式动作活体检测技术、三维图像获取技术，来进行融合式的人脸识别。即，根据热成像人脸识别与可见光人脸识别的不同特点和互补性，对不同人脸识别方法的人脸识别方法的分类结果和识别结果进行融合，从而提高人脸识别的性能和识别率。

图2示出了根据本公开一实施例的基于热成像技术的人脸识别方法的流程图200。

在202，获取面部实时热成像图像和面部照片。

如上所述，面部热成像图像可通过基于温度传感设备的远红外人脸识别实时获得。

面部照片可以是存储在数据库中的，例如与电子账户、银行账户相关联的身份证照片或护照照片。面部照片也可以是实时采集的，比如实时拍摄的面部照片、伴随交互式动作的多帧面部照片、采用三维摄像机获得的深度图像等等。

面部照片可以是静态的，还可以是动态的。面部照片还可以是多个连续或离散的视频帧。

面部照片可通过普通的摄像头获取。面部照片还可通过基于可见光的活体检测技术获得，比如交互式动作活体检测技术中的多帧RGB图像、通过3D图像获取技术(例如，多目立体视觉***)获得的三维图像等等。

可以理解，当应用场景中涉及到较为复杂的背景时，通常需要对所获取到的面部热成像图像和面部照片进行图像预处理，即需要先对人脸进行建模(例如，基于统计特征的方法、基于知识建模的方法)、比较待检测区域与人脸模型的匹配度，从而得到可能存在的人脸区域。在本公开中，将不对人脸的检测与定位进行赘述，而是直接基于所获取到的面部热成像图像和面部照片，来提取和识别图像特征。

在204，基于面部热成像图像提取和识别面部热成像特征。

面部热成像特征的提取和识别可采用多种方式实现，诸如等温线匹配方法、基于血流图的方法、基于生理学结构的方法、基于传统统计识别的方法(主成分分析PCA、线性判别分析LDA、独立成分分析ICA等等)、以及基于非线性特征子空间的方法。

以等温线匹配方法为例，所提取的为面部等温线特征。面部等温线实质上反映的是人脸皮肤下的血管分布信息。可用标准模板提取等温线区域，用几何分析的方法分析等温线的形状，该分析结果和脸部图像的质心即为特征，再用分形方法来表示等温线。

从面部等温线特征中，可提取人脸的全局特征和局部特征。对于面部热成像图像，全局特征描述主要特征信息，包括轮廓、面部器官的分布等的整体信息。而局部特征描述人脸的细节特征，比如器官特点、面部奇异特征，类似伤疤、黑痣、酒窝等。在面部热成像图像中，例如伤疤、酒窝这类面部奇异特征，可加以血管分布(比如交叉点)信息来进行提取。全局特征用于粗略匹配，局部特征用于精细匹配。

本领域技术人员可以理解，对于不同应用场景，可采用不同的方法来提取和识别面部热成像特征。

在206，基于面部照片提取和识别面部可见光成像特征。

常用的可见光图像特征有颜色特征、纹理特征、形状特征、空间关系特征。

颜色特征是基于像素点的全局特征，所有属于图像或图像区域的像素都有各自的贡献。纹理特征也是全局特征，需要在包含多个像素点的区域中进行统计计算。形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。

但是，针对人的面部特征的识别有别于一般的图像识别，其是根据人脸的特征来进行识别的。人脸的全局特征描述主要特征信息，包括肤色、轮廓、面部器官的分布等的整体信息。而局部特征描述的人脸的细节特征，比如器官特点、面部奇异特征，类似伤疤、黑痣、酒窝等。前者用于粗略匹配，后者用于精细匹配。

面部可见光成像特征的提取和识别可采用多种方式实现，诸如基于几何特征的固定模板匹配法、基于代数特征的识别法(例如基于K-L变换的模式识别，fisher线性判别算法)、以及基于连接机制的神经网络学习法(例如PCA+NN算法)等等。

针对不同面部图像特征的提取和识别，可采用不同的方法，并且在不同的场景中可提取不同特征的组合。本领域技术人员可以理解，对于不同应用场景，可提取不同的特征并加以恰当的组合。

在208，确定面部热成像特征和面部可见光成像特征是否匹配。

在本公开的一个实施例中，在确定面部热成像特征和面部可见光成像特征是否匹配时，可集成人脸的全局特征和局部特征并降维(即，采用线性或非线性的处理方法将图像元素投影到低维空间)，构建不同的全局分类器和局部分类器。

将取自面部热成像图像的面部热成像特征和取自面部可见光图像的面部可见光成像特征按全局特征和局部特征进行相应的分类，并输入相应的全局分类器和局部分类器，将各个分类器所输出的相似度进行加权求和，获得最终相似度。

依据该最终相似度为高，可判定面部热成像特征和面部可见光成像特征相匹配；依据该最终相似度为低，可判定面部热成像特征和面部可见光成像特征不匹配。可以理解，可以设置相似度阈值，即高于阈值判定其相匹配，而低于阈值则判定其不匹配。

在本公开的另一实施例中，可采用基于非线性特征子空间的方法来确定面部热成像特征和面部可见光成像特征是否匹配。

先利用核函数将样本映射到特征空间中，在特征空间进行PCA分析，求解每个人脸类别的核特征子空间。针对待识别人脸样本，求解出其在每类的核特征子空间中的投影长度，该投影长度值越大则该样本距该特征子空间的距离越小。利用最邻近准则对该待识别人脸样本进行分类、识别。

本领域技术人员可以理解，对于不同应用场景，可采用不同的方式对所提取的特征进行比对。

在210，如果面部热成像特征和面部可见光成像特征匹配，则人脸识别成功。如果面部热成像特征和面部可见光成像特征不匹配，则人脸识别失败。

如果面部热成像特征和面部可见光成像特征相匹配，则所识别出的是持有合法证件、可以合法进入、或拥有电子或银行账户的人，并且为“真人”。

如果面部热成像特征和面部可见光成像特征不匹配，则所识别出的不是持有合法证件、可以合法进入、或拥有电子或银行账户的人，或者为“假体”。

本公开的基于热成像技术的人脸识别方法实际上是基于活体检测技术的多模态人脸识别方法。其结合了远红外热成像技术和可见光成像技术。在本公开的一个实施例中，可见光成像技术可以是用于防假体攻击的基于可见光的活体检测技术，比如交互式动作活体检测技术中的多帧RGB图像、通过3D图像获取技术(例如，多目立体视觉***)获得的三维图像等等。这两者的结合使得防假体攻击的成功率大大提升。

图3示出了根据本公开另一实施例的基于活体检测技术的多模态人脸识别方法的流程图300。

在302，分析应用场景。

不同的应用场景会有不同的光照条件、不同的安全要求、以及不同的设备配置等等。光照条件可以因场景而不同，对于24小时营业的场景，可能需要采用不依赖于或较少依赖于光照的检测技术。而可能会处于完全黑暗的场景、抑或是恶劣的自然环境中的应用，则需要采用不依赖于光照的检测技术。

安全要求也可因场景而不同，在无人超市的应用场景中，鉴于没有销售人员、收银人员在场，需要应对的假体攻击种类可能较多，所以其安全要求与有工作人员的营业场所相比当然比较高。设备配置可因预算、所面向的用户、计划使用时长等相关。

在304，基于应用场景选择至少一种多模态活体检测技术，该多模态活体检测技术至少包括面部热成像技术。

在本公开一实施例中，在无人超市的应用场景中，鉴于没有销售人员、收银人员在场，需要应对的假体攻击种类可能较多。因此，可至少选择面部热成像技术，再进一步从交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术等活体检测技术中选择至少一种并加以组合。这样的组合可以是从交互式动作活体检测技术和三维图像获取技术、以及近红外活体检测技术中选择其一来获取图像。

本领域技术人员可以理解，决策者(例如投资者或经营者)可以作出其他不同的选择和组合，比如选择三种甚至四种技术的组合来进行多模态活体检测。

在本公开的另一实施例中，在安全要求更高的应用场景(例如高端会议身份认证)中，同样可至少选择面部热成像技术，再进一步从交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术等活体检测技术中选择至少一种并加以组合。

可以理解，以上的多模态活体检测基于图像融合技术。图像融合作为一种有效增值的技术，其目的是利用冗余信息提高解译的可靠性、改善***的稳健性；利用互补信息来增强图像中的有用信息，改善***性能，即提高分辨率、增大覆盖面、缩短响应时间、改善置信度。

图像融合可多层级地进行，即像素级融合、特征级融合和决策级融合。

像素级融合是最低层的融合处理，是将来自每个传感器的原始图像数据融合，然后基于融合的图像数据进行特征提取和属性判决。但像素级融合往往要求待融合的图像数据间存在一定的相似性，且图像间需严格的配准(融合结果对失配敏感)，此时待融合的数据含噪(或干扰)最严重。

特征级融合属于中间层次，是在预检测、分割和特征提取之后，并假定各个传感器检测是相互独立的前提下，在共同的决策空间组合所提取的特征，然后基于联合特征向量对选定的目标进行最优化分类。特征级融合主要用于异质传感器图像间的融合。由于从原始图像中提取特征矢量时引入了信息损失，融合结果的准确性有一定程度下降。

决策级融合是高层次的信息融合，代表着一种数据增值的方法，即每个传感器首先基于自身图像数据做出独立的判决，然后将这些判决结合起来以形成最后的判决，从而能增强图像的解译能力，更好地理解被观察目标。此时融合结果的准确性最差，但更适用于特性差异大的传感器图像数据间的融合，如可见光图像和红外图像的融合、图像数据与非图像数据的融合等等。

本领域技术人员可以理解，本公开的多模态活体检测可以采用特征级融合或决策级融合。本领域技术人员还可以理解，除对所采用技术的数量进行选择并组合外，还可对其输出进行不同的加权。

在306，接收面部实时热成像图像和面部照片。

如上所述，面部热成像图像可通过基于温度传感设备的远红外人脸识别实时获得。

面部照片可以是存储在数据库中的，例如与电子账户、银行账户相关联的身份证照片或护照照片。面部照片也可以是实时采集的，比如实时拍摄的面部照片、伴随交互式动作的多帧面部照片、采用三维摄像机获得的深度图像等等。

面部照片可以是静态的，还可以是动态的。面部照片还可以是多个连续或离散的视频帧。

面部照片可通过普通的摄像头获取。面部照片还可通过基于可见光的活体检测技术获得，比如交互式动作活体检测技术中的多帧RGB图像、通过3D图像获取技术(例如，多目立体视觉***)获得的三维图像等等。

可以理解，当应用场景中涉及到较为复杂的背景时，通常需要对所获取到的面部热成像图像和面部照片进行图像预处理，即需要先对人脸进行建模(例如，基于统计特征的方法、基于知识建模的方法)、比较待检测区域与人脸模型的匹配度，从而得到可能存在的人脸区域。在本公开中，将不对人脸的检测与定位进行赘述，而是直接基于所获取到的面部热成像图像和面部照片，来提取和识别图像特征。

在308，基于面部热成像图像提取和识别面部热成像特征。

可从面部热成像图像提取人脸的全局特征和局部特征。对于面部热成像图像，全局特征描述主要特征信息，包括轮廓、面部器官的分布等的整体信息。而局部特征描述人脸的细节特征，比如器官特点、面部奇异特征，类似伤疤、黑痣、酒窝等。在面部热成像图像中，例如伤疤、酒窝这类面部奇异特征，可加以血管分布(比如交叉点)信息来进行提取。全局特征用于粗略匹配，局部特征用于精细匹配。

本领域技术人员可以理解，对于不同应用场景，可采用不同的方法来提取和识别面部热成像特征。

在310，基于面部照片提取和识别面部可见光成像特征。

在312，确定面部热成像特征和面部可见光成像特征是否匹配。

在314，如果面部热成像特征和面部可见光成像特征匹配，如果面部热成像特征和面部可见光成像特征匹配，则人脸识别成功。如果面部热成像特征和面部可见光成像特征不匹配，则人脸识别失败。

如果面部热成像特征和面部可见光成像特征相匹配，则所识别出的是持有合法证件、可以合法进入、或拥有电子或银行账户的人，并且为“真人”。

如果面部热成像特征和面部可见光成像特征不匹配，则所识别出的不是持有合法证件、可以合法进入、或拥有电子或银行账户的人，或者为“假体”。

本公开的基于活体检测技术的人脸识别方法可使用多模态活体检测技术来实现。值得注意的是，本公开中所纳入的热成像活体检测技术使得本公开的技术方案摆脱光照条件的限制，使得应用场景得以拓展到完全黑暗的场景、抑或是恶劣的自然环境中。本公开中所纳入的可见光成像技术可以是用于防假体攻击的基于可见光的活体检测技术。本领域技术人员可以理解，随着人脸识别技术的发展和多样化，本公开的基于活体检测技术的人脸识别方法的应用也会随之多样化。

基于活体检测技术的人脸识别***

图4示出了根据本公开一实施例的基于热成像技术的人脸识别***的框图400。

接收模块402接收面部实时热成像图像和面部照片。

提取模块404基于面部实时热成像图像提取和识别面部热成像特征，并基于面部照片提取和识别面部可见光成像特征。

分析模块406确定面部热成像特征和面部可见光成像特征是否匹配。

在本公开的一个实施例中，在分析模块406确定面部热成像特征和面部可见光成像特征是否匹配时，分析模块406可集成人脸的全局特征和局部特征并降维，构建不同的全局分类器和局部分类器。

分析模块406将取自面部实时热成像图像的面部热成像特征和取自面部照片的面部可见光成像特征按全局特征和局部特征进行相应的分类，并输入相应的全局分类器和局部分类器，将各个分类器所输出的相似度进行加权求和，获得最终相似度。

分析模块406依据该最终相似度为高，可判定面部热成像特征和面部可见光成像特征相匹配；依据该最终相似度为低，可判定面部热成像特征和面部可见光成像特征不匹配。可以理解，可以设置相似度阈值，即高于阈值判定其相匹配，而低于阈值则判定其不匹配。

在本公开的另一实施例中，分析模块406可采用基于非线性特征子空间的方法来确定面部热成像特征和面部可见光成像特征是否匹配。

分析模块406先利用核函数将样本映射到特征空间中，在特征空间进行PCA分析，求解每个人脸类别的核特征子空间。针对待识别人脸样本，求解出其在每类的核特征子空间中的投影长度，该投影长度值越大则该样本距该特征子空间的距离越小。利用最邻近准则对该待识别人脸样本进行分类、识别。

本领域技术人员可以理解，对于不同应用场景，可采用不同的方式对所提取的特征进行比对。

进一步地，如果面部热成像特征和面部可见光成像特征匹配，分析模块406判定人脸识别成功；如果面部热成像特征和面部可见光成像特征不匹配，分析模块406判定人脸识别失败。

果面部热成像特征和面部可见光成像特征相匹配，则所识别出的是持有合法证件、可以合法进入、或拥有电子或银行账户的人，并且为“真人”。

如果面部热成像特征和面部可见光成像特征不匹配，则所识别出的不是持有合法证件、可以合法进入、或拥有电子或银行账户的人，或者为“假体”。

图5示出了根据本公开另一实施例的基于活体检测技术的人脸识别***的框图500。

选择模块502分析应用场景。不同的应用场景会有不同的光照条件、不同的安全要求、以及不同的设备配置。

进一步地，选择模块502基于应用场景选择至少一种多模态活体检测技术，该多模态活体检测技术至少包括面部热成像技术。

接收模块504接收面部实时热成像图像和面部照片。

提取模块506基于面部热成像图像提取和识别面部热成像特征，并基于面部照片提取和识别面部可见光成像特征。

分析模块508确定面部热成像特征和面部可见光成像特征是否匹配。

进一步地，如果面部热成像特征和面部可见光成像特征匹配，分析模块508判定人脸识别成功；如果面部热成像特征和面部可见光成像特征不匹配，分析模块508判定人脸识别失败。

如果面部热成像特征和面部可见光成像特征相匹配，则所识别出的是持有合法证件、可以合法进入、或拥有电子或银行账户的人，并且为“真人”。

如果面部热成像特征和面部可见光成像特征不匹配，则所识别出的不是持有合法证件、可以合法进入、或拥有电子或银行账户的人，或者为“假体”。

同样，本公开的基于活体检测技术的人脸识别***可使用多模态活体检测技术来实现。值得注意的是，本公开中所纳入的热成像活体检测技术使得本公开的技术方案摆脱光照条件的限制，使得应用场景得以拓展到完全黑暗的场景、抑或是恶劣的自然环境中。本公开中所纳入的可见光成像技术是用于防假体攻击的基于可见光的活体检测技术。本领域技术人员可以理解，随着人脸识别技术的发展和多样化，本公开的基于活体检测技术的人脸识别方法的应用也会随之多样化。

以上描述的基于活体检测技术的人脸识别方法和***的各个步骤和模块可以用硬件、软件、或其组合来实现。如果在硬件中实现，结合本公开描述的各种说明性步骤、模块、以及电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他可编程逻辑组件、硬件组件、或其任何组合来实现或执行。通用处理器可以是处理器、微处理器、控制器、微控制器、或状态机等。如果在软件中实现，则结合本公开描述的各种说明性步骤、模块可以作为一条或多条指令或代码存储在计算机可读介质上或进行传送。实现本公开的各种操作的软件模块可驻留在存储介质中，如RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、可移动盘、CD-ROM、云存储等。存储介质可耦合到处理器以使得该处理器能从/向该存储介质读写信息，并执行相应的程序模块以实现本公开的各个步骤。而且，基于软件的实施例可以通过适当的通信手段被上载、下载或远程地访问。这种适当的通信手段包括例如互联网、万维网、内联网、软件应用、电缆(包括光纤电缆)、磁通信、电磁通信(包括RF、微波和热成像通信)、电子通信或者其他这样的通信手段。

还应注意，这些实施例可能是作为被描绘为流程图、流图、结构图、或框图的过程来描述的。尽管流程图可能会把诸操作描述为顺序过程，但是这些操作中有许多操作能够并行或并发地执行。另外，这些操作的次序可被重新安排。

所公开的方法、装置和***不应以任何方式被限制。相反，本公开涵盖各种所公开的实施例(单独和彼此的各种组合和子组合)的所有新颖和非显而易见的特征和方面。所公开的方法、装置和***不限于任何具体方面或特征或它们的组合，所公开的任何实施例也不要求存在任一个或多个具体优点或者解决特定或所有技术问题。

上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多更改，这些均落在本公开的保护范围之内。

Claims (19)

1.一种基于热成像技术的人脸识别方法，包括：

获取面部实时热成像图像和面部照片；

基于所述面部实时热成像图像提取和识别面部热成像特征；

基于所述面部照片提取和识别面部可见光成像特征；

确定所述面部热成像特征和所述面部可见光成像特征是否匹配；

如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；以及

如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。

2.如权利要求1所述的方法，其特征在于，所述面部实时热成像图像通过基于温度传感设备的远红外人脸识别技术实时获取。

3.如权利要求1所述的方法，其特征在于，所述面部照片是从数据库获取的静态的单帧或多帧RGB图像。

4.如权利要求1所述的方法，其特征在于，所述面部照片是实时动态获取的单帧或多帧RGB图像。

5.如权利要求1所述的方法，其特征在于，所述面部热成像特征和所述面部可见光成像特征分别包括人脸的全局特征和局部特征。

6.如权利要求1所述的方法，其特征在于，所述面部热成像特征包括血管分布特征。

7.一种基于活体检测技术的人脸识别方法，包括：

分析应用场景；

基于所述应用场景选择至少一种多模态活体检测技术，所述多模态活体检测技术至少包括面部热成像技术；

获取面部实时热成像图像和面部照片；

基于所述面部实时热成像图像提取和识别面部热成像特征；

基于所述面部照片提取和识别面部可见光成像特征；

确定所述面部热成像特征和所述面部可见光成像特征是否匹配；以及

如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；

如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。

8.如权利要求7所述的方法，其特征在于，所述多模态活体检测技术还包括交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术。

9.如权利要求7所述的方法，其特征在于，所述基于应用场景选择至少一种多模态活体检测技术包括：除选择面部热成像技术之外，进一步选择交互式动作活体检测技术、三维图像获取技术、近红外活体检测技术中的一种或以上技术。

10.如权利要求7所述的方法，其特征在于，所述多模态活体检测技术是基于应用场景的光照条件来选择的。

11.如权利要求7所述的方法，其特征在于，所述多模态活体检测技术是基于应用场景的安全要求来选择的。

12.如权利要求7所述的方法，其特征在于，所述面部热成像图像通过基于温度传感设备的远红外人脸识别实时获取。

13.如权利要求7所述的方法，其特征在于，所述面部照片是从数据库获取的静态的单帧或多帧RGB图像。

14.如权利要求7所述的方法，其特征在于，所述面部照片是实时动态获取的单帧或多帧RGB图像。

15.一种基于远红外热成像技术的人脸识别***，包括：

接收模块，用于接收面部实时热成像图像和面部照片；

提取模块，用于：

基于所述面部实时热成像图像提取和识别面部热成像特征，以及

基于所述面部照片提取和识别面部可见光成像特征；以及

分析模块，用于：

确定所述面部热成像特征和所述面部可见光成像特征是否匹配；

如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；以及

如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。

16.如权利要求15所述的***，其特征在于，所述面部实时热成像图像通过基于温度传感设备的远红外人脸识别技术实时获取。

17.如权利要求15所述的***，其特征在于，所述面部照片是从数据库获取的静态的单帧或多帧RGB图像。

18.如权利要求15所述的***，其特征在于，所述面部照片是实时动态获取的单帧或多帧RGB图像。

19.一种基于活体检测技术的人脸识别***，包括：

选择模块，用于：

分析应用场景，以及

基于所述应用场景选择至少一种多模态活体检测技术，所述多模态活体检测技术至少包括面部热成像技术；

接收模块，用于接收面部实时热成像图像和面部照片；

提取模块，用于：

基于所述面部实时热成像图像提取和识别面部热成像特征，以及

基于所述面部照片提取和识别面部可见光成像特征；

分析模块，用于：

确定所述面部热成像特征和所述面部可见光成像特征是否匹配，以及

如果所述面部热成像特征和所述面部可见光成像特征匹配，则人脸识别成功；

如果所述面部热成像特征和所述面部可见光成像特征不匹配，则人脸识别失败。