CN105844206A - 身份认证方法及设备 - Google Patents

Abstract

本发明公开了一种身份认证方法和设备，其中该方法包括：采集身份证件的图像；响应于检测到所述身份证件，自动采集持有身份证件的持证人的人脸图像；从所采集的身份证件图像获得该身份证件中记载的信息；从所采集的人脸图像获得与持证人相关的持证人信息；以及将身份证件中记载的信息与持证人信息进行比较，以对持证人进行身份认证。该方法解决了为用户和用户身份认证需求方提供一种不需用户亲临、方便、准确的基于用户信息及人脸比对的身份认证方式。

Description

身份认证方法及设备

技术领域

本发明涉及模式识别的技术领域，具体涉及基于人脸的识别及比对的身份认证方法及设备。

背景技术

互联网的出现和发展极大地方便了人们的生活，许多传统的线下业务已可在线进行，如交易支付、缴费等。但另外有一些业务考虑到更大的安全性等问题，仍需用户持证件亲自前往办理，如银行开户、修改密码等。限制这些业务办理的并不是操作流程的问题，而是因为金融交易比较敏感，如果银行无法验证用户的真实身份，则无法进行相应的操作，以避免一些不希望出现的意外发生。

在这些需要验证用户的真实身份信息的业务中，最常用的方法是现场验证办理人与他所持的身份证件上的人像信息是否一致，以及录入并验证办理人的身份证件上的个人信息。

然而，如果用户能以自助方式自动获取并验证上述两种信息，这样既可以方便用户，节约了用户的时间，又可以为服务方降低了业务处理成本，获取可靠的规范的用户资料。

对应于在线申请银行开户场景，如果银行可以收到在线的、可以确认用户身份的信息，并且这些信息验证通过符合要求，那么就可以实现在线的开户。

人脸识别技术总体比较成熟，在安防领域应用较多，其中最常用的方式是将采集到的人脸图像与数据库中预存的图像进行比对，以验证该人的身份。但这种身份验证方式存在缺陷，其中最常见的欺骗方式是照片欺骗。

本发明的目的至少在于通过提供一种不需要用户亲临、方便、准确的身份认证方法及设备，从而至少在一定程度上解决现有技术的缺陷。

发明内容

根据本公开的一方面，提供了一种身份认证方法，包括：采集身份证件的图像；响应于检测到所述身份证件，自动采集持有所述身份证件的持证人的人脸图像；从所采集的身份证件图像获得所述身份证件中记载的信息；从所采集的所述人脸图像获得与所述持证人相关的持证人信息；以及将所述身份证件中记载的信息与所述持证人信息进行比较，以对所述持证人进行身份认证。

根据本公开的实施方式，所述身份证件中记载的信息包括所述身份证件上的人脸关键点信息，以及获得所述身份证件中记载的信息的步骤包括：在所采集的所述身份证件图像中检测人脸区域；以及对所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点。

根据本公开的实施方式，自动采集持有所述身份证件的持证人的人脸图像的步骤包括：i)响应于检测到所述身份证件，自动地连续采集所述持证人的多个人脸图像；ii)检测所采集的每个人脸图像中是否具有人脸区域，并舍弃确定为不具有人脸区域的人脸图像；iii)当不具有人脸区域的所述人脸图像的时间间隔大于设定阈值时舍弃所述多个人脸图像；以及iv)重复步骤i)至步骤iii)，直到所得到的人脸图像的数目达到所述预定数目。

根据本公开的另一实施方式，自动采集持有所述身份证件的持证人的人脸图像的步骤包括：i)响应于检测到所述身份证件，自动地采集所述持证人的人脸图像；ii)检测所采集的所述人脸图像中是否具有人脸区域，并当所述人脸图像被确定为不具有人脸区域的人脸图像时，舍弃所述人脸图像；以及iii)重复步骤i)至步骤ii)，直到所得到的人脸图像的数目达到所述预定数目。

根据本公开的实施方式，所述持证人信息包括所述持证人的人脸关键点信息，以及获得与所述持证人相关的持证人信息的步骤包括：对所述人脸图像进行人脸关键点识别，以确定出所述人脸图像的人脸关键点。

根据本公开的实施方式，所述持证人信息还包括所述持证人的人脸图像的活体程度信息，以及获得与所述持证人相关的持证人信息的步骤还包括：基于确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值，从而确定所述人脸图像是否为活体图像。

根据本公开的实施方式，所述身份证件中记载的信息还包括所述身份证件的字符信息，以及获得所述身份证件中记载的信息的步骤还包括：在所采集的所述身份证件图像中识别所述身份证件的字符信息；以及确定所述字符信息是否符合所述身份证件的字符信息标准。

根据本公开的实施方式，进行身份认证的步骤包括：基于所确定出的所述身份证件的人脸区域的人脸关键点与所确定出的所述人脸图像的人脸关键点，确定出人脸相似程度。

根据本公开的实施方式，根据基于SURF的级联回归方法检测所述身份证件图像的人脸区域以及所述人脸图像的人脸区域。

根据本公开的实施方式，对所述身份证件图像中检测到的人脸区域进行人脸关键点识别的步骤和对获得的所述预定数目的人脸图像进行人脸关键点识别的步骤都包括：使用三级级联的深度卷积神经网络的第一级估计所述人脸关键点的初始位置；以及基于所估计的所述人脸关键点的所述初始位置，使用监督梯度下降方法计算所述人脸关键点的精确位置。

根据本公开的实施方式，基于确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值的步骤包括：

根据确定出的所述人脸图像的人脸关键点的区域，提取每个所述人脸图像的多个非刚体特征区域，所述非刚体特征区域与所述人脸关键点的区域相对应；确定每个所述人脸图像在每个所述非刚体特征区域中的特征；以及根据所确定出的所述特征计算出每个所述非刚体区域的非刚性程度作为所述人脸图像的活体程度值。

根据本公开的另一方面，提供了一种身份认证设备，其包括第一采集装置，配置为采集身份证件的图像；第二采集装置，配置为响应于由所述第一采集装置检测到所述身份证件，自动采集持有所述身份证件的持证人的人脸图像；信息获得装置，配置为从所采集的身份证件图像获得所述身份证件中记载的信息以及从为从所采集的所述人脸图像获得与所述持证人相关的持证人信息；以及认证装置，配置为将所述身份证件中记载的信息与所述持证人信息进行比较，以对所述持证人进行身份认证。

根据本公开的实施方式，所述信息获得装置包括：检测装置，配置为在由所述第一采集装置所采集的所述身份证件图像中检测人脸区域，以及在由所述第二采集装置所采集的所述人脸图像中检测人脸区域；以及识别装置，配置为对由所述检测装置在所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点，以及对由所述确定装置在所述人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出所述人脸图像的人脸关键点，以及所述身份证件中记载的信息包括由所述识别装置所确定出的所述身份证件的人脸区域的人脸关键点，所述持证人信息包括由所述识别装置所确定出的所述人脸图像的人脸关键点，以及所述认证装置配置为基于由所述识别装置所确定出的所述身份证件的人脸区域的人脸关键点与由所述识别装置所确定出的所述人脸图像的人脸关键点，确定出人脸相似程度。

根据本公开的实施方式，所述持证人信息还包括所述持证人的人脸图像的活体程度信息，所述信息获得装置还包括活体程度值计算装置，所述活体程度值计算装置配置为基于由所述识别装置确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值，从而确定所述人脸图像是否为活体图像。

根据本公开的实施方式，当所述检测装置在所述人脸图像中未检测到人脸区域时，所述检测装置舍弃所述人脸图像。

根据本公开的实施方式，所述身份证件中记载的信息还包括所述身份证件的字符信息，所述信息获得装置还包括字符信息装置，所述字符信息装置在由所述第一采集装置采集的所述身份证件图像中识别所述身份证件的字符信息以及确定所述字符信息是否符合所述身份证件的字符信息标准。

根据本公开的实施方式，所述检测装置根据基于SURF的级联回归方法检测所述身份证件图像的人脸区域和所述人脸图像的人脸区域。

根据本公开的实施方式，所述识别装置包括：初始位置估计模块，基于由所述检测装置在所述人脸图像中检测到的人脸区域，使用三级级联的深度卷积神经网络的第一级估计所述人脸关键点的初始位置；以及精确位置计算模块，基于由所述初始位置估计模块所估计的所述人脸关键点的所述初始位置，使用监督梯度下降方法精确计算所述人脸关键点的精确位置，以确定出所述人脸关键点。

根据本公开的实施方式，所述活体程度值计算装置包括：非刚体特征区域提取模块，基于由所述识别装置确定出的所述人脸图像的人脸关键点提取每个所述人脸图像的多个非刚体特征区域，所述非刚体特征区域与所述人脸关键点的区域相对应；特征确定模块，确定每个所述人脸图像在每个所述非刚体特征区域中的特征；以及活体程度值计算模块，根据由所述特征确定模块所确定出的所述特征计算出每个所述非刚体区域的非刚性程度作为所述人脸图像的活体程度值。

根据本公开的实施方式，所述检测装置包括：第一检测单元，配置为在由所述第一采集装置所采集的所述身份证件图像中检测人脸区域；以及第二检测单元，配置为在由所述第二采集装置所采集的所述人脸图像中检测人脸区域。

根据本公开的实施方式，所述识别装置包括：第一识别单元，配置为对由所述第一检测单元在所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点；以及第二识别单元，配置为对由所述第二检测单元在所述人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出所述人脸图像的人脸关键点。

根据本公开的实施方式，所述身份认证设备包括在能够进行通信的终端中。

附图说明

图1示出了根据示例性实施方式的身份认证设备的示意图；

图2示出了根据示例性实施方式的信息获得装置的示意图；

图3示出了根据示例性实施方式的身份认证方法的流程图；

图4示出了根据示例性实施方式的身份认证方法的采集身份证件的图像并从中获得记载在身份证件上的信息的步骤的流程图；

图5示出了根据示例性实施方式的身份认证方法的采集持证人的人脸图像并从中获得与持证人相关的持证人信息的步骤的流程图；

图6是本公开用于对人脸进行关键点识别所使用的21个关键点的示例；以及

图7是根据本公开的身份认证方法应用至银行开户及交易场景的***框图。

具体实施方式

参照附图提供了以下描述以帮助全面地理解如权利要求书及其等同方案所限定的本公开的各实施方式。以下描述包括各具体细节以帮助理解，但是这些具体细节应认为仅是示例性的。因此，本领域普通技术人员应该理解，在不背离本公开的精神和范围的情况下，可以对本文中描述的各实施方式做出各种改变和修改。另外，为了清楚和简明起见，可能省略了公知功能和结构的描述。

图1示出了根据示例性实施方式的身份认证设备100的示意图。

在图1中，身份认证设备100可包括：壳体110、第一采集装置120、第二采集装置130、信息获得装置140以及认证装置150。

第一采集装置120和第二采集装置130可设置在身份认证设备100的壳体110中并从壳体110上的开口露出以采集图像。具体地，第一采集装置120可设置在身份认证设备100的背面并从壳体110的背面上的开口露出以采集图像，以及第二采集装置130可设置在身份认证设备100的正面并从壳体110的正面上的开口露出以采集图像。在本实施方式中，第一采集装置120可用于采集身份证件的图像，以及第二采集装置130可用于采集持有该身份证件的持证人的图像。然而，本领域技术人员应理解，第一采集装置120也可用于采集持有身份证件的持证人的图像，第二采集装置130也可用于采集身份证件的图像，本公开在此方面没有限制。

另外，在本实施方式中，优选地，响应于由第一采集装置120检测到身份证件，第二采集装置130自动地(“静默地”)采集持有该身份证件的持证人的人脸图像。具体地，持有身份证件的持证人面向身份认证设备100的正面，设置在身份认证设备100正面的屏幕(未示出)显示第一采集装置120的取景框。将第一采集装置120对准身份证件，以采集身份证件的图像，同时响应于第一采集装置120检测到身份证件，第二采集装置130在持证人不知情的情况下自动地采集持证人的人脸图像。优选地，第一采集装置120和第二采集装置130对身份证件的图像和持证人的人脸图像的采集是实时、自动、不间断的采集，在采集过程中不需要持证人对身份认证设备100进行任何操作。第一采集装置120和第二采集装置130应在一定时间内，例如数秒内，完成身份证件的图像和持有该身份证件的持证人的人脸图像的采集，身份证件的图像和人脸图像的采集不应有较大的时间间隔，以保证采集到的图像是同一现场的身份证件的图像和持证人的图像。

信息获得装置140可设置在身份认证设备100的壳体110中，并用于从由第一采集装置120采集的身份证件图像获得身份证件中记载的信息以及从由第二采集装置130采集的持有该身份证件的持证人的人脸图像获得与该持证人相关的持证人信息。在本实施方式中，信息获得装置140从身份证件的图像获得身份证件中记载的信息例如可包括身份证件上的字符信息以及身份证件上人脸区域的人脸关键点信息，以及信息获得装置140从持证人的人脸图像获得的与该持证人相关的持证人信息例如可包括该持证人的人脸图像的人脸关键点信息以及持证人的人脸图像的活体程度值，这将在下文中参照图2进行描述。

认证装置150也可设置在身份认证设备100的壳体110中。认证装置150可基于由信息获得装置140所确定出的身份证件的人脸区域的人脸关键点与由信息获得装置140所确定出的持证人的人脸图像的人脸关键点确定人脸相似程度。

图2是根据示例性实施方式的信息获得装置140的示意图。如图2所示，信息获得装置140可包括检测装置141、识别装置142、字符信息装置143以及活体程度值计算装置144。

检测装置141用于在由第一采集装置120所采集的身份证件图像中检测人脸区域以及在由第二采集装置130所采集的持证人的人脸图像中检测人脸区域。检测装置141可采用例如基于SURF(Speeded UpRobust Features)的级联回归方法进行人脸区域的检测，该回归基本符合Viola-Jone人脸检测的算法框架。

下面首先描述信息获得装置140从身份证件图像获得身份证件中记载的信息的示例性操作。

检测装置141可检测出所采集的身份证件图像上人脸的正方形框。当身份证件上有多个框时，则优先选取较大的人脸框，有更大的可能是持证人。识别装置142可对检测装置141在身份证图像中检测到的人脸区域进行人脸关键点识别。在本实施方式中，识别装置142可对所检测到的人脸区域中的21个用于人脸比对的人脸关键点进行识别，其中21个人脸关键点(人脸关键点1至人脸关键点21)的位置如图6所示。

下面将参照该示例详细描述识别装置142。如图2所示，识别装置142包括初始位置估计模块1421和精确位置计算模块1422。初始位置估计模块1421基于由检测装置141在身份证件图像中检测到的人脸区域采用例如一种三级级联的深度卷积神经网络(CNN)中的第一级进行21个人脸关键点的大概估计，以确定人脸关键点的初始位置。精确位置计算模块1422基于由初始位置估计模块1421所确定的人脸关键点的初始位置采用例如对梯度进行级联回归的监督梯度下降方法(Supervised Descent Method(SDM))精确地定位人脸关键点的精确位置，从而确定出人脸关键点。

具体地，SDM的思路是，通过多次的迭代逐渐精确对人脸关键点的估计。在本公开中，从LFPW(Labeled Face Parts in the Wild)数据集的35点关键点标注中选取采样得到21个所需关键点，并由此训练得到SDM中迭代所需参数，其中SDM的初始关键点由CNN中第一级处理得到。

在CNN方法中，第一层中的网络得到了一个对关键点位置的大概估计，后两层依次使得这个估计逐渐精确。但是这种方法的缺点在于，计算量庞大，速度较慢，难以在移动端的计算能力下做到实时计算。

SDM方法的优点是速度快，但是该方法依赖对初始关键点位置的选择，不好的初始位置可能的导致回归到局部最优解，从而使得对人脸关键点位置的估计存在偏差。

在根据本公开的识别装置142中综合了上述两种方法，初始位置估计模块1421采用CNN网络的第一层得到相对精确的人脸关键点的初始位置，精确位置计算模块1422利用SDM方法逐渐地线性回归出精确的人脸关键点位置。这样就结合了两种方法的优点，使得本公开的识别人脸关键点的过程既有较好的鲁棒性，又有较快的速度。

如图2所示，信息获得装置还包括字符信息装置143，字符信息装置143可用于确定由第一采集装置120所采集的身份证件上记载的字符信息。下面将以示例的方式结合中华人民共和国第二代身份证对字符信息装置143的示例性操作进行详细描述。但本领域技术人员应理解，身份证件还可包括任何类型的能够证明身份的证件，如驾驶证、护照等，本公开在此方面没有限制。针对身份证作为身份证件，字符信息装置143可采用例如张纯等人的“中文商务名片识别***的实现”中的方法进行字符识别，并进行适当修改以适应身份证上的字符排列特点。该识别操作包括图像预处理、版面分析、字符识别、信息理解等子操作，最后输出为身份证每一字符信息项的内容。

在中华人民共和国第二代身份证印有持证人个人信息及人脸图像的一面中，各字符信息项和人脸区域的排列具有其特有的特点，例如，在外观上包含姓名、性别、民族、出生日期、住址、公民身份号码等字符信息，以及持证人的头像。这些信息都固定在身份证上的确定位置，且每种信息都有其确定的规则，比如民族只有56种可能，公民身份证号码均有18位等。

字符信息装置143可通过字符识别识别身份证上的字符信息，并且判断这些字符信息是否符合身份证字符信息的要求。如身份证为少数民族地区的证件，其中包含少数民族文字，需根据少数民族文字的内容及排版的不同专门进行处理。

下面将描述信息获得装置140从所采集的持证人的人脸图像获得与该持证人相关的持证人信息的示例性操作。

检测装置141还可用于检测由第二采集装置130所采集的每个人脸图像中是否具有人脸区域。在本公开的实施方式中，要对持证人的人脸图像进行活体检测，因此可能需要采集连续多帧的人脸图像用于活体程度值计算装置144，这将在下面进行详细描述。在第二采集装置130采集人脸图像的过程中，可能由于持证人的剧烈抖动而使得检测装置141在所采集的人脸图像中有一帧无法检测到人脸区域，则舍弃该帧；如果在连续多帧中不能检测到人脸区域或未检测到人脸区域的时间间隔大于某个设定的阈值，则舍弃之前采集到的所有人脸图像，重新由第二采集装置130采集人脸图像，直到采集了足够的连续的包含人脸区域的人脸图像。

此外，检测装置141基于与在身份证件图像中确定人脸区域的过程相同的过程在由第二采集装置130所采集的人脸图像中检测人脸区域。对此，本文中将省略其重复的描述。

识别装置142对由检测装置141所检测到的人脸区域进行人脸关键点识别。识别装置142基于与在身份证的人脸区域中识别人脸关键点的方法相同的方法来在持证人的人脸图像的人脸区域中进行人脸关键点识别。相似地，初始位置估计模块1421采用CNN网络的第一层得到持证人的人脸图像的人脸区域中相对精确的人脸关键点的初始位置，精确位置计算模块1422利用SDM方法逐渐地线性回归出持证人的人脸图像的人脸区域中精确的人脸关键点位置。对此，本文中将省略其重复的描述。

如图2所示，信息获得装置还包括活体程度值计算装置144，活体程度值计算装置144基于由识别装置142确定出的持证人的人脸图像的人脸关键点来计算该人脸图像的活体程度值，从而确定该人脸图像是否为活体图像。具体地，活体程度值计算装置144基于例如非刚体分析(Non-rigid Motion Analysis)方法对人脸的活体程度进行检测，这将在下文参照图2进行详细描述。

如图2所示，活体程度值计算装置144包括非刚体特征区域提取模块1441、特征确定模块1442以及活体程度值计算模块1443。

在本实施方式中，非刚体特征区域提取模块1441用于提取人脸区域的4个非刚体特征区域Ω：左眼部区域Ω₁、右眼部区域Ω₂、鼻子区域Ω₃、嘴部区域Ω₄，并分别检测了这四个区域的非刚性程度，即活体程度。这4个区域与由识别装置142在持证人的人脸图像的人脸区域中所确定出的21个人脸关键点的区域大致对应，可根据识别装置142的关键点识别结果来确定4个非刚体特征区域。具体地，左眼部区域Ω₁中包括人脸关键点1,2,3,7,8和17，右眼部区域Ω₂中包括人脸关键点4,5,6,9,10和18，鼻子区域Ω₃中包括人脸关键点11,12,13和19，以及嘴部区域Ω₄中包括人脸关键点14,15,16,20和21。在本公开中，用一个包含每一个特征区域对应的关键点的矩形来表示每一个特征区域，该矩形的宽和高需根据该特征区域的不同需单独进行设置。

特征确定模块1442用于根据公式(1)来计算每一帧人脸图像j中的人脸区域Face_j中的每个非刚体特征区域Ω的特征T_i,j，i＝1...4，1：左眼部区域，2：右眼部区域，3：鼻子区域，4：嘴部区域，

$T_{i,j}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}\left|E(x,y)\right|}{\underset{(x,y)\∈{\mathrm{Face}}_j}{\mathrm{\Σ}}\left|E(x,y)\right|}\×\frac{\underset{(x,y)\∈{\mathrm{Face}}_j}{\mathrm{\Σ}}1(x,y)}{\underset{(x,y)\∈{\mathrm{\Ω}}_j}{\mathrm{\Σ}}1(x,y)}---\left(1\right)$

其中(x,y)为图像中一个像素点的坐标，E为原方法中的非刚体运动矩阵，表示区域(·)的面积。

活体程度值计算模块1443用于根据式(2)计算每个非刚体特征区域的特征T_i的方差作为每个非刚体特征区域的非刚性程度S_i(左眼部区域S₁、右眼部区域S₂、鼻子区域S₃、嘴部区域S₄)，S_i的值越小，表征该人脸图像不是来自活体的可能性越大：

$S_i=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(T_{i,j}-\stackrel{\‾}{T_i})}^2---\left(2\right)$

其中，n为用于活体检测的图像的总帧数，为第i个特征的均值。

活体程度值计算装置144将每个非刚体特征区域的非刚性程度(S₁,S₂,S₃,S₄)作为持证人的人脸图像的总体活体程度。

下面将详细描述认证装置150基于由识别装置142所确定出的身份证件的人脸区域的人脸关键点与由识别装置142所确定出的持证人的人脸图像的人脸关键点确定人脸相似程度。

在本实施方式中，认证装置150分别在所确定出的身份证件的人脸区域的21个人脸关键点和所确定出的持证人的人脸图像的21个人脸关键点周围邻域的不同尺度上提取LBP(Local Binary Patterns)特征。由于在不同的图像尺度上提取到的LBP特征维数很高，往往可以达到上万维，不利于后续的处理，认证装置150根据例如PLDA(Probabilistic Linear DiscriminantAnalysis)方法将特征降维，将特征向量的维数降至数百量级。

在提取到特征之后，认证装置150用例如Joint Bayesian模型作为人脸比对的算法。作为贝叶斯估计算法中的一种，该算法通过对已有的数据进行训练以建立两个假设下的高斯模型，分别是假设两个人脸比对样本来自同一人的模型以及来自不同人的模型。之后对于两个新的人脸比对样本，即本公开中的身份证图像的人脸关键点和人脸图像的人脸关键点，通过比较它们在两个假设下的后验概率来计算其是否属于同一个人的可能性。Joint Bayesian算法相对于传统的贝叶斯方法做出了改进，它对两个样本特征向量的联合分布建模而非两个样本特征向量的差建模，这样可以捕捉到人脸之间更丰富的区分信息，提高了比对的准确率。以上提到的训练样本集均来自包括但不限于LFPW(Labeled Face Parts in the Wild)数据集的数据集。

这样，认证装置150得到身份证图像中的人脸与持证人的人脸图像中的人脸的相似程度，这代表身份证中的人脸图像和持证人人脸图像是否是同一个人的一致性程度，其值越大，可认为两图像为同一人的可能性越大。

分别由活体程度值计算装置144和认证装置150输出的人脸活体程度值和人脸相似度作为根据本公开的身份认证设备所采集的两类图像中的人脸相似度的参考，可根据身份认证应用的具体需求不同，而采取不同的方式进行整合和使用。

可替代地，在另一实施方式中，检测装置141还包括可用于在由第一采集装置120所采集的所述身份证件图像中检测人脸区域的第一检测单元和可用于在由所述第二采集装置130所采集的所述人脸图像中检测人脸区域的第二检测单元。另外，识别装置142可包括第一识别单元和第二识别单元，其中第一识别单元可用于对由第一检测单元在身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出身份证件的人脸区域的人脸关键点，以及第二识别单元可用于对由第二检测单元在持证人的人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出人脸图像的人脸关键点。

可替代地，在另一实施方式中，可能的是身份认证设备100中的检测装置141包括可用于在由第一采集装置120所采集的所述身份证件图像中检测人脸区域的第一检测单元和可用于在由所述第二采集装置130所采集的所述人脸图像中检测人脸区域的第二检测单元，识别装置142对由第一检测单元在身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出身份证件的人脸区域的人脸关键点，以及对由第二检测单元在持证人的人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出人脸图像的人脸关键点。

可替代地，在又一实施方式中，可能的是身份认证设备100中的识别装置142包括第一识别单元和第二识别单元，其中第一识别单元可用于对由检测装置141在身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出身份证件的人脸区域的人脸关键点，以及第二识别单元可用于对由检测装置141在持证人的人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出人脸图像的人脸关键点。

下面将参照图3描述根据示例性实施方式的身份认证方法。

在示例性实施方式中，根据本公开的身份认证方法将应用于包含一前一后两个摄像头的手机上，用于身份认证的身份证件为中华人民共和国第二代身份证。但本领域技术人员应理解，在不背离本公开的范围的情况下，根据本公开的身份认证方法可应用至各种设备如手机、计算机等，用于身份认证的身份证件包括但不限于身份证、驾驶证、护照等。

在步骤1000中，先采集身份证个人信息面的图像，再对其中的字符以及人脸区域分别进行提取，最后对人脸区域的人脸关键点进行识别，所获得的人脸关键点用于步骤3000的人脸比对。

在步骤2000中，先采集该身份证的持证人的人脸图像，再对其中的人脸区域进行提取，最后对人脸区域中的持证人的人脸关键点进行识别，所获得的人脸关键点用于步骤3000的人脸比对。该步骤中还计算了所采集的持证人的人脸图像的活体程度值，以判定该人脸图像是活体图像。

在步骤3000中，根据在步骤1000识别出的身份证人脸区域的人脸关键点及在步骤2000中识别出的持证人的人脸关键点对两人脸进行相似程度的比对，以确定人脸相似程度。

优选地，在具体实施时，步骤1000和步骤2000中的图像采集由同一设备实施，如当根据本公开实施方式的身份认证方法应用至具有一前一后两个摄像头的手机和用于进行身份认证的身份证件为中华人民共和国第二代身份证时，可利用手机的一前一后两个摄像头同时进行。在优选的图像采集过程示例中，持证人应面向手机屏幕，一手持手机，一手持身份证，由手机前摄像头采集人脸图像，后摄像头采集身份证个人信息面图像。“同时”是指持证人需在同一时刻分别将人脸和身份证置于一前一后两个摄像头前，两摄像头应在一定时间内，例如数秒内，完成采集，两图像的采集不应有较大的时间间隔，以保证采集到的图像都是同一现场的身份证图像和持证人的人脸图像。

另外，本领域技术人员应理解，根据所使用的身份证件不同，从该身份证件所获得的信息可能有所不同，本公开在此方面没有限制。此外，从持证人的人脸图像获得的信息也并不限于上述的人脸关键点和活体程度值，还可包括任何可用于进行身份认证的信息。

下面将结合图4和图5对根据本公开的身份认证方法的步骤1000和步骤2000进行详细描述。

如图4所示，步骤1000包括采集身份证图像的步骤1001、识别身份证图像中字符的字符识别步骤1002、检测身份证图像中的人脸区域的步骤1003以及在检测到的人脸区域中识别人脸关键点的步骤1004。

在步骤1001中，采集身份证图像。身份证持证人面向手机屏幕，手机屏幕显示后置摄像头取景框，持证人将身份证置于后置摄像头下，使用后置摄像头采集持证人的身份证个人信息面图像。该采集过程优选与将在下文描述的步骤2001中采集持证人人脸图像的过程同时进行，以保证采集到的图像是同一现场的证件照片和持证人照片。该采集为实时、自动、不间断的采集，在采集过程中不需要持证人对手机进行任何操作。

在步骤1002中，对身份证图像中的字符进行识别。针对身份证作为身份证件，可采用例如张纯等人的“中文商务名片识别***的实现”中的方法进行字符识别，并进行适当修改以适应身份证上的字符排列特点。该识别流程包括图像预处理、版面分析、字符识别、信息理解等子流程，从而识别出身份证每一字符信息项的内容。

在中华人民共和国第二代身份证印有持证人个人信息及人脸图像的一面中，各字符信息项和人脸区域的排列具有其特有的特点，例如，在外观上包含姓名、性别、民族、出生日期、住址、公民身份号码等字符信息，以及持证人的头像。这些信息都固定在身份证上的确定位置，且每种信息都有其确定的规则，比如民族只有56种可能，公民身份证号码均有18位等。

如果通过字符识别检测到了身份证上的字符信息，且这些字符信息符合身份证字符信息的要求，则输出检测到的字符信息，否则返回1001，对身份证的图像重新进行采集。如身份证为少数民族地区的证件，其中包含少数民族文字，需根据少数民族文字的内容及排版的不同专门进行处理。

在步骤1003中，从在步骤1001中采集的身份证个人信息面图像中检测人脸区域。本步骤采用了例如基于SURF(Speeded Up RobustFeatures)的级联回归方法进行人脸区域的检测，该回归基本符合Viola-Jone人脸检测的算法框架。本步骤最终确定出图像上人脸的正方形框。当图像上有多个框时，则优先选取较大的人脸框，有更大的可能是持证人。

如果检测到人脸区域，则进入步骤1004，对人脸区域进行关键点识别，如果在图像中未检测到人脸区域，否则返回步骤1001，对身份证的图像重新进行采集。

在步骤1004中，执行人脸关键点识别。在步骤1003中检测到包含人脸区域的正方形框之后，在该步骤1004中对此框中的21个用于人脸比对的人脸关键点进行识别，其中21个人脸关键点(人脸关键点1至人脸关键点21)的位置如图6所示。本公开的该步骤先采用例如三级级联的深度卷积神经网络(CNN)中的第一级进行21个关键点的大概估计，之后采用例如对梯度进行级联回归的监督梯度下降方法(Supervised Descent Method(SDM))进行后续的关键点精确定位。

具体地，SDM的思路是，通过多次的迭代逐渐精确对人脸关键点的估计。在本公开中，从LFPW(Labeled Face Parts in the Wild)数据集的35点关键点标注中选取采样得到21个所需关键点，并由此训练得到SDM中迭代所需参数，其中SDM的初始关键点由CNN中第一级处理得到。

在CNN方法中，第一层中的网络得到了一个对关键点位置的大概估计，后两层依次使得这个估计逐渐精确。但是这种方法的缺点在于，计算量庞大，速度较慢，难以在移动端的计算能力下做到实时计算。

SDM方法的优点是速度快，但是该方法依赖对初始关键点位置的选择，不好的初始位置可能的导致回归到局部最优解，从而使得对人脸关键点位置的估计存在偏差。

本公开综合了上述两种方法，先用CNN网络的第一层得到一个相对精确的人脸关键点的初始位置，然后再利用SDM方法，逐渐的线性回归出精确的人脸关键点位置。这样就结合了两种方法的优点，使得本公开的过程既有较好的鲁棒性，又有较快的速度。

本领域技术人员应理解，步骤1002和步骤1003-1004可并行、同时或顺序地执行，本公开在此方面没有限制。

如图5所示，步骤2000包括：采集持证人的人脸图像的步骤2001、检测所采集的持证人的人脸图像中的人脸区域的步骤2002、在检测到的人脸区域中识别人脸关键点的步骤2003以及计算持证人的人脸图像的活体程度值的步骤2004。

在步骤2001中，采集持证人的人脸图像。持证人面向手机屏幕，用手机前置摄像头“静默”采集持证人本人的人脸图像，即不在屏幕上显示前置摄像头的取景框，在用户无感知的情况下，采集到更真实自然的人脸图像。该采集过程与上文所述的步骤1001中的身份证的图像采集在预定时间间隔内进行，优选同时进行，以保证采集到的图像是同一现场的证件照片和持证人照片。该采集为实时、自动、不间断的采集，在采集过程中不需要持证人对手机进行任何操作。

另外，本公开要对持证人的人脸图像进行活体检测，因此在步骤2001中可能需要采集连续多帧的人脸图像用于后续的计算活体程度值的步骤2004。

在步骤2002中，从在步骤2001中采集的人脸图像中定位的人脸区域。该步骤的具体实施与步骤1003基本相同。如果采集了足够的连续的包含人脸区域的持证人人脸图像，则进行步骤2004的人脸关键点识别。

步骤2001和步骤2002中的“连续”图像并不代表严格的时序连续图像，可能由于持证人人脸的剧烈抖动导致在步骤2001中所采集的时序相连的若干帧图像中有一帧无法检测到人脸区域，那么在步骤2002中就跳过这一帧，再在之后的帧中检测人脸区域，重复步骤2001和步骤2002直到采集了足够的连续的包含人脸区域的人脸图像。另外，如果连续多帧不包含人脸或不包含人脸区域的时间间隔大于某个设定阈值，则应舍弃之前采集到的所有图像，重新由步骤2001进行的采集，直至采集的图像符合了要求。

可替代地，根据需要及各种条件限制(如硬件条件等)，还可在步骤2001中仅采集一帧持证人的人脸图像，然后在步骤2002中检测该帧人脸图像的人脸区域，并且如果在该帧人脸图像中未检测到人脸区域，则舍弃该帧。重复步骤2001和步骤2002，直到采集了足够的连续的包含人脸区域的人脸图像。另外，如果连续多帧不包含人脸或不包含人脸区域的时间间隔大于某个设定阈值，则应舍弃之前采集到的所有图像，重新由步骤2001进行的采集，直至采集的图像符合了要求。

在步骤2004中，在检测到的人脸区域中识别人脸关键点。该步骤的具体实施方法与步骤1004基本相同，因此，本文中将省略其详细描述。

在步骤2005中，检测持证人的人脸图像的人脸活体程度。本公开基于例如非刚体分析(Non-rigid Motion Analysis)方法对人脸的活体程度进行检测。

本步骤中在进行活体检测时需要的人脸区域由步骤2002得到。

作为示例，本步骤提取了人脸区域的4个非刚体特征区域Ω：左眼部区域Ω₁、右眼部区域Ω₂、鼻子区域Ω₃、嘴部区域Ω₄，并分别检测了这四个区域的非刚性程度，即活体程度。这4个区域与人脸关键点识别步骤2003中得到的21个人脸关键点的区域大致对应，可根据步骤2003的关键点识别结果来确定4个非刚体特征区域。具体地，左眼部区域Ω₁中包括人脸关键点1,2,3,7,8和17，右眼部区域Ω₂中包括人脸关键点4,5,6,9,10和18，鼻子区域Ω₃中包括人脸关键点11,12,13和19，以及嘴部区域Ω₄中包括人脸关键点14,15,16,20和21。在本公开中，用一个包含每一个特征区域对应的关键点的矩形来表示每一个特征区域，该矩形的宽和高需根据该特征区域的不同需单独进行设置。

基于上文中的公式(1)计算每一帧图像j中的人脸区域Face_j中的每个非刚体特征区域Ω的特征T_i,j，i＝1...4，1：左眼部区域，2：右眼部区域，3：鼻子区域，4：嘴部区域。

基于上文中的公式(2)计算每个非刚体特征区域的非刚性程度S_i(左眼部区域S₁、右眼部区域S₂、鼻子区域S₃、嘴部区域S₄)，每个非刚体特征区域的非刚性程度S_i为该区域的特征T_i的方差，S_i的值越小，表征该人脸图像不是来自活体的可能性越大。

最后将每个非刚体特征区域的非刚性程度(S₁,S₂,S₃,S₄)作为持证人的人脸图像的总体活体程度作为输出。

下面将详细描述步骤3000。

在步骤3000中，根据在步骤1004和步骤2003识别到的身份证图像的人脸关键点和人脸图像的人脸关键点，对两人脸进行比对。在得到21个人脸关键点的位置后，在这21个关键点周围邻域的不同尺度上提取LBP(Local Binary Patterns)特征。在不同的图像尺度上提取到的LBP特征维数很高，往往可以达到上万维，不利于后续的处理。采用PLDA(Probabilistic Linear Discriminant Analysis)方法对特征降维，将特征向量的维数降至数百量级。

在提取到特征之后，本公开例如可用Joint Bayesian模型作为人脸比对的算法。作为贝叶斯估计算法中的一种，该算法通过对已有的数据进行训练以建立两个假设下的高斯模型，分别是假设两个人脸比对样本来自同一人的模型以及来自不同人的模型。之后对于两个新的人脸比对样本，即根据本公开中的身份证图像的人脸关键点和人脸图像的人脸关键点得到的人脸特征，通过比较它们在两个假设下的后验概率来计算其是否属于同一个人的可能性。Joint Bayesian算法相对于传统的贝叶斯方法做出了改进，它对两个样本特征向量的联合分布建模而非两个样本特征向量的差建模，这样可以捕捉到人脸之间更丰富的区分信息，提高了比对的准确率。以上提到的训练样本集均来自包括但不限于LFPW(Labeled Face Parts in the Wild)数据集的数据集。

在步骤3000中，得到身份证图像中的人脸与持证人的人脸图像中的人脸的相似程度，这代表身份证中的人脸图像和持证人人脸图像是否是同一个人的一致性程度，其值越大，可认为两图像为同一人的可能性越大。

在步骤2003和步骤3000中输出的人脸活体程度和人脸相似度作为本公开采集的两类图像中的人脸相似度的参考，可根据身份认证应用的具体需求不同，而采取不同的方式进行整合和使用。

图7示出了本公开的身份认证方法应用至银行在线开户及交易场景的示意图。

下面将结合将根据本公开的身份认证方法将应用于包含一前一后两个摄像头的手机上以及用于身份认证的身份证件为中华人民共和国第二代身份证的示例来描述本公开的身份认证方法应用至银行在线开户及交易场景的过程。

在开户时，由手机的两个摄像头分别在预定时间间隔内，优选同时，采集身份证及持证人的人脸图像，在本地实现身份证的文字内容的识别、身份证图像中人脸区域的检测、持证人的人脸图像中人脸区域的检测，并完成身份证中人脸与人脸图像中人脸的比对，计算得到两人脸的相似程度和持证人人脸图像的活体程度值，最后通过网络(例如，无线网络、GPRS、WIFI等)即时将以上采集的身份证图像和持证人的人脸图像、身份证上的字符信息、两人脸的相似程度和持证人的人脸图像的活体程度值上传至银行服务器，由服务器端根据公安部身份信息数据库判定以上信息的可信度并留存。

在进行银行在线交易时，可将人脸比对加入到身份认证的过程中，综合文字密码、手势密码、动态口令等方式进行安全认证，亦可独立进行认证。此时仍使用本地设备完成身份证的字符信息的识别、身份证图像中人脸区域的检测、持证人的人脸图像中人脸区域的检测，并完成身份证图像中人脸与持证人的人脸图像中人脸的比对，计算得到两人脸的相似程度和持证人的人脸图像的活体程度值，但最后只需通过网络(如，无线网络、GPRS、WIFI等)即时将身份证上的文字信息、两人脸的相似度和人脸图像的活体程度上传至银行服务器，由服务器端根据银行的用户信息数据库判定以上信息的可信度及是否可以进行后续操作。如上所述的在本地进行图像的处理，且并不上传图像信息至服务器端，可有效减少无线传输开销，及服务器端的运算和存储开销。

本公开利用无线智能通信终端，同时、自动采集用户真人活体人脸照片及其身份证照片，在本地进行活体人脸和身份证中人像的比对，得到两人脸的相似度，该相似度结果可以作为后续用户真实身份认证的一个参考指标。为消费者、商家提供便捷、快速、安全的身份证件信息录入及真实性验证技术。

本领域普通技术人员可以理解在上述实施方式中描述的全部或部分步骤或单元可以软件形式和/或硬件形式来实现，本公开不限制于任何特定形式的硬件和软件的结合。

Claims (21)

1.一种身份认证方法，包括：

采集身份证件的图像；

响应于检测到所述身份证件，自动采集持有所述身份证件的持证人的人脸图像；

从所采集的身份证件图像获得所述身份证件中记载的信息；

从所采集的所述人脸图像获得与所述持证人相关的持证人信息；以及

将所述身份证件中记载的信息与所述持证人信息进行比较，以对所述持证人进行身份认证。

2.根据权利要求1所述的方法，其中，所述身份证件中记载的信息包括所述身份证件上的人脸关键点信息，以及获得所述身份证件中记载的信息的步骤包括：

在所采集的所述身份证件图像中检测人脸区域；以及

对所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点。

3.根据权利要求2所述的方法，其中，自动采集持有所述身份证件的持证人的人脸图像的步骤包括：

i)响应于检测到所述身份证件，自动地连续采集所述持证人的多个人脸图像；

ii)检测所采集的每个人脸图像中是否具有人脸区域，并舍弃确定为不具有人脸区域的人脸图像；

iii)当不具有人脸区域的所述人脸图像的时间间隔大于设定阈值时舍弃所述多个人脸图像；以及

iv)重复步骤i)至步骤iii)，直到所得到的人脸图像的数目达到所述预定数目。

4.根据权利要求2所述的方法，其中，自动采集持有所述身份证件的持证人的人脸图像的步骤包括：

i)响应于检测到所述身份证件，自动地采集所述持证人的人脸图像；

ii)检测所采集的所述人脸图像中是否具有人脸区域，并当所述人脸图像被确定为不具有人脸区域的人脸图像时，舍弃所述人脸图像；以及

iii)重复步骤i)至步骤ii)，直到所得到的人脸图像的数目达到所述预定数目。

5.根据权利要求3或4所述的方法，其中所述持证人信息包括所述持证人的人脸关键点信息，获得与所述持证人相关的持证人信息的步骤包括：

对所述人脸图像进行人脸关键点识别，以确定出所述人脸图像的人脸关键点。

6.根据权利要求5所述的方法，其中，所述持证人信息还包括所述持证人的人脸图像的活体程度信息，以及获得与所述持证人相关的持证人信息的步骤还包括：

基于确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值，从而确定所述人脸图像是否为活体图像。

7.根据权利要求2所述的方法，其中，所述身份证件中记载的信息还包括所述身份证件的字符信息，以及获得所述身份证件中记载的信息的步骤还包括：

在所采集的所述身份证件图像中识别所述身份证件的字符信息；以及

确定所述字符信息是否符合所述身份证件的字符信息标准。

8.根据权利要求5所述的方法，其中，

进行身份认证的步骤包括：基于所确定出的所述身份证件的人脸区域的人脸关键点与所确定出的所述人脸图像的人脸关键点，确定出人脸相似程度。

9.根据权利要求3或4所述的方法，其中，根据基于SURF的级联回归方法检测所述身份证件图像的人脸区域以及所述人脸图像的人脸区域。

10.根据权利要求5所述的方法，其中，对所述身份证件图像中检测到的人脸区域进行人脸关键点识别的步骤和对获得的所述预定数目的人脸图像进行人脸关键点识别的步骤都包括：

使用三级级联的深度卷积神经网络的第一级估计所述人脸关键点的初始位置；以及

基于所估计的所述人脸关键点的所述初始位置，使用监督梯度下降方法计算所述人脸关键点的精确位置。

11.根据权利要求6所述的方法，其中，基于确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值的步骤包括：

根据确定出的所述人脸图像的人脸关键点的区域，提取每个所述人脸图像的多个非刚体特征区域，所述非刚体特征区域与所述人脸关键点的区域相对应；

确定每个所述人脸图像在每个所述非刚体特征区域中的特征；以及

根据所确定出的所述特征计算出每个所述非刚体区域的非刚性程度作为所述人脸图像的活体程度值。

12.一种身份认证设备，包括：

第一采集装置，配置为采集身份证件的图像；

第二采集装置，配置为响应于由所述第一采集装置检测到所述身份证件，自动采集持有所述身份证件的持证人的人脸图像；

信息获得装置，配置为从所采集的身份证件图像获得所述身份证件中记载的信息以及从为从所采集的所述人脸图像获得与所述持证人相关的持证人信息；以及

认证装置，配置为将所述身份证件中记载的信息与所述持证人信息进行比较，以对所述持证人进行身份认证。

13.根据权利要求12所述的身份认证设备，其中，

所述信息获得装置包括：

检测装置，配置为在由所述第一采集装置所采集的所述身份证件图像中检测人脸区域，以及在由所述第二采集装置所采集的所述人脸图像中检测人脸区域；以及

识别装置，配置为对由所述检测装置在所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点，以及对由所述确定装置在所述人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出所述人脸图像的人脸关键点，以及

所述身份证件中记载的信息包括由所述识别装置所确定出的所述身份证件的人脸区域的人脸关键点，

所述持证人信息包括由所述识别装置所确定出的所述人脸图像的人脸关键点，以及

所述认证装置配置为基于由所述识别装置所确定出的所述身份证件的人脸区域的人脸关键点与由所述识别装置所确定出的所述人脸图像的人脸关键点，确定出人脸相似程度。

14.根据权利要求13所述的身份认证设备，其中，所述持证人信息还包括所述持证人的人脸图像的活体程度信息，所述信息获得装置还包括活体程度值计算装置，所述活体程度值计算装置配置为基于由所述识别装置确定出的所述人脸图像的人脸关键点计算所述人脸图像的活体程度值，从而确定所述人脸图像是否为活体图像。

15.根据权利要求13所述的身份认证设备，其中，所述身份证件中记载的信息还包括所述身份证件的字符信息，所述信息获得装置还包括字符信息装置，所述字符信息装置在由所述第一采集装置采集的所述身份证件图像中识别所述身份证件的字符信息以及确定所述字符信息是否符合所述身份证件的字符信息标准。

16.根据权利要求13所述的身份认证设备，其中，所述检测装置根据基于SURF的级联回归方法检测所述身份证件图像的人脸区域和所述人脸图像的人脸区域。

17.根据权利要求13所述的身份认证设备，其中，所述识别装置包括：

初始位置估计模块，基于由所述检测装置在所述人脸图像中检测到的人脸区域，使用三级级联的深度卷积神经网络的第一级估计所述人脸关键点的初始位置；以及

精确位置计算模块，基于由所述初始位置估计模块所估计的所述人脸关键点的所述初始位置，使用监督梯度下降方法精确计算所述人脸关键点的精确位置，以确定出所述人脸关键点。

18.根据权利要求14所述的身份认证设备，其中，所述活体程度值计算装置包括：

非刚体特征区域提取模块，基于由所述识别装置确定出的所述人脸图像的人脸关键点提取每个所述人脸图像的多个非刚体特征区域，所述非刚体特征区域与所述人脸关键点的区域相对应；

特征确定模块，确定每个所述人脸图像在每个所述非刚体特征区域中的特征；以及

活体程度值计算模块，根据由所述特征确定模块所确定出的所述特征计算出每个所述非刚体区域的非刚性程度作为所述人脸图像的活体程度值。

19.根据权利要求13所述的身份认证设备，其中，所述检测装置包括：

第一检测单元，配置为在由所述第一采集装置所采集的所述身份证件图像中检测人脸区域；以及

第二检测单元，配置为在由所述第二采集装置所采集的所述人脸图像中检测人脸区域。

20.根据权利要求19所述的身份认证设备，其中，所述识别装置包括：

第一识别单元，配置为对由所述第一检测单元在所述身份证件图像中检测到的人脸区域进行人脸关键点识别，以确定出所述身份证件的人脸区域的人脸关键点；以及

第二识别单元，配置为对由所述第二检测单元在所述人脸图像中检测到的人脸区域进行人脸关键点识别，以确定出所述人脸图像的人脸关键点。

21.根据权利要求14-20中任一项所述的身份认证设备，其中，所述身份认证设备包括在能够进行通信的终端中。