CN107958234A - 基于客户端的人脸识别方法、装置、客户端及存储介质 - Google Patents

Abstract

一种基于客户端的人脸识别方法，包括：当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；判断所述人脸特征与本地数据库中的人脸特征是否匹配；及当确定人脸特征与本地数据库中的人脸特征相匹配时，执行预设功能。本发明还提供一种基于客户端的人脸识别装置、客户端及存储介质。本发明在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。

Description

基于客户端的人脸识别方法、装置、客户端及存储介质

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于客户端的人脸识别方法、装置、客户端及存储介质。

背景技术

人脸识别技术是指利用图像处理技术，通过摄像机采集人脸图像，并对获取的图像进行比对分析以获取需要信息的一种技术。相较于其他生物特征识别技术，例如指纹识别、虹膜识别、语音识别等，人脸识别技术采用非接触式采集，没有侵犯性、更容易被接受，且不需要使用者配合，因而操作隐蔽性强。

然而，现有的人脸识别门禁***大都采用客户端与服务器端相结合，即客户端采集人脸信息，通过网络发送至与客户端相连接的服务器端，服务器端根据所述人脸信息进行人脸特征提取及匹配。如此大大增加了产品的成本，降低了产品的可推广度。对于人脸门禁，如何在保证识别速度以及识别精度的情况下，有效的控制成本是一个比较大的难题。

发明内容

鉴于以上内容，有必要提出一种基于客户端的人脸识别方法、装置、客户端及存储介质，在保证识别速度以及识别精度的情况下，能节约成本，简化整个软件的工作流程，同时，提供了较丰富的人机交互界面，提高用户体验。

本发明的第一方面提供一种基于客户端的人脸识别方法，应用于客户端中，所述方法包括：

当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；

根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

判断所述人脸特征与本地数据库中的人脸特征是否匹配；及

当确定人脸特征与本地数据库中的人脸特征相匹配时，执行预设功能。

根据本发明的一个优选实施例，所述在根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征之前，所述方法还包括：

接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域，

所述调整操作包括：移动操作、放大操作、缩小操作、删除操作。

根据本发明的一个优选实施例，所述判断所述人脸特征与本地数据库中的人脸特征是否匹配包括：

将所述人脸特征与本地数据库中的多个人脸特征进行一一比对；

当判断所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征的相似度高于预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征相匹配；

当判断所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征的相似度低于所述预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征不相匹配。

根据本发明的一个优选实施例，所述在用户选取人脸特征提取方法之前，所述方法还包括：

在预设时间段内侦测用户是否选取人脸特征提取方法；

当在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

当在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，调用默认的人脸特征提取方法提取所述人脸区域中的人脸特征。

根据本发明的一个优选实施例，当客户端确定所述人脸特征与本地数据库中的人脸特征相匹配时，所述还包括：

比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；

将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征；

更新本地数据库中的人脸图像及人脸特征。

根据本发明的一个优选实施例，所述预设功能包括以下一种或多种的组合：

允许通过、发出预设语音、显示预设画面。

根据本发明的一个优选实施例，

通过预先存储于客户端本地数据库中的人脸检测算法检测出所述人脸图像中的人脸区域；

所述至少一种人脸特征提取方法预先存储于客户端本地数据库中。

本发明的第二方面提供一种基于客户端的人脸识别装置，安装于客户端中，所述装置包括：

显示模块，用于当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；

特征提取模块，用于根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

判断模块，用于判断所述人脸特征与本地数据库中的人脸特征是否匹配；及

执行模块，用于当所述判断模块确定人脸特征与本地数据库中的人脸特征相匹配时，执行预设功能。

本发明的第三方面提供一种客户端，所述客户端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现基于客户端的人脸识别方法。

本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于客户端的人脸识别方法。

本发明运用所述的基于客户端的人脸识别方法，本发明人脸检测、人脸特征提取及人脸识别的整个过程均在客户端中完成，不需要依赖服务器等其他设备，在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。另外，客户端提供了供用户调整人脸区域上的选择框的功能，能够人脸区域需更加精确，从而提取到更具区别力的人脸特征。当在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征，使得用户根据自身实际情形选择最佳人脸特征提取的方案。比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征，进一步提高了后续人脸识别的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例一提供的基于客户端的人脸识别方法的流程图。

图2是本发明实施例二提供的基于客户端的人脸识别装置的结构图。

图3是本发明实施例三提供的客户端的示意图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本较佳实施例中，所述基于客户端的人脸识别方法应用于具备拍照或摄像功能的移动客户端或者固定客户端中，所述客户端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。所述客户端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

对于需要进行基于客户端的人脸识别的客户端，可以直接在客户端上集成本发明的方法所提供的基于客户端的人脸识别功能。本发明所提供的方法以软件开发工具包(Software Development Kit，SDK)的形式提供基于客户端的人脸识别功能的接口，客户端通过所提供的接口实现基于客户端的人脸识别的功能。

本较佳实施例中，所述客户端可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

本较佳实施例中，所述客户端的***可以是Windows***、Mac***、OSX***、Linux***、IOS***等、安卓Android***、塞班Symbian***。

实施例一

图1是本发明实施例一提供的基于客户端的人脸识别方法的流程图。

如图1所示，所述基于客户端的人脸识别方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

101：当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法。

本较佳实施例中，客户端的摄像头实时处于工作状态，并捕获人脸图像。当摄像头捕获到人脸图像时，调用人脸检测算法检测人脸图像中的人脸区域，同时，在客户端显示所检测到的人脸区域及至少一种人脸特征提取方法。

本较佳实施例中，所述人脸检测算法预先存储于客户端的本地数据库中。所述人脸检测算法包括以下一种或多种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。基于模板的人脸检测方法，首先预存储一个或多个标准人脸模板，然后计算测试样本与标准模板之间的匹配程度是否大于预先设置的阈值来判断图像中是否存在人脸。当测试样本与标准模板之间的匹配程度大于预先设置的阈值，则认为图像中存在人脸。基于人工神经网络的人脸检测方法，通过采集人脸图像样本集和非人脸图像样本集的学习来产生分类器，进而判断图像中是否存在人脸。基于肤色模型的人脸检测方法，依据人脸的肤色在色彩空间中分布相对集中的规律来进行检测，不同人在不同光照条件下的肤色分布有着相似的高斯分布。基于特征子脸的人脸检测方法，将所有人脸集合视为一个人脸子空间，通过计算检测样本与其在子空间的投影自己的距离从而判断图像中是否存在人脸。所采用的人脸检测算法均为现有技术，本文在此不再详细赘述。

本较佳实施例中，当所述客户端调用人脸检测算法检测人脸图像中的人脸区域时，首先定位出人脸图像中人脸面部关键特征点，然后在人脸图像中添加一个选择框表示裁剪出的人脸区域。一般而言，选择框的大小与人脸区域的大小接近，通常是与人脸区域的外轮廓相切，选择框的形状可以自定义，例如圆形、长方形、正方形、三角形等，该选择框又可以叫做人脸跟踪框，人脸移动时，人脸跟踪框也随之移动。

本较佳实施例中，所述至少一种人脸特征提取方法预先存储于客户端本地数据库中，所述至少一种人脸特征提取方法可以是一种人脸特征提取方法，也可以是两种及以上人脸特征提取方法，例如，第一种人脸特征提取方法、第二种人脸特征提取方法、第三种人脸特征提取方法。

本较佳实施例中，根据实际应用场景进行人脸特征提取方法的设置，例如在人脸识别门禁中，最主要的是考虑安全性，因而人脸识别精度更为紧要，则所述至少一种人脸特征提取方法可以包括：默认人脸特征提取方法、装饰物人脸特征提取方法等；在人脸识别登机中，最主要的是考虑时效性，因而人脸识别速度更为紧要，则所述至少一种人脸特征提取方法可以包括：默认人脸特征提取方法、快速人脸特征提取方法等。

所述默认人脸特征提取方法是指直接对所述人脸区域进行人脸特征提取，例如，基于主成分分析的方法、基于线性判别分析的方法等、基于神经网络的方法。所述装饰物人脸特征提取方法是指对所述人脸区域进行预处理，得到人脸处理区域，再对所述人脸处理区域进行人脸特征提取。所述装饰物可以包括眼睛、帽子、化妆等。所述快速人脸特征提取方法是相对所述默认人脸特征提取方法而言，相较于所述默认人脸特征提取方法，快速人脸特征提取方法提取人脸特征速度更快，例如，基于几何特征的人脸识别方法。

102：根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征。

本较佳实施例中，所述客户端显示至少一种人脸特征提取方法，用户可以自主选择一种人脸特征提取方法，也可以不做任何选择。当用户不做任何选择时，认为用户选择了默认人脸特征提取方法。

103：判断所述人脸特征与本地数据库中的人脸特征是否匹配。

本较佳本实施例中，客户端的本地数据库中，预先存储有至少一个用户的注册信息。所述注册信息可以包括：人脸图像、对应所述人脸图像的人脸特征、账号密码。

本较佳本实施例中，客户端将所述人脸特征与本地数据库中的多个人脸特征进行一一比对。当客户端确定所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征相匹配时，则执行104；否则，当客户端确定所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征不相匹配时，可以返回继续执行101，或者可以直接结束流程。

本较佳本实施例中，如果客户端判断所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征的相似度高于预先设置的相似度阈值(例如，98％)时，则确定所述人脸特征与所述本地数据库中的人脸特征相匹配，即确定捕获到的人为已预先注册的人。如果客户端判断所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征的相似度低于所述预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征不相匹配，确定为不同的人，即确定捕获到的人为没有预先注册的人。

本较佳本实施例中，相似度的计算可以采取距离函数进行计算。所述距离函数可以包括：欧几里得距离、曼哈顿距离、明可夫斯基距离、余弦相似度、皮尔森相关系数。一个优选的技术方案是采用欧几里得距离函数计算所述人脸特征与所述本地数据库中的多个人脸特征中的每人脸特征之间的相似度。

104：执行预设功能。

本较佳本实施例中，所述预设功能可以包括以下一种或多种的组合：允许通过、发出预设语音、显示预设画面等。

所述允许通过是指打开门禁允许用户进入。

所述预设语音可以根据实际应用场景进行设置，例如，在人脸识别考勤中，所述预设语音可以是“现在是7:30，早起的鸟儿有虫吃哦”、“现在是8:31了，请准时上班哦”。再如，在人脸识别登机中，所述预设语音可以是“旅行在外，请注意安全”。

所述预设画面可以根据实际应用场景进行设置，例如，在人脸识别考勤中，所述预设画面可以是一张笑脸图像、一张哭脸图像等。

本发明提供的基于客户端的人脸识别方法，人脸检测、人脸特征提取及人脸识别的整个过程均在客户端中完成，不需要依赖服务器等其他设备，在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。需要理解的是，虽然人类可以很容易的从一幅图像中找出人脸，但要计算机自动地检测出人脸仍然存在一定的困难，其难点在于人脸属于非刚体模式，在运动过程中，其姿态、大小、形状都会发生变化，另外人脸本身可以存在多种形式的细节变化，如不同的肤色、脸型、表情等带来的变化，及其他外部因素的影响，如光照、人脸上的装饰物带来的遮挡等。

因而，为了便于后续提取到更具区别力的人脸特征，人脸区域需更加精确，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法时，所述基于客户端的人脸识别方法还包括：接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域。

本较佳本实施例中，所述调整操作包括：移动操作、放大操作、缩小操作、删除操作等。所述移动操作是指移动人脸区域上的选择框使得所述选择框更能框选住人脸图像中的人脸区域。所述放大操作是指对人脸区域上的选择框进行放大，使得放大后的与人脸区域的外轮廓更相切。所述缩小操作是指对人脸区域上的选择框进行缩小，使得缩小后的仅与人脸区域的外轮廓相切。所述删除操作是指当捕获到人脸图像时，可以将人脸图像中的多个人脸区域上的多个选择框进行删除，从而只保留需要进行识别的人脸区域。

更进一步地，在用户选取人脸特征提取方法之前，所述基于客户端的人脸识别方法还包括：在预设时间段内侦测用户是否选取人脸特征提取方法。当在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征。当在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，调用默认的人脸特征提取方法提取所述人脸区域中的人脸特征。

需要说明的是，当在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，认为用户选取了所述默认人脸特征提取方法。即，用户在所述预设时间段内没有做任何选择操作时，客户端侦测到用户选取了默认人脸特征提取方法。

在客户端显示多种人脸特征提取方法，并根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征，能够使得人脸识别更具趣味性，用户参与度更高。另外，还能提供用户根据自身实际情形选择最佳人脸特征提取的方案，例如用户在时间很赶的情况下登机，而机场采取的是人脸识别登机模式，则可以直接选取快速人脸特征提取方法，节约人脸识别时间。再如，用户为了某个重要访谈而化妆的情况下，客户端调用默认人脸特征提取方法，可能会出现人脸识别失败，此时，用户可以选择所述装饰物人脸特征提取方法。

更进一步地，当客户端确定所述人脸特征与本地数据库中的人脸特征相匹配时，所述基于客户端的人脸识别方法还包括：比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征；更新本地数据库中的人脸图像及人脸特征。

本较佳实施例中，可以通过计算图像均值或者标准差或者熵等来比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量的好坏。均值是指图像像素的平均值，反映了图像的平均亮度，平均亮度越大，图像质量越好。标准差是指图像像素灰度值相对于均值的离散程度，标准差越大，表明图像中灰度级分别越分散，图像质量越好。熵是指图像的平均信息量，图像中的信息熵越大，说明图像包含的信息越多，图像质量越好。

当当前捕获到的人脸图像的图像质量高于对应的存储于本地数据库的人脸图像的图像质量时，将所述当前捕获到的人脸图像的人脸特征作为本地数据库中的人脸特征，同时更新本地数据库中的人脸图像及人脸特征。当当前捕获到的人脸图像的图像质量低于对应的存储于本地数据库的人脸图像的图像质量时，则不需要更新本地数据库中的人脸图像及人脸特征。本较佳实施例中，所述更新可以是直接覆盖或者替换本地数据库中已存储的人脸图像及人脸特征。

将图像质量高的人脸图像及对应的人脸特征存储于本地数据库中并更新本地数据库，可以进一步提高人脸识别的精确度。

综上所述，本发明所述的基于客户端人脸识别方法，当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；判断所述人脸特征与本地数据库中的人脸特征是否匹配；当确定所述人脸特征与所述本地数据库中的人脸特征相匹配时，执行预设功能。本发明人脸检测、人脸特征提取及人脸识别的整个过程均在客户端中完成，不需要依赖服务器等其他设备，在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。

另外，接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域，人脸区域需更加精确，从而能够提取到更具区别力的人脸特征。在用户选取人脸特征提取方法之前，在预设时间段内侦测用户是否选取人脸特征提取方法。当在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征，使得用户根据自身实际情形选择最佳人脸特征提取的方案。比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征，进一步提高了后续人脸识别的精确度。

上述图1详细介绍了本发明的基于客户端的人脸识别方法，下面结合第2和图3，分别对实现所述基于客户端的人脸识别方法的软件***的功能模块以及实现所述基于客户端的人脸识别方法的硬件***架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

实施例二

参阅图2所示，是本发明基于客户端的人脸识别装置的较佳实施例中的功能模块图。

在一些实施例中，所述基于客户端的人脸识别装置20运行于所述客户端3中。所述基于客户端的人脸识别装置20可以包括多个由程序代码段所组成的功能模块。所述基于客户端的人脸识别装置20中的各个程序段的程序代码可以存储于所述客户端3的存储器31中，并由所述至少一个处理器32所执行，以执行(详见图1描述)在客户端识别人脸的功能。

本实施例中，所述基于客户端的人脸识别装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：显示模块201、特征提取模块202、判断模块203、执行模块204、接收模块205、侦测模块206、比较模块207及更新模块208。本发明所称的模块是指一种能够被至少一个处理器32所执行并且能够完成固定功能的一系列计算机程序段，其存储在所述存储器31中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

显示模块201，用于当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法。

本较佳实施例中，客户端的摄像头实时处于工作状态，并捕获人脸图像。当摄像头捕获到人脸图像时，调用人脸检测算法检测人脸图像中的人脸区域，同时，所述显示模块201在客户端显示所检测到的人脸区域及至少一种人脸特征提取方法。

本较佳实施例中，所述人脸检测算法预先存储于客户端的本地数据库中。所述人脸检测算法包括以下一种或多种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。基于模板的人脸检测方法，首先预存储一个或多个标准人脸模板，然后计算测试样本与标准模板之间的匹配程度是否大于预先设置的阈值来判断图像中是否存在人脸。当测试样本与标准模板之间的匹配程度大于预先设置的阈值，则认为图像中存在人脸。基于人工神经网络的人脸检测方法，通过采集人脸图像样本集和非人脸图像样本集的学习来产生分类器，进而判断图像中是否存在人脸。基于肤色模型的人脸检测方法，依据人脸的肤色在色彩空间中分布相对集中的规律来进行检测，不同人在不同光照条件下的肤色分布有着相似的高斯分布。基于特征子脸的人脸检测方法，将所有人脸集合视为一个人脸子空间，通过计算检测样本与其在子空间的投影自己的距离从而判断图像中是否存在人脸。所采用的人脸检测算法均为现有技术，本文在此不再详细赘述。

本较佳实施例中，当所述客户端调用人脸检测算法检测人脸图像中的人脸区域时，首先定位出人脸图像中人脸面部关键特征点，然后在人脸图像中添加一个选择框表示裁剪出的人脸区域。一般而言，选择框的大小与人脸区域的大小接近，通常是与人脸区域的外轮廓相切，选择框的形状可以自定义，例如圆形、长方形、正方形、三角形等，该选择框又可以叫做人脸跟踪框，人脸移动时，人脸跟踪框也随之移动。

本较佳实施例中，所述至少一种人脸特征提取方法预先存储于客户端本地数据库中，所述至少一种人脸特征提取方法可以是一种人脸特征提取方法，也可以是两种及以上人脸特征提取方法，例如，第一种人脸特征提取方法、第二种人脸特征提取方法、第三种人脸特征提取方法。

本较佳实施例中，根据实际应用场景进行人脸特征提取方法的设置，例如在人脸识别门禁中，最主要的是考虑安全性，因而人脸识别精度更为紧要，则所述至少一种人脸特征提取方法可以包括：默认人脸特征提取方法、装饰物人脸特征提取方法等；在人脸识别登机中，最主要的是考虑时效性，因而人脸识别速度更为紧要，则所述至少一种人脸特征提取方法可以包括：默认人脸特征提取方法、快速人脸特征提取方法等。

所述默认人脸特征提取方法是指直接对所述人脸区域进行人脸特征提取，例如，基于主成分分析的方法、基于线性判别分析的方法等、基于神经网络的方法。所述装饰物人脸特征提取方法是指对所述人脸区域进行预处理，得到人脸处理区域，再对所述人脸处理区域进行人脸特征提取。所述装饰物可以包括眼睛、帽子、化妆等。所述快速人脸特征提取方法是相对所述默认人脸特征提取方法而言，相较于所述默认人脸特征提取方法，快速人脸特征提取方法提取人脸特征速度更快，例如，基于几何特征的人脸识别方法。

特征提取模块202，用于根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征。

本较佳实施例中，所述显示模块201在客户端显示至少一种人脸特征提取方法，用户可以自主选择一种人脸特征提取方法，也可以不做任何选择。当用户不做任何选择时，认为用户选择了默认人脸特征提取方法。

判断模块203，用于判断所述人脸特征与本地数据库中的人脸特征是否匹配。

本较佳本实施例中，客户端的本地数据库中，预先存储有至少一个用户的注册信息。所述注册信息可以包括：人脸图像、对应所述人脸图像的人脸特征、账号密码。

本较佳本实施例中，所述判断模块203将所述人脸特征与本地数据库中的多个人脸特征进行一一比对。

当所述判断模块203确定所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征不相匹配时，可以返回继续所述显示模块201。

本较佳本实施例中，如果所述判断模块203判断所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征的相似度高于预先设置的相似度阈值(例如，98％)时，则确定所述人脸特征与所述本地数据库中的人脸特征相匹配，即确定捕获到的人为已预先注册的人。如果所述判断模块203判断所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征的相似度低于所述预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征不相匹配，确定为不同的人，即确定捕获到的人为没有预先注册的人。

本较佳本实施例中，相似度的计算可以采取距离函数进行计算。所述距离函数可以包括：欧几里得距离、曼哈顿距离、明可夫斯基距离、余弦相似度、皮尔森相关系数。一个优选的技术方案是采用欧几里得距离函数计算所述人脸特征与所述本地数据库中的多个人脸特征中的每人脸特征之间的相似度。

执行模块204，用于当所述判断模块203确定所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征相匹配时，执行预设功能。

本较佳本实施例中，所述预设功能可以包括以下一种或多种的组合：允许通过、发出预设语音、显示预设画面等。

所述允许通过是指打开门禁允许用户进入。

所述预设语音可以根据实际应用场景进行设置，例如，在人脸识别考勤中，所述预设语音可以是“现在是7:30，早起的鸟儿有虫吃哦”、“现在是8:31了，请准时上班哦”。再如，在人脸识别登机中，所述预设语音可以是“旅行在外，请注意安全”。

所述预设画面可以根据实际应用场景进行设置，例如，在人脸识别考勤中，所述预设画面可以是一张笑脸图像、一张哭脸图像等。

本发明提供的基于客户端的人脸识别装置20，人脸检测、人脸特征提取及人脸识别的整个过程均在客户端中完成，不需要依赖服务器等其他设备，在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。需要理解的是，虽然人类可以很容易的从一幅图像中找出人脸，但要计算机自动地检测出人脸仍然存在一定的困难，其难点在于人脸属于非刚体模式，在运动过程中，其姿态、大小、形状都会发生变化，另外人脸本身可以存在多种形式的细节变化，如不同的肤色、脸型、表情等带来的变化，及其他外部因素的影响，如光照、人脸上的装饰物带来的遮挡等。

因而，为了便于后续提取到更具区别力的人脸特征，人脸区域需更加精确，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法时，所述基于客户端的人脸识别装置20还包括接收模块205，用于接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域。

本较佳本实施例中，所述调整操作包括：移动操作、放大操作、缩小操作、删除操作等。所述移动操作是指移动人脸区域上的选择框使得所述选择框更能框选住人脸图像中的人脸区域。所述放大操作是指对人脸区域上的选择框进行放大，使得放大后的与人脸区域的外轮廓更相切。所述缩小操作是指对人脸区域上的选择框进行缩小，使得缩小后的仅与人脸区域的外轮廓相切。所述删除操作是指当捕获到人脸图像时，可以将人脸图像中的多个人脸区域上的多个选择框进行删除，从而只保留需要进行识别的人脸区域。

更进一步地，在用户选取人脸特征提取方法之前，所述基于客户端的人脸识别装置还包括侦测模块206，用于在预设时间段内侦测用户是否选取人脸特征提取方法。当所述侦测模块206在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则所述特征提取模块202根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征。当所述侦测模块206在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，所述特征提取模块202调用默认的人脸特征提取方法提取所述人脸区域中的人脸特征。

需要说明的是，当所述侦测模块206在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，认为用户选取了所述默认人脸特征提取方法。即，用户在所述预设时间段内没有做任何选择操作时，所述侦测模块206侦测到用户选取了默认人脸特征提取方法。

在客户端显示多种人脸特征提取方法，并根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征，能够使得人脸识别更具趣味性，用户参与度更高。另外，还能提供用户根据自身实际情形选择最佳人脸特征提取的方案，例如用户在时间很赶的情况下登机，而机场采取的是人脸识别登机模式，则可以直接选取快速人脸特征提取方法，节约人脸识别时间。再如，用户为了某个重要访谈而化妆的情况下，客户端调用默认人脸特征提取方法，可能会出现人脸识别失败，此时，用户可以选择所述装饰物人脸特征提取方法。

更进一步地，当客户端确定所述人脸特征与本地数据库中的人脸特征相匹配时，所述基于客户端的人脸识别装置还包括比较模块207，用于比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；更新模块208，用于将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征，同时更新本地数据库中的人脸图像及人脸特征。

本较佳实施例中，可以通过计算图像均值或者标准差或者熵等来比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量的好坏。均值是指图像像素的平均值，反映了图像的平均亮度，平均亮度越大，图像质量越好。标准差是指图像像素灰度值相对于均值的离散程度，标准差越大，表明图像中灰度级分别越分散，图像质量越好。熵是指图像的平均信息量，图像中的信息熵越大，说明图像包含的信息越多，图像质量越好。

当当前捕获到的人脸图像的图像质量高于对应的存储于本地数据库的人脸图像的图像质量时，更新模块208将所述当前捕获到的人脸图像的人脸特征作为本地数据库中的人脸特征，同时更新模块208更新本地数据库中的人脸图像及人脸特征。当当前捕获到的人脸图像的图像质量低于对应的存储于本地数据库的人脸图像的图像质量时，则更新模块208不需要更新本地数据库中的人脸图像及人脸特征。本较佳实施例中，所述更新可以是直接覆盖或者替换本地数据库中已存储的人脸图像及人脸特征。

将图像质量高的人脸图像及对应的人脸特征存储于本地数据库中并更新本地数据库，可以进一步提高人脸识别的精确度。

综上所述，本发明所述的基于客户端人脸识别装置，当捕获到人脸图像时，显示模块201在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；特征提取模块202根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；判断模块203判断所述人脸特征与本地数据库中的人脸特征是否匹配；当判断模块203确定所述人脸特征与所述本地数据库中的人脸特征相匹配时，执行模块204执行预设功能。本发明人脸检测、人脸特征提取及人脸识别的整个过程均在客户端中完成，不需要依赖服务器等其他设备，在保证识别速度以及识别精度的情况下，能节约成本，同时，提供了较丰富的人机交互界面，提高用户体验。

另外，接收模块205接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域，人脸区域需更加精确，从而能够提取到更具区别力的人脸特征。在用户选取人脸特征提取方法之前，侦测模块206在预设时间段内侦测用户是否选取人脸特征提取方法。当所述侦测模块206在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则特征提取模块202根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征，使得用户根据自身实际情形选择最佳人脸特征提取的方案。比较模块207比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；更新模块208将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征，进一步提高了后续人脸识别的精确度。

实施例三

在本发明较佳实施例中，所述客户端3包括存储器31、至少一个处理器32、至少一条通信总线33、显示屏幕34及摄像头35。

本领域技术人员应该了解，图3示出的客户端的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述客户端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述客户端3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的客户端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器、嵌入式设备等。所述客户端3还可包括用户设备，所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述客户端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述客户端3中的基于客户端的人脸识别装置20，并在客户端3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述客户端3的控制核心(Control Unit)，利用各种接口和线路连接整个客户端3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行客户端3的各种功能和处理数据，例如执行基于客户端的人脸识别的功能。

在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31、所述至少一个处理器32、所述显示屏幕34以及摄像头35等之间的连接通信。

在一些实施例中，所述显示屏幕34可用于显示由观看者输入的信息或提供给观看者的信息以及客户端3的各种图形观看者接口，这些图形观看者接口可以由图形、文本、图标、视频和其任意组合来构成。所述显示屏幕34可包括显示面板，可选的，可以采用液晶显示屏幕(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)等形式来配置显示面板。

所述显示屏幕34还可以包括触摸面板。如果所述显示屏幕34包括触摸面板，所述显示屏幕34可以被实现为触摸屏，以接收来自观看者的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。所述显示面板与所述触摸面板可以作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将所述显示面板与所述触摸面板进行集成而实现输入和输出功能。

在一些实施例中，所述至少一个摄像头35设置有如电荷耦合(charge-coupleddevice，CCD)式的感光元件，所述感光元件可用于感测进入摄像头内的光线。在一些实施例中，所述至少一个摄像头35可以为固定式的摄像头，也可以为可旋转式的摄像头。

所述客户端3可以包括两个摄像头35。该两个摄像头35可以并排设置在所述客户端3的同一侧，用于更广范围的拍摄图像。

在其他实施例中，所述至少一个摄像头35还可以不设置在所述客户端3上，而是独立存在，通过有线或者无线的方式与所述客户端3通讯连接。

尽管未示出，所述客户端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理***与所述至少一个处理器32逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述客户端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，客户端，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中，结合图1，所述至少一个处理器32可执行所述客户端3的操作***以及安装的各类应用程序(如所述的基于客户端的人脸识别装置20)、程序代码等，例如，上述的各个模块，包括：显示模块201、特征提取模块202、判断模块203、执行模块204、接收模块205、侦测模块206、比较模块207及更新模块208。

所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块(显示模块201、特征提取模块202、判断模块203、执行模块204、接收模块205、侦测模块206、比较模块207及更新模块208)是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到大角度基于客户端的人脸识别的目的。

在本发明的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现对大角度人脸姿态的估计。

具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于客户端的人脸识别方法，应用于客户端中，其特征在于，所述方法包括：

当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；

根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

判断所述人脸特征与本地数据库中的人脸特征是否匹配；及

当确定人脸特征与本地数据库中的人脸特征相匹配时，执行预设功能。

2.如权利要求1所述的基于客户端的人脸识别方法，其特征在于，所述在根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征之前，所述方法还包括：

接收用户对所述人脸区域上的选择框的调整操作，生成人脸特征提取区域并作为最终的人脸图像中的人脸区域，

所述调整操作包括：移动操作、放大操作、缩小操作、删除操作。

3.如权利要求1所述的基于客户端的人脸识别方法，其特征在于，所述判断所述人脸特征与本地数据库中的人脸特征是否匹配包括：

将所述人脸特征与本地数据库中的多个人脸特征进行一一比对；

当判断所述人脸特征与所述本地数据库中的多个人脸特征中的任意一个人脸特征的相似度高于预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征相匹配；

当判断所述人脸特征与所述本地数据库中的多个人脸特征中的任何一个人脸特征的相似度低于所述预先设置的相似度阈值时，则确定所述人脸特征与所述本地数据库中的人脸特征不相匹配。

4.如权利要求3所述的基于客户端的人脸识别方法，其特征在于，所述在用户选取人脸特征提取方法之前，所述方法还包括：

在预设时间段内侦测用户是否选取人脸特征提取方法；

当在所述预设时间段内侦测到用户选取了人脸特征提取方法时，则根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

当在所述预设时间段内没有侦测到用户选取人脸特征提取方法时，调用默认的人脸特征提取方法提取所述人脸区域中的人脸特征。

5.如权利要求1至4中任意一项所述的基于客户端的人脸识别方法，其特征在于，当客户端确定所述人脸特征与本地数据库中的人脸特征相匹配时，所述还包括：

比较当前捕获到的人脸图像与对应的存储于本地数据库的人脸图像的图像质量；

将图像质量高的人脸图像的人脸特征作为本地数据库中的人脸特征；

更新本地数据库中的人脸图像及人脸特征。

6.如权利要求5所述的基于客户端的人脸识别方法，其特征在于，所述预设功能包括以下一种或多种的组合：

允许通过、发出预设语音、显示预设画面。

7.如权利要求6所述的基于客户端的人脸识别方法，其特征在于，

通过预先存储于客户端本地数据库中的人脸检测算法检测出所述人脸图像中的人脸区域；

所述至少一种人脸特征提取方法预先存储于客户端本地数据库中。

8.一种基于客户端的人脸识别装置，安装于客户端中，其特征在于，所述装置包括：

显示模块，用于当捕获到人脸图像时，在客户端显示所述人脸图像中被检测出的人脸区域及至少一种人脸特征提取方法；

特征提取模块，用于根据用户选取的人脸特征提取方法提取所述人脸区域中的人脸特征；

判断模块，用于判断所述人脸特征与本地数据库中的人脸特征是否匹配；及

执行模块，用于当所述判断模块确定人脸特征与本地数据库中的人脸特征相匹配时，执行预设功能。

9.一种客户端，其特征在于，所述客户端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述基于客户端的人脸识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述基于客户端的人脸识别方法。