CN103984941A - 人脸识别考勤方法及其装置 - Google Patents

Abstract

本发明提供了一种人脸识别考勤方法及其装置，通过在人脸考勤时获取人的正面与侧面人脸图像，而后对采集到的正面和侧面两个方向的人脸图像进行匹配，只有当采集到的两个角度的图片匹配成功才会转到正常的识别流程，从而有效克服利用照片虚假考勤的问题。该方案不但不影响人脸考勤机的识别准确率和效率，而且可以快速有效的克服利用照片虚假考勤的问题。

Description

人脸识别考勤方法及其装置

技术领域

本发明涉及图像识别领域，尤其是指一种人脸识别考勤方法及其装置。

背景技术

严格规范的员工考勤管理是现代企事业单位提高管理效益的重要保证,而传统的以打卡、卡钟为代表的考勤形式，存在着代打现象、计算速度慢、磁卡容易损坏或忘带、设备维修成本高等弊端，已经越来越不适合现代企事业发展的需要。

生物识别技术是通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性(如指纹、脸像、虹膜等)和行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定。如今生物识别在不断的普及，不仅成为企业首选的考勤管理***，随着生物识别技术的不断升级，其应用领域也在不断的扩展。企业考勤是企业的一大重要点，其设备的不断升级也代表着生物识别技术的不断升级。生物识别设备的兴起克服了被复制、失窃、被遗忘等一系列问题，以指纹识别、人脸识别、虹膜识别为代表的生物识别设备在各个领域都得到了广泛的应用。******是目前最成熟且价格较便宜的生物考勤设备，但是***机对环境和考勤人员皮肤的要求都很高，当空气干燥、皮肤脏、蜕皮等情况就无法识别，而且读头容易磨损。这些原因使得考勤机寿命短，维护成本高。虹膜识别设备的可靠性很好，但是造价高，无法大范围推广。

人脸识别相对于其他的生物识别方法，具有明显的优势，从而迅速成为了近年来全球的一个市场热点。人脸考勤设备的优势如下：

1)用户易接受，运用起来简单，对用户无特殊要求。

2)防伪性能好，不易伪造或被盗。

3)可以随身携带，不用担心遗漏或丢失，随时随地可用。

4)非接触，更卫生，不怕细菌传播。

5)方便快捷，识别时间少于1秒。

6)摄像头的大量普及，易于推广使用。

7)安全可靠，不涉及到个人隐私。

8)通过网络或U盘通讯。

可见，应用人脸识别考勤***能有效提高企业的考勤管理方式，规范员工考勤操作，防止出现代打卡、弄虚作假的行为，也方便有效的提高考勤效率。同时支持TCP/IP联网方式，考勤数据自动上传管理部门，管理考勤数据。广泛适用于企事业单位、中小学教育机构、酒店、会所、医院等。

然而，传统的二维图像人脸考勤机通常从正面采集人脸图像，如果作弊者使用他人的照片进行考勤，就可以起到代替他人考勤的目的，这就使得二维图像人脸考勤机失去了存在的意义。而三维图像人脸考勤机造价高、计算复杂度高，一般的消费群体没有必要选择这种花费大、速度慢的考勤设备。

发明内容

本发明所要解决的技术问题是：避免以往普通人脸考勤可靠性低及三维人脸考勤成本过高的问题，提供一种通过正面人脸图像与侧面人脸图像，通过增加人脸正面与侧面的匹配流程进而实现低成本下的高可靠性人脸考勤。

为了解决上述技术问题，本发明采用的技术方案为：一种人脸识别考勤方法，包括匹配流程及识别流程；

所述匹配流程包括步骤，

S21)于同一时刻采集目标对象的正面人脸图像与侧面人脸图像；

S22)采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；

所述识别流程包括将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息的步骤。

本发明还涉及一种人脸识别考勤装置，包括至少两组摄像头及一中央处理器；两组摄像头分别设置于人脸采集区域的两侧并与所述中央处理器相连；

所述两组摄像头分别用于采集目标对象的正面人脸图像与侧面人脸图像；

所述中央处理器用于采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；执行识别流程的将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息。

本发明的有益效果在于：通过在人脸考勤时获取人的正面与侧面人脸图像，而后对采集到的正面和侧面两个方向的人脸图像进行匹配，只有当采集到的两个角度的图片匹配成功才会转到正常的识别流程，从而有效克服利用照片虚假考勤的问题。该方案不但不影响人脸考勤机的识别准确率和效率，而且可以快速有效的克服利用照片虚假考勤的问题。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的具体示例流程图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于:在人脸识别之前，增加一个匹配识别，目的是检验正面摄像头获取的人脸图像与侧面摄像头获取的人脸图像是否为同一个人。通过分别采集待考勤人正面与侧面的人脸图像后进行匹配识别，只有当两者匹配时放进行识别，不匹配则直接返回错误信息。如果作弊者使用照片进行考勤，显然，正面扫描到的人脸图像和侧面扫描的人脸图像不是同一个人，匹配阶段无法通过，人脸考勤机拒识。这就有效的达到了防止使用照片作弊的目的。

本发明提供了一种人脸识别考勤方法，包括匹配流程及识别流程；

所述匹配流程包括步骤，

S21)于同一时刻采集目标对象的正面人脸图像与侧面人脸图像；

S22)采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；

所述识别流程包括将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息的步骤。

从上述描述可知，本发明的有益效果在于：通过在人脸识别前增加匹配流程，在人脸考勤时获取人的正面与侧面人脸图像，而后对采集到的正面和侧面两个方向的人脸图像进行匹配，只有当采集到的两个角度的图片匹配成功才会转到正常的识别流程，从而有效克服利用照片虚假考勤的问题。该方案不但不影响人脸考勤机的识别准确率和效率，而且可以快速有效的克服利用照片虚假考勤的问题。

实施例1：

上述一种人脸识别考勤方法中还包括有注册流程，该注册流程包括步骤：

S11)为目标对象分配一个ID号；

S12)采集多张目标对象的人脸图像；

S13)对采集的人脸图像进行预处理后进行人脸特征提取；

S14)将提取的人脸特征与ID号对应存入人脸库。

实施例2：

进一步的，上述注册流程中通过Adaboost算法实现步骤S13。

Adaboost算法是Paul Viola和Michael Jones于2001年提出的[10]。它是一种迭代方法，其基本思想是针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器集合起来，构成一个最终的强分类器。

实施例3：

所述匹配流程中步骤S22具体包括步骤，

S221)对正面人脸图像定义人脸模板的二维网格F。

S222)用特征向量X_i表示二维网格F中节点i附近的信息。

S223)定义中心频率不同、带宽不同、方向不同的二维Gabor滤波器，表示为G＝(g₁,g₂,...,g_m)^T。

S224)对侧面人脸图像定义二维网格F'。

S225)用特征向量X_i'表示二维网格F'中节点i附近的信息，且X_i'和X_i为同类型特征向量

S226)采用欧式距离计算向量之间的匹配值E(f)：

$\begin{array}{c}E\left(f\right)=\underset{i}{\mathrm{\Σ}}\frac{\⟨X_i,{X_i}^{\′}\⟩}{\left|\right|X_i\left|\right|\left|\right|{X_i}^{\′}\left|\right|}-{\mathrm{\λ}}_1\underset{i_1{j}_1{i}_2{j}_2}{\mathrm{\Σ}}{\left|\right|(P\left(i_1\right)-P\left(i_2\right))-(Q\left(j_1\right)-Q\left(j_2\right))\left|\right|}^2\\ -{\mathrm{\λ}}_2\underset{i,j}{\mathrm{\Σ}}\left|\right|(P\left(i\right)-Q\left(j\right))-\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}(P\left(I_k\right)-Q\left(J_k\right))\left|\right|\end{array}$

式中，P(i)为网格F中节点i在正面人脸图像中坐标，Q(j)为网格F'中各个节点在侧面人脸图像中坐标，K表示所取关键点的个数，P(I_k),Q(J_k)分别表示第k关键点在正面人脸图像和侧面人脸图像上的坐标,λ₁和λ₂为加权系数；

S227)设定阈值thresholdd；

S228)、当E(f)≥thresholdd时，匹配成功转到识别流程；当E(f)<thresholdd时，匹配失败返回错误信息。

本实施例的匹配流程中采用的是弹性匹配的方法。该方法将人脸用稀疏矩阵图表示，图中的阶段用图像位置的Gabor小波分解得到的特征向量标记，图像边缘用连接节点的距离向量标记，由于弹性匹配方法对光照、位移、尺度变化不敏感，对变形具有一定的稳定性，非常适合用于本方案的正脸与侧脸的匹配。该阶段用弹性匹配方法对正面人脸图像和侧面人脸图像进行匹配，只有成功匹配，才能进行下一步的识别阶段；否则，考勤机拒识。

实施例4：

所述识别流程具体包括步骤，

S31)对采集到的正面人脸图像进行预处理和特征提取；

所述预处理包括对图像进行光照的调整、噪声的去除、维度的统一；

所述特征提取为PAC特征提取，其主要是对人脸特征进行提取，每个对象的所有特征存储为一个一维向量作为一个训练样本，并将所有训练样本存储在一个二维矩阵中。

S32)采用基于表示分类法将采集到的正面人脸图像中的比对样本与人脸库中的测试样本进行比对，得到比对分值；

S33)比对正面人脸图像中的比对样本与人脸库中的任意两个测试样的绝对差值，若不大于第一阈值则识别失败返回错误信息，否则继续步骤；

S34)判断两个比对分值的差值是否小于第二阈值，是则识别失败返回错误信息，否则继续步骤；

S35)判断比对结果与ID号是否一致，是则继续步骤，否则识别失败返回错误信息；

本步骤中，ID号与结果的关联是通过在信息采集的过程中，已经采集到了对应人脸的ID号码。在考勤过程中，匹配阶段成功，进行识别。识别过程采用的是基于表示分类的方法，当通过了S33和S34判断，还判断识别结果是否与采集到的ID号一致，如果不一致还是无法通过考勤。

S36)考勤成功。

实施例5：

所述匹配流程中步骤S32中基于表示分类方法如下，

所述基于表示分类法为：首先利用所有训练样本的一个线性组合来表示测试样本。假设有C个类，每类有n个列向量形式的训练样本。令x₁,...,x_N为所有N个训练样本(N＝Cn)。x_(i-1)n+k代表第i个对象的第k个训练样本，i＝1,2,...,C。令列向量z表示测试样本。将来自所有类的训练样本来表示测试样本，测试样本可以近似表示为

y＝XB……(4)

其中X＝[x₁...x_N]表示训练样本,B＝[b₁...b_N]^T表示系数矩阵。(4)式的解通为

$\hat{B}={(X^{T}X+\mathrm{\&mu;I})}^{-1}{X}^{T}y......\left(5\right)$

μ是一个小的正的常数，I是单位矩阵。令，显然，如果X^TX是非奇异的，式(3)的解可以表示为下式

$\hat{B}={\left(X^{T}X\right)}^{-1}{X}^{T}y......\left(6\right)$

CRC计算第i类训练样本和测试样本之间的偏差(即比对分值r_i)为：

$r_i=\left|\right|z-X_i{\hat{B}}_i\left|\right|......\left(7\right)$

其中X_i＝[x_(i-1)*n+1...x_i*n]， ${\hat{B}}_i={[{\hat{b}}_{(i-1)*n+1}...{\hat{b}}_{i*n}]}^T$ 。如果 $k=\underset{i}{\arg \min }{r}_i,$ 那么CRC将测试样本分到第k类。

实施例6：

所述匹配流程中步骤S33中具体操作如下，

当r_i≥thresholdd1时，***拒识。因为当偏差得分大于等于thresholdd1(第一阈值)时，说明该测试样本与存在训练样本库中的对象相差太大，该测试样本的对象并不是已注册的人员；

实施例7：

所述匹配流程中步骤S34中具体操作如下，

设有p个测试样本，令r_i1,r_i2,...,r_ip分别表示第i个训练样本分别与p个测试样本的差值。那么，当|r_ia-r_ib|≤thresholdd2(1≤a≤p，1≤b≤p，thresholdd2为第二阈值，r_ia和r_ib表示第i个训练样本与任意两个测试样本的差值)时，***拒识。因为当测试样本与两个对象之间的偏差得分相差很小时，说明***区分不开这两个对象。我们设置两个阈值thresholdd1(第一阈值)和thresholdd2(第二阈值)对测不满足条件的受测者拒识。通过增加拒识功能，我们的人脸考勤机***更加安全可靠。

具体实施示例：

下面，就本专利上述方法的技术方案提供一个具体应用示例。

本方案对人脸考勤机进行改进，以克服企图利用照片进行考勤的作弊事件的发生。改进后的考勤机使用过程分三部分：注册流程、匹配流程和识别流程。下面具体说明每个流程的技术细节：

注册流程

该流程是要将所有被测对象的信息(姓名、ID号、部门等)和人脸图像(例如通常为每人10幅)事先存入考勤机内，以便之后对被测对象进行考勤和记录。这个阶段主要包括人脸检测、图像预处理、特征提取、人脸特征存入人脸库。我们采用常用的基于adaboost算法进行人脸检测。Adaboost算法是Paul Viola和Michael Jones于2001年提出的。它是一种迭代方法，其基本思想是针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器集合起来，构成一个最终的强分类器。

匹配流程

采用弹性匹配的方法。该方法将人脸用稀疏矩阵图表示，再对该图中的阶段用图像位置的Gabor小波分解得到的特征向量标记，图像边缘用连接节点的距离向量标记。弹性匹配方法对光照、位移、尺度变化不敏感，对变形具有一定的稳定性，非常适合用于本方案的正脸与侧脸的匹配。该阶段用弹性匹配方法对正面人脸图像和侧面人脸图像进行匹配，只有成功匹配，才能进行下一步的识别阶段；否则，考勤机拒识。

具体流程为：

1)用户输入自己的ID号；

2)于同一时刻采集目标对象的正面人脸图像与侧面人脸图像；

3)判断人脸是否检测成功，即是否成果采集到对象的正面人脸图像与侧面人脸图像，否则返回错误信息，是则继续；

4)采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息。

识别流程

采用基于表示的分类(RBC)方法，常规的RBC的方法也被称为“稀疏表示分类(SRC)”的方法。在众多的人脸识别方法当中，SRC受到了广泛关注。SRC方法是一个基于全体样本的方法，其基本思想是使用全部训练样本的稀疏线性组合来表示给定的测试样本，稀疏非零表示系数假定应集中于测试样本真实类别标签处。经证实SRC方法在识别人脸方面十分有效,而且对于表情变化、光照条件以及脸部遮挡都具有相当的鲁棒性。在人脸识别问题中，常用的RBC包括基于是范数最小化的分类、基于范数最小化的分类、基于范数最小化的分类。其中，基于范数最小化约束的RBC有两种类型。一种是利用来自所有类的训练样本来表示测试样本，如：协作表示分类(CRC)；另一种利用来自每类的训练样本分别来表示测试样本，如：线性回归分类(LRC)。这两种方法最后都是利用表示结果来进行分类。基于范数最小化的分类以其计算复杂度小、精确度高等优点被广泛应用。

具体流程为：

5)对采集到的正面人脸图像进行预处理和特征提取；

6)与人脸库进行比对，得到比对分值；

7)判断比对分值是否不小于第一阈值，是则识别失败返回错误信息，否则继续步骤；

8)判断比对分值的差值是否小于第二阈值，是则识别失败返回错误信息，否则继续步骤；

9)判断比对结果与ID号是否一致，是则继续步骤，否则识别失败返回错误信息；

10)考勤成功。

本发明还涉及一种人脸识别考勤装置，包括至少两组摄像头及一中央处理器；两组摄像头分别设置于人脸采集区域的两侧并与所述中央处理器相连；

所述两组摄像头分别用于采集目标对象的正面人脸图像与侧面人脸图像；

所述中央处理器用于采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；执行识别流程的将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息。

必要时上述装置还可配备一个显示屏，用于显示正面和侧面的人脸图像和处理一系列操作指令。一种典型的方案，改进后的人脸考勤机可设计为在倾斜的平板侧面有安装一个垂直于地面的平板，并在上面安装了摄像头。可以同时采集正面和侧面两个方向的人脸图像，并显示在显示屏上。

改进后的人脸考勤装置有如下几个特点：

(1)同时采集正面和侧面两个方向的人脸图像，并进行匹配。防止通过照片欺骗考勤机从而作弊的现象。

(2)显示屏可以同时显示正面和侧面的人脸图像，使受测者看到摄像头是否清楚的采集到自己的面部图像。

(3)人脸识别结果将显示在屏幕上，并将考勤结果记录在数据库中。

(4)装有红外摄像头和屏幕的平板是倾斜的，不论用户是高是低，都需要稍稍低头向下看摄像头，即可完整的采集到人脸图像。

(5)立柱中装有单片机，用来进行图像数据存储和图像数据处理，方便维修和升级。

(6)管理者可以通过无线网络或者U盘的方式对处理信息进行保存，方便管理。

综上所述，本发明提供了一种可克服人脸考勤设备作弊的人脸识别考勤方法及装置，通过在人脸考勤机已有的技术上增加匹配识别功能，使得作弊者无法使用照片进行虚假考勤。该改进方案在考勤机的侧面增加一个摄像头，同时采集考勤者正面和侧面的图像。首先，考勤机要进行人脸匹配，确保采集到的正面人脸图像和侧面人脸图像是同一个人。匹配成功后，考勤机将正面采集到的人脸图像与人脸库进行比对。比对过程中不仅对非注册人员进行拒识，还对与两个对象之间的偏差得分相差很小的对象进行拒识，从而保证了人脸考勤机安全、高效的进行考勤。经改进的人脸识别不仅安全、可靠，而且计算效率高，更加方便实用。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种人脸识别考勤方法，其特征在于：包括匹配流程及识别流程；

所述匹配流程包括步骤，

S21)于同一时刻采集目标对象的正面人脸图像与侧面人脸图像；

S22)采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；

所述识别流程包括将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息的步骤。

2.如权利要求1所述的人脸识别考勤方法，其特征在于：还包括注册流程；所述注册流程包括步骤，

S11)为目标对象分配一个ID号；

S12)采集多张目标对象的人脸图像；

S13)对采集的人脸图像进行预处理后进行人脸特征提取；

S14)将提取的人脸特征与ID号对应存入人脸库。

3.如权利要求2所述的人脸识别考勤方法，其特征在于：所述注册流程中通过Adaboost算法实现步骤S13。

4.如权利要求1所述的人脸识别考勤方法，其特征在于：所述匹配流程中步骤S22具体包括步骤，

S221)对正面人脸图像定义人脸模板的二维网格F；

S222)用特征向量Xi表示二维网格F中节点i附近的信息；

S223)定义中心频率不同、带宽不同、方向不同的二维Gabor滤波器，表示为G＝(g₁,g₂,...,g_m)^T；

S224)对侧面人脸图像定义二维网格F'，

S225)用特征向量X_i'表示二维网格F'中节点i附近的信息，且X_i'和X_i为同类型特征向量

S226)采用欧式距离计算向量之间的匹配值E(f)：

$\begin{array}{c}E\left(f\right)=\underset{i}{\mathrm{\&Sigma;}}\frac{\&lang;X_i,{X_i}^{\&prime;}\&rang;}{\left|\right|X_i\left|\right|\left|\right|{X_i}^{\&prime;}\left|\right|}-{\mathrm{\&lambda;}}_1\underset{i_1{j}_1{i}_2{j}_2}{\mathrm{\&Sigma;}}{\left|\right|(P\left(i_1\right)-P\left(i_2\right))-(Q\left(j_1\right)-Q\left(j_2\right))\left|\right|}^2\\ -{\mathrm{\&lambda;}}_2\underset{i,j}{\mathrm{\&Sigma;}}\left|\right|(P\left(i\right)-Q\left(j\right))-\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}(P\left(I_k\right)-Q\left(J_k\right))\left|\right|\end{array}$

式中，P(i)为网格F中节点i在正面人脸图像中坐标，Q(j)为网格F'中各个节点在侧面人脸图像中坐标，K表示所取关键点的个数，P(I_k),Q(J_k)分别表示第k关键点在正面人脸图像和侧面人脸图像上的坐标,λ₁和λ₂为加权系数；

S227)设定阈值thresholdd；

S228)、当E(f)≥thresholdd时，匹配成功转到识别流程；当E(f)<thresholdd时，匹配失败返回错误信息。

5.如权利要求1所述的人脸识别考勤方法，其特征在于：所述识别流程具体包括步骤，

S31)对采集到的正面人脸图像进行预处理和特征提取；

S32)采用基于表示分类法将采集到的正面人脸图像中的比对样本与人脸库中的测试样本进行比对，得到比对分值；

S33)比对正面人脸图像中的比对样本与人脸库中的任意两个测试样的绝对差值，若不大于第一阈值则识别失败返回错误信息，否则继续步骤；

S34)判断两个比对分值的差值是否小于第二阈值，是则识别失败返回错误信息，否则继续步骤；

S35)判断比对结果与ID号是否一致，是则继续步骤，否则识别失败返回错误信息；

S36)考勤成功。

6.一种人脸识别考勤装置，其特征在于：包括至少两组摄像头及一中央处理器；两组摄像头分别设置于人脸采集区域的两侧并与所述中央处理器相连；

所述两组摄像头分别用于采集目标对象的正面人脸图像与侧面人脸图像；

所述中央处理器用于采用弹性匹配法比较正面人脸图像与侧面人脸图像，若匹配成功则转到识别流程，匹配失败则返回错误信息；执行识别流程的将采集的正面人脸图像与人脸库中数据进行比对，若比对一致则考勤成功，失败则返回错误信息。