CN103605971A - 一种捕获人脸图像的方法及装置 - Google Patents

Abstract

本发明公开了一种捕获人脸图像的方法，包括：获取目标人脸图像；将获取的目标人脸图像进行正面人脸检测，判断获取的目标人脸图像是否为正面人脸图像；若获取的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像；若保存的目标人脸图像不是正面人脸图像，则将保存的目标人脸图像替换为获取的目标人脸图像。本发明方法方法能够根据获取到的目标人脸图像进行正面人脸图像检测，将保存的非正面的目标人脸图像替换为检测到的正面的目标人脸图像，以确保获得正面的目标人脸图像，解决人脸捕获***不能够自动识别正面人脸图像，难以确保捕获得到的人脸图像为正面人脸图像的问题。

Description

一种捕获人脸图像的方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种捕获人脸图像的方法及装置。

背景技术

近年来，随着“智慧城市”、“平安城市”等国家战略项目的推进，公安机关维护社会治安与服务民生的能力的提高，充分采用当今高清化、网络化、智能化的监控新技术建设各类视频监控***成为一种趋势。人脸捕获设备开始被大量应用在城中村、智能小区、商业楼宇、工矿企业等场所的出入口，对进出人员的人脸进行捕获。

传统的人脸捕获***在人脸碰监控线或者离开监控区域的时候才进行捕获，捕获到的人脸图像数量少，经常出现捕获到的人脸图像不是正面人脸图像的情况。而且，传统的人脸捕获***没有正面人脸图像识别机制，不能够自动识别正面人脸图像，难以满足捕获正面人脸图像的要求。

发明内容

本发明提供一种捕获人脸图像的方法，该方法能够根据获取到的目标人脸图像进行正面人脸图像检测，将保存的非正面的目标人脸图像替换为检测到的正面的目标人脸图像，以确保获得正面的目标人脸图像，解决人脸捕获***不能够自动识别正面人脸图像，难以确保捕获得到的人脸图像为正面人脸图像的问题。

本发明第一方面提供一种捕获人脸图像的方法，包括：

获取目标人脸图像；

将所述获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

若所述获取的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像；

若所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

结合本发明第一方面，在第一方面的第一种可能实现的方式中，在所述获取目标人脸图像之后，所述方法还包括：

将所述获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度；

在所述判断所述获取的目标人脸图像是否为正面人脸图像之后，若所述获取的目标人脸图像为正面人脸图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

当比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

结合本发明第一方面的第一种可能实现的方式，在第一方面的第二种可能实现方式中，在所述将获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像之后，所述方法还包括：

若所述获取的目标人脸图像不是正面人脸图像，则判断所述保存的目标人脸图像是否为正面人脸图像；

若所述保存的目标人脸图像不是正面人脸的图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

若所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

结合本发明第一方面、第一方面的第一种或第二种可能实现的方式，在第一方面的第三种可能实现方式中，在所述获取目标人脸图像之前，所述方法还包括：

采集监控环境图像；

从所述监控环境图像中检测出人脸图像；

根据检测出的人脸图像，更新跟踪序列中的人脸图像；

在更新所述跟踪序列中的人脸图像之后，对所述跟踪序列中的目标进行基于金字塔的LK跟踪；

利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像；

所述获取目标人脸图像，包括：

在利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像之后，从所述跟踪序列中获取目标人脸图像。

结合本发明第一方面的第三种可能实现的方式，在第一方面的第四种可能实现方式中，所述从所述监控环境图像中检测出人脸图像，包括：

从所述监控环境图像中提取前景区域，将前景区域扩大至预设的大小；

在扩大后的前景区域中进行基于haar特征的adaboost算法的人脸检测，获得人脸区域；

对所述人脸区域进行肤色匹配，将所述人脸区域中不能通过肤色匹配的区域删除；

对所述人脸区域进行HOG验证，将所述人脸区域中不能通过HOG验证的区域删除；

在将所述人脸区域中不能通过肤色匹配的人脸图像区域和不能通过HOG验证的人脸图像区域删除之后，检测得所述人脸区域的图像。

结合本发明第一方面的第三种可能实现的方式，在第一方面的第五种可能实现方式中，在所述对所述跟踪序列中的目标进行基于金字塔的LK跟踪之后，所述方法还包括：

在所述对所述跟踪序列中的目标进行基于金字塔的LK跟踪之后，确定所述跟踪序列中不能跟踪到的目标，将所述人脸容器中不能跟踪到的目标对应的人脸图像输出；

或者，当跟踪列表中的目标被删除时，将所述人脸容器中被删除的目标对应的人脸图像输出。

结合本发明第一方面、第一方面的第一种或第二种可能实现的方式，在第一方面的第六种可能实现方式中，所述将获取的人脸图像进行正面人脸检测，判断所述获取的人脸图像是否为正面人脸图像，包括：

将所述人脸图像进行眼睛检测；

若检测到眼睛，则判断所述人脸图像为正面人脸图像。

结合本发明第一方面的第六种可能实现的方式，在第一方面的第七种可能实现方式中，所述将所述人脸图像进行眼睛检测之后，还包括：

若检测不到眼睛，则将所述人脸图像进行鼻子检测和嘴巴检测；

若检测到鼻子和嘴巴，则判断所述人脸图像为正面人脸图像。

本发明第二方面提供一种捕获人脸图像的装置，包括：

获取单元，用于获取目标人脸图像；

人脸检测单元，用于将所述获取单元获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

判断单元，用于若所述人脸检测单元判断所述获取的目标人脸图像为正面人脸图像，则判断保存的目标人脸图像是否为正面人脸图像；

替换单元，用于若所述判断单元判断所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

结合本发明第二方面，在第二方面的第一种可能实现的方式中，所述装置还包括：

清晰度检测单元，用于将所述获取单元获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度；

比较单元，用于在所述判断单元判断所述保存的目标人脸图像是正面人脸图像，将所述清晰度检测单元获得的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

替换单元还用于当所述比较单元获得的比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

本发明方法能够识别正面的目标人脸图像，将人脸容器中非正面的目标人脸图像替换为获取到的正面的目标人脸图像，提高了捕获正面的人脸图像的几率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种捕获人脸图像的方法流程示意图；

图2是本发明提供的另一种捕获人脸图像的方法流程示意图；

图3是本发明提供的又一种捕获人脸图像的方法流程示意图；

图4是本发明实施例3中步骤308和309具体实施流程图；

图5是本发明提供的一种捕获人脸图像的装置结构示意图；

图6是本发明提供的另一种捕获人脸图像的装置结构示意图；

图7是金字塔LK跟踪的步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例1提供一种捕获人脸图像的方法，可以应用于监控***，特别是需要进行人脸捕获的监控***，所述方法具体包括：

101、获取目标人脸图像。

这里的目标可以为进入监控范围的人员。例如，监控***可以采集监控范围内的监控环境图像，通过人脸检测技术，从监控环境图像中检测出进入监控范围的人员的人脸图像。当然，监控***可以对在监控范围内的人员进行跟踪，并多次采集人员的人脸图像。

102、将所述获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像。

103、若所述获取的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像。

104、若所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

在本发明实施例中，步骤102是监控***对获取的目标人脸图像进行正面人脸识别的步骤，当获取到的是正面的目标人脸图像时，而且当人脸容器中的目标人脸图像不是正面人脸图像时，则将人脸容器中非正面的目标人脸图像替换为获取的目标人脸图像，从而确保获得正面的目标人脸图像，解决人脸捕获***不能够自动识别正面人脸图像，难以确保捕获得到的人脸图像为正面人脸图像的问题，提高了捕获正面的人脸图像的几率。

如图2所示，本发明实施例2提供一种捕获人脸图像的方法，所述方法具体包括：

201、获取目标人脸图像。

202、将所述获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像。

203、若所述获取的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像。

204、若所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

步骤201至204与实施例1中的步骤101至104相同，这里不再赘述。

在执行步骤201之后，还可以执行步骤205。

205、将所述获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度。

在执行完步骤203和205之后，执行步骤206。

206、若所述保存的目标人脸图像是正面人脸图像，将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较。

在执行步骤205和206之后，执行步骤207。

207、当比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

在本实施例2中，当获取的目标人脸图像为正面人脸图像时，而且当获取的目标人脸图像的清晰度高于人脸容器中保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像，从而可以确保获取到清晰度高的正面人脸图像。

在本实施例2中，在所述将获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像之后，所述方法还可以包括：

若所述获取的目标人脸图像不是正面人脸图像，则判断所述保存的目标人脸图像是否为正面人脸图像；

若所述保存的目标人脸图像不是正面人脸的图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较，

若所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

即当获取的目标人脸图像和人脸容器中保存的目标人脸图像都不是正面人脸图像时，若获取的目标人脸图像的清晰度高于保存的目标人脸图像的清晰度，则仍然可以将保存的目标人脸图像替换为获取的目标人脸图像，使得在没有获取到目标的正面人脸图像时，至少可以获得比较清晰的目标人脸图像。

此外，在本实施例2的步骤202中，将获取的人脸图像进行正面人脸检测，判断所述获取的人脸图像是否为正面人脸图像，具体可以包括：将所述人脸图像进行眼睛检测；若检测到眼睛，则判断所述人脸图像为正面人脸图像。若检测不到眼睛，则将所述人脸图像进行鼻子检测和嘴巴检测；若检测到鼻子和嘴巴，则判断所述人脸图像为正面人脸图像。

以下结合具体应用场景，对本发明做进一步详细说明。

例如，将监控***的摄像头安装于建筑物出入口，摄像头可以监控从外部向出入口方向行进的人。如图3所示，本发明实施例3提供一种捕获人脸图像的方法，包括：

301、采集监控环境图像。

监控***通过摄像头采集到的图像即为监控环境图像。

302、从所述监控环境图像中提取前景区域。

在步骤302中，可以使用背景减除建模方法从所述目标的图像中提取前景区域，具体可以使用基于视觉背景抽取算法(Visual Background extractor，ViBe)的背景建模方法。当前景区域的面积大于设定的阈值时，执行步骤203。

303、将前景区域扩大至预设的大小。

例如，将前景区域分别向上或向下扩大高度的25％，向左向右扩大宽度的25％。

304、在扩大后的前景区域中进行基于哈尔haar特征的adaboost算法的人脸检测，获得人脸区域。

提取前景区域的Haar特征，使用基于Adaboost算法训练得到的人脸Haar特征的强分类器对前景区域进行多尺度搜索，得到具有人脸特征的区域。判断该人脸区域的大小是否符合预设大小，若不符合预设大小，则将该人脸区域删除，若符合预设大小，则保留该人脸区域。简而言之，可以将检测到的过大或过小的人脸都删除，保留大小适中的人脸。

Adaboost算法是一种分类器算法，其基本思想是利用大量的分类能力一般的简单分类器通过一定的方法叠加起来，构成一个分类能力很强的强分类器，再将若干个强分类器串联成为分级分类器完成图像搜索检测。串联的级数依赖于***对错误率和识别速度的要求首先要生成强分类器。本发明中利用级联的Adaboost算法对Haar特征和方向梯度直方图(Histogram ofGradient，HOG)特征进行训练，然后采用最小允许检测率和最大允许误检率作为强分类器迭代停止依据，当每一层的强分类器的和都达到训练前的设定值时，该级训练即完成。下一层强分类器的训练负样本将从该层中被错误分类的负样本中产生。将Adaboost算法形成的强分类器进行级联，即得到一个良好的级联强分类器。

模型训练过程如下：

1、使用摄像头在各个时段和天气条件下拍摄并储存大量大厦出入口的人员进出视频。在这些视频中，人工截取出人脸图像，眼睛图像，鼻子图像以及嘴巴图像作为正样本，人工截取出非人脸图像，非眼睛图像，非鼻子图像和非嘴巴图像作为负样本。

2、使用Haar特征对每一幅人脸正、负样本进行表征，形成人脸Haar特征向量。

3、使用Haar特征对每一幅人的眼睛正、负样本进行表征，形成人的眼睛Haar特征向量。

4、使用Haar特征对每一幅人的鼻子正、负样本进行表征，形成人的鼻子Haar特征向量。

5、使用Haar特征对每一幅人的嘴巴正、负样本进行表征，形成人的嘴巴Haar特征向量。

6、使用HOG特征对每一幅人脸正、负样本进行表征，形成人脸HOG特征向量。

7、利用级联的Adaboost算法分别对2、3、4、5和6提取的特征进行训练，最后获得人脸的Haar特征模型，人的眼睛的Haar特征模型，人的鼻子的Haar特征模型，人的嘴巴的Haar特征模型和人脸的HOG特征模型，

305、对所述人脸区域进行肤色匹配，将所述人脸区域中不能通过肤色匹配的区域删除。

例如，在进行肤色匹配过程中，可以应用红绿蓝RGB颜色模型，计算肤色点。具体计算公式如下：

其中m是均值，C是协方差，x＝(r，b)^T。根据上式计算可以得到一副图像中每个像素属于皮肤的概率，进而通过肤色过滤掉人脸检测中的部分误检。

306、对所述人脸区域进行HOG验证，将所述人脸区域中不能通过HOG验证的区域删除。

在HOG验证过程中，将提取人脸区域的HOG特征进行验证。HOG特征是灰度图的梯度统计信息，梯度主要存在于边缘的地方。可以根据如下公式计算梯度，获得HOG特征。

图像的一阶梯度的大小为：

$R(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y-1)-I(x,y+1))}^2},$

梯度方向为：

Ang(x，y)=arccos(I(x+1，y)-I(x-1，y)／R)。

直方图方向为9个，将每个分块中所有像素的一维梯度直方图累加到其中，就形成了最终的HOG特征。

307、在将所述人脸区域中不能通过肤色匹配的区域删除以及将不能通过HOG验证的区域删除之后，获得所述人脸区域的图像。

步骤307中的所述人脸区域的图像即为从所述监控环境图像中检测出的人脸图像。

经过上述步骤中的基于haar特征的adaboost算法的人脸检测、肤色匹配和HOG验证之后，可以确定目标的人脸区域，即获得目标人脸图像。因此，步骤301至307是从监控环境图像中检测出人脸图像的执行步骤。

308、根据从所述监控环境图像中检测出的人脸图像，更新所述跟踪序列中的人脸图像。

在从监控环境图像中检测出人脸图像之后，根据目标人脸图像，监控***将对目标进行跟踪。其中，跟踪序列为记录被跟踪目标人脸图像的结构体变量。具体的跟踪步骤可以参照步骤308。

关于跟踪序列的更新，下面进行简单介绍。

跟踪序列的更新包括对跟踪的目标进行添加和删除两部分：

添加部分：在步骤307之后，如果跟踪序列为空，依次把检测到的人脸图像添加到跟踪序列中。如果跟踪序列不为空，计算检测到的人脸图像与跟踪序列各最终位置的两两相交面积比例，并做相应标记。遍历跟踪序列后，如果检测到的人脸图像与跟踪目标有相交，添加人脸Haar检测结果为相交跟踪目标的最终位置。如果与跟踪目标没有相交，添加人脸Haar检测结果为新的跟踪目标。

删除部分：如果监控***连续未检测帧数大于设定的删除帧数，或在最开始的连续4帧内被检测到的帧数小于2，即只在第一帧被检测到，但后面连续三帧检测不到，该被跟踪的目标将从跟踪序列中删除。当然，这里只是举一例子，具体如何删除，可以根据用户的实际要求进行设定。

309、在更新所述跟踪序列中的人脸图像之后，对所述跟踪序列中的目标进行基于金字塔的LK(Lucas Kanade)跟踪，利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像。

具体的，在将目标加入跟踪序列之后，对目标进行金字塔LK跟踪，并利用LK跟踪的结果更新跟踪序列。对于每个跟踪目标，如果LK跟踪失败就把该目标删除。如果跟踪成功，根据金字塔LK跟踪最终位置修正跟踪序列中该目标的位置信息。

金字塔LK算法是一种有效的跟踪算法，其从金字塔的最高层(细节最小)开始向金字塔的低层(丰富的细节)进行跟踪，允许小窗口捕获较大的运动。金字塔LK跟踪的步骤如下：

a)前一帧与当前帧做一次LK跟踪，从前一帧提取角点(Comer points)pts0进行跟踪得到当前帧的角点ptsl。

b)当前帧与前一帧做一次LK反跟踪，根据当前帧角点ptsl跟踪得到前一帧的角点pts2。

c)对于pts0与ptsl，每一对匹配的点，框出5x5的区域进行归一化互相关(Normalized Cross Correlation，NCC)匹配，所有点匹配完成后，计算出中值。NCC匹配是一种抗噪声能力强且匹配准确的匹配算法。NCC的计算可以表示为：

$\mathrm{NCC}=\frac{{\mathrm{\Σ}}_{x,y}(f(x,y)-{\stackrel{\‾}{f}}_{u,v})(t(x-u,y-v)-\stackrel{\‾}{t})}{\sqrt{{\mathrm{\Σ}}_{x,y}{(f(x,y)-{\stackrel{\‾}{f}}_{u,v})}^2{(t(x-u,y-v)-\stackrel{\‾}{t})}^2}}$

其中f(x，y)是大小为M_x×M_y图像在的(x，y)点的灰度值，t(x，y)是大小为N_x×N_y模板图像在的(x，y)点的灰度值，是图像的平均值，可以表示为：

${\stackrel{\‾}{f}}_{u,v}=\frac{1}{N_x{N}_y}\underset{x=u}{\overset{u+N_x-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+M_y-1}{\mathrm{\Σ}}}f(x,y)$

d)角点pts0与pts2之间计算对应点的欧氏距离，所有点的距离计算完成后，计算出中值。两个点(x₁，y₁)与(x₂，y₂)的欧氏距离可以表示为：

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

e)结合c)与d)的结果，对于ptsl中大于NCC匹配中值并且小于距离中值的点认为是跟踪有效点。

f)如果经过步骤e)后剩下的点数足够(例如，大于特征点数的10％)，预测该人脸在当前帧的位置。

g)如果没有足够点数，则删除跟踪目标；如果有足够点数，则判断预测位置是否在图像范围内。

h)如果预测位置不在图像范围内，则删除跟踪目标；如果预测位置在图像范围内，根据金字塔LK跟踪最终位置修正跟踪序列中该目标的位置信息。

310、将所述获取的目标人脸图像进行清晰度检测和正面人脸检测。

具体的，将所述获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度，以及将所述获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸的图像。

311、当所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，而且当获取的目标人脸图像为正面人脸图像时，将人脸容器中保存的目标人脸图像替换为所述获取的目标人脸图像。

应用本发明实施例，监控***通过基于金字塔LK跟踪算法跟踪目标，能够全程多次捕获人脸图像，捕获到的人脸图像数量多，增加了捕获到清晰且正面的人脸图像几率。

在本实施例中，监控***输出目标人脸图像可以包括以下两种形式。具体的，在所述对所述跟踪序列中的目标进行基于金字塔的LK跟踪之后，确定所述跟踪序列中不能跟踪到的目标，将所述人脸容器中不能跟踪到的目标对应的人脸图像输出；或者，当跟踪列表中的目标被删除时，将所述人脸容器中被删除的目标对应的人脸图像输出。

具体的，人脸图像输出的条件可以为跟踪列表中的目标要被删除或者LK跟踪失败。例如，当连续未检测帧数大于设定的删除帧数，或在最开始的连续4帧内被检测到的帧数小于2时，或者当LK跟踪失败时，输出人脸容器中的人脸图像。

因此，当一个目标满足输出条件时，则监控***从人脸容器输出人脸图像，同时可以停止对该目标的持续跟踪。换而言之，当监控***无法跟踪到目标后，即可以输出人脸容器中的该目标人脸图像。当目标不满足输出条件时，则监控***持续跟踪该目标，在跟踪过程中，不断通过清晰度和正面检测，更新人脸容器中目标人脸图像，以寻找到更清晰的正面人脸图像。

上述步骤310和311涉及人脸清晰度检测和正面人脸检测、图像输出，还需要进行详细说明。如图4所示，图4是步骤310和311所包括步骤的实施流程图。具体的，在步骤310中，将所述目标人脸图像进行正面人脸检测，判断所述目标人脸图像是否为正面人脸的图像的步骤可以包括：

401、对目标人脸图像进行眼睛检测。

例如，对目标人脸图像进行基于adaboost算法的眼睛检测。

402、判断是否检测到眼睛。若检测到眼睛，则执行步骤403。若没有检测到眼睛，则执行步骤404。

403、使用肤色检测确定眼眶区域。在确定眼眶区域之后，执行步骤406。

404、对人脸图像进行鼻子检测，以及对人脸图像进行嘴巴检测。当然，这里也可以使用基于adaboost算法分别进行鼻子和嘴巴检测。

405、判断是否检测到鼻子和嘴巴。若检测到鼻子和嘴巴，则执行步骤406。若没有检测到鼻子和嘴巴，则执行步骤407。

406、将人脸图像进行人脸分割。

在执行步骤406之后，执行步骤408。

407、在对眼睛，鼻子和嘴巴检测失败后，使用基于adaboost人脸模型检测获得的人脸图像。其中，对眼睛，鼻子和嘴巴检测失败表面目标人脸图像并非正面人脸图像。在执行步骤407之后，执行步骤408。

步骤309中的将所述目标人脸图像进行清晰度检测的步骤可以包括步骤408。具体的，

408、通过小波变换的结果评价目标人脸图像的清晰度。

例如，为了满足算法的实时性和低复杂度，只对图像进行一层小波变换，数学原型如下：

LL频带，该频带保持了原始图像内容信息，图像的能量集中于此频带，即

$f_2^0(m,n)=<f_1(x,y),\mathrm{\&phi;}(x-2m,y-2n)>$

HL频带，该频带保持了图像水平方向上的高频边缘信息，即

$f_2^1(m,n)=<f_1(x,y),{\mathrm{\&psi;}}^1(x-2m,y-2n)>$

LH频带，该频带保持了图像竖直方向上的高频信息，即

$f_2^{\text{2}}(m,n)=<f_1(x,y),{\mathrm{\&psi;}}^2(x-2m,y-2n)>$

HH频带，该频带保持了图像在对角线方向上的高频信息，即

$f_2^3(m,n)=<f_1(x,y),{\mathrm{\&psi;}}^3(x-2m,y-2n)>$

脸部的细节属于高频部分，故LL频带清零，其他保留。把HL频带，LH频带和HH频带得到的分量相加，得到一个当前图像的分数。该分数可以用于评价图像的清晰度，图像的分数越高，图像越清晰。

上述步骤310可以包括如下步骤：

409、判断目标人脸图像是否是第一次出现在监控***中。即判断当前监控***中是否已保存有在此之前采集的目标人脸图像。

若目标人脸图像是第一次出现在监控***中，即当前监控***中未保存有在此之前采集的目标人脸图像，则执行步骤410。

若目标人脸图像不是第一次出现在监控***中，即当前监控***中保存有在此之前采集的目标人脸图像，则执行步骤411。

410、将目标人脸图像添加到人脸容器中。

411、判断目标人脸图像是否为正面人脸的图像。

若判断目标人脸图像是正面人脸的图像，则执行步骤412。

412、判断人脸容器中的目标人脸图像是否为正面人脸的图像。即判断已保存的目标人脸图像是否为正面人脸的图像。

若判断人脸容器中的图像是正面图像，即判断已保存的所述目标人脸图像是正面人脸的图像，则执行步骤413。

若判断人脸容器中的图像不是正面图像，则直接执行步骤414。

413、判断目标人脸图像是否比人脸容器中的目标人脸图像清晰。即将目标人脸图像与人脸容器中的目标人脸图像进行清晰度比较。

若目标人脸图像比人脸容器中的目标人脸图像清晰，则执行步骤414。

414、将人脸容器中的目标人脸图像替换为目标人脸图像。

在执行步骤411后，若判断目标人脸图像不是正面人脸的图像，则执行步骤415。

415、判断人脸容器中的目标人脸图像是否为正面人脸的图像。

若人脸容器中的目标人脸图像不是正面人脸的图像，则返回执行步骤413，直至执行结束。

若人脸容器中的目标人脸图像是正面人脸的图像，则执行结束。

在上述步骤中，已保存的所述目标人脸图像存储在人脸容器中。当监控***通过跟踪目标获得的人脸图像是正面人脸图像，而且比人脸容器中的目标人脸图像清晰时，将更新人脸容器中的目标人脸图像。

在上述步骤中，图像是否为正面人脸的图像是基于眼睛检测、鼻子检测和嘴巴检测的结果进行判断的。例如，对人脸区域的上半部分进行adaboost眼睛检测，如果能检测到两个眼睛，可以判定人脸是正面的。然后对眼睛区域进行二次肤色匹配，把与皮肤颜色相似的像素设置为0，则剩下的区域就是眼眶以及眼珠。判断两个眼眶的连线是否水平，如果不水平把图像进行水平旋转校正。按用户设定的照片规格把左右两个眼睛放在指定的位置上。简而言之，可以基于眼睛检测判断图像是否为正面人脸的图像，如果检测到两个眼睛，即判断图像为正面人脸的图像。

有些情况下，行人可能戴了墨镜，或者帽子过长挡住了眼睛。如果不能检测到眼睛，对人脸区域进行adaboost鼻子检测和对人脸区域进行adaboost嘴巴检测。如果能检测到鼻子和嘴巴，也可以判断当前的图像是正面人脸的图像。按鼻子和嘴巴连线判断人脸是否正，如果不正就旋转调整。按用户设定的照片规格把鼻子和嘴巴放在指定的位置上。

本发明实施例通过基于金字塔LK算法跟踪目标，可以在监控范围内全程捕获人脸图像，捕获到的人脸图像数量多，而且能够自动识别正面的人脸图像以及人脸图像的清晰度，通过与人脸容器中的目标人脸图像进行对比，当获取的目标人脸图像是正面人脸图像而且清晰度高于人脸容器中的目标人脸图像时，将人脸容器中的目标人脸图像替换为获取的目标人脸图像，从而提高捕获到正面且清晰的人脸图像的几率。另外，当监控***确定了跟踪序列中不能跟踪到的目标或者当跟踪列表中的目标被删除时，将不能跟踪到的目标或被删除的目标对应的人脸容器中的人脸图像输出，为用户获取清晰且正面的图像提供了方便。

如图5所示，本发明实施例4提供一种捕获人脸图像的装置501，包括：

获取单元502，用于获取目标人脸图像；

人脸检测单元503，用于将所述获取单元502获取到的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

判断单元504，用于若所述人脸检测单元503获取到的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像；

替换单元505，用于若所述判断单元504判断所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

应用本发明装置，能够确保获得正面的目标人脸图像，解决人脸捕获***不能够自动识别正面人脸图像，难以确保捕获得到的人脸图像为正面人脸图像的问题，提高捕获正面的人脸图像的几率。

如图6所示，本发明实施例5提供一种捕获人脸图像的装置601，包括：

获取单元602，用于获取目标人脸图像；

人脸检测单元603，用于将所述获取单元602获取到的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

判断单元604，用于若所述人脸检测单元603获取到的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像；

替换单元605，用于若所述判断单元604判断所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像；

清晰度检测单元606，用于将所述获取单元602获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度；

比较单元607，用于在所述判断单元604判断所述保存的目标人脸图像是正面人脸图像，将所述清晰度检测单元606获得的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较。

其中，替换单元605还用于当所述比较单元607获得的比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

优选的，所述判断单元604还用于在所述人脸检测单元603判断所述获取的目标人脸图像不是正面人脸图像时，则判断所述保存的目标人脸图像是否为正面人脸图像，

所述比较单元607还用于若所述判断单元604判断所述保存的目标人脸图像不是正面人脸图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

所述替换单元605还用于若所述比较单元607比较的结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

优选的，所述获取单元602还用于：

在所述获取目标人脸图像之前，采集监控环境图像；

从所述监控环境图像中检测出人脸图像；

根据检测出的人脸图像，更新跟踪序列中的人脸图像；

在更新所述跟踪序列中的人脸图像之后，对所述跟踪序列中的目标进行基于金字塔的LK跟踪；

利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像；

在利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像之后，从所述跟踪序列中获取目标人脸图像。

优选的，优选的，所述获取单元602用于从所述监控环境图像中检测出人脸图像，包括：

用于：从所述监控环境图像中提取前景区域，将前景区域扩大至预设的大小；

在扩大后的前景区域中进行基于haar特征的adaboost算法的人脸检测，获得人脸区域；

对所述人脸区域进行肤色匹配，将所述人脸区域中不能通过肤色匹配的区域删除；

对所述人脸区域进行HOG验证，将所述人脸区域中不能通过HOG验证的区域删除；

在将所述人脸区域中不能通过肤色匹配的人脸图像区域和不能通过HOG验证的人脸图像区域删除之后，检测得所述人脸区域的图像。

优选的，所述装置601还包括：

输出单元，用于在所述获取单元602对所述跟踪序列中的目标进行基于金字塔的LK跟踪之后，确定所述跟踪序列中不能跟踪到的目标，将所述人脸容器中不能跟踪到的目标对应的人脸图像输出；

或者，用于当跟踪列表中的目标被删除时，将所述人脸容器中被删除的目标对应的人脸图像输出。

优选的，所述人脸检测单元603用于将获取的人脸图像进行正面人脸检测，判断所述获取的人脸图像是否为正面人脸图像，包括：

用于将所述人脸图像进行眼睛检测，若检测到眼睛，则判断所述人脸图像为正面人脸图像。

优选的，所述人脸检测单元603用于若检测不到眼睛，则将所述人脸图像进行鼻子检测和嘴巴检测；若检测到鼻子和嘴巴，则判断所述人脸图像为正面人脸图像。

应用本发明捕获人脸图像的装置601，能够全程多次捕获目标的人脸图像，捕获到的人脸图像数量多，确保捕获到清晰且正面的人脸图像，捕获正面的人脸图像的几率高。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例所提供的一种捕获人脸图像的方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种捕获人脸图像的方法，其特征在于，包括：

获取目标人脸图像；

将所述获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

若所述获取的目标人脸图像为正面人脸图像，则判断人脸容器中保存的目标人脸图像是否为正面人脸图像；

若所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

2.根据权利要求1所述的捕获人脸图像的方法，其特征在于，在所述获取目标人脸图像之后，还包括：

将所述获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度；

在所述判断所述获取的目标人脸图像是否为正面人脸图像之后，若所述获取的目标人脸图像为正面人脸图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

当比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

3.根据权利要求2所述的捕获目标人脸图像的方法，其特征在于，在所述将获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像之后，还包括：

若所述获取的目标人脸图像不是正面人脸图像，则判断所述保存的目标人脸图像是否为正面人脸图像；

若所述保存的目标人脸图像不是正面人脸的图像，则将所述获取的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

若所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

4.根据权利要求1至3任意一项所述的捕获人脸图像的方法，其特征在于，在所述获取目标人脸图像之前，还包括：

采集监控环境图像；

从所述监控环境图像中检测出人脸图像；

根据检测出的人脸图像，更新跟踪序列中的人脸图像；

在更新所述跟踪序列中的人脸图像之后，对所述跟踪序列中的目标进行基于金字塔的LK跟踪；

利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像；

所述获取目标人脸图像，包括：

在利用基于金字塔的LK跟踪得到的目标人脸图像更新所述跟踪序列中的人脸图像之后，从所述跟踪序列中获取目标人脸图像。

5.根据权利要求4所述的捕获人脸图像的方法，其特征在于，所述从所述监控环境图像中检测出人脸图像，包括：

从所述监控环境图像中提取前景区域，将前景区域扩大至预设的大小；

在扩大后的前景区域中进行基于哈尔haar特征的adaboost算法的人脸检测，获得人脸区域；

对所述人脸区域进行肤色匹配，将所述人脸区域中不能通过肤色匹配的区域删除；

对所述人脸区域进行方向梯度直方图HOG验证，将所述人脸区域中不能通过HOG验证的区域删除；

在将所述人脸区域中不能通过肤色匹配的人脸图像区域和不能通过HOG验证的人脸图像区域删除之后，检测得所述人脸区域的图像。

6.根据权利要求4所述的捕获人脸图像的方法，其特征在于，还包括：

在所述对所述跟踪序列中的目标进行基于金字塔的LK跟踪之后，确定所述跟踪序列中不能跟踪到的目标，将所述人脸容器中不能跟踪到的目标对应的人脸图像输出；

或者，当跟踪列表中的目标被删除时，将所述人脸容器中被删除的目标对应的人脸图像输出。

7.根据权利要求1至3任意一项所述的捕获人脸图像的方法，其特征在于，所述将获取的人脸图像进行正面人脸检测，判断所述获取的人脸图像是否为正面人脸图像，包括：

将所述人脸图像进行眼睛检测；

若检测到眼睛，则判断所述人脸图像为正面人脸图像。

8.根据权利要求7所述的捕获人脸图像的方法，其特征在于，所述将所述人脸图像进行眼睛检测之后，还包括：

若检测不到眼睛，则将所述人脸图像进行鼻子检测和嘴巴检测；

若检测到鼻子和嘴巴，则判断所述人脸图像为正面人脸图像。

9.一种捕获人脸图像的装置，其特征在于，包括：

获取单元，用于获取目标人脸图像；

人脸检测单元，用于将所述获取单元获取的目标人脸图像进行正面人脸检测，判断所述获取的目标人脸图像是否为正面人脸图像；

判断单元，用于若所述人脸检测单元判断所述获取的目标人脸图像为正面人脸图像，则判断保存的目标人脸图像是否为正面人脸图像；

替换单元，用于若所述判断单元判断所述保存的目标人脸图像不是正面人脸图像，则将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

10.根据权利要求9所述的捕获人脸图像的装置，其特征在于，还包括：

清晰度检测单元，用于将所述获取单元获取的目标人脸图像进行清晰度检测，获得所述获取的目标人脸图像的清晰度；

比较单元，用于在所述判断单元判断所述保存的目标人脸图像是正面人脸图像，将所述清晰度检测单元获得的目标人脸图像的清晰度与所述保存的目标人脸图像的清晰度进行比较；

替换单元还用于当所述比较单元获得的比较结果为所述获取的目标人脸图像的清晰度高于所述保存的目标人脸图像的清晰度时，将所述保存的目标人脸图像替换为所述获取的目标人脸图像。

Images