CN108664853A - 人脸检测方法及装置 - Google Patents

Abstract

本发明提供一种人脸检测方法及装置。所述方法包括：对当前帧进行预处理，得到当前帧灰度图；使用人形分类器对所述当前帧灰度图进行人形检测；判断所述当前帧灰度图是否检测到人形区域，当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域，否则寻找当前帧的人脸检测的感兴趣区域；使用人脸分类器对所述感兴趣区域进行人脸检测；根据重合度有序保存人脸检测结果。本发明能够提高人脸检测的检测效率。

Description

人脸检测方法及装置

技术领域

本发明涉及模式识别技术领域，尤其涉及一种人脸检测方法及装置。

背景技术

人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴定的计算机技术，是目前人工智能和模式识别的重点，被广泛地应用在国家安全、军事安全、身份识别、银行及海关的监控、门禁***、视频会议等领域。

人脸检测是人脸识别中的关键环节，人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。

现阶段常用的人脸检测方法对整幅图像进行遍历，使用分类器对整幅图像进行检测，效率低且易造成误检。

发明内容

本发明提供的人脸检测方法及装置，能够提高人脸检测的效率。

第一方面，本发明提供一种人脸检测方法，包括：

对当前帧进行预处理，得到当前帧灰度图；

使用人形分类器对所述当前帧灰度图进行人形检测；

判断所述当前帧灰度图是否检测到人形区域，当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域，否则寻找当前帧的人脸检测的感兴趣区域；

使用人脸分类器对所述感兴趣区域进行人脸检测；

根据重合度有序保存人脸检测结果。

可选地，所述使用人形分类器对所述当前帧灰度图进行人形检测包括：

根据第一图像缩放因子对所述当前帧灰度图进行多尺度缩放，得到多个缩放灰度图；

提取所述多个缩放灰度图的特征；

采用第一检测窗口依次检测每个所述缩放灰度图的所有灰度图子窗口；

判断每个所述灰度图子窗口是否为人形区域；

对检测出的所有人形区域进行聚类分析，得到最终的人形区域。

可选地，所述寻找当前帧的人脸检测的感兴趣区域包括：

在保存的当前帧的前一帧的检测结果的位置坐标的基础上增加一个偏移量，得到预测结果的位置坐标；

对所述预测结果进行扩充，得到当前帧的人脸检测的感兴趣区域。

可选地，所述使用人脸分类器对所述感兴趣区域进行人脸检测包括：

根据第二图像缩放因子对所述感兴趣区域进行多尺度缩放，得到多个缩放感兴趣区域；

提取所述多个缩放感兴趣区域的特征；

采用第二检测窗口依次检测每个所述缩放感兴趣区域的所有感兴趣区域子窗口；

判断每个所述感兴趣区域子窗口是否为人脸区域；

对检测出的所有人脸区域进行聚类分析，得到最终的人脸区域。

可选地，所述根据重合度有序保存人脸检测结果包括：

依次比较当前帧的各检测结果和前一帧的各检测结果的重合度；

根据重合度比较结果对保存的各目标的检测结果进行更新。

第二方面，本发明提供一种人脸检测装置，包括：

预处理模块，用于对当前帧进行预处理，得到当前帧灰度图；

人形检测模块，用于使用人形分类器对所述当前帧灰度图进行人形检测；

判断模块，用于判断当前帧灰度图是否检测到人形区域；

第一感兴趣区域确定模块，用于当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域；

第二感兴趣区域确定模块，用于当没有检测到人形区域时，寻找当前帧的人脸检测的感兴趣区域；

人脸检测模块，用于使用人脸分类器对所述感兴趣区域进行人脸检测；

保存模块，用于根据重合度有序保存人脸检测结果。

可选地，所述人形检测模块包括：

第一缩放单元，用于根据第一图像缩放因子对所述当前帧灰度图进行多尺度缩放，得到多个缩放灰度图；

第一提取单元，用于提取所述多个缩放灰度图的特征；

第一检测单元，用于采用第一检测窗口依次检测每个所述缩放灰度图的所有灰度图子窗口；

第一判断单元，用于判断每个所述灰度图子窗口是否为人形区域；

第一聚类单元，用于对检测出的所有人形区域进行聚类分析，得到最终的人形区域。

可选地，所述第二感兴趣区域确定模块包括：

计算单元，用于在保存的当前帧的前一帧的检测结果的位置坐标的基础上增加一个偏移量，得到预测结果的位置坐标；

扩充单元，用于对所述预测结果进行扩充，得到当前帧的人脸检测的感兴趣区域。

可选地，所述人脸检测模块包括：

第二缩放单元，用于根据第二图像缩放因子对所述感兴趣区域进行多尺度缩放，得到多个缩放感兴趣区域；

第二提取单元，用于提取所述多个缩放感兴趣区域的特征；

第二检测单元，用于采用第二检测窗口依次检测每个所述缩放感兴趣区域的所有感兴趣区域子窗口；

第二判断单元，用于判断每个所述感兴趣区域子窗口是否为人脸区域；

第二聚类单元，用于对检测出的所有人脸区域进行聚类分析，得到最终的人脸区域。

可选地，所述保存模块包括：

比较单元，用于依次比较当前帧的各检测结果和前一帧的各检测结果的重合度；

更新单元，用于根据重合度比较结果对保存的各目标的检测结果进行更新。

本发明提供的人脸检测方法及装置，先通过人形检测，找到待检测图像的感兴趣区域，然后对感兴趣区域再进行人脸检测，缩小了人脸检测的遍历范围，与现有技术相比，将人形检测和人脸检测相结合，同时又不完全依赖于人形检测，提高了人脸检测的检测效率，同时降低了误检率。

附图说明

图1为本发明一种实施例的人脸检测方法的流程图；

图2为本发明一种实施例的人脸检测装置的结构示意图；

图3是图2中的人脸检测装置的人形检测模块的结构示意图；

图4是图2中的人脸检测装置的第二感兴趣区域确定模块的结构示意图；

图5是图2中的人脸检测装置的人脸检测模块的结构示意图；

图6是图2中的人脸检测装置的保存模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种人脸检测方法，如图1所示，所述方法包括：

S11、对当前帧进行预处理，得到当前帧灰度图。

输入需要检测的视频帧图像，将待检测图像作为当前帧。输入的原始图像都是彩色图像，将当前帧由彩色图像转换成灰度图像。

S12、使用人形分类器对所述当前帧灰度图进行人形检测。

在开始检测前，加载人形数据模型及人脸数据模型，即分别读取人形分类器及人脸分类器的数据，保存到相应的内存。所述人形分类器是指通过人形样本库训练出的分类器，所述人脸分类器是指通过人脸样本库训练出的分类器。

具体地，包括以下步骤：

1)提取所述当前帧灰度图的特征，计算特征值。

2)使用第一检测窗口从所述当前帧灰度图的左上角(0,0)处开始遍历检测，依次检测所述当前帧灰度图的所有灰度图子窗口，所述第一检测窗口与所述人形分类器训练时的窗口大小保持一致；

对于任意一个子窗口来说，由所述人形分类器的第一级强分类器的第一个弱分类器算起，若子窗口的特征值小于该弱分类器的阈值，则直接退出检测，否则继续判断下一个弱分类器，直到通过该级强分类器，再继续进入下一个强分类器，直到退出检测或者通过全部强分类器。每一个子窗口在退出检测时，都会返回该子窗口通过的当前强分类器的级数，正常情况下，遍历的步长设为step，即下一次的偏移在前一次的基础上加上step，如果当前子窗口在退出检测时返回的强分类器的级数不超过2级，即只通过了1级或2级强分类器，则遍历的步长临时改为2*step，直接跳过下一个子窗口，也就是说，认为当前子窗口的下一个子窗口为目标的可能性极小，直接不检测。

3)判断每个所述灰度图子窗口是否为人形区域，当所述灰度图子窗口通过所述人形分类器时，所述灰度图子窗口为人形区域；

只有当一个灰度图子窗口依次通过全部强分类器，该灰度图子窗口才被认为是人形区域并保存下来。

4)按照设定的比例因子(第一图像缩放因子)缩放所述当前帧灰度图，重复1)～3)；

5)重复步骤4)，直到当前帧灰度图缩放到设定的最小值，通常最小值设定为一个第一检测窗口的大小，此时第一检测窗口和待检测图像一样大小，只需要一次检测即可。

经过上述步骤，能够在当前帧灰度图中检测出所有的人形区域并保存。

6)对检测出的人形区域进行聚类分析。

重合度在70％以上的人形区域均认为是同一个目标而被合并，合并采用的是取均值的原则。经过合并之后剩余的人形区域就是最终的人形区域。

对于只检测到1次的人形区域被认为是误检而被剔除。

S13、判断所述当前帧灰度图是否检测到人形区域。如果检测到人形区域，执行S14，否则执行S15。

S14、选择检测到的人形区域作为人脸检测的感兴趣区域。

S15、寻找当前帧的人脸检测的感兴趣区域。

当没有检测到人形区域时，此时根据某个目标在之前连续多帧的检测结果计算一个偏移量，以当前帧之前连续两帧的检测结果为例，首先计算一个偏移量，

偏移量表达式为：

shift＝(center_0-center_1)*0.8；

其中shift为偏移量，center_0为当前帧的前一帧的检测结果的中心点，center_1为当前帧的之前第二帧的检测结果的中心点。

则当前帧的预测结果的位置坐标为：

Objects_roi＝Rect(r.x+shifit.x，r.y+shifit.y，r,width,r.height)；

其中r表示前一帧的检测结果的位置，r.x表示检测结果的x坐标，shifit.x表示x坐标的偏移量，r.y表示检测结果的y坐标，shifit.y表示y坐标的偏移量，r.width表示检测结果的宽，r.height表示检测结果的高。

所述当前帧的预测结果进行适当扩充(例如扩大到原来的2倍)作为我们当前帧的人脸检测的感兴趣区域。

S16、使用人脸分类器对所述感兴趣区域进行人脸检测。

具体地，包括以下步骤：

11)提取所述感兴趣区域的特征，计算特征值；

12)使用第二检测窗口依次检测所述感兴趣区域的所有子窗口，所述第二检测窗口与所述人脸分类器训练时的窗口大小保持一致；

对于任意一个子窗口来说，由所述人脸分类器的第一级强分类器的第一个弱分类器算起，若子窗口的特征值小于该弱分类器的阈值，则直接退出检测，否则继续判断下一个弱分类器，直到通过该级强分类器，再继续进入下一个强分类器，直到退出检测或者通过全部强分类器。每一个子窗口在退出检测时，都会返回该子窗口通过的当前强分类器的级数，正常情况下，遍历的步长设为step，即下一次的偏移在前一次的基础上加上step，如果当前子窗口在退出检测时返回的强分类器的级数不超过2级，即只通过了1级或2级强分类器，则遍历的步长临时改为2*step，直接跳过下一个子窗口，也就是说，认为当前子窗口的下一个子窗口为目标的可能性极小，直接不检测。

13)判断每个所述子窗口是否为人脸区域，当所述感兴趣区域子窗口通过所述人脸分类器时，所述感兴趣区域子窗口为人脸区域；

只有当一个子窗口依次通过全部强分类器，该子窗口才被认为是人脸区域并保存下来。

14)按照设定的比例因子(第二图像缩放因子)缩放所述感兴趣区域，重复11)～13)；

15)重复步骤14)，直到所述感兴趣区域缩放到设定的最小值，通常最小值设定为一个第二检测窗口的大小，此时第二检测窗口和待检测图像一样大小，只需要一次检测即可。

经过上述步骤，能够在所述感兴趣区域中检测出所有的人脸区域并保存。

16)对检测出的人脸区域进行聚类分析。

重合度在70％以上的人脸区域均认为是同一个目标而被合并，合并采用的是取均值的原则。经过合并之后剩余的人脸区域就是最终的人脸区域。

S17、根据重合度有序保存人脸检测结果。

对于第一帧，保存所有的检测结果到对应目标的存储数组vector中，如目标1的检测结果保存到vector1中，目标2的检测结果保存到vector2中，依次类推，从第二帧开始，将当前帧的检测结果，依次和保存的前一帧的检测结果进行重合度的比较，重合度表达式如下：

coincidence_ij＝min(s_i_area/now_i_area,s_i_area/pre_j_area)；

其中，coincidence_ij表示重合度，s_i_erea当前帧的第i个检测结果与前一帧的第j个检测结果的重叠部分的面积，now_i_area为当前帧的的第i个检测结果的面积,pre_j_area为前一帧的第j个检测结果的面积(已知该结果属于目标1)；

如果二者的重合度大于第一阈值，第一阈值可以根据需要设定，如设为60％，则认为它们是同一目标，从而将当前帧的第i个检测结果作为目标1在当前帧的检测结果而更新目标1所在的存储数组vector1(不足3个往后加，达到3个就去掉第一个，后面的依次往前移位)。如果当前帧的多个检测结果和前一帧的某个检测结果(假设该结果属于目标2)的重合度均超过第一阈值，则选择重合度最高的一个检测结果作为目标2在当前帧的检测结果并更新目标2所在的存储数组vector2(不足3个往后加，达到3个就去掉第一个，后面的依次往前移位)。

如果当前帧的检测结果找不到和前一帧的检测结果有重合的(即所有的重合度均小于第一阈值)，则认为是新目标而被保存到目标N(1、2......依次往后排)的存储数组vectorN中，以备后续使用。

需要说明的是，如果某个之前连续检测到的目标k在某一帧没有新的坐标区域与之对应，其之前保存的历史信息(即目标k对应的vector)仍然不会被清除，只有连续多帧都没有检测到对应的坐标区域与该目标区域有较大重合，该目标才被认为目标消失从而将其保存的历史信息(即目标k对应的vector)清除。

本发明实施例提供的人脸检测方法，先通过人形检测，找到待检测图像的感兴趣区域，然后对感兴趣区域再进行人脸检测，缩小了人脸检测的遍历范围，与现有技术相比，将人形检测和人脸检测相结合，同时又不完全依赖于人形检测，提高了人脸检测的检测效率，同时降低了误检率。

本发明实施例还提供一种人脸检测装置，如图2所示，所述装置包括：

预处理模块21，用于对当前帧进行预处理，得到当前帧灰度图；

人形检测模块22，用于使用人形分类器对所述当前帧灰度图进行人形检测；

判断模块23，用于判断当前帧灰度图是否检测到人形区域；

第一感兴趣区域确定模块24，用于当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域；

第二感兴趣区域确定模块25，用于当没有检测到人形区域时，寻找当前帧的人脸检测的感兴趣区域；

人脸检测模块26，用于使用人脸分类器对所述感兴趣区域进行人脸检测；

保存模块27，用于根据重合度有序保存人脸检测结果。

可选地，如图3所示，所述人形检测模块22包括：

第一缩放单元221，用于根据第一图像缩放因子对所述当前帧灰度图进行多尺度缩放，得到多个缩放灰度图；

第一提取单元222，用于提取所述多个缩放灰度图的特征；

第一检测单元223，用于采用第一检测窗口依次检测每个所述缩放灰度图的所有灰度图子窗口；

第一判断单元224，用于判断每个所述灰度图子窗口是否为人形区域；

第一聚类单元225，用于对检测出的所有人形区域进行聚类分析，得到最终的人形区域。

可选地，如图4所示，所述第二感兴趣区域确定模块25包括：

计算单元251，用于在保存的当前帧的前一帧的检测结果的位置坐标的基础上增加一个偏移量，得到预测结果的位置坐标；

扩充单元252，用于对所述预测结果进行扩充，得到当前帧的人脸检测的感兴趣区域。

可选地，如图5所示，所述人脸检测模块26包括：

第二缩放单元261，用于根据第二图像缩放因子对所述感兴趣区域进行多尺度缩放，得到多个缩放感兴趣区域；

第二提取单元262，用于提取所述多个缩放感兴趣区域的特征；

第二检测单元263，用于采用第二检测窗口依次检测每个所述缩放感兴趣区域的所有感兴趣区域子窗口；

第二判断单元264，用于判断每个所述感兴趣区域子窗口是否为人脸区域；

第二聚类单元265，用于对检测出的所有人脸区域进行聚类分析，得到最终的人脸区域。

可选地，如图6所示，所述保存模块27包括：

比较单元271，用于依次比较当前帧的各检测结果和前一帧的各检测结果的重合度；

更新单元272，用于根据重合度比较结果对保存的各目标的检测结果进行更新。

本发明实施例提供的人脸检测装置，先通过人形检测，找到待检测图像的感兴趣区域，然后对感兴趣区域再进行人脸检测，缩小了人脸检测的遍历范围，与现有技术相比，将人形检测和人脸检测相结合，同时又不完全依赖于人形检测，提高了人脸检测的检测效率，同时降低了误检率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种人脸检测方法，其特征在于，包括：

对当前帧进行预处理，得到当前帧灰度图；

使用人形分类器对所述当前帧灰度图进行人形检测；

判断所述当前帧灰度图是否检测到人形区域，当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域，否则寻找当前帧的人脸检测的感兴趣区域；

使用人脸分类器对所述感兴趣区域进行人脸检测；

根据重合度有序保存人脸检测结果。

2.根据权利要求1所述的方法，其特征在于，所述使用人形分类器对所述当前帧灰度图进行人形检测包括：

根据第一图像缩放因子对所述当前帧灰度图进行多尺度缩放，得到多个缩放灰度图；

提取所述多个缩放灰度图的特征；

采用第一检测窗口依次检测每个所述缩放灰度图的所有灰度图子窗口；

判断每个所述灰度图子窗口是否为人形区域；

对检测出的所有人形区域进行聚类分析，得到最终的人形区域。

3.根据权利要求1所述的方法，其特征在于，所述寻找当前帧的人脸检测的感兴趣区域包括：

在保存的当前帧的前一帧的检测结果的位置坐标的基础上增加一个偏移量，得到预测结果的位置坐标；

对所述预测结果进行扩充，得到当前帧的人脸检测的感兴趣区域。

4.根据权利要求1所述的方法，其特征在于，所述使用人脸分类器对所述感兴趣区域进行人脸检测包括：

根据第二图像缩放因子对所述感兴趣区域进行多尺度缩放，得到多个缩放感兴趣区域；

提取所述多个缩放感兴趣区域的特征；

采用第二检测窗口依次检测每个所述缩放感兴趣区域的所有感兴趣区域子窗口；

判断每个所述感兴趣区域子窗口是否为人脸区域；

对检测出的所有人脸区域进行聚类分析，得到最终的人脸区域。

5.根据权利要求1所述的方法，其特征在于，所述根据重合度有序保存人脸检测结果包括：

依次比较当前帧的各检测结果和前一帧的各检测结果的重合度；

根据重合度比较结果对保存的各目标的检测结果进行更新。

6.一种人脸检测装置，其特征在于，包括：

预处理模块，用于对当前帧进行预处理，得到当前帧灰度图；

人形检测模块，用于使用人形分类器对所述当前帧灰度图进行人形检测；

判断模块，用于判断当前帧灰度图是否检测到人形区域；

第一感兴趣区域确定模块，用于当检测到人形区域时，选择所述人形区域作为人脸检测的感兴趣区域；

第二感兴趣区域确定模块，用于当没有检测到人形区域时，寻找当前帧的人脸检测的感兴趣区域；

人脸检测模块，用于使用人脸分类器对所述感兴趣区域进行人脸检测；

保存模块，用于根据重合度有序保存人脸检测结果。

7.根据权利要求6所述的装置，其特征在于，所述人形检测模块包括：

第一缩放单元，用于根据第一图像缩放因子对所述当前帧灰度图进行多尺度缩放，得到多个缩放灰度图；

第一提取单元，用于提取所述多个缩放灰度图的特征；

第一检测单元，用于采用第一检测窗口依次检测每个所述缩放灰度图的所有灰度图子窗口；

第一判断单元，用于判断每个所述灰度图子窗口是否为人形区域；

第一聚类单元，用于对检测出的所有人形区域进行聚类分析，得到最终的人形区域。

8.根据权利要求6所述的装置，其特征在于，所述第二感兴趣区域确定模块包括：

计算单元，用于在保存的当前帧的前一帧的检测结果的位置坐标的基础上增加一个偏移量，得到预测结果的位置坐标；

扩充单元，用于对所述预测结果进行扩充，得到当前帧的人脸检测的感兴趣区域。

9.根据权利要求6所述的装置，其特征在于，所述人脸检测模块包括：

第二缩放单元，用于根据第二图像缩放因子对所述感兴趣区域进行多尺度缩放，得到多个缩放感兴趣区域；

第二提取单元，用于提取所述多个缩放感兴趣区域的特征；

第二检测单元，用于采用第二检测窗口依次检测每个所述缩放感兴趣区域的所有感兴趣区域子窗口；

第二判断单元，用于判断每个所述感兴趣区域子窗口是否为人脸区域；

第二聚类单元，用于对检测出的所有人脸区域进行聚类分析，得到最终的人脸区域。

10.根据权利要求6所述的装置，其特征在于，所述保存模块包括：

比较单元，用于依次比较当前帧的各检测结果和前一帧的各检测结果的重合度；

更新单元，用于根据重合度比较结果对保存的各目标的检测结果进行更新。