CN108319908A - 一种基于像素级差分特征的非受限环境人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于像素级差分特征的非受限环境人脸检测方法，包括：使用训练好的基于像素级差分特征的人脸检测器对待检测图像进行人脸检测，得到初步检测人脸区域；若拍摄环境为夜间，将初步检测人脸区域转换至Lab色度空间，利用Lab色度空间得到色偏因子，当色偏因子大于等于色偏阈值时，将初步检测人脸区域转换至YCrCb色度空间进行肤色判断，进而得到新的肤色阈值；当初步检测人脸区域中在肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域。本发明的人脸检测方法能够在非受限环境下取得较好的人脸检测效果，同时检测速度具有一定的优势。

Description

一种基于像素级差分特征的非受限环境人脸检测方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于像素级差分特征的非受限环境人脸检测方法。

背景技术

人脸检测的目标是在给定图像中找到并定位出人脸具体的存在位置。基于正面的，限定背景下的人脸检测已经取得了很好的效果，并且已经广泛应用在各个领域。随着需求的不断增加，仅仅检测正面限定背景下的人脸已经不能满足需求，当需要在非受限环境下拍摄的照片中准确的找到人脸区域时，需要面对的困难有如下几种，比如人脸姿态的变化，光照条件的改变，遮挡，失焦和低分辨率等。如何精准快速地在非受限环境拍摄的图像中定位人脸的位置成为众多研究者关注的问题。

实现人脸检测的方法普遍可以总结为先选择合适的方法来描述人脸图像提供的信息，再通过一定的评判规则与待检测图像进行比较，从而判断检测区域属于人脸还是非人脸。现有的人脸检测算法主要包括模板匹配、支持向量机、神经网络和Adaboost，由于基于模板匹配和支持向量机的人脸检测算法模型较为复杂，对于复杂的场景训练过程困难，检测速度因此受到影响且检测效果并不理想。基于神经网络的人脸检测算法训练需要大量标记数据，且训练得到的模型复杂，检测速度无法满足要求。

由此可见，现有技术存在检测速度慢、检测效果差的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于像素级差分特征的非受限环境人脸检测方法，由此解决现有技术存在检测速度慢、检测效果差的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于像素级差分特征的非受限环境人脸检测方法，包括：

(1)使用人脸检测器对待检测图像进行人脸检测，得到初步检测人脸区域；

(2)通过待检测图像的亮度判断拍摄环境是否为夜间，若拍摄环境为夜间，将初步检测人脸区域由RGB色度空间转换至Lab色度空间，利用Lab色度空间得到色偏因子，若拍摄环境不是夜间，则进入步骤(4)；

(3)当色偏因子大于等于色偏阈值时，将初步检测人脸区域由RGB色度空间转换至YCrCb色度空间，根据YCrCb色度空间和待检测图像的原始肤色阈值得到新的肤色阈值；

(4)若拍摄环境为夜间且色偏因子大于等于色偏阈值，当初步检测人脸区域中在新的肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域，若拍摄环境不是夜间或者色偏因子小于等于色偏阈值，当初步检测人脸区域中在原始肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域。

人脸检测器为训练好的基于像素级差分特征的人脸检测器，所述人脸检测器的训练包括：

获取训练使用的正、负样本，正样本为人脸图像，负样本为不包含人脸区域的非受限环境图像，使用正、负样本训练人脸检测器，训练过程中提取像素级差分特征，利用像素级差分特征构建深度二次树，使用booststrap将深度二次树级联得到训练好的基于像素级差分特征的人脸检测器。

进一步地，训练过程还得到困难样本，将困难样本作为负样本重复训练人脸检测器，加速训练过程。

进一步地，步骤(1)包括：

使用人脸检测器对待检测图像进行人脸检测，检测过程中保持待检测图像的尺寸不变，改变检测窗口的大小，基于最小检测窗口放大检测窗口，得到多个尺寸的检测窗口，对于每个尺寸的检测窗口，采用对应的滑动步长，在待检测图像中进行人脸检测，在检测过程中，依次计算每个检测窗口在人脸检测器的每一级得分，对每一级得分进行累加；若检测窗口在人脸检测器的每一级的累加得分小于当前级数的分割阈值，则该检测窗口为初步检测人脸区域。

进一步地，色偏因子为：

其中，ε是偏色因子，δ为初步检测人脸区域的色度均值，ψ表示初步检测人脸区域的色度均方差。

进一步地，初步检测人脸区域的色度均值为：

其中，δ_a表示Lab色度空间中a分量的平均值，δ_b表示Lab色度空间中b分量的平均值。

进一步地，初步检测人脸区域的色度均方差为：

其中，ψ_a表示Lab色度空间中a分量的色度均方差，ψ_b表示Lab色度空间中b分量的色度均方差。

进一步地，色偏因子用于判断待检测图像是否发生色偏，当ε＜1.5时，待检测图像没有发生色偏；当ε≥1.5时，待检测图像发生色偏，并且ε的值越大，待检测图像的偏色程度越严重。

进一步地，δ_a＞0时，说明待检测图像整体偏红，反之则偏绿；当δ_b＞0时，说明待检测图像整体偏黄，否则偏蓝。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明由于采用了将基于像素级差分特征的人脸检测器与肤色判断相结合的方法，摆脱了单独使用像素级差分特征人脸检测器误检数量较多的缺陷。先使用基于像素级差分特征的人脸检测器进行检测，充分利用像素级差分特征具有尺度不变性、光照变化鲁棒性、遮挡鲁棒性的特点，快速得到初步检测人脸区域，再使用肤色判断根据色偏情况调整阈值，对已检测到的初步检测人脸区域进行二次判断，排除非人脸区域，降低误检数量。因此，本发明方法对于拍摄环境的变化具有更强的适应能力，同时兼顾检测率和误检率。

(2)本发明由于采用了将困难样本作为负样本的方法，摆脱了其他同类方法训练时间较长、训练结果收敛较慢的缺陷。采用困难负样本作为负样本重复训练，将前一次训练得到的困难样本进行保存，作为下一次训练的负样本，使得人脸检测器能够在更早的阶段对难分样本进行处理，使人脸检测器能够较快的收敛，加速训练过程。因此，本发明方法的训练时间比其他不使用困难样本的方法训练时间更短，收敛速度更快，有效提高了人脸检测器的训练进程。

附图说明

图1为本发明实施例提供的基于像素级差分特征的非受限环境人脸检测方法的流程示意图；

图2为本发明实施例提供的基于像素级差分特征人脸检测器的训练方法流程示意图；

图3为本发明实施例提供的深度二次树级联流程示意图；

图4为本发明实施例提供的人脸检测方法流程示意图；

图5为本发明实施例提供的基于像素级差分特征人脸检测器的检测流程示意图；

图6为本发明实施例提供的肤色判断流程示意图；

图7(a)为本发明实施例提供的白天只使用像素级差分特征的检测结果；

图7(b)为本发明实施例提供的白天将像素级差分特征与肤色判断结合的检测结果；

图7(c)为本发明实施例提供的夜间只使用像素级差分特征的检测结果；

图7(d)为本发明实施例提供的夜间将像素级差分特征与肤色判断结合的检测结果；

图8(a)为本发明实施例提供的对于第一张图片使用Seetaface的检测结果；

图8(b)为本发明实施例提供的对于第二张图片使用Seetaface的检测结果；

图8(c)为本发明实施例提供的对于第一张图片使用MTCNN的检测结果；

图8(d)为本发明实施例提供的对于第二张图片使用MTCNN的检测结果；

图8(e)为本发明实施例提供的对于第一张图片使用本发明方法的检测结果；

图8(f)为本发明实施例提供的对于第二张图片使用本发明方法的检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种基于像素级差分特征的非受限环境人脸检测方法包括：

步骤101：获取训练使用的正、负样本，正样本为人脸图像，不仅包含正面的人脸图像，还包括各种角度的侧脸，以及佩戴装饰物、做出各种不同表情、男性、女性、各种年龄层次的人脸图像，对得到的人脸图像在一定的限定下进行截取，之后有选择地进行翻转操作，最后归一化至24*24大小。负样本为不包含人脸区域的非受限环境图像，包含室内室外各种不同的场景。采用随机滑动步长、随机窗口大小在负样本中截取图像，归一化到24*24大小，有选择的进行翻转或者转置，丰富负样本集，使得获得的负样本图像更具随机性。

步骤102：采用优化后的训练算法训练基于像素级差分特征的人脸检测器；训练过程首先提取出像素级差分特征，利用像素级差分特征构建深度二次树，最后将深度二次树级联得到最终的训练好的基于像素级差分特征的人脸检测器，由于在级联过程中采用bootstrap方式，训练过程十分缓慢，优化方法为采用困难样本作为负样本，加快训练进程；

步骤103：使用训练好的人脸检测器对待检测图像进行人脸检测，得到初步检测人脸区域；检测过程为采用改变检测窗口大小的方法，保持待检测图像尺寸不变，改变检测窗口的大小。选定最小检测窗口，按照一定的比例改变窗口的大小，直到检测窗口与检测图像长宽值的最小值接近。对于每个尺寸的窗口，采用一定的滑动步长，在整幅图像中进行检测。在检测过程中，每一个检测窗口需要依次计算在人脸检测器的每一级得分，对每一级的得分进行累加，若当前级数下，该窗口的累加得分小于当前级数的阈值，则直接将该窗口判定为不包含人脸区域的窗口，不需要进行后续的计算；否则，直到该人脸检测器每一级计算完成，阈值均满足要求，才将此窗口判定为初步检测人脸区域。

步骤104：通过待检测图像的亮度判断拍摄环境是否为夜间，若拍摄环境为夜间，将初步检测人脸区域由RGB色度空间转换至Lab色度空间，利用Lab色度空间得到色偏因子，若拍摄环境不是夜间，则进入步骤106。

步骤105：当色偏因子大于等于色偏阈值时，将初步检测人脸区域由RGB色度空间转换至YCrCb色度空间，肤色在Cr、Cb分量上聚类效果较好，发生色偏时，Cr、Cb分量的聚类情况发生整体偏移，根据YCrCb色度空间和待检测图像的原始肤色阈值得到新的肤色阈值；

步骤106：若拍摄环境为夜间且色偏因子大于等于色偏阈值，当初步检测人脸区域中在新的肤色阈值范围内的像素点为肤色点，肤色点个数大于初步检测人脸区域中总像素点数的30％时表示超过数量阈值，初步检测人脸区域为人脸区域，否则为非人脸区域，若拍摄环境不是夜间或者色偏因子小于等于色偏阈值，当初步检测人脸区域中在原始肤色阈值范围内的像素点为肤色点，肤色点个数大于初步检测人脸区域中总像素点数的30％时表示超过数量阈值，初步检测人脸区域为人脸区域，否则为非人脸区域。

如图2所示，本发明方法中步骤102进一步包括以下子步骤：

步骤201：提取像素级差分特征，具体操作如下：

在像素级差分特征的提取过程中为了有效的提高检测速度，我们采用在检测前建立查找表的方式，将所有可能出现的特征值事先计算好，归一化至[0，255]，将像素值作为查找依据，存放在二维数组中作为特征查找表。

步骤202：构建深度二次树，具体操作如下：

深度二次树的构建过程采用Gentlle Adaboost算法，对样本权重进行更新。每个节点挑选出使分类误差最小的像素级差分特征和高低分割阈值。当选出一个最优像素级差分特征之后，使用当前像素级差分特征对正负样本进行一次分类得到所有样本在当前人脸检测器下的得分，更新样本权重公式如下：

weight＝exp(-y*Fx)

其中y表示对样本的分类，y＝1表示正样本，y＝-1表示负样本，Fx表示样本的得分。进行权重更新后，加大了错分样本的权重，降低了正确分类样本的权重，使后续的特征更加集中于错分样本。

步骤203：级联深度二次树，具体操作如下：

图3为深度二次树级联流程示意图，在级联过程中采用了booststrap的方式，不断地挖掘负样本。随着训练级数的增加，人脸检测器的性能不断提升，对样本有了更好的分类能力，booststrap所花费的时间会大大增加，严重影响了训练的速度。同时，人脸检测器收敛的速度越来越慢，难以达到理想的检测效果。因此采用困难样本作为负样本重复训练，将前一次训练得到的困难样本进行保存，作为下一次训练的负样本，使得人脸检测器能够在更早的阶段对难分样本进行处理，使人脸检测器能够较快的收敛，加速训练过程。

如图4所示，本发明方法中步骤103进一步包括：

使用训练的到的基于像素级差分特征的人脸检测器进行检测。具体操作如下：

如图4所示为基于像素级差分特征的人脸检测器检测流程，采用改变检测窗口大小的方法，保持检测图像尺寸不变，改变检测窗口的大小。最小检测窗口为训练模板大小24*24，按照一定的比例改变窗口的大小，在本发明中采用1.2倍的比例放大窗口，直到检测窗口与检测图像长宽值的最小值接近。对于每个尺寸的窗口，采用一定的滑动步长，在整幅图像中进行检测。对于滑动步长的大小，本文进行的处理如下：当窗口大小小于40*40时，滑动步长为窗口大小的10％；当窗口大小大于等于40*40时，滑动步长为窗口大小的5％。在检测过程中，每一个检测窗口需要依次计算在人脸检测器的每一级得分，对每一级的得分进行累加，若当前级数下，该窗口的累加得分小于当前级数的阈值，则直接将该窗口判定为不包含人脸区域的窗口，不需要进行后续的计算；否则，直到该人脸检测器每一级计算完成，阈值均满足要求，才将此窗口判定为包含人脸区域的窗口。

由于在检测中采用滑动窗口的方法，检测结果不可避免的会出现在同一个人脸上有多个检测框的情况，因此对检测出来有重叠的人脸区域进行合并，选择出最接近人脸的区域，得到初步检测人脸区域。

对已经检测到初步检测人脸区域进行肤色判断，去除误检区域。具体操作如下：

如图5所示为肤色判断流程，首先，对拍摄环境进行大致判断，当拍摄环境为白天时，不进行色偏判断和处理，按照原始肤色阈值对肤色区域进行判断；当拍摄环境为夜间时，则需要进行色偏判断，若判断当前图像出现色偏情况时，选择特定的阈值进行肤色判断，若没有发生色偏情况，选择原有阈值进行肤色判断。

对色偏情况进行判断需要将初步检测人脸区域转换至Lab色度空间，L分量代表图像的亮度信息，取值范围为[0，100]，在视觉感知范围中表示纯黑色到纯白色；a分量代表色度信息，取值范围为[-128，127]，在视觉感知范围中表示绿色到红色；b分量同样代表色度信息，取值范围为[-128，127]，在视觉感知范围中表示蓝色到黄色。由于Lab色度空间与设备的选取无关，使其在彩色图像检索中应用较为广泛，可以在图像的处理中保留尽量宽阔的色域和丰富的色彩。将RGB色度空间转换至Lab色度空间需要XYZ作为中介，转换过程如下。

当Y＞0.008856时，则有

当Y＜0.008856时，则有

将彩色图像从RGB色度空间转换至Lab色度空间之后，可以通过图像的色度均值δ和色度均方差ψ的比值θ来评价图像的色偏程度。为了使对比值更加突出，可以对θ取常用对数得到ε，通常将ε叫做偏色因子，用ε值的大小来描述图像的偏色程度，ε的值越大代表图像的偏色越严重，否则说明图像偏色程度较轻，或者是没有偏色情况，计算方法如下：

上述式中，H、W分别表示图像的长和宽，δ_a、δ_b分别表示Lab色度空间中a、b两个分量的平均值，δ为图像的色度均值；ψ_a、ψ_b分别表示这两个分量的色度均方差，ψ表示图像的色度均方差，ε是偏色因子。通过这些值可以对图像的色偏情况进行判断分析，经过统计可以选定判别阈值，当ε＜1.5时，判定当前图像没有发生色偏；当ε≥1.5时，判定当前图像发生色偏，并且若ε的值越大，图像的偏色程度越严重。当δ_a＞0时，说明当前图像整体偏红，反之则偏绿；当δ_b＞0时，说明当前图像整体偏黄，否则偏蓝。

对肤色进行判断采用YCrCb色度空间，变换矩阵如下：

Cr、Cb分量在不同的色偏情况下聚类较为集中，由此确定判断阈值，对肤色点进行判断。若拍摄环境为夜间且色偏因子大于等于色偏阈值，当初步检测人脸区域中在新的肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域，若拍摄环境不是夜间或者色偏因子小于等于色偏阈值，当初步检测人脸区域中在原始肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域。

为了评估本发明的性能，将其与几种人脸检测方法进行比较。首先将只使用像素级差分特征的人脸检测方法与将像素级差分特征与肤色判断结合的人脸检测方法进行比较；接着将本发明方法与现有人脸检测方法进行对比，参与比较的方法有：将传统特征与神经网络相结合的人脸检测方法Seetaface、深度学习方法MTCNN。

图7(a)为白天只使用像素级差分特征的检测结果；图7(b)为白天将像素级差分特征与肤色判断结合的检测结果；图7(c)为夜间只使用像素级差分特征的检测结果；图7(d)为夜间将像素级差分特征与肤色判断结合的检测结果；可以看出在白天和夜间的情况下本发明方法均能有效的降低误检数量。

图8(a)为本发明实施例提供的对于第一张图片使用Seetaface的检测结果；图8(b)为本发明实施例提供的对于第二张图片使用Seetaface的检测结果；图8(c)为本发明实施例提供的对于第一张图片使用MTCNN的检测结果；图8(d)为本发明实施例提供的对于第二张图片使用MTCNN的检测结果；图8(e)为本发明实施例提供的对于第一张图片使用本发明方法的检测结果；图8(f)为本发明实施例提供的对于第二张图片使用本发明方法的检测结果。可以看出，本文对于模糊、角度偏转较大的人脸具有较好的检测效果。

本发明针对误检较多的问题采用肤色判断去除误检。先使用基于像素级差分特征的人脸检测器进行检测，利用该特征具有的对于光照变化、遮挡、模糊及低分辨率的鲁棒性，对待检测图像进行检测，得到人脸候选区域，再通过肤色判断的方式去除候选区域中的非人脸区域达到降低误检的目标，肤色判断不会受到不同人种肤色、不同光照条件的影响，同时对于夜间有色光源的情况进行判断，根据色偏情况进行阈值调整。本发明提出的一种基于像素级差分特征的非受限环境人脸检测方法充分利用像素级差分特征的优势，优先保证人脸检测率，再通过肤色判断去除误检区域，降低误检率，同时在检测时具有明显的速度优势。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，包括：

(1)使用人脸检测器对待检测图像进行人脸检测，得到初步检测人脸区域；

(2)通过待检测图像的亮度判断拍摄环境是否为夜间，若拍摄环境为夜间，将初步检测人脸区域由RGB色度空间转换至Lab色度空间，利用Lab色度空间得到色偏因子，若拍摄环境不是夜间，则进入步骤(4)；

(3)当色偏因子大于等于色偏阈值时，将初步检测人脸区域由RGB色度空间转换至YCrCb色度空间，根据YCrCb色度空间和待检测图像的原始肤色阈值得到新的肤色阈值；

(4)若拍摄环境为夜间且色偏因子大于等于色偏阈值，当初步检测人脸区域中在新的肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域，若拍摄环境不是夜间或者色偏因子小于等于色偏阈值，当初步检测人脸区域中在原始肤色阈值范围内的像素点个数超过数量阈值时，初步检测人脸区域为人脸区域，否则为非人脸区域；

所述人脸检测器为训练好的基于像素级差分特征的人脸检测器，所述人脸检测器的训练包括：

获取训练使用的正、负样本，正样本为人脸图像，负样本为不包含人脸区域的非受限环境图像，使用正、负样本训练人脸检测器，训练过程中提取像素级差分特征，利用像素级差分特征构建深度二次树，使用booststrap将深度二次树级联得到训练好的基于像素级差分特征的人脸检测器。

2.如权利要求1所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述训练过程还得到困难样本，将困难样本作为负样本重复训练人脸检测器，加速训练过程。

3.如权利要求1或2所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述步骤(1)包括：

使用人脸检测器对待检测图像进行人脸检测，检测过程中保持待检测图像的尺寸不变，改变检测窗口的大小，基于最小检测窗口放大检测窗口，得到多个尺寸的检测窗口，对于每个尺寸的检测窗口，采用对应的滑动步长，在待检测图像中进行人脸检测，在检测过程中，依次计算每个检测窗口在人脸检测器的每一级得分，对每一级得分进行累加；若检测窗口在人脸检测器的每一级的累加得分小于当前级数的分割阈值，则该检测窗口为初步检测人脸区域。

4.如权利要求1或2所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述色偏因子为：

其中，ε是偏色因子，δ为初步检测人脸区域的色度均值，ψ表示初步检测人脸区域的色度均方差。

5.如权利要求4所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述初步检测人脸区域的色度均值为：

其中，δ_a表示Lab色度空间中a分量的平均值，δ_b表示Lab色度空间中b分量的平均值。

6.如权利要求4所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述初步检测人脸区域的色度均方差为：

其中，ψ_a表示Lab色度空间中a分量的色度均方差，ψ_b表示Lab色度空间中b分量的色度均方差。

7.如权利要求1或2所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述色偏因子用于判断待检测图像是否发生色偏，当ε＜1.5时，待检测图像没有发生色偏；当ε≥1.5时，待检测图像发生色偏，并且ε的值越大，待检测图像的偏色程度越严重。

8.如权利要求5或6所述的一种基于像素级差分特征的非受限环境人脸检测方法，其特征在于，所述δ_a＞0时，说明待检测图像整体偏红，反之则偏绿；当δ_b＞0时，说明待检测图像整体偏黄，否则偏蓝。