CN102129572B - 采用级联分类器的人脸检测方法及其装置 - Google Patents

Abstract

本发明涉及视频监控领域，公开了一种采用级联分类器的人脸检测方法及其装置。本发明中，采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。该轻型级联结构分类器的每一级均为一个弱分类器。由于对于一张图像中大量的待检测窗口，因此相对于级联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以达到更快的检测速度，进而实现在百万高清视频上对人脸的实时检测。

Description

采用级联分类器的人脸检测方法及其装置

技术领域

本发明涉及视频监控领域，特别涉及视频监控领域中的人脸检测技术。

背景技术

随着安全需求的提高，人流量统计、人员特征识别、人脸识别等技术的商业价值已经开始显露，并逐步开始应用，而人脸检测作为这些任务的首要环节，具有非常重要的作用和意义，近年来，研究人员在这一领域投入了大量的时间和精力，致力于开发出一种快速准确的人脸检测方法。

基于神经网络的方法是人脸检测最早期的一个非常成功的方法，其检测效果非常好，但是缺点同样非常明显：检测速度太慢。直到2001年，才由Paul Viola等人提出了第一个真正实时的基于类Haar特征和Boosted级联结构的人脸检测方法，目前常用的人脸检测算法都是类似于这一方法，该算法的核心思想就是通过迭代挑选出多个具有不同分类能力的弱分类器进行组合形成强分类器，其中分类能力较强的弱分类器具有更大的决策权，多个强分类器先后顺序组合起来形成级联结构的分类器，作为最终的人脸检测器。该类方法训练的正面人脸检测器，在较小分辨率(CIF)的视频上基本达到了实时效果。

然而，由于在检测过程中，由于人脸可能处于图像中不同的位置，大小也不一样，因此需要遍历图像中的每一个不同大小不同位置的矩形窗口，使用分类器判断该窗口是否包含人脸。采用传统的级联结构分类器对单个检测窗口的判断过程如图1所示，一个待检测窗口被分类为人脸需要逐级通过各个强分类器，如果有一级未通过，则该待检测窗口将被分类为非人脸，每一级能够去掉一部分非人脸窗口。

也就是说，对每个待检测窗口，级联结构分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸，而一张图像中往往含有大量的待检测窗口，因此在视频分辨率更高、甚至两百万高清的情况下，无法达到实时检测的效果。再进一步，将正面人脸扩展到准正面(即平面外旋转不超过60°的人脸)情况下，由于训练样本更加多样化，使用类Haar特征训练过程中，迭代训练过程中收敛速度更慢，最终得到的人脸检测器其检测速度也更慢，也就更难实现准正面的人脸检测。

发明内容

本发明的目的在于提供一种采用级联分类器的人脸检测方法及其装置，提高人脸检测速度，从而实现在百万高清视频上对人脸的实时检测。

为解决上述技术问题，本发明的实施方式提供了一种采用级联分类器的人脸检测方法，包含以下步骤：

采用每一级均为一个弱分类器的轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口；

其中，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果；如果该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果；

轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到。

本发明的实施方式还提供了一种采用级联分类器的人脸检测装置，包含：

轻型级联结构分类器训练模块，用于训练得到每一级均为一个弱分类器的轻型级联结构分类器，其中，轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到；

图像获取模块，用于获取当前待检测图像；

矩形窗口获取模块，用于从当前待检测图像中获取不同位置和不同大小的各矩形窗口；

人脸窗口检测模块，用于触发所述轻型级联结构分类器对不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口；

其中，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，当该矩形窗口被一级弱分类器分类为非人脸时，停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果；当该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类为人脸时，输出该矩形窗口为人脸的检测结果。

本发明实施方式与现有技术相比，主要区别及其效果在于：

采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。该轻型级联结构分类器的每一级均为一个弱分类器，在进行矩形窗口的人脸检测时，每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果；如果该矩形窗口被所述轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果。由于对于一张图像中大量的待检测窗口，相对于非人脸窗口，其中包含的人脸窗口极少。因此相对于级联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以通过少量的弱分类器进行更加快速的判断，达到更快的检测速度，进而实现在百万高清视频上对人脸的实时检测，甚至可以实现快速的准正面人脸检测。

进一步地，使用分块局部二值模式特征作为Gentle Adaboost训练算法的输入特征，训练得到级联结构分类器，进而根据级联结构分类器中包含的所有弱分类器，作为弱分类器池，训练得到轻型级联结构分类器。其中，分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。相比于使用类Haar特征进行训练，训练过程中，该分块局部二值模式特征更容易收敛，分辨能力更强，且训练出来的弱分类器检测时速度更快，因此可以进一步提高轻型级联结构分类器对各矩形窗口的检测速度，保证了在百万高清视频上实现实时人脸检测。

进一步地，根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像；其中，差值大于阈值的像素点在掩膜图像中的像素值为1，差值小于或等于阈值的像素点在掩膜图像中的像素值为0。判断不同位置和不同大小的各矩形窗口的左上角的像素点，在掩膜图像中对应位置的像素值是否为1，仅对在掩膜图像中对应位置的像素值为1的矩形窗口，采用轻型级联结构分类器进行人脸检测。由于在检测过程，利用帧间差分算法计算运动点，仅对掩膜图像中像素值为1的区域进行是否是人脸的判断，从而进一步加快了检测速度。

进一步地，在生成掩膜图像时，将掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，该预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在掩膜图像中相对应的区域。为了处理有人脸静止不动的情况，对于前一帧中有检测到人脸的区域，将掩膜图像中对应的区域内所有像素点的值设置为1。也就是说，通过对无运动点的处理，可有效减少静止人脸的漏检。

附图说明

图1是根据现有技术中级联结构分类器对单个检测窗口的人脸检测示意图；

图2是根据本发明第一实施方式的采用级联分类器的人脸检测方法流程图；

图3是根据本发明第一实施方式中的级联结构分类器的训练流程图；

图4是根据本发明第一实施方式中的分块局部二值模式特征的计算示意图；

图5是根据本发明第一实施方式中的轻型级联结构分类器的训练流程图；

图6是根据本发明第一实施方式中的采用轻型级联结构分类器对单个检测窗口的人脸检测示意图；

图7是根据本发明第二实施方式中的采用轻型级联结构分类器进行人脸检测的流程图；

图8是根据本发明第三实施方式的采用级联分类器的人脸检测装置结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种采用级联分类器的人脸检测方法。在本实施方式中，需要预先准备正样本和负样本，用于训练级联结构分类器和轻型级联结构分类器。为描述方便，传统的每一级均为一个强分类器，每个强分类器包含多个弱分类器的结构在本发明中统称为级联结构分类器；采用每一级均为一个弱分类器的结构在本发明中统称为轻型级联结构分类器。在每次需要进行人脸检测时，采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。

具体流程如图2所示，在步骤210中，准备正样本和负样本。比如说，正样本为各种长宽为24＊24像素大小的人脸图像，样本量约为70000个，负样本为不含人脸的任意大小图像，训练过程中将从这些图像中使用bootstrap的方法截取与正样本同样大小的负样本。

接着在步骤220中，训练级联结构分类器。比如说，使用70000个正样本中的50000样本训练级联结构分类器。在本实施方式中，训练算法使用Gentle Adaboost，训练特征使用分块局部二值模式特征。

具体地说，如图3所示，在步骤301中，准备样本。比如说，准备约50000个像素大小为24＊24的人脸样本，以及大量的不含人脸的图像，每次需要更新负样本时就从这些图像中裁剪出与正样本同样大小的图像。

接着，在步骤302中，初始化训练样本权重。针对上述案例，从50000个人脸样本中取出部分样本作为训练本级强分类器的正样本，设正样本个数为A，负样本个数为B，则每个正样本权重设置为1/(2A)，每个负样本权重设置为1/(2B)。

接着，在步骤303中，计算所有样本的分块局部二值模式特征。分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。

具体地说，一个分块局部二值模式特征是图像中的一个区域，该区域的分块局部二值模式特征值计算方式如图4所示，将该区域分为9个同等大小的3＊3的矩形块，先计算各个矩形块内部的像素值总和，然后将中心块的和跟其8个邻域块的和进行大小比较，如果某邻域块的和大于等于中心块的值和，则该邻域块的值设为1，否则为0，最后将这一串0或1连接起来(本实施方式中是以顺时针的方式连接，但在实际应用中也可以是逆时针或其他方式连接)，形成一个8位的二进制串，该二进制串的十进制值即作为该区域的特征值，该特征值为离散值，范围为[0，255]，具体计算公式如下：

$\mathrm{LBP}=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}s(g_i-g_c)2^i$

其中g_i表示邻域块像素值总和，g_c表示中心快像素值总和，

在一个大小为24＊24的图像内，通过改变位置和大小，可以得到8000多个这样的区域，也就说，总共有8000多种分块局部二值模式特征。

接着，在步骤304中，利用前面步骤计算出的所有样本的所有特征值，使用Gentle AdaBoost训练算法，对每一个特征训练出一个弱分类器，从中选取一个分类效果最佳的弱分类器，并将该弱分类器加入到该级强分类器中。不同于类Haar特征值，分块局部二值模式特征值是离散的，因此使用类Haar特征时用基于桩的弱分类器，而使用分块局部二值模式特征使用基于区间的弱分类器；训练出的弱分类器为f(x)，x为输入的特征值，输出为特征值对应的置信度，具体为：

$f\left(x\right)=\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i{y}_i\mathrm{\δ}(x_i=x)}{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i\mathrm{\δ}(x_i=x)}$

其中，N＝A+B为总样本数，正样本y_i＝1，负样本y_i＝-1，x_i表示第i个样本的特征值，w_i表示第i个样本的权重。一般来说，对于正样本置信度大于0，而对于负样本置信度小于0，并且该置信度绝对值越大表明置信度越高；每一级强分类器则为

T表示该级强分类器包含的弱分类器个数，对于F(x)＝1则表示将样本分类为正样本，F(x)＝-1分类为负样本。

接着，在步骤305中，根据目前已经训练出来的强分类器，统计该强分类器对所有负样本的分类情况，计算出分错的概率。

接着，在步骤306，判断计算出的分错的概率是否小于一阈值(如0.5)，如果该概率大于或等于0.5，则进入步骤307，否则进入步骤308，判断强分类器级数是否达到预设值，如果是则整个训练过程结束，如果判定强分类器级数尚未达到预设值，则进入步骤309。

在步骤307中，根据下述公式对样本权重进行更新，w＝we^-yf(x)，其中w表示权重，y为样本类别，正样本为1，负样本为-1，f(x)为当前训练出来的弱分类器，该公式表明，无论是正样本还是负样本，被误分的样本权重会升高，为正确分类的样本权重会降低，这样在下一步的训练中，权重更高的样本会得到重视，从而有更大的可能会被分类正确。在步骤307后回到步骤303，继续训练出本级强分类器中的弱分类器。

当一个强分类器训练结束后但强分类器级数尚未达到预设值，因而需要训练下一级强分类器时，进入步骤309，对样本进行更新，已经被分错的正样本被排除掉，并加入新的没有被分错的正样本；负样本采用bootstrap方式进行更新，对每一个负样本，使用分类器进行分类，如果分类为负样本，则丢弃该样本，否则留下作为训练样本。

不难发现，本实施方式中级联结构分类器的训练方式与现有的GentleAdaboost训练方式类似，区别在于，本实施方式中将分块局部二值模式特征作为Gentle Adaboost训练算法的输入特征。相比于使用类Haar特征进行训练，训练过程中，该分块局部二值模式特征更容易收敛，分辨能力更强，且训练出来的弱分类器检测时速度更快，因此可以进一步提高轻型级联结构分类器对各矩形窗口的检测速度，保证了在百万高清视频上实现实时人脸检测。

在级联结构分类器训练结束后，进入步骤230，训练轻型级联结构分类器。轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到。

具体流程如图5所示，在步骤501中，准备样本。针对上述案例，准备约20000个像素大小为24＊24的人脸样本，以及大量的不含人脸的图像，每次需要更新负样本时就从这些图像中裁剪出与正样本同样大小的图像。

接着，在步骤502中，将所有样本的响应初始化为0。

接着，在步骤503中，判断弱分类器池是否为空，其中，弱分类器池是在步骤220中训练出的级联结构分类器中每一个强分类器所包含的弱分类器的总和，即将根据Gentle Adaboost训练算法得到的级联结构分类器中包含的所有弱分类器，作为弱分类器池。如果弱分类器池不为空，则进入步骤504，如果为空，则结束轻型级联结构分类器的训练流程。

在步骤504中，对于每一个弱分类器，将其对每一个样本的置信度加入到该样本的响应上得到当前该样本的响应，将所有正样本的响应之和减去所有负样本的响应之和得到一个差值，差值最大的弱分类器即为区分性最强的分类器，并从弱分类器池中选出区分性最强的弱分类器。

接着，在步骤505中，更新样本。具体地说，去除被分错的正样本，并加入当前分类器能够正确分类的正样本；相反，对于负样本，则去除被分类正确的部分，并加入当前分类器依然无法分类正确的负样本。

接着，在步骤506中，更新所有样本的响应。具体地说，将所有样本的响应，更新为当前所有被选出的弱分类器的置信度之和。

接着，在步骤507中，在弱分类器池中去掉已经被选出的弱分类器，防止该弱分类器被多次选中。在步骤507后回到步骤503，直至弱分类器池中已不存在弱分类器后结束流程。将选出的弱分类器按选出的先后顺序进行组合，即可得到轻型级联结构分类器。

在轻型级联结构分类器训练结束后，进入步骤240，判断是否需要进行人脸检测，在需要要进行人脸检测时，进入步骤250。也就是说，步骤210至步骤230是预先完成的，对人脸的实时检测由步骤250实现。

在步骤250中，采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。

具体地说，如图6所示，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果。如果该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果。

不难发现，由于对于一张图像中大量的待检测窗口，相对于非人脸窗口，其中包含的人脸窗口极少。因此相对于级联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以通过少量的弱分类器进行更加快速的判断，达到更快的检测速度，进而实现在百万高清视频上对人脸的实时检测，甚至可以实现快速的准正面人脸检测。

本发明第二实施方式涉及一种采用级联分类器的人脸检测方法。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：在本实施方式中，在检测过程，利用帧间差分算法计算运动点，同时对无运动点进行处理，最后生成掩模图像，仅对掩模位置进行是否是人脸的判断，以加快检测速度，同时减少静止人脸的漏检。另外，还需要将满足合并条件的检测出人脸的矩形窗口进行合并操作。

本实施方式中的采用轻型级联结构分类器进行人脸检测的具体流程如图7所示，在步骤701中，初始化背景图像，将背景图像中所有像素点的值设为0。

接着，在步骤702中，等待新的待检测图像到来。

接着，在步骤703中，生成掩膜图像。具体地说，将待检测图像与背景图像做差，对差值大于40的位置，将掩膜图像对应位置设1，否则设0。此外，为了处理有人脸静止不动的情况，对于前一帧中有检测到人脸的区域，将掩膜图像中对应的区域内所有值设置为1。也就是说，根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像。其中，差值大于阈值的像素点在掩膜图像中的像素值为1，差值小于或等于阈值的像素点在掩膜图像中的像素值为0，并且，为了处理有人脸静止不动的情况，还需将掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在掩膜图像中相对应的区域。

接着，在步骤704中，初始化待检测的人脸尺寸。比如说，将待检测的人脸尺寸初始化为默认的24＊24，或者将待检测的人脸尺寸初始化为根据视频场景估计大概的最小人脸尺寸。

接着，在步骤705中，根据待检测的人脸尺寸缩放分类器。具体地说，由于每一个分类器都由一个特征构成，缩放分类器的本质就是缩放特征，每一个分块局部二值模式特征都是图像中的一个区域，缩放该区域即可缩放特征，设缩放因子为f，区域的位置和大小用(x，y，w，h)表示，其中x，y表示位置，w，h为大小，缩放后该区域位置和大小为(fx，fy，fw，fh)。

接着，在步骤706和707中，对图像中的每一个位置(即待检测的矩形窗口)，如果对应位置中掩膜图像的值1，则对该位置区域内的子图像使用训练好的轻型级联结构分类器进行人脸检测，即判别该子图像是否为人脸。也就是说，需要判断各矩形窗口的左上角的像素点，在掩膜图像中对应位置的像素值是否为1，仅对在掩膜图像中对应位置的像素值为1的矩形窗口，采用轻型级联结构分类器进行人脸检测。

接着，在步骤708和步骤709中，更新待检测的人脸尺寸。具体地说，将当前待检测的人脸尺寸乘以一个大于1的系数，一般情况下该系数取1.1，得到新的尺寸作为下一次待检测的人脸大小进行检测(即回到步骤705)，直至所有尺寸的人脸均已检测完成，进入步骤710。

接着，在步骤710中，合并输出检测结果，即将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合并的所有矩形窗口的位置和大小进行平均，得到最终的人脸窗口，其中，合并条件可以为：两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。

具体地说，由于在检测过程中，每一个人脸位置会多次被检测出来，为了最终输出一个人脸结果，需要对同一位置的多个检测结果进行合并，合并过程如下：对于两个不同的检测结果(矩形窗口)，计算其重叠面积，如果重叠面积大于其中一个矩形的1/4，则认为这两个结果可以合并为同一个结果，合并时取可以合并的所有矩形的位置和大小进行平均得到最终的检测结果。当然，本领域技术人员可以理解，重叠面积也可以设置为其他比例或数值。

接着，在步骤711中，更新背景图像，具体地，将当前图像复制到背景图像中即可完成背景图像的更新。

接着，在步骤712中，判断视频是否结束，如果已结束，则结束本流程，如果尚未结束，则回到步骤702，等待新的待检测图像到来。

需要说明的是，本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种采用级联分类器的人脸检测装置。如图8所示，该采用级联分类器的人脸检测装置包含：

轻型级联结构分类器训练模块，用于训练得到每一级均为一个弱分类器的轻型级联结构分类器，其中，轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到。

图像获取模块，用于获取当前待检测图像。

矩形窗口获取模块，用于从当前待检测图像中获取不同位置和不同大小的各矩形窗口；

人脸窗口检测模块，用于触发所述轻型级联结构分类器对不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。

其中，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，当该矩形窗口被一级弱分类器分类为非人脸时，停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果。当该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类为人脸时，输出该矩形窗口为人脸的检测结果。

具体地说，轻型级联结构分类器训练模块包含以下子模块：

响应初始化子模块，用于将所有样本的响应初始化为0，所有样本包含所有的正样本和所有的负样本。

级联结构分类器训练子模块，用于根据Gentle Adaboost训练算法，训练得到级联结构分类器。

弱分类器池获取子模块，用于将级联结构分类器训练子模块得到的级联结构分类器中包含的所有弱分类器，作为弱分类器池。

弱分类器选取子模块，用于对于弱分类器池中的每一个弱分类器，将该弱分类器对每一个样本的置信度加入到该样本的响应上得到当前该样本的响应，并将所有正样本的响应之和减去所有负样本的响应之和得到一个差值，将差值最大的弱分类器作为区分性最强的分类器，并从弱分类器池中选出区分性最强的弱分类器。

样本更新子模块，用于在弱分类器选取子模块选出区分性最强的弱分类器后更新样本。

响应更新子模块，用于将更新后的所有样本的响应，更新为当前所有被选出的弱分类器的置信度之和。

弱分类器池更新子模块，用于在弱分类器池中去掉已经被选出的弱分类器，并重新触发弱分类器选取子模块，直至弱分类器池中已不存在弱分类器。

组合子模块，用于将选出的弱分类器按选出的先后顺序组合成轻型级联结构分类器。

级联结构分类器训练子模块在根据Gentle Adaboost训练算法得到级联结构分类器时，将分块局部二值模式特征作为Gentle Adaboost训练算法的输入特征，训练得到级联结构分类器。其中，分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。具体地说，级联结构分类器训练子模块通过包含以下子单元，计算图像中一个区域的分块局部二值模式特征：

划分子单元，用于将一个区域分为9个同等大小的3＊3的矩形块。

像素值总和计算子单元，用于计算各个矩形块内部的像素值总和。

比较子单元，用于将中心块的像素值总和，与其8个邻域块的像素值总和进行大小比较。

设置子单元，用于对于像素值总和大于或等于中心块的像素值总和的邻域块，将该邻域块的值设为1。对于像素值总和小于中心块的像素值总和的邻域块，将该邻域块的值设为0。

连接子单元，用于将得到的8个邻域块值连接起来，形成一个8位的二进制串，将该二进制串的十进制值即作为区域的分块局部二值模式特征。

不难发现，第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种采用级联分类器的人脸检测装置。第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于，该采用级联分类器的人脸检测装置还包含：

掩膜图像生成模块，用于根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像。其中，差值大于阈值的像素点在掩膜图像中的像素值为1，差值小于或等于阈值的像素点在掩膜图像中的像素值为0。该掩膜图像生成模块还用于在生成掩膜图像时，将掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在掩膜图像中相对应的区域。其中，背景图像初始为所有像素点的值均为0的图像，在每完成一帧的人脸检测后，将当前图像复制到背景图像中完成背景图像的更新。

矩形窗口判断模块，用于判断不同位置和不同大小的各矩形窗口的左上角的像素点，在掩膜图像中对应位置的像素值是否为1。

矩形窗口判断模块指示轻型级联结构分类器仅对判定结果为在掩膜图像中对应位置的像素值为1的矩形窗口，采用轻型级联结构分类器进行人脸检测。

合并模块，用于将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合并的所有矩形窗口的位置和大小进行平均，得到最终的人脸窗口。合并条件可以为：两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。

不难发现，第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种采用级联分类器的人脸检测方法，其特征在于，包含以下步骤：

采用每一级均为一个弱分类器的轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口；

其中，所述轻型级联结构分类器在对每个所述矩形窗口进行人脸检测时，所述轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果；如果该矩形窗口被所述轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果；

所述轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到；

其中，通过以下方式训练得到所述轻型级联结构分类器：

A1、将所有样本的响应初始化为0，所述所有样本包含所有的正样本和所有的负样本，并将根据Gentle Adaboost训练算法得到的级联结构分类器中包含的所有弱分类器，作为弱分类器池；

A2、对于弱分类器池中的每一个弱分类器，将该弱分类器对每一个样本的置信度加入到该样本的响应上得到当前该样本的响应，并将所有正样本的响应之和减去所有负样本的响应之和得到一个差值，将差值最大的弱分类器作为区分性最强的分类器；

A3、从所述弱分类器池中选出区分性最强的弱分类器，并更新样本；

A4、将更新后的所有样本的响应，更新为当前所有被选出的弱分类器的置信度之和； 

A5、在所述弱分类器池中去掉已经被选出的弱分类器，回到所述步骤A2，直至弱分类器池中已不存在弱分类器；

所述轻型级联结构分类器由所述选出的弱分类器按选出的先后顺序组合而成。

2.根据权利要求1所述的采用级联分类器的人脸检测方法，其特征在于，在所述根据Gentle Adaboost训练算法得到级联结构分类器时，将分块局部二值模式特征作为所述Gentle Adaboost训练算法的输入特征，训练得到所述级联结构分类器；

其中，所述分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。

3.根据权利要求2所述的采用级联分类器的人脸检测方法，其特征在于，通过以下方式计算图像中一个区域的所述分块局部二值模式特征：

将一个所述区域分为9个同等大小的3*3的矩形块；

计算各个矩形块内部的像素值总和，然后将中心块的像素值总和，与其8个邻域块的像素值总和进行大小比较；

如果邻域块的像素值总和大于或等于所述中心块的像素值总和，则该邻域块的值设为1；如果邻域块的像素值总和小于所述中心块的像素值总和，则该邻域块的值设为0；

将得到的8个邻域块值连接起来，形成一个8位的二进制串，将该二进制串的十进制值即作为所述区域的分块局部二值模式特征。

4.根据权利要求1所述的采用级联分类器的人脸检测方法，其特征在于，还包含以下步骤：

根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像；其中，所述差值大于阈值的像素点在所述掩膜图像中的像素值为1，所述差 值小于或等于所述阈值的像素点在所述掩膜图像中的像素值为0；

在所述对矩形窗口进行人脸检测的步骤中，包含以下子步骤：

初始化待检测的人脸尺寸；

根据待检测的人脸尺寸缩放分类器；

判断所述不同位置和不同大小的各矩形窗口的左上角的像素点，在所述掩膜图像中对应位置的像素值是否为1；

仅对在所述掩膜图像中对应位置的像素值为1的矩形窗口，采用所述轻型级联结构分类器进行人脸检测；

更新待检测的人脸尺寸，具体地说，将当前待检测的人脸尺寸乘以一个大于1的系数，得到新的尺寸作为下一次待检测的人脸大小进行检测；

其中，所述背景图像初始为所有像素点的值均为0的图像，在每完成一帧的人脸检测后，将当前图像复制到背景图像中完成背景图像的更新；

在所述生成掩膜图像的步骤中，还包含以下子步骤：

将所述掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，所述预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在所述掩膜图像中相对应的区域。

5.根据权利要求1至4中任一项所述的采用级联分类器的人脸检测方法，其特征在于，在检测出人脸窗口后，还包含以下步骤：

将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合并的所有矩形窗口的位置和大小进行平均，得到最终的人脸窗口。

6.根据权利要求5所述的采用级联分类器的人脸检测方法，其特征在于，所述合并条件为：两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。 

7.一种采用级联分类器的人脸检测装置，其特征在于，包含： 

轻型级联结构分类器训练模块，用于训练得到每一级均为一个弱分类器的轻型级联结构分类器，其中，所述轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到； 

图像获取模块，用于获取当前待检测图像； 

矩形窗口获取模块，用于从所述当前待检测图像中获取不同位置和不同大小的各矩形窗口； 

人脸窗口检测模块，用于触发所述轻型级联结构分类器对所述不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口； 

其中，所述轻型级联结构分类器在对每个所述矩形窗口进行人脸检测时，所述轻型级联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，当该矩形窗口被一级弱分类器分类为非人脸时，停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为非人脸的检测结果；当该矩形窗口被所述轻型级联结构分类器中的每一级弱分类器均分类为人脸时，输出该矩形窗口为人脸的检测结果；

所述轻型级联结构分类器训练模块包含以下子模块： 

响应初始化子模块，用于将所有样本的响应初始化为0，所述所有样本包含所有的正样本和所有的负样本； 

级联结构分类器训练子模块，用于根据Gentle Adaboost训练算法，训练得到级联结构分类器； 

弱分类器池获取子模块，用于将所述级联结构分类器训练子模块得到的级联结构分类器中包含的所有弱分类器，作为弱分类器池； 

弱分类器选取子模块，用于对于弱分类器池中的每一个弱分类器，将该弱分类器对每一个样本的置信度加入到该样本的响应上得到当前该样本的 响应，并将所有正样本的响应之和减去所有负样本的响应之和得到一个差值，将差值最大的弱分类器作为区分性最强的分类器，并从所述弱分类器池中选出区分性最强的弱分类器； 

样本更新子模块，用于在所述弱分类器选取子模块选出区分性最强的弱分类器后更新样本； 

响应更新子模块，用于将更新后的所有样本的响应，更新为当前所有被选出的弱分类器的置信度之和； 

弱分类器池更新子模块，用于在所述弱分类器池中去掉已经被选出的弱分类器，并重新触发所述弱分类器选取子模块，直至弱分类器池中已不存在弱分类器； 

组合子模块，用于将所述选出的弱分类器按选出的先后顺序组合成所述轻型级联结构分类器。 

8.根据权利要求7所述的采用级联分类器的人脸检测装置，其特征在于，所述级联结构分类器训练子模块在所述根据Gentle Adaboost训练算法得到级联结构分类器时，将分块局部二值模式特征作为所述GentleAdaboost训练算法的输入特征，训练得到所述级联结构分类器； 

其中，所述分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。 

9.根据权利要求8所述的采用级联分类器的人脸检测装置，其特征在于，所述级联结构分类器训练子模块通过包含以下子单元，计算图像中一个区域的所述分块局部二值模式特征： 

划分子单元，用于将一个所述区域分为9个同等大小的3＊3的矩形块； 

像素值总和计算子单元，用于计算各个所述矩形块内部的像素值总和； 

比较子单元，用于将中心块的像素值总和，与其8个邻域块的像素值总 和进行大小比较； 

设置子单元，用于对于像素值总和大于或等于所述中心块的像素值总和的邻域块，将该邻域块的值设为1；对于像素值总和小于所述中心块的像素值总和的邻域块，将该邻域块的值设为0； 

连接子单元，用于将得到的8个邻域块值连接起来，形成一个8位的二进制串，将该二进制串的十进制值即作为所述区域的分块局部二值模式特征。 

10.根据权利要求7所述的采用级联分类器的人脸检测装置，其特征在于，所述采用级联分类器的人脸检测装置还包含： 

掩膜图像生成模块，用于根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像；其中，所述差值大于阈值的像素点在所述掩膜图像中的像素值为1，所述差值小于或等于所述阈值的像素点在所述掩膜图像中的像素值为0；其中，所述背景图像初始为所有像素点的值均为0的图像，在每完成一帧的人脸检测后，将当前图像复制到背景图像中完成背景图像的更新； 

矩形窗口判断模块，用于初始化待检测的人脸尺寸，根据待检测的人脸尺寸缩放分类器，判断所述不同位置和不同大小的各矩形窗口的左上角的像素点，在所述掩膜图像中对应位置的像素值是否为1； 

所述矩形窗口判断模块指示所述轻型级联结构分类器仅对判定结果为在所述掩膜图像中对应位置的像素值为1的矩形窗口，采用所述轻型级联结构分类器进行人脸检测，更新待检测的人脸尺寸，具体地说，将当前待检测的人脸尺寸乘以一个大于1的系数，得到新的尺寸作为下一次待检测的人脸大小进行检测； 

所述掩膜图像生成模块还用于在生成掩膜图像时，将所述掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，所述预测人脸区域为前 一帧的检测图像中有检测到人脸的区域，在所述掩膜图像中相对应的区域。 

11.根据权利要求7至10中任一项所述的采用级联分类器的人脸检测装置，其特征在于，所述采用级联分类器的人脸检测装置还包含： 

合并模块，用于将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合并的所有矩形窗口的位置和大小进行平均，得到最终的人脸窗口。 

12.根据权利要求11所述的采用级联分类器的人脸检测装置，其特征在于，所述合并条件为：两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。 

Images