CN103870811B - 一种用于视频监控的正面人脸快速判别方法 - Google Patents

Abstract

本发明公开了一种用于视频监控的正面人脸快速判别方法，判别出一段监控视频中人脸最正的那一帧图像，首先在标准视频库以及监控视频中提取正面人脸图像作为训练正样本，提取侧脸图像作为训练负样本，然后提取积分通道特征，利用Adaboost算法从提取特征中训练出强分类器。在正面人脸判别阶段，对输入的监控视频，利用已有的成熟的人脸检测算法进行人脸检测，对检测窗口进行判别，对图像进行“打分”，最后选出分数最高，也就是人脸最正的那一帧。本发明的方法提高了人脸姿态判别速度和精度，准确地进行正面人脸判别，减少了人脸姿态判别的计算量。

Description

一种用于视频监控的正面人脸快速判别方法

技术领域

本发明涉及图像处理和模式识别领域,特别是一种用于视频监控的正面人脸快速判别方法。

背景技术

作为安防监控的重要组成部分，视频监控***已广泛应用于超市、银行、政府等各部门。经济社会的发展对安全防范行业也提出了更高的要求，视频监控在生产生活中的作用也日趋重要，造成了监控***规模越来越大，监控点也越来越多，因此需要存储海量视频数据，对视频进行分析也变得越来越困难，例如，在这些视频中匹配一个人脸将变得很困难，如果能将视频中有用的信息存储下来，则对视频的分析就可以转化为对这些有用信息进行分析，这样就使得对视频的分析变得简单而有效。在室内监控视频中，主要关注的是监控视频中的人，为便于对海量视频数据中人脸的识别和分析，最有用的信息也可以视为人脸最正面的那张图像，问题就转化为视频中正面人脸判别，视频中人脸检测算法已经比较成熟了，比如OPENCV中人脸检测方法等，然而要从监控视频中快速判别正面人脸仍是一个具有挑战性的课题。本文假设在已检测出人脸的基础上进行正面人脸判别。

正面人脸判别问题是一个人脸姿态估计问题，现有的人脸姿态估计方法大体上可以两类[参考文献1]：

基于人脸外观的学习方法，即假设三维人脸姿态与人脸图像的某些特性(图像密度、颜色、图像梯度值等)存在唯一的对应关系，用大量已知三维人脸姿态的训练样本，通过统计方法来建立这种关系[参考文献2]。该方法不需要精确提取特征点，只需要有大量的三维人脸姿态的样本，目前比较流行的统计学习方法有支持向量机、神经网络等。支持向量机以及神经网络方法不需要对特征进行训练，而是直接将样本进行训练得到分类器，因此这两种方法精度受限于训练样本的选取，同时支持向量机训练出来分类器是二元输出的，不能对人脸姿态进行连续估计，而神经网络方法的精度也依赖于网络层级，层数越多其计算复杂度越高。

基于模型的方法，即利用某种几何模型或结构来表示人脸的结构和形状，建立模型和图像之间的对应关系，然后通过几何或者其它方法实现人脸空间姿态估计。与上述方法相比，基于模型的方法具有实施简单、精度高等优点，但该方法也有对特征点提取的精度要求较高[参考文献3]以及运算速度慢的缺点。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种用于视频监控的正面人脸快速判别方法，提高人脸姿态判别速度和精度，准确地进行正面人脸判别，减少人脸姿态判别的计算量。

为解决上述技术问题，本发明所采用的技术方案是：一种用于视频监控的正面人脸快速判别方法，该方法为：

1）在标准视频库或者采集到的监控视频中提取人脸图片作为训练样本集，将训练样本集中人脸绕Y轴旋转角度小于5度的人脸图像作为正样本图像，将训练样本集中人脸绕Y轴旋转角度大于30度的人脸图像作为负样本图像；选取n个样本图像(x₁,y₁),(x₂,y₂),…,(x_n,y_n)，其中x_i表示样本图像，y_i是类别标志，y_i=0表示负样本图像，y_i=1表示正样本图像；

2）初始化权重： ${\mathrm{\ω}}_{1,i}=\left\{\begin{array}{c}\frac{1}{2m},y_i=0\\ \frac{1}{2l},y_i=1\end{array}\right.;$

其中，m和l分别为非正脸样本和正脸样本的数量；n=m+l；i=1,2,…,n；

3）对所述样本图像进行LUV颜色通道变换、梯度幅值通道变换以及梯度直方图通道变换，其中所述LUV颜色通道变换包括3个通道、梯度幅值通道变换包括6个通道，梯度直方图通道变换包括1个通道，共10个通道；

4）训练分类器：令t=1；

5）利用下式归一化权重：ω_t,i为训练第t个分类器的第i个样本图像的权重；ω'_t,i为归一化后的第t个分类器的第i个样本图像的权重；

6）从上述10个通道中随机选取一个通道，并从经该选取的通道变换之后的样本图像中随机选取矩形区域，将该矩形区域内所有像素的和作为候选特征值；重复该步骤，直到得到K个候选特征值；

7）对每一个候选特征值f_j，训练一个弱分类器，利用该弱分类器计算ω'_t,i的错误率ε_j：

${\mathrm{\ϵ}}_j=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_{t,i}^{\′}|h_j\left(x_i\right)-y_i|;$

h_j(x_i)表示样本图像x_i的第j个候选特征值构成的弱分类器，j=1,2,…,K；θ_j为阈值，p_j为指示不等式方向的偏置，p_j=±1；h_j(x_i)=1表示第j个候选特征值判断此样本图像x_i为正样本图像，反之则为负样本图像；

8）重复步骤7），得到所有候选特征值对应的错误率，选取最小错误率ε_t对应的弱分类器h_t(x)作为候选分类器；

9）利用下式更新权重：当x_i被正确分类时，（比如选取了特征j，如果x_i是正样本，特征j也能判断出x_i是正样本，就叫是正确分类，反之，则分类错误）e_i=0，反之，e_i=1； ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t};$ 设 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t};$

10）令t=t+1，将ω_t+1,i作为训练第t+1个分类器的第i个样本图像的权重，重复上述步骤5）～步骤9），直到得到T个候选分类器，利用所述T个候选分类器确定强分类器h(x)：

$h\left(x\right)=\left\{\begin{array}{c}1,\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t\\ 0,\mathrm{else}\end{array}\right.;$

11）检测标准视频库或者采集到的监控视频，得到多帧人脸图像，利用上述强分类器h(x)对所述多张人脸图像打分，选出分数最高的一帧图像，即得到正面人脸图像。

阈值θ_j的大小根据候选特征值确定，为了计算方便，本发明中，阈值θ_j大小选取为K个候选特征值的中间值。

本发明通过积分通道变换之后用积分图来高效计算出各种特征值，针对人脸姿态变化很大，积分通道特征的特征提取方式能够克服单一的特征模式对特征描述的不足，例如单纯的Haar-Like特征就很难很好的描述各种人脸姿态的变化，其是从各个角度对特征进行集成，同时又不像特征融合，只是将几种单纯的特征都提取，增加了计算的复杂度，本发明的积分通道变换很好的克服了一般特征融合计算速度慢的问题；本发明通过Adaboost训练出来的分类器具有很强的分类能力，因为它训练出来的结果不是简单的单个或者几个分类器，也不是简单的对少数的单独分类器进行组合，它是根据最小错误率来选择每一个弱分类器，并且最后构成强分类器，具有极强的分类能力；积分通道特征与训练器结合的最大好处就是不仅仅保证了用于判别正面人脸的分类器的分类能力很强，而且在判别速度方面也很好，因为积分通道特征一幅图像只需要计算一次积分图，并且积分通道特征不仅仅采用单一的特征模式而是各种特征的结合，很好克服了单一特征带来的特征描述不足缺点，因此更进一步增加了判别的精度。故此，综上所述，将积分通道特征与Adaboost结合的方法在速度和精度方面有不错的表现。因此本发明的方法有很好的实时性和准确性。

与现有技术相比，本发明所具有的有益效果为：本发明提出的应用积分通道特征以及Adaboost训练进行人脸判别的方法，很好地解决了特征融合以及其他训练方法带来的训练速度慢和训练效果差的问题，提高了人脸姿态判别速度和精度，准确地进行正面人脸判别，减少了人脸姿态判别的计算量。本发明所提取的正面人脸图片能够很好的选取一段视频中人脸旋转程度最小的，最有用的人脸图片信息，为后续的视频分析提供了极大的便利。

附图说明

图1是本发明的方法流程图；

图2是训练正样本；

图3是训练负样本；

图4是本发明积分通道特征中3中通道类型；图4(a)是LUV颜色通道变换图；图4(b)是梯度幅值通道变换图；图4(c)是梯度直方图通道变换图；

图5是输入视频中正面人脸判别流程图；

图6是视频部分示意图；

图7是实时正面人脸判别示意图；

图8是实验结果图。

具体实施方式

本发明的方法包括以下两个阶段：

（1）训练阶段

1)首先在标准视频库以及采集视频中提取人脸图片作为训练样本集，由于本发明主要是为了快速判别出正面人脸图像，因此为了更好的区分人脸，选择正面人脸图片作为训练正样本，选择人脸旋转程度大的人脸图片作为训练负样本。正面人脸图像是指人脸绕Y轴旋转角度小于或者等于5度的人脸图像，而负样本则采用旋转角度大于或者等于30度的人脸图像。正负样本如图2、3所示。

选取n个样本图像(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_n,y_n)，x_i是输入样本图像，y_i是类别标志，其中y_i=0表示为负样本，y_i=1表示为正样本；

2)初始化权重：

${\mathrm{\ω}}_{1,i}=\left\{\begin{array}{c}\frac{1}{2m},y_i=0\\ \frac{1}{2l},y_i=1\end{array}\right.;$

其中m和l分别为非正脸样本和正脸样本的数量，n=m+l；为了能够从大量的弱分类器中训练出强分类器，Adaboost采用训练的同时改变样本的权重，这样能够在下一次训练时能够更好的选取样本以及增加训练的效率。

3)训练T个分类器，提取积分通道特征[4]，其基本思想是通过对输入图像进行各种线性和非线性的变换，诸如局部求和、直方图、Haar-like特征及它们的变种之类的特征便可以通过积分图来高效快速计算出来。其通道变换类型也多种多样。针对人脸姿态变化很大，积分通道特征的特征提取方式能够克服单一的特征模式对特征描述的不足，例如单纯的Haar-Like特征就很难很好的描述各种人脸姿态的变化，其是从各个角度对特征进行集成，同时又不像特征融合，只是将几种单纯的特征都提取，增加了计算的复杂度，很好的克服了一般特征融合计算速度慢的问题，其次选取了以下3中通道类型，其中LUV颜色通道能够很好的描述人脸亮度及色度变化，梯度幅值通道很好的反映了人脸的轮廓，梯度直方图通道则从不同梯度方向上综合对人脸变化进行描述，以上几种通道类型能够比较好的描述人脸姿态的变化。首先先对输入样本图像进行以上3种通道变换，总共有10个通道。3种通道变换如图4所示。

具体提取过程：

Fort=1,2,…,T

(a)归一化权重：

ω_t,i为第t次循环中第i个样本权重；

(b)Forj=1,2,…,K

随机选择积分通道特征f_j：

1.随机选择通道索引bin_k(k=1,…,10)；

2.随机选择矩形区域Rect_j并计算像素值之和Sum_k,j；

对每个特征f_j，训练一个弱分类器h_j，计算相应的ω_t的错误率：其中h_j(x_i)表示样本x_i的第j个特征构成的弱分类器。且其由第j个特征的一个阈值θ_j、特征值f_j以及一个指示不等式方向的偏置p_j（只有±1两种情况）构成。h_j=1表示第j个特征判断此样本为真样本，反之则为假样本。

(c)选择最小错误率ε_t的弱分类器h_t；

(d)更新权重：

${\mathrm{\ω}}_{t+1,i}={\mathrm{\ω}}_{t,i}{\mathrm{\β}}_t^{1-\mathrm{ei}}$

其中，当x_i被正确分类时，e_i=0，反之，e_i=1；

4)最终强分类器为h(x)：

$h\left(x\right)=\left\{\begin{array}{c}1,\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t\\ 0,\mathrm{else}\end{array}\right.;$

其中，利用步骤3中流程，能够很好的从提取的大量积分通道特征中训练出具有分类能力很强的强分类器。

（2）判别阶段

判别阶段就是从监控视频对检测的人脸进行正面判别的一个过程。判别阶段就是从监控视频对检测的人脸进行正面判别的一个过程。在正面人脸判别阶段，对输入的监控视频，利用已有的成熟的人脸检测算法进行人脸检测，例如OPENCV中人脸检测算法，通过滑窗对整幅输入图像进行检测，并对每一次检测窗口进行判别，即用第一个阶段训练出的分类器对该窗口进行正面人脸的判别，即对该窗口是正面人脸的程度给出判断，打分，越接近正面人脸，最后选出分数最高，也就是人脸最正的那一帧。存储这一帧图像，作为视频分析的依据。

具体判别流程见附图5。

本发明的关键点是对人脸姿态的估计，为更好的区分正侧脸，在选择正负样本进行训练的时候，将样本统一规范化成64×64大小的人脸图像，正样本选取的是正脸或者接近正面人脸图片，负样本选取的是侧脸图片。（例如在具体实现过程中，选取了l=1000张正样本，m=2000张负样本作为训练样本）部分训练图片如图2和图3所示，从图中可以看出正样本人脸图片在Y轴方向上的旋转角度是为0或者接近0的，而负样本人脸图片则是旋转角度比较的人脸图片。

本发明实验初始化为，训练了T=5000个弱分类器，正样本误差权重初始值为1/2000,负样本误差权重初始值为1/4000，而在训练每一弱分类器中，选取了K=1000个积分通道特征，来找到使得分类有最小错误率的特征，即弱分类器。

初始化训练以后，利用Adaboost训练方法，例如在第一轮训练过程中，K=1000个特征值中，Min=165，Max=1853，从而得到阈值初始值1009，按照上述步骤进行训练，从而得到下面判别过程所需要的强分类器。

训练处分类器后，对于输入的实时视频图像序列，利用已经成熟的人脸检测算法，即OPENCV中人脸检测模块对输入视频进行人脸检测，为说明本发明的效果，选取的视频序列共70帧，视频的帧率是30fps。视频部分示意图如图6所示。

在正面人脸实时判别阶段，如图5和图6所示，利用3训练阶段训练出的强分类器对每一次检测窗口进行正面人脸判别，为了很好的选取正面人脸图片，定义“打分”函数Score(x)，即将每次检测出的窗口进行正面人脸判别。

经过5之后，已经对每一次检测出的人脸图片进行正面人脸判别，并且存储了其分数，然后选择该函数中分数最高的那一帧图像，即选择了该段视频中人脸最正的图片，也就是最有用的信息，便于对视频进行分析。最后判别结果是选取该段视频中的第52帧，如图7所示，从图中可以看到，该人脸图片能够很清楚反映人脸信息，便于分析。

为进一步验证本方法的有效性，利用FEI人脸库中部分图片进行以下几种方法的比较，分别是Jones等人[5]提出的运用旋转的Haar-Like特征，以正面人脸图像作为训练正样本，以非正脸图像作为训练负样本的Adaboost训练分类器对检测出来的人脸区域进行正面判别的方法。Nikolaidis[6]等人指出，正面人脸图像中两眼与嘴巴中心点连线形成的三角形为等腰三角形，人脸的旋转将引起该三角形的变化，提出了基于脸部特征点的方法。Zhu等人[7]提出了一种集人脸检测、姿态人脸估计以及人脸区域标记于一体的方法，利用脸部区域特征来训练建立树形结构模型的方法。本发明从判别正确率、判别速度方面进行了4种方法的比较。各种方法比较如表1所示。

表1各种方法的比较

从上面实验结果来看，最早提出的Nikolaidis方法需要精确定位特征点，因此结果易受到外部条件的影响，判别效果不是很好，Jones分类方法是基于旋转Haar-Like特征，该特征不能很好的区分正脸和侧脸，虽然其计算速度比较快，正确率却不高，很难应用到实时监控视频中，Zhu方法拥有很高的正确率，从文献中也可以看出其也能够判别出复杂条件下的人脸姿态，但是唯一一点不足就是其计算时间太长，不能应用到实际***中去，而本发明提出的方法，既达到了一定得正确率，即精度要求，计算判别速度也很快，因此能够应用到实际***中。

参考文献：

[1]EricMC,MohanMT.Headposeestimationincomputervision:Asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2009,31(4):607-626.

[2]LiSZ,LuXiaogang,HouXinwen,eta1.Learningmultiviewfacesubspacesandfacialposeestimationusingindependentcomponentanalysis[J].IEEETransactionsonImageProcessing,2005,14(6):705-712.

[3]ShaftM,ChungPWH.Faceposeestimationfromeyesandmouth[J].AdvancedMechatronicsSystems,2010,11(2):132-138.

[4]DollarP,TuZW,PeronaP,etal.Integralchannelfeatures[A].InProc.BMVC[C],2009:1-11.

[5]M.Jones,P.Viola.FastMulti-ViewFaceDetection.TechnicalReport096,MitsubishiElectricResearchLaboratories,2003.

[6]A.Nikolaidis,I.Pitas.FacialFeatureExtractionandPoseDetermination.PatternRecognition,2000,vol.33,no.11,PP.1783-1791.

[7]X.Zhu,D.Ramanan.FaceDetection,PoseEstimation,andLandmarkLocalizationintheWild.ComputerVisionandPatternRecognition(CVPR)Providence,RhodeIsland,June2012.

Claims (2)

1.一种用于视频监控的正面人脸快速判别方法，其特征在于，该方法为：

1)在标准视频库或者采集到的监控视频中提取人脸图片作为训练样本集，将训练样本集中人脸绕Y轴旋转角度小于5度的人脸图像作为正样本图像，将训练样本集中人脸绕Y轴旋转角度大于30度的人脸图像作为负样本图像；选取n个样本图像(x₁,y₁),(x₂,y₂),…,(x_n,y_n)，其中x_i表示样本图像，y_i是类别标志，y_i＝0表示负样本图像，y_i＝1表示正样本图像；

2)初始化权重： ${\mathrm{\ω}}_{1,i}=\left\{\begin{array}{c}\frac{1}{2m},y_i=0\\ \frac{1}{2l},y_i=1\end{array}\right.;$

其中，m和l分别为非正脸样本和正脸样本的数量；n＝m+l；i＝1,2,…,n；

3)对所述样本图像进行LUV颜色通道变换、梯度幅值通道变换以及梯度直方图通道变换，其中所述LUV颜色通道变换包括3个通道、梯度幅值通道变换包括6个通道，梯度直方图通道变换包括1个通道，共10个通道；

4)训练分类器：令t＝1；

5)利用下式归一化权重：ω_t,i为训练第t个分类器的第i个样本图像的权重；ω'_t,i为归一化后的第t个分类器的第i个样本图像的权重；

6)从上述10个通道中随机选取一个通道，并从经该选取的通道变换之后的样本图像中随机选取矩形区域，将该矩形区域内所有像素的和作为候选特征值；重复该步骤，直到得到K个候选特征值；

7)对每一个候选特征值f_j，训练一个弱分类器，利用该弱分类器计算ω'_t,i的错误率ε_j：

${\mathrm{\ϵ}}_j=\underset{i}{\Σ}{\mathrm{\ω}}_{t,i}^{\′}|h_j\left(x_i\right)-y_i|;$

h_j(x_i)表示样本图像x_i的第j个候选特征值构成的弱分类器，j＝1,2,…,K；

θ_j为阈值，p_j为指示不等式方向的偏置，p_j＝±1；h_j(x_i)＝1表示第j个候选特征值判断此样本图像x_i为正样本图像，反之则为负样本图像；

8)重复步骤7)，得到所有候选特征值对应的错误率，选取最小错误率ε_t对应的弱分类器h_t(x)作为候选分类器；

9)利用下式更新权重：当x_i被正确分类时，e_i＝0，反之，e_i＝1； ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t};$ 设 ${\mathrm{\α}}_t=log\frac{1}{{\mathrm{\β}}_t};$

10)令t＝t+1，将ω_t+1,i作为训练第t+1个分类器的第i个样本图像的权重，重复上述步骤5)～步骤9)，直到得到T个候选分类器，利用所述T个候选分类器确定强分类器h(x)：

$h\left(x\right)=\left\{\begin{array}{c}1,\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t\\ 0,else\end{array}\right.;$

11)检测标准视频库或者采集到的监控视频，得到多帧人脸图像，利用上述强分类器h(x)对所述多帧人脸图像打分，选出分数最高的一帧图像，即得到正面人脸图像。

2.根据权利要求1所述的用于视频监控的正面人脸快速判别方法，其特征在于，所述阈值θ_j大小为K个候选特征值的中间值。