CN102096823A - 基于高斯模型和最小均方差的人脸检测方法 - Google Patents

Abstract

基于高斯模型和最小均方差的人脸检测方法，涉及一种人脸识别技术。提供一种在复杂背景、侧面、遮挡物、多人脸的情况下的基于高斯模型和最小均方差的人脸检测方法。建立YCbCr高斯模型：根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量；运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散的点；根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框标记人脸位置。

Description

基于高斯模型和最小均方差的人脸检测方法

技术领域

本发明涉及一种人脸识别技术，尤其是涉及一种在复杂背景、侧面、遮挡物、多人脸的情况下彩色图像人脸的快速检测方法。

背景技术

人脸检测是指对于任意的一幅给定图像，采用一定的策略对其进行搜索以确定其中是否存在人脸，如果存在则进一步确定人脸的位置、大小和姿态等信息。随着电子商务与人们安全意识的增强，人们对确认个人身份有着更高的要求，利用生物特征来识别个人身份的技术也被赋予了很高的期望。而人脸识别技术因人脸获取比指纹虹膜更容易被人们接受，成为最有潜力待测生物身份验证手段。目前，人脸检测广泛应用于视频会议、基于对象的编码、应用视觉***(如安全检查、保安管理等)、Web搜索、三维人脸合成、视频检索、基于内容的图像检索等。

人脸检测是一个具有很大的复杂性、挑战性问题，其主要的难点可归纳为：(1)、图像中是否存在人脸：如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像，如何在复杂的背景下准确的提取人脸的特征等；(2)、检测不同表现形式的人脸：人脸可能以不同视角出现在图像中，在一幅图像中的人脸大小也可能相差巨大，也可能被其它的物体所遮挡，比如在存在多个人的场景下，遮挡情况就更容易出现，造成某些用于检测而需提取的人脸特征不可见；(3)、图像的影响：图像中存在噪声，由于成像时亮度、对比度等因素的影响而使图像不清晰，人脸与背景区别不大，给检测带来一定的困难；对于彩色图像来说，如果图像有偏色等情况的出现，将使对基于彩色的人脸检测方法带来很大的影响；(4)、人脸自身的因素：人脸有不同的姿态(正面、45°角或者侧面等)，使得人脸模式的变化非常大，某些姿态甚至会遮挡住脸部器官(例如眼睛和鼻子等)，特殊的脸部结构信息，比如脸部的眼镜和胡须等；脸部的不同表情对人脸模式的影响也很大。

上述因素都为解决人脸检测问题造成了难度，如果能够找到一些相关的算法并能在应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪等应用***提供保证。近年来提出的人脸检测方法可以分为四类：基于知识方法，基于模板匹配方法，基于外观形状的方法和基于特征的方法。

目前人脸检测的主流方法有：①、模板匹配：首先建立存储一些人脸模板作为标准，这些模板可以是人脸或者单独的眼睛、鼻子、嘴或者具有弹性的模板，然后利用一些算法来计算各待测区域与标准模板的相似程度或相关性，以此来判断，某一区域是否为人脸或相应特征；优缺点：基于模板匹配的算法在针对正面单人脸的运用中取得了较好的效果，对于复杂背景的人脸检测，建立一个能很好的区分背景干扰同时又代表各种差异人脸的模板是问题的关键点。有着很好区分背景干扰的模板，难以代表各种人脸模板，而能代表各种人脸的模板又不能很好地区分背景，也即人脸检测中存在的普遍问题，准确率与漏检率始终是一对矛盾，并且模板匹配的计算复杂度偏高，定位的实时效果也不好，对侧面的检测效果也不好。②、神经网络：依靠统计分析和机器学习技术，构造出神经网络***作为分类器，使用大量的人脸和非人脸样本对***进行训练，让***自动学习两类样本复杂的类条件密度；优缺点：具有较高的准确性、容错性、鲁棒性，避免了复杂的特征提取工作，通过学习过程获得其他方法难以实现的关于人脸识别规律的隐性表达，神经网络方法虽然理论上十分可行，但却需要进行大量的样本训练，相对速度较慢，检测结果受样本的影响也较大。③、肤色检测：利用数字图像的彩色信息，先分割出可能的人脸候选区，然后在各个候选区进行判别，确定候选区是否为人脸；优缺点：肤色定位方法的关键是寻找一个合适的色系坐标系，它能使得肤色的变化集中在某二维上，由此设定阈值以确定肤色，使得在此阈值范围内的非肤色越少越好，检测速度相对较快，基本能做到实时检测并不受人脸旋转或人侧转的影响，漏检率很低。

中国专利CN101667245公开一种基于支持矢量新颖检测分类器级联的人脸检测方法，主要解决的是人脸检测过程中计算复杂度过大导致检测时间过长的问题，其检测过程是：训练样本集的预处理及提取样本特征；利用支持矢量新颖检测算法对已提取特征的训练样本进行训练，并得到分类器模型；根据在已有测试集的检测的正检和误检率来优化算法参数并挑选合适三个合适的子分类器级联成一个强分类器；用此级联强分来器对灰度图片进行人脸的检测并标出。该发明具有检测速度快的优点，可用于机器学习和模式识别范畴内的人脸检测。

中国专利CN101957909A公开一种基于DSP平台的人脸检测方法。此方法通过对动态视频截取图像，并利用图像处理手段，以模型整体属性为主，考虑人脸整体与各部分之间的拓扑关系，提取并利用关键信息来寻找特征点，从而完成整体人脸检测。***硬件部分由以下三部分组成：前端图像采集部分采用带红外摄像功能的CCD摄像头；信息处理部分采用BF533处理器；后端将电视与DSP平台相连接直接显示人脸检测结果。软件部分采用Visual？DSP++开发环境进行编程实现数据搜集、处理、输出控制。

发明内容

本发明的目的在于针对现有的算法存在的缺陷和人脸检测的难点，提供一种在复杂背景、侧面、遮挡物、多人脸的情况下的基于高斯模型和最小均方差的人脸检测方法。

本发明包括以下步骤：

1)建立YCbCr高斯模型：根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量；

在步骤1)中，所述根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，是根据采集的肤色样本数据，统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型；所述对图像进行光线补偿，是为了抵消整个图像中存在着色彩偏差，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，如果这些像素的数目足够多(例如大于100)，就将它们的亮度作为“参考白”(Reference White)，即将它们的色彩的R、G、B分量值都调整为最大的255。

2)运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；

在步骤2)中，所述运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割的具体步骤可为：根据采集的肤色样本数据，建立KL空间，确定肤色在KL空间的阈值；利用YCbCr高斯模型计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将利用KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由最小均方差和YCbCr高斯模型的肤色混合模型。

3)对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散的点；

在步骤3)中，所述对肤色区域的二值化，可使用基于YCbCr高斯模型和最小均方差相结合的肤色混合模型，若一个像素即满足KL空间的肤色阈值，同时也属于YCbCr高斯模型与自适应阈值分割出来的像素点，则判断该点为肤色点，否则为背景点；所述开运算，可将肤色分割后的二值化图像进行开运算，即先腐蚀后膨胀的过程；腐蚀的方法是，拿结构元素S的原点和X上的点一个一个地对比，若S上的所有点都在X的范围内，则S的原点对应的点保留，否则将该点去掉；膨胀的方法是，拿结构元素S的原点和X上的点一个一个地对比，若S上有一个点落在X的范围内，则S的原点对应的点就保留，否则将该点去掉；经过开运算处理，能够去除孤立的小点、毛刺和小桥(即连通两块区域的小点)。

4)根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框标记人脸位置。

在步骤4)中，所述根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，可根据人脸在图像中的先验知识，剔除类肤色或肤色的非人脸区域；所述人脸在图像中的先验知识可包括人脸在图像中应该占有的比例(即像素点的多少)、人脸的长宽比以及人脸区域的密集度(人脸像素点的占有率)等；所述标记人脸，可根据先验知识剔除类肤色或肤色的非人脸区域后，剩下的区域就是所谓的人脸区域，用矩形框圈出来。

所述基于YCbCr高斯模型和最小均方差相结合的肤色混合模型，是指先根据采集的自然光照下肤色样本、阴影下肤色样本、室内外光照不足等不同条件下的不同种族人脸图像的肤色数据，绘制肤色在KL空间的分布图，从而确定人脸肤色在KL空间的阈值；并且统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型，计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相与，从而得到人脸的肤色区域。

所述去除类肤色或肤色的非人脸模块，是指经过开运算的处理后，接下来对各个肤色区域进行标记，并计算各个区域的长、宽和像素点及整个区域所占的像素点，然后利用人脸的先验知识剔除一些类肤色或肤色的非人脸区域，其中人脸的先验知识包括：①一张人脸最少的像素个数不低于600，其中宽不低于20，长不低于30；②人脸外接矩形的高宽比ratio，0.8＜ratio＜2；③人脸的像素个数占外接矩形不低于45％；根据以上3个条件剔除非人脸区域。

本发明是一种在复杂背景、侧面、遮挡物、多人脸的情况下彩色图像人脸的快速检测方法，在实现一个人脸检测***时，首先应该收集足够多的人脸肤色样本，根据采集的大量肤色样本建立人脸肤色分布的YCbCr高斯模型(YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量)以及确定肤色在KL空间的分布范围；接下来按照图1流程，对图像进行光线补偿，运用建立的YCbCr高斯模型与最小均方差对图像进行快速的肤色分割，然后对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除一些小桥或离散的点，然后根据人脸的先验知识(肤色区域的大小，长宽比，填充率)剔除类肤色或肤色的非人脸区域，最后用矩形(人脸的外接矩形)框准确的圈出人脸位置。

由此可见，本发明的突出优点是：针对现有的算法存在的缺陷和人脸检测的难点，本发明提出了一种基于最小均方差与YCbCr高斯模型相结合的肤色混合模型，准确的将肤色区域进行快速的分割，然后对分割出来的肤色区域进行形态学处理(即开运算)，经过形态学处理后，运用人脸的先验知识对处理完的肤色区域进行筛选，提出一些类肤色或肤色的非人脸区域，最后标记出人脸位置。

另外，本发明利用基于YCbCr的高斯肤色模型，成功的将亮度信息与色彩信息分离，并且具有较高肤色检测率；通过最小均方差，可以减小每个分量的均方差，将高斯模型和最小均方差相结合，就进一步缩小了肤色过滤的范围。

同时，本发明所用的肤色检测主要是利用肤色在色彩空间的聚类性，并且符合二维高斯分布，通过采集到的肤色样本，统计肤色在色彩空间的聚类区域，并用数学的方法建立高斯模型得到一个函数。本发明在复杂背景、侧面、遮挡物、多人脸的等情况下可以快速定位人脸的位置，解决了目前人脸检测的部分难点以及现有算法的部分缺陷，鲁棒性强，而且具有较高的检测速度和检测率，因此具有广泛的应用前景。

实验结果表明，这种区域模型融合高斯模型似然图的分割效果比只采用任何一种方法好，这是至今未见报道的方法。

附图说明

图1为人脸检测***流程图。在图1中，流程为打开图像，光线补偿，KL变换、基于YCbCr高斯变换，二值化，开运算(先腐蚀后膨胀)，去假脸区域，标记人脸。

图2为拟合后肤色分布高斯模型。在图2中，横坐标分别为C_b分量和C_r分量，纵坐标为概率分布。

图3为腐蚀运算示例。图3为XY坐标，在图3中，左侧为X，中间为S，右侧为X-S。

图4为膨胀运算示例。图4为XY坐标，在图4中，左侧为X，中间为S，右侧为X+S。

图5为本发明所采用的结构元素S。图5为XY坐标。

图6为基于先验知识去除非人脸区域的流程图。在图6中，流程为基于YCbCr的高斯肤色模型与KL变换相结合，候选人区域(二值图)，区域标记，统计各区域的长、宽和像素点及整个区域所占的像素，计算肤色区域大小、计算区域的长宽比、计算区域的填充率，标记人脸。

具体实施方式

一种在复杂背景、侧面、遮挡物、多人脸的情况下彩色图像人脸的快速检测方法，在实现一个人脸检测***时，首先应该收集足够多的人脸肤色样本，根据采集的大量肤色样本建立人脸肤色分布的YCbCr高斯模型(YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量)以及确定肤色在KL空间的分布范围；接下来按照图1流程，对图像进行光线补偿，运用建立的YCbCr高斯模型与最小均方差对图像进行快速的肤色分割，然后对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除一些小桥或离散的点，然后根据人脸的先验知识(肤色区域的大小，长宽比，填充率)剔除类肤色或肤色的非人脸区域，最后用矩形(人脸的外接矩形)框准确的圈出人脸位置。

A、肤色建模：

先根据采集的自然光照下、阴影下、室内外光照不足等不同条件下的不同种族人脸图像的肤色数据，绘制肤色在KL空间的分布图，从而确定人脸肤色在KL空间的阈值；并且统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型，计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由YCbCr高斯模型和最小均方差相结合的肤色混合模型。

本发明采用的基于YCbCr高斯模型和最小均方差的肤色混合模型为：

(1)最小均方差

把图像中的像素点依据(1-1)变换到KL空间中，当图像中像素点在KL空间中满足(1-2)时，则该像素点为属于肤色区域，否则不属于肤色区域，其中式(1-2)是由采集的样本数据确定的。从RGB空间到KL空间的转换公式：

$\left[\begin{array}{c}K1\\ K2\\ K3\end{array}\right]=\left[\begin{array}{ccc}0.666& 0.547& 0.507\\ -0.709& 0.255& 0.657\\ 0.230& -0.797& 0.558\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---(1-1)$

肤色的阈值为：

110.2＜K1＜376.3，-61.3＜K2＜32.9，-18.8＜K3＜19.5            (1-2)

(2)YCbCr高斯模型

①肤色似然度图像

把样本中的像素点从RGB空间向YCbCr空间转换可写成如下公式：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.299& 0.587& 0.114& 0\\ -0.169& -0.331& 0.500& 128\\ 0.500& -0.419& 0.081& 128\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]---(1-3)$

根据采集到的肤色样本的C_r，C_b，建立一个二维高斯模型G(m，c)，具体计算公式如下

$m={\left(\begin{array}{cc}\stackrel{\‾}{C_r}& \stackrel{\‾}{C_b}\end{array}\right)}^T---(1-4)$

$\stackrel{\‾}{C_r}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_{r_i}---(1-5)$

$\stackrel{\‾}{C_b}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_{b_i}---(1-6)$

C＝E[(x-m)(x-m)^T]                                        (1-7)

x是每个像素点的色度向量；第一个分量是Cr；第二个分量是Cb；m和C分别是统计出来的均值和方差。经过实验统计，均值和方差分别为：

m＝(156.5599，117.4361)^T $C=\left[\begin{array}{cc}299.4575& 12.1430\\ 12.1430& 160.1301\end{array}\right]$

根据上述参数拟合出肤色分布高斯模型，相似度计算公式如下所示：

P(C_b，C_r)＝exp[-0.5(x-m)^TC^-1(x-m)]                                        (1-8)

根据已建立的肤色模型，计算人脸图像中所有像素点颜色与肤色的可能性大小，即相似度大小，其取值范围为[0，1]。其中：x＝[C_r，C_b]为待测图像像素点在Cb-Cr空间中的向量。计算完毕后，对所求得的每个P[C_r，C_b]值进行归一化处理，即将每个P[C_r，C_b]值除以该图像中最大的P[C_r，C_b]值，这样就使得各像素的相似度的值在[0，1]之间，并且使肤色区域亮度更加突出。该值越大，表示属于肤色的可能性也越大，反之越小。

②阈值的选取

本发明主要通过自适应阈值法，将相似度图像进一步转化为二值图，其中0，1分别表示非肤色区域和肤色区域。在本发明中采用的方法是让阈值从0.65开始减少，每次减少0.1，直到0.05为止，并记录下每次阈值变化时属于肤色像素数量的变化，然后找出属于肤色像素数量变化最小时的那个阈值作为最优化阈值，如得到在从0.45减少到0.35区间时肤色像素数量增加最少，则优化后的阈值为0.40。当该点像素的相似度高于最优化阈值则认为该点为肤色像素并置1，反之若低于该阈值则置0。

综合①、②可以得出肤色建模具体方法如下：

I、计算最大似然度，根据式(1-8)求出每个像素点对应的肤色似然度，并得到整幅图像的最大肤色似然度；

II、计算得到肤色似然度图像，用每一像素点的肤色似然度除以最大肤色似然度所得到的值作为该像素点的灰度值，得到肤色似然度图像，每一个像素点的似然值表征了这个像素点属于皮肤的概率；

III、肤色分割，采用自适应阈值方法对图像进行分割。首先设定阈值为0.65，每次以0.1的间隔减少直到0.05，记录下每次阈值变化时属于肤色像素数量的变化，然后找出属于肤色的像素数量变化最小时的那个阈值作为最佳阈值，将似然图像二值化；

IV、得到的二值图像，再和最小均方差分割的结果做点乘，以消除一定的类肤色影响。

B、读图与光线补偿

依据图1的流程图，首先读入图像数据，然后将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，并将它们的亮度作为“参考白”(Reference White)，即将它们的色彩的R、G、B分量值都调整为最大的255。

C、肤色分割与二值化

图像经过预处理后，①根据式(1-8)求出每个像素点对应的肤色似然度，并得到整幅图像的最大肤色似然度；②用每一像素点的肤色似然度除以最大肤色似然度所得到的值作为该像素点的似然值，得到肤色似然度图像；③采用自适应阈值方法对图像进行分割。首先设定阈值为0.65，每次以0.1的间隔减少直到0.05，记录下每次阈值变化时属于肤色像素数量的变化，然后找出属于肤色的像素数量变化最小时的那个阈值作为最佳阈值，当图像中像素点的相似度高于最优化阈值则认为该点为肤色像素并置1，反之若低于该阈值则置0；④当图像中像素点在KL空间中满足(1-2)时，则该像素点为属于肤色区域并置1，否则不属于肤色区域则置0；⑤把同时满足KL空间和YCbCr高斯模型确定的肤色点，置成255，其他像素点置为0。

D、开运算处理

本发明采用的结构元素S为图5，拿S的原点和肤色区域上的点一个一个地对比，如果S上的所有点都在肤色区域的范围内，则S的原点对应的点保留，否则将该点去掉；拿S的原点和腐蚀后的肤色区域的点一个一个地对比，如果S上有一个点落在X的范围内，则S的原点对应的点就为肤色点，否则不是；

E、基于先验知识的剔除非人脸模块

图像经过基于YCbCr的高斯肤色模型与最小均方差处理后，得到二值图像，然后再对二值图像进行开运算处理去除离散点和小桥；接下来对各个区域进行标记，并计算各个区域的长、宽和像素点及整个区域所占的像素点，然后利用人脸的先验知识剔除一些类肤色或肤色的非人脸区域：

(1)识别人脸的最少像素数

若目标区域的宽度大于W(本发明取20)，高度大于H(本发明取30)，则保留该区域，否则删除该区域；

(2)人脸的高宽比

若目标区域的外接矩形高宽之比ratio不在规定的阈值范围(0.8～2.5)内时，则删除该区域。一般来说，人脸的高宽比大约为1，考虑到人姿态各异，为了防止漏选，规定这个比例的下限为0.8，ratio＜0.8的所有待检区域将被滤除。另一方面，人脸高宽比也应当规定一个上限。这是因为在实际中存在一些情况，待检区域中含有人脸，但是图像的高宽比高出了人脸正常高宽比的范围。如人由于颈部及其以下皮肤区域有所暴露，在这种情况下通过肤色分割得到的待检区域高宽比就超出了正常的范围。因此必须考虑这种特殊情况，给出一个更宽的高宽比上限2.5。通过形状规则的使用，就可以排除一些不规则但和皮肤颜色接近的物体，同时也可以排除一些人体的其他非人脸区域，如弯曲的四肢等；

(3)占有率规则

若目标区域的密集度C大于45％，则保留该区域，否则删除该区域。

若肤色区域不满足以上三个条件的任意一个，则删除该区域，若都满足，则保留该区域。

F、标记人脸

当所有的肤色区域经过处理后，剩下的区域就是人脸区域，并且每一块人脸区域都有一个标记号。接下来执行人脸标记算法：①测出每块待标记区域的最左端和最右端的值，则待标记区域(每块)的宽＝最右端的值-最左端的值；②测出每块待标记区域的最上段，则最下端＝最上段-2*宽；③用矩形(人脸的外接矩形)框画出人脸区域。

利用以上步骤，可以输出图像中检测出的所有人脸位置。

在本发明的肤色建模中，区域模型是一种较简单的肤色模型，便于理解和运用，但确定阈值困难。简单高斯模型相对区域模型能更好的表示肤色分布，肤色检测率较高，且模型参数易于计算，但是速度比区域模型慢。为了更好的检测出肤色，本专利采用基于高斯模型和最小均方差(本方法采用KL变换)相结合的肤色分割方法。单纯使用KL变换进行肤色检测，虽然可以取得较好的效果，但是还是显得不理想。主要原因是简单KL变换的结果矢量Y受输入矢量X的影响很大，因为变换矩阵本身就是依据输入矢量X构造的，从本质上说，KL变换完成的主要工作是将原本线性相关的3个分量转换成线性无关的三个分量，从而实现颜色信息的重新分配。人脸的肤色信息重新分配到的三个分量同样都包含人脸的肤色信息，这给后续的阈值分割带来困难。尽管每个分量的均方差都已经够小，但是应用于阈值分割还是显得过大。同样，YCbCr空间并不是专为人脸检测所设计的颜色空间，因此单纯的使用它进行人脸检测效果可能也得不到理想的效果。基于传统YCbCr空间和KL变换各自的不足，将它们结合起来构成YCbCr-KL色彩空间。于是构造新的图像二值化函数F＝M∩N，将颜色分割得到的肤色二值图定义为如下：

形态学处理：形态学的运算以腐蚀和膨胀这两种基本运算为基础，本发明采用的是开运算，即先腐蚀后膨胀的过程，原图经过开运算后，能够去除孤立的小点、毛刺和小桥(即连通两块区域的小点)，消除小物体、平滑较大物体边界，同时并不明显改变其面积；腐蚀：在数学形态学中的作用是消除物体的边界点，使边界向内部收缩的过程，可以把小于结构元素的物体去除。这样选取不同大小的结构元素，就可以去除不同大小的物体。如两个物体间有细小的连通，通过腐蚀可将两个物体分开；膨胀：在数学形态学中的作用与腐蚀的作用正好相反，它是对二值化物体边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。如果两个物体之间的距离比较近，则膨胀运算可能会把两个物体连通到一起，膨胀对填补图像分割后物体中的空洞很有用。

剔除非人脸：由于图像中可能存在着类肤色或者肤色的非人脸区域(比如手臂，大腿等)，因此必须对筛选出来的肤色区域进行验证，如果该肤色区域无法满足人脸先验知识的三个条件中的任意一个，马上把该肤色区域剔除。人脸先验知识：①人脸的像素个数必须大于阈值K(当人脸像素个数达到一定值时，才能分辨清人脸，一般取600)；②人脸的外接矩形的高宽比ratio必需满足一定范围，如不满足，剔除该区域；③人脸一般为椭圆形，整个人脸的像素个数必须占人脸外接矩形所包含的像素个数的r％，否则剔除该区域。

本发明由以下几部分组成：光线补偿模块、肤色建模、形态学处理模块、基于先验知识的剔除非人脸模块、标记人脸模块。

1、光线补偿模块

图片中肤色等色彩信息经常受到光源颜色、图像采集设备的色彩偏差等因素的影响，在整体上偏离本质色彩而向某一方向移动，即我们通常所说的色彩偏差，所以必须对图像进行预处理；为了抵消这种整个图像中存在着色彩偏差，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，如果这些像素的数目足够多(例如，大于100)，就将它们的亮度作为“参考白”(Reference White)，即将它们的色彩的R、G、B分量值都调整为最大的255。

2、肤色建模

首先进行肤色样本的采集，包括室内、室外等场景中不同人脸图像以及不同种族的人脸；然后提取人脸正常肤色区域数据，绘制肤色在KL空间的分布图，确定肤色在KL空间的阈值；根据采集的大量肤色样本数据，统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型；利用YCbCr高斯模型计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由YCbCr高斯模型和最小均方差的肤色混合模型。

3、形态学处理模块(开运算)

对图像进行形态学处理，主要是为了能够去除孤立的小点、毛刺和小桥(即连通两块区域的小点)，消除小物体，减少对下一步处理的影响，本发明对提取出的肤色区域进行开运算处理，即先腐蚀后膨胀；

(1)腐蚀

腐蚀的方法是，拿S的原点和X上的点一个一个地对比，如果S上的所有点都在X的范围内，则S的原点对应的点保留，否则将该点去掉；图3可以看出，经腐蚀后的XΘS仍在原来X的范围内，且比X包含的点要少，就像X被腐蚀掉了一层。

(2)膨胀

膨胀的方法是，拿S的原点和X上的点一个一个地对比，如果S上有一个点落在X的范围内，则S的原点对应的点就为图像；图4可以看出，经膨胀后的

包括X的所有范围，就像X膨胀了一圈似的。

4、基于先验知识的剔除非人脸模块

图像经过基于YCbCr的高斯肤色模型与最小均方差处理后，得到二值图像，然后再对二值图像进行开运算处理去除离散点和小桥；接下来对各个区域进行标记，并计算各个区域的长、宽及整个区域所占的像素点。人脸的先验知识：

(1)识别人脸的最少像素数

若目标区域的宽度小于W，高度小于H，则删除该区域(一般来说，人脸在图像中应占有一定比例)；

(2)人脸的长宽比

若目标区域的外接矩形高宽之比ratio不在规定的阈值范围(0.8～2.5)内时，则删除该区域。

(3)占有率规则

若目标区域的密集度C小于a％，则删除该区域(人脸区域一般近似为椭圆)。

根据以上的先验知识，就可以剔除类肤色或肤色的非人脸区域。

5、标记人脸模块

当所有的肤色区域经过预处理后，剩下的区域就是人脸区域，并且每一块人脸区域都有一个标记号。接下来执行人脸标记算法：①测出每块待标记区域的最左端和最右端的值，则待标记区域(每块)的宽＝最右端的值-最左端的值；②测出每块待标记区域的最上段，则最下端＝最上段+2*宽；③用矩形(人脸的外接矩形)框画出人脸区域。

为了验证本发明的有效性，可以针对戴墨镜、多人脸、侧面、背景复杂且背光的人脸进行了检测，从测试结果可以得出，本发明设计的人脸检测算法对于遮挡物，侧脸、多人脸、光线影响等方面的鲁棒性很强，并且可以达到了实时处理的效果。

拟合后肤色分布高斯模型参见图2。基于先验知识去除非人脸区域的流程图参见图6。

Claims (9)

1.基于高斯模型和最小均方差的人脸检测方法，其特征在于包括以下步骤：

1)建立YCbCr高斯模型：根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量；

2)运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；

3)对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散的点；

4)根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框标记人脸位置。

2.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤1)中，所述根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，是根据采集的肤色样本数据，统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型。

3.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤1)中，所述对图像进行光线补偿，是为了抵消整个图像中存在着色彩偏差，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，如果这些像素的数目大于100，就将它们的亮度作为“参考白”，即将它们的色彩的R、G、B分量值都调整为最大的255。

4.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤2)中，所述运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割的具体步骤为：根据采集的肤色样本数据，建立KL空间，确定肤色在KL空间的阈值；利用YCbCr高斯模型计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将利用KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由最小均方差和YCbCr高斯模型的肤色混合模型。

5.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤3)中，所述对肤色区域的二值化，使用基于YCbCr高斯模型和最小均方差相结合的肤色混合模型，若一个像素即满足KL空间的肤色阈值，同时也属于YCbCr高斯模型与自适应阈值分割出来的像素点，则判断该点为肤色点，否则为背景点。

6.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤3)中，所述开运算，是将肤色分割后的二值化图像进行开运算，即先腐蚀后膨胀的过程；腐蚀的方法是，拿结构元素S的原点和X上的点一个一个地对比，若S上的所有点都在X的范围内，则S的原点对应的点保留，否则将该点去掉；膨胀的方法是，拿结构元素S的原点和X上的点一个一个地对比，若S上有一个点落在X的范围内，则S的原点对应的点就保留，否则将该点去掉；经过开运算处理，能够去除孤立的小点、毛刺和小桥。

7.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤4)中，所述根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，是根据人脸在图像中的先验知识，剔除类肤色或肤色的非人脸区域。

8.如权利要求7所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于所述人脸在图像中的先验知识包括人脸在图像中应该占有的比例、人脸的长宽比以及人脸区域的密集度。

9.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步骤4)中，所述标记人脸，是根据先验知识剔除类肤色或肤色的非人脸区域后，剩下的区域就是所谓的人脸区域，用矩形框圈出来。

Images