CN101620673A - 一种鲁棒的人脸检测及跟踪方法 - Google Patents

Abstract

本发明一种鲁棒的人脸检测及跟踪方法，包括鲁棒的人脸检测方法和鲁棒的人脸跟踪方法。鲁棒的人脸检测方法首先基于类Haar小波特征提取和权值修剪AdaBoost算法进行人脸检测，然后利用显著性检测对人脸进行验证。鲁棒的人脸跟踪方法首先基于人脸检测和肤色验证确定待跟踪的人脸，然后基于Camshift跟踪和肤色验证进行人脸跟踪，当人脸丢失的情况下再由人脸检测和肤色验证给出待跟踪的人脸。

Description

一种鲁棒的人脸检测及跟踪方法

技术领域

本发明涉及一种图像处理技术领域的方法，尤其是鲁棒的人脸检测及跟踪方法。

背景技术

人脸检测是确定一个给定图像中是否有人脸，并输出每个人脸的位置。人脸检测的方法大致分为基于知识的方法、基于特征的方法、基于模板的方法、基于外观的方法等。目前较为成功的快速人脸检测方法是基于积分图像和AdaBoost算法的视觉目标检测方法。由于人脸的变化性和实际应用环境的复杂性，需要考尺度、位置、数量、方向、表情、光照、遮挡等情况以实现鲁棒的人脸检测。

人脸跟踪是指在连续的视频图像序列中跟踪一个或多个人脸。视频序列中的人脸跟踪可以应用于监控***，也可作为人脸识别、面部姿势识别和表情识别等高层应用的一个预处理。人脸跟踪方法大致可分为基于特征的方法、基于模型的方法、基于肤色的方法和基于形状的方法等。基于肤色的方法具有快速和低计算量的特点，但是光照的变化及类似肤色的背景颜色可能导致人脸跟踪的失效。基于形状的方法不受背景颜色和光照变化的影响，但是高度凌乱的背景可能影响到跟踪效果。鲁棒的人脸跟踪需要考虑光照、遮挡等因素的影响，同时还要达到实时性的要求。

为了实现复杂背景下鲁棒的人脸检测与跟踪，本发明提出一种鲁棒的人脸检测及跟踪方法，其中鲁棒的人脸检测方法能够实现较高的检测率和较低的误检率，鲁棒的人脸跟踪方法能够在各种遮挡情况下达到较高的跟踪精度。

发明内容

本发明的目的在于针对复杂的人脸检测及跟踪应用环境，提出鲁棒的人脸检测及人脸跟踪方法。鲁棒的人脸检测方法首先基于类Haar小波特征提取和权值修剪AdaBoost算法进行人脸检测，然后利用显著性检测对人脸进行验证。鲁棒的人脸跟踪方法首先基于人脸检测和肤色验证确定待跟踪的人脸，然后基于Camshift跟踪和肤色验证进行人脸跟踪，当人脸丢失的情况下再由人脸检测和肤色验证给出待跟踪的人脸。

本发明一种鲁棒的人脸检测及跟踪方法，包括鲁棒的人脸检测方法和鲁棒的人脸跟踪方法。

关于鲁棒的人脸检测方法，其步骤如下：

步骤1：利用权值修剪AdaBoost算法进行人脸分类器的训练，其过程如下：

步骤1.1：给定训练图像(x₁，y₁)，…，(x_n，y_n)其中y_i＝0，1分别对应于负样本和正样本。

步骤1.2：初始化权值 ${\mathrm{\ω}}_{1,i}=\frac{1}{2m},\frac{1}{2l}$ 分别对应于y_i＝0，1，其中m和l分别为正样本和负样本数。

步骤1.3：对于t＝1，…，T：

步骤1.3.1：归一化权值 ${\mathrm{\ω}}_{t,i}\←\frac{{\mathrm{\ω}}_{t,i}}{{\mathrm{\Σ}}_{j=1}^n{\mathrm{\ω}}_{t,j}}$ 使得ω_t，i的集合ω_t为一个概率分布。

步骤1.3.2：当t＞T₀，确定阈值θ_t，使得 $\underset{{\mathrm{\&omega;}}_{t,i}<{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}<0.01\&le;\underset{{\mathrm{\&omega;}}_{t,i}\&le;{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}.$ 将权值小于θ_t的样本排除，不用于弱分类器的训练。

步骤1.3.3：对于每一特征j，训练一个分类器h_j使其对应一个特征。计算对于ω_t的误差，ε_j＝∑_iω_i|h_j(x_i)-y_i|。

步骤1.3.4：选择分类器h_t，使其具有最小误差ε_t。

步骤1.3.5：更新权值： ${\mathrm{\&omega;}}_{t+1,i}={\mathrm{\&omega;}}_{t,i}{\mathrm{\&beta;}}_t^{1-e_i}$ 其中如果样本x_i被正确分类则e_i＝0，否则e_i＝1， ${\mathrm{\&beta;}}_t=\frac{{\mathrm{\&epsiv;}}_t}{1-{\mathrm{\&epsiv;}}_t}.$

步骤1.4：最终的强分类器为：

其中 ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t}---\left(1\right)$

步骤2：对输入图像进行窗口扫描，对每个窗口提取一组扩展的类Haar小波特征(参考文献：Lienhart(利恩哈特)等人于2002年在International Conference on Image Processing(图像处理国际会议)上发表的论文An extended set of Haar-like features for rapid object detection(基于扩展的类Haar特征的快速目标检测))，如图2所示；

步骤3：将提取的特征送入式(1)所示的AdaBoost分类器进行人脸检测，如果h(x)＝1，则该扫描窗口为待验证的人脸窗口；如果h(x)＝0，则该扫描窗口不是人脸窗口。

步骤4：将待验证的人脸窗口进行显著性验证，如式(2)所示：

$H_D=-\underset{i}{\mathrm{\&Sigma;}}{P}_D\left(d_i\right){\log }_2{P}_D\left(d_i\right)---\left(2\right)$

其中是P(d_i)图像取值d_i的概率。

步骤5：选取阈值θ，如果H_D≥θ，则待验证的人脸窗口通过验证，即该窗口区域为人脸；如果H_D＜θ，则待验证的人脸窗口未通过验证，即该窗口区域不是人脸。

关于鲁棒的人脸跟踪方法，其步骤如下：

步骤1：使用本发明的人脸检测方法检测人脸，如果检测到人脸，进行步骤2；如果未检测到人脸，对下一帧进行步骤1。

步骤2：对检测到的人脸进行肤色验证，如果检测到的人脸通过肤色验证，进行步骤3；如果检测到的人脸不通过肤色验证，将该人脸被剔除，对下一帧进行步骤1。

步骤3：将通过肤色验证的人脸窗口作为待跟踪的物体。

步骤4：利用Camshift算法(参考文献：Bradski(布拉德斯基)于1998年在Intel TechnologyJournal(因特尔技术期刊)上发表的论文Computer vision face tracking for use in a perceptualuser interface(应用于一个感知用户界面的计算机视觉人脸跟踪))对待跟踪的物体进行跟踪，得到目标窗口的中心点和尺寸。

步骤5：对跟踪到的人脸进行肤色验证，如果跟踪到的人脸通过肤色验证，进行步骤6；如果跟踪到的人脸不通过肤色验证，则该人脸被剔除，对于下一帧，跳到步骤1。

步骤6：对于下一帧，对步骤3的人脸窗口进行肤色验证，如果通过肤色验证，将该人脸的中心位置和尺寸作为目标窗口，跳转到步骤4；如果不通过肤色验证，将步骤5的人脸中心位置和尺寸作为目标窗口，跳转到步骤4。

本发明的积极效果和优点在于：

1.本发明的鲁棒人脸检测方法具有较强的鲁棒性，不仅具有较高的检测率，而且较低的误检率，能够剔除不具备显著性特点的类似人脸的干扰物；

2.本发明的鲁棒人脸跟踪方法对各种局部遮挡具有鲁棒性，能够避免遮挡造成跟踪的人脸丢失。

附图说明

图1方法步骤方框图。

图2一组扩展的类Haar小波特征。

具体实施方式

本发明鲁棒的人脸检测及跟踪方法；

一、鲁棒的人脸检测方法，其步骤如下：

步骤1：利用权值修剪AdaBoost算法进行人脸分类器的训练，其过程如下：

步骤1.1：给定训练图像(x₁，y₁)，…，(x_n，y_n)其中y_i＝0，1分别对应于负样本和正样本。

步骤1.2：初始化权值 ${\mathrm{\&omega;}}_{1,i}=\frac{1}{2m},\frac{1}{2l}$ 分别对应于y_i＝0，1，其中m和l分别为正样本和负样本数。

步骤1.3：对于t＝1，…，T：

步骤1.3.1：归一化权值 ${\mathrm{\&omega;}}_{t,i}\&LeftArrow;\frac{{\mathrm{\&omega;}}_{t,i}}{{\mathrm{\&Sigma;}}_{j=1}^n{\mathrm{\&omega;}}_{t,j}}$ 使得ω_t，i的集合ω_t为一个概率分布。

步骤1.3.2：当t＞T₀，确定阈值θ_t，使得 $\underset{{\mathrm{\&omega;}}_{t,i}<{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}<0.01\&le;\underset{{\mathrm{\&omega;}}_{t,i}\&le;{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}.$ 将权值小于θ_t的样本排除，不用于弱分类器的训练。

其中阈值θ_t的确定方法为，首先将所有样本权值ω_t，i进行排序，然后按照从小到大的顺序逐个累加权值ω_t，i，当其和刚刚大于0.01时，则选定当前的ω_t，i为θ_t。步骤1.3.3：对于每一特征j，训练一个分类器h_j使其对应一个特征。计算对于ω_t的误差，ε_j＝∑_iω_i|h_j(x_j)-y_i|。

步骤1.3.4：选择分类器h_t，使其具有最小误差ε_t。

步骤1.3.5：更新权值： ${\mathrm{\&omega;}}_{t+1,i}={\mathrm{\&omega;}}_{t,i}{\mathrm{\&beta;}}_t^{1-e_i}$ 其中如果样本x_i被正确分类则e_i＝0，否则e_i＝1， ${\mathrm{\&beta;}}_t=\frac{{\mathrm{\&epsiv;}}_t}{1-{\mathrm{\&epsiv;}}_t}.$

步骤1.4：最终的强分类器为：

其中 ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t}---\left(1\right)$

步骤2：对输入图像进行从左至右、从上至下的窗口扫描，窗口的尺寸为h×h，其中h从24开始并以2为步长逐渐增大，但不超过输入图像的长或宽。对每个窗口提取一组扩展的类Haar小波特征(参考文献：Lienhart(利恩哈特)等人于2002年在International Conferenceon Image Processing(图像处理国际会议)上发表的论文An extended set of Haar-like features forrapid object detection(基于扩展的类Haar特征的快速目标检测))，如图2所示；

步骤3：将提取的特征送入式(1)所示的AdaBoost分类器进行人脸检测，如果h(x)＝1，则该扫描窗口为待验证的人脸窗口；如果h(x)＝0，则该扫描窗口不是人脸窗口。

步骤4：将待验证的人脸窗口进行显著性验证，如式(2)所示：

$H=-\underset{i}{\mathrm{\&Sigma;}}P\left(d_i\right){\log }_{2}P\left(d_i\right)---\left(2\right)$

其中是P(d_i)图像取值d_i的概率。

步骤5：选取阈值θ，如果H_D≥θ，则待验证的人脸窗口通过验证，即该窗口区域为人脸；如果H_D＜θ，则待验证的人脸窗口未通过验证，即该窗口区域不是人脸。

二、鲁棒的人脸跟踪方法，其步骤如下：

步骤1：使用本发明的人脸检测方法检测人脸，如果检测到人脸，进行步骤2；如果未检测到人脸，对下一帧进行步骤1。

步骤2：对检测到的人脸进行肤色验证，如果检测到的人脸通过肤色验证，进行步骤3；如果检测到的人脸不通过肤色验证，将该人脸被剔除，对下一帧进行步骤1。

其中肤色验证由式(3)给出，当一个像素的R(红)、G(绿)、B(蓝)像素值同时满足这三个子公式，该像素就被分类为肤色。进行肤色验证时，给定待验证的人脸区域，如果被检测到的肤色像素数与区域总像素数的比例超过一个阈值P∈[0.5，1]，则判定该区域为人脸。

L_R/G＜R/G＜U_R/G

L_R/B＜R/B＜U_R/B                                        (3)

L_G/B＜G/B＜U_G/B

其中L_R/G、L_R/B、L_G/B和U_R/G、U_R/B、U_G/B分别为低阈值和高阈值，本发明采用L_R/G＝1.08，L_R/B＝1.14，L_G/B＝0.96，U_R/G＝1.86，U_R/B＝3.92，U_G/B＝2.15。

步骤3：将通过肤色验证的人脸窗口作为待跟踪的物体。

步骤4：利用Camshift算法(参考文献：Bradski(布拉德斯基)于1998年在Intel TechnologyJournal(因特尔技术期刊)上发表的论文Computer vision face tracking for use in a perceptualuser interface(应用于一个感知用户界面的计算机视觉人脸跟踪))对待跟踪的物体进行跟踪，得到目标窗口的中心点和尺寸。

步骤5：对跟踪到的人脸进行肤色验证，如果跟踪到的人脸通过肤色验证，进行步骤6；如果跟踪到的人脸不通过肤色验证，则该人脸被剔除，对于下一帧，跳到步骤1。

步骤6：对于下一帧，对步骤3的人脸窗口进行肤色验证，如果通过肤色验证，将该人脸的中心位置和尺寸作为目标窗口，跳转到步骤4；如果不通过肤色验证，将步骤5的人脸中心位置和尺寸作为目标窗口，跳转到步骤4。

Claims (2)

1、一种鲁棒的人脸检测方法，其特征在于：该人脸检测方法步骤如下：

步骤1：利用权值修剪AdaBoost算法进行人脸分类器的训练，其过程如下：

步骤1.1：给定训练图像(x₁，y₁)，…，(x_n，y_n)其中y_i＝0，1分别对应于负样本和正样本；

步骤1.2：初始化权值 ${\mathrm{\&omega;}}_{1,i}=\frac{1}{2m},\frac{1}{2l}$ 分别对应于y_i＝0，1，其中m和l分别为正样本和负样本数；

步骤1.3：对于t＝1，…，T：

步骤1.3.1：归一化权值 ${\mathrm{\&omega;}}_{t,i}\&LeftArrow;\frac{{\mathrm{\&omega;}}_{t,i}}{{\mathrm{\&Sigma;}}_{j=1}^n{\mathrm{\&omega;}}_{t,j}}$ 使得ω_t，i的集合ω_t为一个概率分布；

步骤1.3.2：当t＞T₀，确定阈值θ_t，使得 $\underset{{\mathrm{\&omega;}}_{t,i}<{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}<0.01\&le;\underset{{\mathrm{\&omega;}}_{t,i}\&le;{\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{t,i}.$ 将权值小于θ_t的样本排除，不用于弱分类器的训练；

步骤1.3.3：对于每一特征j，训练一个分类器h_j使其对应一个特征。计算对于ω_t的误差，ε_j＝∑_iω_i|h_j(x_i)-y_i|；

步骤1.3.4：选择分类器h_t，使其具有最小误差ε_t；

步骤1.3.5：更新权值： ${\mathrm{\&omega;}}_{t+1,i}={\mathrm{\&omega;}}_{t,i}{\mathrm{\&beta;}}_t^{1-e_i}$ 其中如果样本x_i被正确分类则e_i＝0，否则

e_i＝1， ${\mathrm{\&beta;}}_t=\frac{{\mathrm{\&epsiv;}}_t}{1-{\mathrm{\&epsiv;}}_t};$

步骤1.4：最终的强分类器为：

其中 $a_t=\log \frac{1}{{\mathrm{\&beta;}}_t}---\left(1\right)$

步骤2：对输入图像进行窗口扫描，对每个窗口提取一组扩展的类Haar小波特征；

步骤3：将提取的特征送入式(1)所示的AdaBoost分类器进行人脸检测，如果h(x)＝1，则该扫描窗口为待验证的人脸窗口；如果h(x)＝0，则该扫描窗口不是人脸窗口；

步骤4：将待验证的人脸窗口进行显著性验证，如式(2)所示：

$H_D=-\underset{i}{\mathrm{\&Sigma;}}{P}_D\left(d_i\right){\log }_2{P}_D\left(d_i\right)---\left(2\right)$

其中是P(d_i)图像取值d_i的概率；

步骤5：选取阈值θ，如果H_D≥θ，则待验证的人脸窗口通过验证，即该窗口区域为人脸；如果H_D＜θ，则待验证的人脸窗口未通过验证，即该窗口区域不是人脸。

2、一种鲁棒的人脸跟踪方法，其特征在于：该人脸跟踪方法步骤如下：

步骤1：使用本发明的人脸检测方法检测人脸，如果检测到人脸，进行步骤2；如果未检测到人脸，对下一帧进行步骤1；

步骤2：对检测到的人脸进行肤色验证，如果检测到的人脸通过肤色验证，进行步骤3；如果检测到的人脸不通过肤色验证，将该人脸被剔除，对下一帧进行步骤1；

步骤3：将通过肤色验证的人脸窗口作为待跟踪的物体；

步骤4：利用Camshift算法对待跟踪的物体进行跟踪，得到目标窗口的中心点和尺寸；

步骤5：对跟踪到的人脸进行肤色验证，如果跟踪到的人脸通过肤色验证，进行步骤6；如果跟踪到的人脸不通过肤色验证，则该人脸被剔除，对于下一帧，跳到步骤1；

步骤6：对于下一帧，对步骤3的人脸窗口进行肤色验证，如果通过肤色验证，将该人脸的中心位置和尺寸作为目标窗口，跳转到步骤4；如果不通过肤色验证，将步骤5的人脸中心位置和尺寸作为目标窗口，跳转到步骤4。

Images