CN102254327A - 数码照片中的人脸自动分割方法 - Google Patents

Abstract

本发明公开了一种数码照片中的人脸自动分割方法。关键技术为：(1)为避免局部最优，将边缘张力及肤色信息与全局能量结合，设计了一个基于统一能量泛函的几何活动轮廓模型；(2)设计一个基于单高斯模型的改进方法，能够估计出接近实际人脸外轮廓的初始位置；(3)根据演化曲线的邻域信息赋予边缘点向外的张力，使曲线能够克服面部特征及面部饰物的干扰，引导其向外轮廓方向演化；(4)鉴于肤色是面部最重要的特征，本发明设计肤色能量，进一步提高了模型的鲁棒性。本发明方法能够克服姿态、光照、复杂背景等因素的干扰，得到准确的分割效果，可广泛应用于人脸识别、游戏、数码相机自动对焦等前期人脸图像处理。

Description

数码照片中的人脸自动分割方法

技术领域

本发明涉及计算机视觉、数字图像处理及模式识别等领域，具体是一种自动地实现图像中人脸外轮廓定位及人脸分割的技术方法。 

技术背景

实现图像中人脸的自动分割，就必须进行人脸外轮廓的精确定位。人脸轮廓是由人脸图像的部分边缘点连接起来的几何图形，用来表示图像中人脸的形状。人脸轮廓作为人脸特征的重要组成部分，它的提取不仅是人脸特征检测、人脸识别和人脸三维重建等人脸图像分析的重要前提，也是许多其他数字图像处理软件及艺术影像处理的基础。 

传统的人脸分割方法通常利用边缘检测算子得到图像边缘，然后根据人脸轮廓特点去除杂散的冗余边缘，最后进行边缘修补。这种方法得到人脸轮廓通常不连续，需要采用边缘连接算法把同一轮廓的各段边缘连接起来，误差较大，且对噪声比较敏感，算法鲁棒性不足，仅适合作为其它方法的补充。当前人脸轮廓检测方法主要分为如下三类：1)结合人脸轮廓先验的知识，构建合适的模板，使人脸轮廓提取问题转化为模板匹配问题。Yullie等人使用变形模板提取脸部特征，模板通过动态地改变控制参量而将能量函数极小化，通过变形获得与图像的最佳匹配，但该方法面向特定姿态，需要大量的经验参数，抗噪能力较弱；2)利用统计模型实现人脸特征点先验知识的学习，进而实现人脸形状的拟合。Cootes等人提出主动外观模型，实现了人脸的特征点定位和轮廓提取，由于训练样本及特征点数目的限制，无法灵活地实现任意姿态下人脸轮廓的准确定位；3)将人脸轮廓提取问题转化为动态曲线演化问题，利用活动轮廓模型(Active Contours)实现人脸轮廓定位。活动轮廓模型是20世纪80年代后期发展起来的一种图像处理方法，特别适用于提取任意形状的可变形轮廓，因此，活动轮廓模型成为解决人脸图像分割的一个极具潜力的工具。Harper和Reilly采用局部能量几何活动轮廓模型成功的分割出视频中的人脸区域，但该方法易受结构性噪声干扰，仍难获得理想的分割效果；黄福珍提出一种在全局能量模型中加入椭圆约束的方法，实现了简单背景下的人脸分割。 

活动轮廓模型分为参数活动轮廓模型(又称Snake模型)和几何活动轮廓模型。Snake模型存在对初始条件敏感、难以有效解决活动轮廓的拓扑变化等不足。近年来，水平集方法极大地推动了几何活动轮廓模型的发展，与Snake模型不同，几何活动轮廓模型主要的优点 在于：能在演化过程中自然地处理轮廓拓扑结构的变化；水平集的数值计算方法隐式地描述了活动轮廓的演化，避免了Snake模型易陷于局部极值的问题。几何活动轮廓模型根据其能量泛函的定义又可以分为局部能量模型、全局能量模型以及局部和全局能量相结合的模型。 

综合上述，由于人脸的复杂性和易变性，实现自动、准确的人脸分割仍面临巨大挑战。 

发明内容

鉴于现有技术的以上不足，本发明提供一个整合多种能量模型进行优化的人脸轮廓检测及分割方法，使其性能稳定，尤其对复杂背景、光照姿态等变化因素具有很强的适应性，达到商业应用的要求。本发明主要包括如下几个步骤： 

1、数码照片中的人脸自动分割方法，其特征在于包括以下步骤： 

(1)对输入的照片进行人脸区域检测：采用Adaboost方法实现人脸区域检测； 

(2)采用一个改良的肤色模型，在(1)所获人脸区域实现人脸轮廓的初步定位；所述肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ₀，∑₀；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差∑，直到参数收敛； 

(3)采用改良的活动轮廓模型，实现人脸初始轮廓向真实轮廓的不断演化，进而实现人脸准确分割，所述改良活动轮廓模型为融合了全局能量、边缘张力和肤色能量三种能量泛函： 

$\left\{\begin{array}{c}{E}_m(C,c_{\mathrm{in}},c_{\mathrm{out}},c_l)=E_g(C,c_{\mathrm{in}},c_{\mathrm{out}})+E_l(C,c_l)+E_s\left(C\right)\\ E_l(C,c_l)={\mathrm{\λ}}_l{\∫}_C{|u_0\left(p\right)-c_{l,p}|}^2\mathrm{dp}\\ E_s\left(C\right)={\mathrm{\λ}}_{\mathrm{so}}\underset{\mathrm{outside}\left(C\right)}{\∫}g{\left(p\right)}^2\mathrm{dp}+{\mathrm{\λ}}_{\mathrm{si}}\underset{\mathrm{inside}\left(C\right)}{\∫}{|g\left(p\right)-{\stackrel{\‾}{g}}_t|}^2\mathrm{dp}\end{array}\right.$

采用水平集方法对上式进行求解，得到演化公式： 

${\mathrm{\φ}}_p^{k+1}={\mathrm{\φ}}_p^k+\mathrm{\Δt}\·\frac{\∂\mathrm{\φ}}{\∂t}\left(p\right)$

求解得到φ的稳定值，其中φ＝0的解就对应平面图像上的曲线，即为获得的人脸轮廓。 

与现有技术相比，采用本发明方法具有如下的优点： 

(1)实现了相对准确的面部轮廓初定位。任何自动人脸轮廓检测方法的最终效果都依赖于初始位置，在肤色模型的基础上，本发明采用一个自适应的单高斯模型(Adaptive Single  Gaussian Model，简称ASGM)，能够获得接近人脸实际轮廓的初始位置，可为后续实现精确的轮廓定位提供了良好的基础，并提高了方法的处理速度； 

(2)有效地克服了轮廓检测出现的孔洞(空洞)、凹陷等非真实轮廓曲线的现象。当初始轮廓线在人脸内部时，全局能量模型因局部特征的干扰，会产生“孔洞”，借鉴局部能量模型的思路，根据演化曲线边缘点的邻域信息赋予边缘点外法向方向的张力，使得演化曲线能够克服脸部特征的影响，准确向人脸外轮廓方向演化。 

(3)结合肤色信息实现了轮廓快速、稳定的检测。面部肤色是人脸的重要特征，充分利用肤色信息，本发明采用一个肤色能量泛函，加快了演化速度并提高***鲁棒性。 

所述技术(2)根据演化曲线边缘点的邻域信息赋予边缘点一个外法向方向的张力能量，使得演化曲线能够克服脸部特征区域的影响，向人脸外轮廓方向演化。不同于局部能量模型，本发明仅利用邻域的外侧信息(演化曲线外部)； 

综合以上内容，本发明设计了一个张力能量、肤色能量与全局能量三者结合的统一能量模型，能够克服姿态、光照、复杂背景等因素的干扰，得到稳定、精确的人脸自动分割效果，可广泛应用于人脸识别、游戏、数码相机自动对焦等前期人脸图像处理。 

附图说明

图1为本发明进行人脸轮廓检测的流程图 

图2为本发明进行人脸轮廓初定位的流程 

图3为计算局部能量所采用的区域以及相关概念的示意图 

图4为根据人脸轮廓初定位及最终轮廓检测的结果示意图 

具体实施方式

本发明包括三个步骤：(1)人脸检测；(2)轮廓初定位；(3)轮廓精确定位。过程见附图1。其中，第2、3步是本发明的核心特征。下面分步骤介绍具体实施方法： 

1、人脸检测：采用Adaboost算法实现人脸区域的初始定位，用矩形框将人脸区域进行标注，也可以将整张照片作为人脸区域看待。 

2、轮廓初定位：采用一个基于单高斯模型SGM的改进算法，实现人脸皮肤区域检测，并采用对这部分区域进行椭圆拟合，作为下一步的初始轮廓线。具体实现步骤如下： 

肤色在颜色空间的分布相当集中，而且会受到照明和人种的影响。为了减少肤色受照明强度影响，本发明将颜色由RGB空间转化到YCbCr颜色空间，然后放弃亮度分量Y，仅使 用Cb，Cr分量作为肤色训练和分类的信息，在一定程度上克服了光照的影响，下一步(轮廓精确定位)中使用的混合高斯模型GMM也同样采用YCbCr颜色空间。 

采用SGM进行人脸肤色检测的基本过程：首先采集大量脸部肤色训练样本(训练样本尽量包括不同光照、人种等情况)，用极大似然估计法计算该SGM的均值μ及方差∑，得到一个具有一般性的模型；然后用训练好的SGM模型计算测试图像中每一像素的PDF值，通过一个阈值t对PDF值进行二值化，从而实现肤色分割。 

这种方法是通过训练集人脸肤色来估计测试人脸脸色区域，当训练样本不充分，或者测试样本人脸光照条件比较特殊时，将会产生错误的结果。因此，本发明采用一个自适应的单高斯模型(Adaptive SGM，简称ASGM)，通过测试图片对SGM参数进一步调整，从而增加了肤色检测的鲁棒性，流程如附图2所示。方法具体描述如下： 

A.初始化； 

(a)输入图像人脸区域(由第一步人脸检测获得的人脸矩形区域)； 

(b)计算SGM模型均值μ和方差∑的初始值：μ₀，∑₀； 

(c)迭代计数器i＝0，设置最大迭代次数m。 

B.根据SGM获取肤色区域Ω₀，令i＝i+1； 

C.更新SGM参数： 

如果(i＝1) 

将Ω₀中的所有像素当作样本，采用极大似然估计更新均值μ和方差∑； 

否则 

将Ω₀中的所有像素当作样本，更新均值μ。 

D.如果μ收敛或者i＞m，转步骤E；否则转步骤B； 

E.采用最小二乘法根据Ω₀中所有像素的位置进行椭圆拟合，得到轮廓C₀，作为曲线演化的初始位置； 

F.将C₀的轴缩小1/2，得到C₁，其中的像素点颜色作为下一步GMM的训练样本。 

所述步骤A中均值μ和方差∑的初始值为大量实验的经验值：μ＝[103.01，140.13]^T，∑＝ [242.52，211.56；211.56，397.32]^T，其中μ包括两个元素[Cb，Cr]的颜色值，∑是这两个元素值在大量实验得到的方差。 

因多次更新方差会使方差收敛于0，会产生判定条件过于严格而导致有效肤色点过少的现象，因此所述步骤C在用SGM获取到人脸区域后，仅更新方差一次，而均值则通过多次迭代取其稳定值。 

所述步骤E中得到的人脸轮廓初始位置为单像素的椭圆线，也可以加粗显示以便观察。 

所述步骤F中在获得初始位置C₀后，我们将C₀的轴缩小1/2，得到C₁，其内部区域的点作为下一步GMM的训练样本。没有直接采用C₀的原因：一方面减小背景出现在C₁中的可能性，以避免误差；另一方面降低数据量，提高训练GMM参数的运算速度。 

3、轮廓精确定位：采用一个融合全局能量、边缘张力和肤色能量的统一能量方法，实现轮廓曲线的演化，求解最终的人脸轮廓位置。 

通过上一步得到初始位置曲线C后，需要进一步将初始C向真实人脸轮廓演化。在演化过程中，曲线C上的点并不一定是目标的轮廓点，为了区分二者，本发明中称当前演化曲线C上的点为边缘点，称后者为轮廓(点)。 

(1)全局能量 

Chan和Vese于2001年提出了一种经典的几何活动轮廓模型，Chan-Vese模型(C-V模型)，又称无边缘活动轮廓模型。C-V模型不依赖图像局部梯度信息，是一种全局优化的算法。其基本概念如下： 

令C为演化曲线，将整幅图像u₀分为两个区域：R_in和R_out。令每个区域的平均灰度值(对于多通道图像，则是一个向量，如平均RGB值)分别为c_in和c_out。C-V模型通过最小化能量函数E_g(下标g标识该能量具有全局特性)来寻找最优分割线C，使其恰好在目标对象和背景的边界处。E_g的表达式如下： 

$E_g(C,c_{\mathrm{in}},c_{\mathrm{out}})=\mathrm{\μ}\·L\left(C\right)+v\·S\left(C\right)+{\mathrm{\λ}}_{\mathrm{in}}\underset{\mathrm{inside}\left(C\right)}{\∫}{|u_0(x,y)-c_{\mathrm{in}}|}^2\mathrm{dxdy}+{\mathrm{\λ}}_{\mathrm{out}}\underset{\mathrm{outside}\left(C\right)}{\∫}{|u_0(x,y)-c_{\mathrm{out}}|}^2\mathrm{dxdy}$

上式中，L(C)是闭合轮廓线C的长度；S(C)是C的内部区域面积；μ，ν≥0，λ_in，λ_out＞0，是各个能量项权重系数；E_g的含义很明确，前两项是平滑项，后两项是实际图像与假定的 “分片常数”图像之间的偏离。最终分割轮廓线C的位置以及变量c_in和c_out可经最优化上式得到，即 

$\{C^0,c_{\mathrm{in}}^0,c_{\mathrm{out}}^0\}=\underset{C,c_{\mathrm{in}},c_{\mathrm{out}}}{\inf }{E}_g(C,c_1,c_2)$

(2)边缘张力能量 

首先给出边缘点p的外邻域ω_l的定义：令u₀是定义域为 上的一幅平面图像，被平面曲线C分为两部分：R_in和R_out。如附图3所示，以轮廓线C上的任意点p为中心，设置一个边长为a的正方形邻域ω_p，该窗口同样被轮廓线C分为两部分：内部区域ω_i，p和外部区域ω_o，p；张力方向同曲线外法向量，在计算张力时仅用到外部区域ω_o，p信息，称ω_o，p为点p的外邻域，用ω_l，p表示。从而，基于曲线边缘点外邻域的张力能量泛函定义如下： 

E_l(C，c_l)＝λ_l∫_C|u₀(p)-c_l，p|²dp 

其中，p∈C是C上的任意一点，c_l，p是ω_l，p的灰度(颜色)均值，λ_l是张力的权重系数。 

(3)肤色能量 

对于图像分割问题，颜色信息仍然是最有效的知识，同样地，对于人脸分割问题，最重要的信息是面部肤色，采用数学工具对肤色进行有效地学习可以提高人脸分割的鲁棒性，加快演化速度。本发明在张力能量基础上进一步设计了肤色能量E_s： 

$E_s\left(C\right)={\mathrm{\λ}}_{\mathrm{so}}\underset{\mathrm{outside}\left(C\right)}{\∫}g{\left(p\right)}^2\mathrm{dp}+{\mathrm{\λ}}_{\mathrm{si}}\underset{\mathrm{inside}\left(C\right)}{\∫}{|g\left(p\right)-{\stackrel{\‾}{g}}_t|}^2\mathrm{dp}$

其中： 

是GMM是高斯混合模型(Gaussian Mixture Model，简称GMM)的概率密度函数(PDF)。在GMM的PDF中， 

x_i是任意一个像素点的颜色值，第j个SGM的PDF定义如下： 

$N_j(x;{\mathrm{\μ}}_j,{\mathrm{\Σ}}_j)=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^m\left|{\mathrm{\Σ}}_j\right|}}\exp [-\frac{1}{2}{(x-{\mathrm{\μ}}_j)}^T{\mathrm{\Σ}}_j^{-1}(x-{\mathrm{\μ}}_j)]$

其中，μ_j，∑_j分别是第j个SGM模型的期望和方差。 

令θ_j＝(α_j，μ_j，∑_j)，GMM共有M个SGM模型(为了提高运算速度，M不宜过多，对于人脸图像，由于颜色分布差异不大，M取2～3就可以满足需要)。建立GMM模型的关键就是通过训练样本集X(本发明旨在提供一种自动的人脸图像分割方案，故采用样本自动获取方法，具体见轮廓初定位方法的步骤F)估计GMM的所有参数：Θ＝(θ₁，…，θ_M)^T。本发明首先用K均值聚类算法处理样本X，得到GMM参数的初始值，然后通过期望值最大(Expectation Maximum，EM)算法对GMM参数进行优化估计，得到精确的Θ，从而确定了GMM模型。 

将任意点p的颜色值x_p输入式PDF表达式，可以得到该点的PDF值g(p)，同时计算肤色训练样本的PDF均值 

由于训练样本与p来自同一张人脸图像，故 

大小反映该点与皮肤点的接近程度。根据高斯分布PDF的性质，对于非肤色点q，g(q)→0。 

综合以上三个能量，得到本发明的统一能量定义： 

$\left\{\begin{array}{c}{E}_m(C,c_{\mathrm{in}},c_{\mathrm{out}},c_l)=E_g(C,c_{\mathrm{in}},c_{\mathrm{out}})+E_l(C,c_l)+E_s\left(C\right)\\ E_l(C,c_l)={\mathrm{\λ}}_l{\∫}_C{|u_0\left(p\right)-c_{l,p}|}^2\mathrm{dp}\\ E_s\left(C\right)={\mathrm{\λ}}_{\mathrm{so}}\underset{\mathrm{outside}\left(C\right)}{\∫}g{\left(p\right)}^2\mathrm{dp}+{\mathrm{\λ}}_{\mathrm{si}}\underset{\mathrm{inside}\left(C\right)}{\∫}{|g\left(p\right)-{\stackrel{\‾}{g}}_t|}^2\mathrm{dp}\end{array}\right.$

采用水平集方法对上式进行求解，得到如下演化公式： 

${\mathrm{\φ}}_p^{k+1}={\mathrm{\φ}}_p^k+\mathrm{\Δt}\·\frac{\∂\mathrm{\φ}}{\∂t}\left(p\right)$

其中： 

$\left\{\begin{array}{c}\frac{\∂\mathrm{\φ}}{\∂t}\left(p\right)=f_{g,p}+f_{l,p}+f_{s,p}\\ f_{g,p}={\mathrm{\δ}}_{{\mathrm{\ϵ}}_1}\left(\mathrm{\φ}\left(p\right)\right)[\mathrm{\μ}\▿\·\frac{\▿\mathrm{\φ}\left(p\right)}{|\▿\mathrm{\φ}\left(p\right)|}-v-{\mathrm{\λ}}_{\mathrm{in}}{(u_0\left(p\right)-c_{\mathrm{in}})}^2+{\mathrm{\λ}}_{\mathrm{out}}{(u_0\left(p\right)-c_{\mathrm{out}})}^2]\\ f_{l,p}={\mathrm{\δ}}_{{\mathrm{\ϵ}}_2}\left(\mathrm{\φ}\left(p\right)\right)\·{\mathrm{\λ}}_l{(u_0\left(p\right)-c_{l,p})}^2\\ f_{s,p}={\mathrm{\λ}}_{\mathrm{so}}g{\left(p\right)}^2-{\mathrm{\λ}}_{\mathrm{si}}{[g\left(p\right)-{\stackrel{\‾}{g}}_t]}^2\end{array}\right.$

通过上式求解得到φ的稳定值，其中φ＝0的解就对应平面图像上的曲线，在本发明中即为获得的人脸轮廓。本发明方法进行人脸分割结果如附图4所示。 

Claims (5)

1.数码照片中的人脸自动分割方法，其特征在于包括以下步骤：

(1)对输入的照片进行人脸区域检测：采用Adaboost方法实现人脸区域检测；

(2)采用一个改良的肤色模型，在(1)所获人脸区域实现人脸轮廓的初步定位；所述肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ₀，∑₀；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差∑，直到参数收敛；

(3)采用改良的活动轮廓模型，实现人脸初始轮廓向真实轮廓的不断演化，进而实现人脸准确分割，所述改良活动轮廓模型为融合了全局能量、边缘张力和肤色能量三种能量泛函：

$\left\{\begin{array}{c}{E}_m(C,c_{\mathrm{in}},c_{\mathrm{out}},c_l)=E_g(C,c_{\mathrm{in}},c_{\mathrm{out}})+E_l(C,c_l)+E_s\left(C\right)\\ E_l(C,c_l)={\mathrm{\λ}}_l{\∫}_C{|u_0\left(p\right)-c_{l,p}|}^2\mathrm{dp}\\ E_s\left(C\right)={\mathrm{\λ}}_{\mathrm{so}}\underset{\mathrm{outside}\left(C\right)}{\∫}g{\left(p\right)}^2\mathrm{dp}+{\mathrm{\λ}}_{\mathrm{si}}\underset{\mathrm{inside}\left(C\right)}{\∫}{|g\left(p\right)-{\stackrel{\‾}{g}}_t|}^2\mathrm{dp}\end{array}\right.$

采用水平集方法对上式进行求解，得到演化公式：

${\mathrm{\φ}}_p^{k+1}={\mathrm{\φ}}_p^k+\mathrm{\Δt}\·\frac{\∂\mathrm{\φ}}{\∂t}\left(p\right)$

求解得到φ的稳定值，其中φ＝0的解就对应平面图像上的曲线，即为获得的人脸轮廓。

2.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，所述步骤(2)的肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ₀，∑₀；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差∑，直到参数收敛。

3.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于：

(1)所述更新方差∑仅更新一次，更新均值通过多次迭代取其稳定值；

(2)所述肤色采用YCbCr颜色空间，放弃亮度分量Y，仅使用Cb，Cr分量作为肤色训练和分类的信息；均值和方差的初始值取值为μ＝[103.01，140.13]^T，∑＝[242.52，211.56；211.56，397.32]^T。

4.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，所述边缘张力方向同曲线外法向量，在计算张力时仅用外部区域ω_o，p的信息。

5.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，肤色能量采用高斯混合模型GMM，其中模型个数为2，其训练样本像素采用样本自动获取方法获得，即为初始轮廓的1/2区域。

Images