CN106909884A - 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 - Google Patents

Abstract

本发明公开了一种基于分层结构和可变形部分模型的手部区域检测方法和装置，方法包括以下步骤：步骤1：建立手势图片库；步骤2：从输入的手势图像中检测并分割出人体上半身区域；步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

Description

一种基于分层结构和可变形部分模型的手部区域检测方法和 装置

技术领域

本发明涉及计算机视觉中的特定对象检测领域，具体涉及一种基于分层结构和可变形部分模型的手部区域检测方法和装置。

背景技术

手势作为一种自然交互的通道之一，有重要的研究价值和广泛的应用前景。而手势(静态手势和动态手势)识别和手部跟踪的第一步，也是重要一步，便是将手部区域从图像中分割出来。手部区域分割是手势(静态手势和动态手势)识别和手部跟踪的基础，分割的效果直接影响手势识别或手势跟踪的效果，因此，有必要对其进行研究。

随着机器人的广泛应用，人机交互技术越来越多地受到人们的重视。基于视觉的手势识别具有交互自然的优点，有广泛的应用前景，是人机交互的重要组成部分^[2]。手部检测和分割是手势识别和手势跟踪的基础，分割的效果直接影响手势识别或手势跟踪的效果^[3]。

人与机器人交互过程中，机器人上安装的视频采集设备与人体有一定距离时，采集的照片包含人体全身。由于此类图片存在大量背景，手部区域只是图片中很小的一部分，如何从大量背景区域检测到手部，并将其分割出来，从而为手势识别奠定基础，是值得研究的问题。

发明内容

本发明的目的是为了解决上述问题，提出一种适用于复杂背景下，包含人体全身的手势图像，基于分层结构和可变形部分模型的手部区域检测方法，可以快速准确地检测手势图像中的手部区域。

一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势两只手轮流做，每只手的手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁m、d₂m和d₃m，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像上分割出类肤色区域进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域；其中，可变形部分模型采用HOG特征。

一种基于分层结构和可变形部分模型的手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域；其中，可变形部分模型采用HOG特征。

本发明的优点在于：

(1)本发明所述基于分层结构和可变形部分模型的手部区域检测方法，基于ROS(Robot Operating Syestem，机器人操作***)，移植性好，可用于多种机器人***；

(2)本发明所述基于分层结构和可变形部分模型的手部区域检测方法，采用筛选策略，分层结构，逐层缩小区域，计算量较少。即，先检测出人体上半身区域，然后再使用肤色条件过滤出类肤色区域，并对其进行区域调整，接下来训练手部的可变形部分模型，并用训练好的手部可变形部分模型检测手部区域；

(3)本发明所述基于分层结构和可变形部分模型的手部区域检测方法，采用分层结构，先检测出人体上半身区域，在一定程度上减少复杂环境对手部区域检测的影响；第二层检测人体上半身中的肤色，去除非肤色区域；第三层调整检测到的肤色区域，第四层检测手部。

(4)本发明提出一种基于肤色模型的手部检测方法，先通过肤色进行粗检测，去除非肤色区域，减少计算量，然后，对检测到的肤色区域，提取方向梯度直方图特征，使用支持向量机建立手部检测模型。

(5)本发明提出一种基于RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型，该模型综合使用RGB-YCbCr显式阈值与统计学模型，可更好检测肤色区域。其中，RGB-YCbCr色彩空间使用阈值综合考虑经验阈值与样本计算阈值相结合的方法。

(6)本发明所述基于ROS的模块化手部区域检测装置，采用定制式设计、模块化结构，各模块功能相对独立，用户可根据需要增加、删除或调换某些模块，提高了本发明的通用性。

附图说明

图1为本发明提供的基于分层结构和可变形部分模型的手部区域检测方法流程图；

图2为本发明提供的基于分层结构和可变形部分模型的手部区域检测装置；

图3为本发明提供的手势库中的12种手势图像；

图4为本发明实施实例使用的一张手势库中的照片；

图5为本发明实施实例中人体上半身区域的检测结果；

图6为本发明实施例步骤1的检测结果；其中，(a)为环境1中的物体，(b)为环境2中的物体，(c)为人体上半身区域；

图7为本发明实施实例中填充空洞的结果；

图8为本发明实施实例中标记最小连通区域的结果；

图9为本发明实施实例中类肤色区域检测结果；

图10为本发明实施实例中类肤色区域分割结果。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供一种基于分层结构和可变形部分模型的手部区域检测方法，具体包括以下步骤，如图1所示：

步骤1：建立手势图片库；

由于本发明基于机器人背景，手势检测为操作者使用手势控制机器人运动打下坚实基础。因此，本发明手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离(照相机分别距被拍摄人d₁m,d₂m和d₃m)下拍摄，每个人每只手同种距离拍摄三次，分别使人在图像中央、左边和右边，在实验室和走廊两种环境下拍摄，如图3所示，采集的照片数共：2×3×3×2xy＝36xy。图3为本发明手势图片库中提供的部分手势图像；图4本发明手势图片库中提供的同一种手势两只手在不同距离、不同位置的照片；图5为本发明实施实例使用的一张手势库中的照片；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了人体形态学的先验知识：局部上下文信息，检测人体上半身的鲁棒性较强。

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域。

本发明采用肤色模型的目的，是将肤色检测作为手部检测的预处理，减少手部检测过程中的计算代价。

本发明所用肤色模型综合采用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的方法。其中，显式阈值采用RGB-YCbCr颜色空间的显式阈值，运算速度快。而高斯模型是基于统计的模型，将其结合，可更好检测肤色。

具体包括以下步骤：

综合使用RGB-YCbCr显式阈值和高斯模型，建立肤色模型。

RGB色彩空间虽然常用，但RGB色彩空间受光线强度影响较大，而肤色在YCbCr色彩空间聚类性较好，肤色与非肤色分布范围交叉区域较小。因此，本发明在RGB和YCbCr色彩空间综合使用显式阈值检测肤色，为了更好检测肤色，同时结合高斯肤色模型，建立本发明所述肤色模型。

(1)使用RGB颜色空间显式阈值，检测肤色区域。

提取所建手势库的手部肤色区域，并读取这些肤色像素值，并分析这些像素点RGB三通道间的以下关系：

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为提取手部肤色样本R,G,B三通道的最小值；分别为提取手部肤色样本R,G,B三通道的最大值。

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为手部肤色样本R-G,R-B,G-B通道差值的最小值；分别为手部肤色样本R-G,R-B,G-B通道差值的最大值。

由于文献中，在RGB颜色空间使用的显式肤色阈值如下所示：

文献[4,5]采用公式(5)所示的阈值，

文献[6]采用公式(6)的所示阈值，

因此，本发明肤色模型在RGB颜色空间采用公式(7)所示阈值，

在RGB颜色空间的肤色像素点S_rgb(r,g,b)满足以下公式(8)要求：

其中，r(r,g,b)为某像素在RGB色彩空间的值。

(2)使用YCbCr显式阈值检测肤色。

对于YCbCr，其中Y是亮度分量；Cb是指蓝色分量；Cr指红色色度分量。根据文献[7]，YCbCr色彩空间可由RGB色彩空间经公式(9)矩阵变换得到，

根据文献[8]，肤色区域在YCbCr颜色空间满足的阈值为：

(80≤Cb≤120)∩(133≤Cr≤173)(10)

由经公式(9)可得到其中，分别为提取手部肤色样本Y,Cb,Cr分量的最小值；分别为提取手部肤色样本Y,Cb,Cr分量的最大值。

在YCbCr色彩空间，满足肤色条件的区域S_ycbcr(cb,cr)满足公式(12)的条件，

其中，分别为肤色像素在YCbCr颜色空间，Cb通道的最低阈值，最高阈值，Cr通道的最低阈值，最高阈值。c(cb,cr)为某像素在YCbCr色彩空间中Cb,Cr分量的值。

(3)建立高斯肤色模型进行肤色检测

由于肤色像素在YCbCr色彩空间的统计分布，可近似看作高斯分布。因此，在YCbCr色彩空间建立高斯肤色模型，并使用建立的高斯肤色模型进行肤色检测。

具体包括以下两个步骤：

步骤a：首先，手工剪裁出本发明构造手势图片库中的手部肤色样本，利用公式(9)，将肤色像素从RGB转换到YCbCr色彩空间后，并对其进行统计分析，通过椭圆高斯联合概率密度函数(pdf)，贝叶斯最大似然估计得到高斯模型的均值μ(μ_cbμ_cr)和协方差∑(∑_cb∑_cr)。

椭圆高斯联合概率密度函数如下所示：

其中，c为肤色向量，μ为均值向量，∑为协方差矩阵。

其中，

手工剪裁出本发明构造手势图片库中的手部肤色样本由RGB转换到YCbCr色彩空间后(c_j)，通过贝叶斯最大似然估计可得到参数μ(μ_cb μ_cr)和∑(∑_cb ∑_cr)。

步骤b：计算所给像素点与肤色相似的程度，即肤色似然度，进而可得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，再对肤色似然图进行阈值化，以便将肤色区域分割出来。

肤色的灰度分布可近似用一维高斯曲线拟合，CbCr空间的波峰区域是肤色部分，其他分布较少的是非肤色部分。利用这种对应关系，用像素点的肤色相似度作为对应像素点灰度值的权值，建立肤色模型。

根据建立的高斯肤色模型，计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr)，计算公式如下：

D(Cb,Cr)＝exp[-0.5(c-μ)^T∑^-1(c-μ)] (16)

相似度D计算出来后，可得到待检测图像的最大肤色似然度，两者的比值为肤色概率值，由此，可得到肤色似然图，再对其阈值化后得到肤色图像的二值图。

本发明肤色模型中的肤色区域S_skin为满足肤色高斯模型S_g(Cb,Cr)、YCbCr显式阈值S_ycbcr(cb,cr)和RGB显式阈值S_rgb(r,g,b)的交集，即

S_skin＝S_g(Cb,Cr)∩S_ycbcr(cb,cr)∩S_rgb(r,g,b) (17)

如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型，则认为该区域是肤色区域。

满足肤色模型的区域进入步骤4，对其进行形态学处理。不满足要求的图像，不进行处理。

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。

对满足肤色条件的区域进行形态学处理和区域调整，包括：删除二值图中的小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值，在原始图像上分割出类肤色区域。

步骤5：将原始图像上分割出类肤色区域(即步骤4得到的结果)进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域。其中，可变形部分模型采用Pedro F.Felzenszwalb等[9]使用的HOG 特征，潜在支持向量机分类器训练的多尺度可变形模板进行手部检测。

步骤5包括模型训练和手部检测两部分，具体如下所示：

(1)模型训练

步骤4分割出来肤色区域进行归一化后，作为训练样本。其中，训练样本包含正样本和负样本，具体来说，正样本为包含手部区域的照片，负样本为不包含手部区域的照片。将标注后的正负样本信息作为可变形部分模型的输入，使用可变形部分模型[9]训练手部检测模型，生成用户需要的手部检测模型。

(2)使用可变形部分模型检测手部区域

步骤3分割出来肤色区域进行归一化后，使用步骤(1)训练好的可变形部分模型检测手部区域。

一种基于分层结构和可变形部分模型的手部区域检测装置，如图2所示，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域；其中，可变形部分模型采用HOG特征。

本发明针对人体全身手势图像，采用分层结构检测手部，去除复杂背景，在第一层，检测包含人脸的人体上半身区域。经过第一层的人体上半身区域检测，去除复杂背景的影响，第二层手部检测所面临的图片检测区域将显著减少。

在第二层，基于已检测出的人体上半身图像，通过肤色模型检测类肤色区域；

在第三层，通过形态学操作，最小连通区域的长宽比限制和面积阈值，调整检测出的类肤色区域；

在第四层，将检测出的类肤色区域进行归一化后，使用可变形部分模型检测手部区域。

实施例：

本发明提供一种基于分层结构和可变形部分模型的手部区域检测方法，如图1所示，所述基于分层结构和可变形部分模型的手部区域检测方法，基于Linux Ubuntu 12.04上安装的Robot Operating System(ROS)的hydro版本。将本发明的基于分层结构和可变形部分模型的手部区域检测方法抽象为ROS的一个结点(node)，该结点通过ROS中话题(topic)和消息(message)与其他结点(如，控制机器人腿部运动的结点)通信。

本发明实施实例以图5作为输入图像，检测手部区域。图5为手势库中的一张照片。由图5可知，该图像为复杂背景(并且人体背后有类肤色背景)人体全身照。

本发明提供一种基于ROS的模块化手部区域检测方法，如图1所示，具体包括以下步骤：

步骤1：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后采用提取脸部、脖子、肩膀、胳膊和手部的Haar小波特征，基于Viola-Jones检测器框架，使用级联分类器瀑布式算法训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了脸、脖子、肩膀、胳膊和手部相连的局部上下文信息，检测人体上半身的鲁棒性较强。

采用步骤1的方法以本发明自建手势图片库中的照片为实施实例，实施实例使用图片如图4所示，但同时存在一定误检测，即，除了检测出人体上半身区域，如图6(c)，还把环境中一些物体，如图6中的(a)和(b)，检测出来。但相比原图像(即图5)，大大缩小了手部候选区域，减少了计算量。

步骤2：使用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型，提取人体上半身图像中的类肤色区域；

步骤3：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。

对满足肤色条件的区域进行形态学处理和区域调整，包括：删除二值图中小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值，在原始图像上分割出类肤色区域。填充空洞后的结果、标记最小连通区域、根据最小连通区域的面积和长宽比检测出类肤色区域，从原始图片中分割出类肤色区域，分别如图7、图8、图9和图10所示。

步骤4：将从原始图像分割出类肤色区域(即步骤3得到的结果)进行尺寸归一化，如，200*200，使用4.1所述方法训练手部的可变形部分模型，然后，使用训练好的手部可变形部分模型检测手部，即，对步骤3得到的结果进行尺寸归一化后，使用训练好的手部模型，检测手部区域。

参考文献：

1.Hasan,H.and S.Abdul-Kareem,Human–computer interaction using vision-based hand gesture recognition systems:a survey.Neural Computing andApplications,2014.25(2):p.251-261.

2.Pisharady,P.K.and M.Saerbeck,Recent methods and databases invision-based hand gesture recognition:A review.Computer Vision and ImageUnderstanding,2015.141:p.152-165.

3.Rautaray,S.S.and A.Agrawal,Vision based hand gesture recognitionfor human computer interaction:a survey.Artificial Intelligence Review,2015.43(1):p.1-54.

4.Peer,P.and F.Solina,An automatic human face detection method.1999.

5.Solina,F.,et al.15seconds of fame-an interactive,computer-visionbased art installation.in Control,Automation,Robotics and Vision,2002.ICARCV2002.7th International Conference on.2002.IEEE.

6.Chen,W.-C.and M.-S.Wang,Region-based and content adaptive skindetection in color images.Internationaljournal of pattern recognition andartificial intelligence,2007.21(05):p.831-853.

7.Ban,Y.,et al.,Face detection based on skin color likelihood.PatternRecognition,2014.47(4):p.1573-1585.

8.Basilio,J.A.M.,et al.,Explicit image detection using YCbCr spacecolor model as skin detection.Applications of Mathematics and ComputerEngineering,2011:p.123-128.

9.Felzenszwalb,P.F.,et al.,Object detection with discriminativelytrained part-based models.IEEE transactions on pattern analysis and machineintelligence,2010.32(9):p.1627-1645.

Claims (4)

1.一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁、d₂和d₃，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像上分割出类肤色区域进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域；其中，可变形部分模型采用HOG特征。

2.根据权利要求1所述的一种基于分层结构和可变形部分模型的手部区域检测方法，所述的步骤3中具体为：

采用RGB-YCbCr显式阈值和高斯模型，建立肤色模型具体包括：

(1)使用RGB颜色空间显式阈值，检测肤色区域；

提取所建手势库的手部肤色区域，读取肤色像素值，像素点RGB三通道间的关系为：

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为提取手部肤色样本R,G,B三通道的最小值；分别为提取手部肤色样本R,G,B三通道的最大值；

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为手部肤色样本R-G,R-B,G-B通道差值的最小值；分别为手部肤色样本R-G,R-B,G-B通道差值的最大值；

肤色模型在RGB颜色空间的阈值为：

在RGB颜色空间的肤色像素点S_rgb(r,g,b)满足以下要求：

其中，r(r,g,b)为某像素在RGB色彩空间的值；

(2)使用YCbCr显式阈值检测肤色；

针对YCbCr，其中Y是亮度分量，Cb是指蓝色分量，Cr指红色色度分量，YCbCr色彩空间由RGB色彩空间经下式矩阵变换得到：

肤色区域在YCbCr颜色空间满足的阈值为：

(80≤Cb≤120)∩(133≤Cr≤173) (10)

由经公式(9)得到其中，分别为提取手部肤色样本Y,Cb,Cr分量的最小值；分别为提取手部肤色样本Y,Cb,Cr分量的最大值；

在YCbCr色彩空间，满足肤色条件的区域S_ycbcr(cb,cr)满足下式的条件，

其中，分别为肤色像素在YCbCr颜色空间，Cb通道的最低阈值，最高阈值，Cr通道的最低阈值，最高阈值；c(cb,cr)为某像素在YCbCr色彩空间中Cb,Cr分量的值；

(3)建立高斯肤色模型进行肤色检测

具体包括以下两个步骤：

步骤a：获取构造手势图片库中的手部肤色样本，利用公式(9)，将肤色像素从RGB转换到YCbCr色彩空间后，并对其进行统计分析，通过椭圆高斯联合概率密度函数(pdf)，贝叶斯最大似然估计得到高斯模型的均值μ(μ_cb μ_cr)和协方差∑(∑_cb ∑_cr)；

椭圆高斯联合概率密度函数如下所示：

其中，c为肤色向量，μ为均值向量，∑为协方差矩阵；

其中，

步骤b：计算所给像素点与肤色相似的程度，即肤色似然度，得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，再对肤色似然图进行阈值化，将肤色区域分割出来；

根据建立的高斯肤色模型，计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr)，计算公式如下：

D(Cb,Cr)＝exp[-0.5(c-μ)^T∑^-1(c-μ)] (16)

相似度D计算出来后，得到待检测图像的最大肤色似然度，两者的比值为肤色概率值，由此，可得到肤色似然图，再对其阈值化后得到肤色图像的二值图；

肤色模型中的肤色区域S_skin为满足肤色高斯模型S_g(Cb,Cr)、YCbCr显式阈值S_ycbcr(cb,cr)和RGB显式阈值S_rgb(r,g,b)的交集，即

S_skin＝S_g(Cb,Cr)∩S_ycbcr(cb,cr)∩S_rgb(r,g,b) (17)

如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型，则认为该区域是肤色区域；

满足肤色模型的区域进入步骤4，对其进行形态学处理；不满足要求的图像，不进行处理。

3.根据权利要求1所述的一种基于分层结构和可变形部分模型的手部区域检测方法，所述的步骤5中包括模型训练和手部检测两部分，具体如下所示：

(1)模型训练

步骤4分割出来肤色区域进行归一化后，作为训练样本；其中，训练样本包含正样本和负样本，具体来说，正样本为包含手部区域的照片，负样本为不包含手部区域的照片；将标注后的正负样本信息作为可变形部分模型的输入，使用可变形部分模型[21]训练手部检测模型，生成用户需要的手部检测模型；

(2)使用可变形部分模型检测手部区域

步骤3分割出来肤色区域进行归一化后，使用步骤(1)训练好的可变形部分模型检测手部区域。

4.一种基于分层结构和可变形部分模型的手部区域检测装置，包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块；

手势库模块用于提供手势图片；

人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

肤色检测模块对人体检测模块检测出的人体上半身区域后，提取满足肤色模型的类肤色区域；

区域调整模块将肤色检测模块检测到的类肤色区域，经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值，调整肤色检测的结果，将类肤色区域从原始RGB图像中分割出来；

手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化，将其作为可变形部分模型的输入，使用可变形部分模型训练手部模型，进而使用训练好的手部模型检测手部区域；其中，可变形部分模型采用HOG特征。