CN106529432A - 一种深度融合显著性检测与先验知识的手部区域分割方法 - Google Patents

Abstract

本发明涉及一种深度融合显著性检测与先验知识的手部区域分割方法，本方法将像素级的手部区域显著图与区域级的手部区域显著图融合，使得整个手部区域检测算法具有更高的鲁棒性和准确性。利用引入的贝叶斯框架，得到每个像素点的属于手部区域的置信度，并结合阈值分割等相关技术手段，最终获得高准确性的手部区域分割结果。本发明克服了传统手部区域方法只能应用于相对简单背景、无近肤色干扰场景的缺点，在非均匀光照、近肤色背景、人脸噪声等各种干扰的情况下，仍然可以十分精确地获得手部区域的分割图像，因而具有广阔的应用前景。

Description

一种深度融合显著性检测与先验知识的手部区域分割方法

技术领域

本发明涉及一种深度融合显著性检测与先验知识的手部区域分割方法，属于计算机视觉、图像处理、模式识别等领域技术领域

背景技术

基于视觉的手势识别是指利用各类摄像头，对手部的形态、位移等进行持续采集，形成一个模型信息的序列帧，再将它们转换为对应的指令，用来控制实现某些操作。该项技术在人机交互、机器人控制以及虚拟现实等众多场景中得到十分广泛的应用。常见的手势识别技术通常涉及到手部区域分割、手部形状特征提取、手部跟踪和手势识别几个方面。其中，手部区域分割技术就是在图片中排除其他元素的干扰，将人的手部区域准确地分割出来，同时保证手部轮廓的清晰度。手部区域分割作为手势识别的初始步骤，其效果的好坏直接决定了手势识别***识别准确性的优劣。

传统的手部区域分割技术主要包括以下几种：1.肤色检测法，即预先构建皮肤颜色模型，如Hsu R L在《Face detection in color images》一文中提出的YCrCb颜色空间肤色模型等，并利用肤色模型对图像中各个像素点进行肤色判断，选择近肤色的最大区域作为手部区域，从而实现手部区域的分割。然而在复杂背景条件下，存在着众多近肤色物体的干扰，单纯依靠该方法进行手部分割鲁棒性较差；2.模板匹配法，即通过收集大量手部形状样本来构建一个手部形状数据库，然后在待检测图像中进行遍历或随机的模板匹配来寻找手部区域。该方法成本高、速度慢、准确性低，目前已经逐步被淘汰；3.背景减除法，即通过对背景进行建模，并在原图像中将相应的背景进行减除，以获得前景目标。该种方法要求对背景有着准确的估计，且还需要复杂的后续处理方能获得估计的手部区域，在场景多变的条件下难以实现；4.边缘检测，即对图像进行边缘检测，并通过一定的技术手段排除非手部区域的边缘，从而获得手部区域的估计。这种方法在单一背景或简单背景下效果较好，但在复杂背景下难以应用；5.增加限制，即通过限定背景色彩、佩戴专用数据手套等手段，从而排除复杂背景特别是近肤色背景的干扰。该方法虽然有效，但极大地限制了手势识别的应用范围，不具有较高的实用性。总之，上述的传统方法在准确性、鲁棒性上都具有一定的缺陷，难以在实际场景中直接加以利用。

近年来，涌现出了许多手部区域分割的新方法，多为将传统手部区域分割方法与其它图像处理方法(如运动检测、阈值分割等)相结合进行手部区域的判断。如邹节华在《基于单目视觉的动态手势轨迹识别***研究》一文中，结合运动目标检测、肤色检测以及纹理检测等方法来完成手部区域的检测。自从Laurent Itti在《A Model of Saliency-BasedVisual Attention for Rapid Scene Analysis》一文中最早提出图像显著性检测算法后，大量显著性检测方法层出不穷，鉴于图像显著性检测在图像前景目标提取中的独特优势，一些文章开始引入图像显著性检测方法作为手部区域检测的辅助手段。如杨文姬在《面向家庭服务机器人的手势交互技术研究》一文中，利用多尺度颜色对比度和纹理对比度来获取图像的显著性图，然后将显著性图与肤色概率图、对象性属性度量等高层先验知识进行融合，并进行阈值分割，从而获取最终的手部区域检测结果，这种方法在相对简单背景下分割精确度极高，但由于过度考虑了区域级别的对比度，造成了其在复杂背景条件下依然效果不佳；Chuang Yuelong在《Saliency-guided improvement for hand posturedetectionand recognition》一文中，提出了一种不结合任何先验信息的显著性检测方法，主要用于手部的粗略定位，然后将获得的显著图与肤色概率图融合，从而获得手部区域估计，这种方法可以排除大片近肤色背景的干扰，但是对于同为较显著区域且为近肤色的脸部缺乏排除能力。总之，同传统方法相比，现有的将显著性检测引入到手部区域分割场景中来的一系列方案，在精确度以及克服部分背景干扰能力上有了较大的提高，但是由于其大多为将显著性检测与基于肤色等先验知识的检测各自进行，最后再进行融合，使得其算法的鲁棒性较差，难以完全克服人脸和其他复杂背景的干扰，仍然无法真正地在实际场景中加以运用。

总之，传统的手部区域分割方法技术手段单一，且过度依赖肤色检测技术，大部分只能够用于简单背景下手部区域分割，而一旦待分割图像中存在复杂纹理、近肤色区域、背景多变、光照不均匀等干扰因素时，这些方法几乎都无法实现准确的手部区域分割。现有的手部区域检测方法未能充分利用先验知识，在克服复杂背景干扰特别是近肤色背景干扰能力上的有较大的缺陷。

发明内容

针对现有技术的不足，本发明提供了一种深度融合显著性检测与先验知识的手部区域分割方法；

本发明成功地排除了各种复杂背景特别是近肤色背景的干扰，最终获得精确的手部区域。

本发明的技术方案为：

一种深度融合显著性检测与先验知识的手部区域分割方法，具体步骤包括：

(1)将原图像分割为N个区域；100≤N≤400

(2)通过基于色彩散布度度量显著性检测与肤色先验知识融合的手部区域检测方法，实现对手部区域的初步检测，具体包括：

a、在RGB颜色空间内，对每个通道的颜色量化得到t个不同的值，使颜色总数量减少到t³种；

b、分别计算每种颜色的显著度；

c、遍历每种颜色，形成颜色显著度查找表,所述颜色显著度查找表包括每种量化后的颜色及其对应的显著度；

d、对每种颜色的显著度进行归一化处理；

e、遍历步骤a处理后的图像中的各个像素点，根据颜色显著度查找表对该像素点的显著度进行赋值，获得手部区域显著图image1；每个像素点显著度越高，该点属于手部区域的可能性越大。

基于“背景色彩在图像中普遍散布较为广泛而匀称，而作为手部区域的前景色彩在图像中分布相对更为集中”以及“越接近肤色的像素点越有可能是手部区域”的先验知识，定义了一种新的基于色彩散布度度量显著性检测与肤色先验知识深度融合的手部区域检测方法，实现了对手部区域的初步检测。该方法融合先验肤色信息，同时利用了图像颜色空间散布状况，在像素级别上对图像进行了手部区域显著性检测，较好地排除了非肤色背景以及小块近肤色背景区域对手部检测的干扰。

(3)通过基于肤色概率距离与区域对比度的手部区域检测方法，实现对手部区域的初步检测，具体包括：

f、对步骤(1)分割原图像获得的N个区域，分别计算步骤d处理后的图像中各个区域的显著度；

g、遍历各个区域，形成区域显著度查找表，所述区域显著度查找表包括各个区域及其对应的显著度；

h、对各个区域的显著度进行归一化处理；

i、根据区域显著度查找表，对原图像中各个像素点的显著度进行赋值，获得手部区域显著图image2；每个像素点显著度越高，该点属于手部区域的可能性越大。

基于“越接近肤色的像素点越有可能是手部区域”以及“在整幅图像中集中聚集且比周围区域更接近肤色的区域更有可能属于手部区域”的先验知识，定义一种基于肤色概率距离与区域对比度的手部区域检测方法，通过根据区域间肤色概率的差别来定义区域间的对比度，从而强化了近肤色、聚集度高的区域的显著度，实现了对手部区域的初步检测。该方法融合先验肤色信息，在区域级别上对图像进行手部区域显著性检测，较好地排除了大块近肤色背景区域对手部区域检测的干扰，与此同时强化了手部区域的边缘，为之后的区域分割提供了良好的条件。

(4)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3；

(5)根据得到的手部区域置信图image3，计算每个像素点的先验概率以及观测似然概率，根据贝叶斯公式，进一步计算该像素点属于手部区域的后验概率，获得最终的精确手部区域置信图image4。

将上述两种手部区域显著图融合后可以获得排除复杂背景干扰后的手部区域置信图。由此，为了进一步提高手部区域分割的准确性，此项专利根据贝叶斯原理，利用手部区域置信图所提供的信息，采用贝叶斯框架对手部区域进行了更为精确的像素级检测。将手部区域检测看做一个贝叶斯推理问题，即根据技术手段1和技术手段2所获得的手部区域置信图来计算每个像素点的先验概率以及观测似然概率，然后根据贝叶斯公式进一步计算该像素点属于手部区域的后验概率，从而获得最终的精确手部区域置信图。

根据本发明优选的，所述步骤b，对于任意颜色i，i∈1,2...t³，其显著度Se(i)的求取公式(Ⅰ)、(Ⅱ)如下所示：

S_e(i)＝P_skin(i)exp(-E(i)/σ_e) (Ⅰ)

式(Ⅰ)、(Ⅱ)中，参数σ_e是指控制颜色i的颜色散布程度对其显著度的影响程度，σ_e越大，影响程度越小，σ_e的取值范围是(0,5.0]；

P_skin(i)为颜色i的肤色概率；当L_skin(i)<12时，P_skin(i)＝0；否则， L_skin(i)是指通过Oconaire肤色概率模型得到的颜色i属于皮肤点的对数似然；L_max是指在原图像中L_skin(i)的最大值；H(i)指的是颜色i在皮肤区域的颜色直方图H中所占的比例，h(i)指的是颜色i在非皮肤区域的颜色直方图h中所占的比例；

本发明采用Oconaire肤色概率模型，该模型通过统计大量肤色样本和非肤色样本，从而获得在RGB颜色空间内皮肤区域的颜色直方图H以及非皮肤区域的颜色直方图h，最终得到颜色i属于皮肤点的对数似然L_skin(i)。

E(i)为颜色i空间散布度量函数，用于度量颜色i在整个图像各个区域中散布的均匀程度以及在整个图像中的空间分布离散程度；颜色i在图像中空间分布越为广泛，E(i)的值越大；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；k∈1,2...N且k≠j；

p_ik是指区域R_k中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例；

p_ij是指区域R_j中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例。

根据本发明优选的，所述步骤f，对于任意区域R_k，其显著度S_r(R_k)的求取公式(Ⅲ)、(IV)如下所示：

式(Ⅲ)、(IV)中，N_Ri为区域R_i的像素数量；

参数σ_c是指控制区域间空间距离对于区域显著度的影响程度，σ_c的建议取值范围为(0,5.0],σ_c越大，距离较远的区域对于本区域显著性影响程度就更大；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；

D_c(R_k,R_j)为区域R_k与区域R_j的肤色概率距离；

f(c_km)是指在区域R_k中的颜色m在本区域中所出现的概率；m∈1,2...t³且m≠i；

f(c_ij)是指在区域R_j中的颜色i在本区域中所出现的概率；

P_skin(c_km)是指区域R_k中第m种颜色c_km的肤色概率；

P_skin(c_ij)是指区域R_j中第i种颜色c_ij的肤色概率；

根据本发明优选的，所述步骤(5)中，具体步骤包括：

j、计算任意像素点v属于手部区域的先验概率p(hand)及任意像素点v属于背景区域的先验概率p(bk)：任意像素点v属于手部区域的先验概率p(hand)等于手部区域置信图image3在该像素点处的显著度；任意像素点v属于背景区域的先验概率p(bk)的计算公式如式(Ⅴ)所示：

p(bk)＝1-p(hand) (Ⅴ)；

K、将原图像转换到CIELab颜色空间内，对于任意像素点v，根据其在CIELab颜色空间内l、a、b三个颜色通道分量的值，计算任意像素点v属于手部区域的观测似然概率p(v|hand)及像素点v属于背景区域的观测似然概率p(v|bk)，如式(Ⅵ)、式(Ⅶ)所示：

式(Ⅵ)、式(Ⅶ)中，是指在手部区域R_hand中，与像素点v具有相同颜色通道分量l的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量a的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量b的像素点数量；代表区域R_hand中的总像素点数量；

是指在背景区域R_bk中，与像素点v具有相同颜色通道分量l的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量a的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量b的像素点数量；代表背景区域R_bk中的总像素点数量；

l、将p(hand)、p(bk)、p(v|hand)、p(v|bk)代入贝叶斯公式中，得到任意像素点v属于手势区域的后验概率p(hand|v)，计算公式如式(Ⅷ)所示：

通过式(Ⅷ)得到各个像素点属于手势区域的后验概率；即得到精确手部区域置信图image4。精确手部区域置信图image4中每个像素的灰度值衡量了该像素属于手部区域的可能性大小。

根据本发明优选的，所述步骤(4)，通过式(Ⅸ)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3，对于手部区域置信图image3任意一点，设其坐标(x,y)，则该点置信度image3(x,y)计算方法为：

式(Ⅸ)中，image1(x,y)代表在手部区域显著图image1中坐标为(x,y)的像素点的显著度；image2(x,y)代表在手部区域显著图image2中坐标为(x,y)的像素点的显著度。

本发明所采用的图像融合方式为将image1与image2两幅图像中相同坐标点的显著度相乘并开方，在实现两种显著图融合的同时，有效地强化了中置信度像素，改善了融合效果，从而最终获得image3同坐标点处的置信度。

本发明的有益效果为：

该发明克服了传统手部区域方法只能应用于相对简单背景、无近肤色干扰场景的缺点，在非均匀光照、近肤色背景、人脸噪声等各种干扰的情况下，仍然可以十分精确地获得手部区域的分割图像，因而具有广阔的应用前景。

附图说明

图1为实施例中原图像示意图；

图2为实施例中手部区域显著图image1的示意图；

图3为实施例中手部区域显著图image2的示意图；

图4为实施例中手部区域置信图image3的示意图；

图5为实施例中手部区域二值图image4的示意图；

图6为实施例中手部区域最终置信图image5的示意图；

图7为实施例中手部区域最终二值图image6的示意图；

图8为实施例中手部区域分割结果的示意图；

图9为本发明所述一种深度融合显著性检测与先验知识的手部区域分割方法的流程示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

一种深度融合显著性检测与先验知识的手部区域分割方法，如图9所示，具体步骤包括：

(1)对原图像进行SLIC超像素分割，获得R1，R2……RN共N个区域，原图像如图1所示：

(2)通过基于色彩散布度度量显著性检测与肤色先验知识融合的手部区域检测方法，实现对手部区域的初步检测，具体包括：

a、在RGB颜色空间内，对每个通道的颜色量化得到t个不同的值，使颜色总数量减少到t³种；

b、分别计算每种颜色的显著度；对于任意颜色i，i∈1,2...t³，其显著度Se(i)的求取公式(Ⅰ)、(Ⅱ)如下所示：

S_e(i)＝P_skin(i)exp(-E(i)/σ_e) (Ⅰ)

式(Ⅰ)、(Ⅱ)中，参数σ_e是指控制颜色i的颜色散布程度对其显著度的影响程度，σ_e越大，影响程度越小，σ_e的取值范围是(0,5.0]；

P_skin(i)为颜色i的肤色概率；当L_skin(i)<12时，P_skin(i)＝0；否则，

L_skin(i)是指通过Oconaire肤色概率模型得到的颜色i属于皮肤点的对数似然；L_max是指在原图像中L_skin(i)的最大值；H(i)指的是颜色i在皮肤区域的颜色直方图H中所占的比例，h(i)指的是颜色i在非皮肤区域的颜色直方图h中所占的比例；本发明采用Oconaire肤色概率模型，该模型通过统计大量肤色样本和非肤色样本，从而获得在RGB颜色空间内皮肤区域的颜色直方图H以及非皮肤区域的颜色直方图h，最终得到颜色i属于皮肤点的对数似然L_skin(i)。

E(i)为颜色i空间散布度量函数，用于度量颜色i在整个图像各个区域中散布的均匀程度以及在整个图像中的空间分布离散程度；颜色i在图像中空间分布越为广泛，E(i)的值越大；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；k∈1,2...N且k≠j；

p_ik是指区域R_k中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例；

p_ij是指区域R_j中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例。

c、遍历每种颜色，形成颜色显著度查找表,所述颜色显著度查找表包括每种量化后的颜色及其对应的显著度；

d、对每种颜色的显著度进行归一化处理；

e、遍历步骤a处理后的图像中的各个像素点，根据颜色显著度查找表对该像素点的显著度进行赋值，获得手部区域显著图image1；如图2所示；每个像素点显著度越高，该点属于手部区域的可能性越大。

基于“背景色彩在图像中普遍散布较为广泛而匀称，而作为手部区域的前景色彩在图像中分布相对更为集中”以及“越接近肤色的像素点越有可能是手部区域”的先验知识，定义了一种新的基于色彩散布度度量显著性检测与肤色先验知识深度融合的手部区域检测方法，实现了对手部区域的初步检测。该方法融合先验肤色信息，同时利用了图像颜色空间散布状况，在像素级别上对图像进行了手部区域显著性检测，较好地排除了非肤色背景以及小块近肤色背景区域对手部检测的干扰。

(3)通过基于肤色概率距离与区域对比度的手部区域检测方法，实现对手部区域的初步检测，具体包括：

f、对步骤(1)分割原图像获得的N个区域，分别计算步骤d处理后的图像中各个区域的显著度；对于任意区域R_k，其显著度S_r(R_k)的求取公式(Ⅲ)、(IV)如下所示：

式(Ⅲ)、(IV)中，为区域R_i的像素数量；

参数σ_c是指控制区域间空间距离对于区域显著度的影响程度，σ_c的建议取值范围为(0,5.0],σ_c越大，距离较远的区域对于本区域显著性影响程度就更大；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；

D_c(R_k,R_j)为区域R_k与区域R_j的肤色概率距离；

f(c_km)是指在区域R_k中的颜色m在本区域中所出现的概率；m∈1,2...t³且m≠i；

f(c_ij)是指在区域R_j中的颜色i在本区域中所出现的概率；

P_skin(c_km)是指区域R_k中第m种颜色c_km的肤色概率；

P_skin(c_ij)是指区域R_j中第i种颜色c_ij的肤色概率；

g、遍历各个区域，形成区域显著度查找表，所述区域显著度查找表包括各个区域及其对应的显著度；

h、对各个区域的显著度进行归一化处理；

i、根据区域显著度查找表，对原图像中各个像素点的显著度进行赋值，获得手部区域显著图image2；如图3所示；每个像素点显著度越高，该点属于手部区域的可能性越大。

基于“越接近肤色的像素点越有可能是手部区域”以及“在整幅图像中集中聚集且比周围区域更接近肤色的区域更有可能属于手部区域”的先验知识，定义一种基于肤色概率距离与区域对比度的手部区域检测方法，通过根据区域间肤色概率的差别来定义区域间的对比度，从而强化了近肤色、聚集度高的区域的显著度，实现了对手部区域的初步检测。该方法融合先验肤色信息，在区域级别上对图像进行手部区域显著性检测，较好地排除了大块近肤色背景区域对手部区域检测的干扰，与此同时强化了手部区域的边缘，为之后的区域分割提供了良好的条件。

(4)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3；如图4所示；通过式(Ⅸ)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3，对于手部区域置信图image3任意一点，设其坐标(x,y)，则该点置信度image3(x,y)计算方法为：

式(Ⅸ)中，image1(x,y)代表在手部区域显著图image1中坐标为(x,y)的像素点的显著度；image2(x,y)代表在手部区域显著图image2中坐标为(x,y)的像素点的显著度。

本发明所采用的图像融合方式为将image1与image2两幅图像中相同坐标点的显著度相乘并开方，在实现两种显著图融合的同时，有效地强化了中置信度像素，改善了融合效果，从而最终获得image3同坐标点处的置信度。

(5)利用大津法，对手部区域置信图image3进行阈值分割，获得手部区域二值图image4，在二值图image4中，高亮区域为初步估计的手势区域R_hand，黑色区域为初步估计的背景区域R_bk，二值图image4如图5所示；

(6)根据得到的手部区域置信图image4，计算每个像素点的先验概率以及观测似然概率，根据贝叶斯公式，进一步计算该像素点属于手部区域的后验概率，获得最终的精确手部区域置信图image5，如图6所示。

将上述两种手部区域显著图融合后可以获得排除复杂背景干扰后的手部区域置信图。由此，为了进一步提高手部区域分割的准确性，此项专利根据贝叶斯原理，利用手部区域置信图所提供的信息，采用贝叶斯框架对手部区域进行了更为精确的像素级检测。将手部区域检测看做一个贝叶斯推理问题，即根据技术手段1和技术手段2所获得的手部区域置信图来计算每个像素点的先验概率以及观测似然概率，然后根据贝叶斯公式进一步计算该像素点属于手部区域的后验概率，从而获得最终的精确手部区域置信图。

所述步骤(6)中，具体步骤包括：

j、计算任意像素点v属于手部区域的先验概率p(hand)及任意像素点v属于背景区域的先验概率p(bk)：任意像素点v属于手部区域的先验概率p(hand)等于手部区域置信图image4在该像素点处的显著度；任意像素点v属于背景区域的先验概率p(bk)的计算公式如式(Ⅴ)所示：

p(bk)＝1-p(hand)(Ⅴ)；

K、将原图像转换到CIELab颜色空间内，对于任意像素点v，根据其在CIELab颜色空间内l、a、b三个颜色通道分量的值，计算任意像素点v属于手部区域的观测似然概率p(v|hand)及像素点v属于背景区域的观测似然概率p(v|bk)，如式(Ⅵ)、式(Ⅶ)所示：

式(Ⅵ)、式(Ⅶ)中，是指在手部区域R_hand中，与像素点v具有相同颜色通道分量l的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量a的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量b的像素点数量；代表区域R_hand中的总像素点数量；

是指在背景区域R_bk中，与像素点v具有相同颜色通道分量l的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量a的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量b的像素点数量；代表背景区域R_bk中的总像素点数量；

l、将p(hand)、p(bk)、p(v|hand)、p(v|bk)代入贝叶斯公式中，得到任意像素点v属于手势区域的后验概率p(hand|v)，计算公式如式(Ⅷ)所示：

通过式(Ⅷ)得到各个像素点属于手势区域的后验概率；即得到精确手部区域置信图image5。精确手部区域置信图image4中每个像素的灰度值衡量了该像素属于手部区域的可能性大小。

(7)利用大津法，对最终置信图image5进行阈值分割，并进行消除非最大区域、填补区域空洞等处理，获得手部区域最终二值图image6，如图7所示：

(8)以二值图image6作为掩膜，对原图像进行图像分割，即可得到手部区域分割结果，如图8所示。

Claims (5)

1.一种深度融合显著性检测与先验知识的手部区域分割方法，其特征在于，具体步骤包括：

(1)将原图像分割为N个区域；100≤N≤400；

(2)通过基于色彩散布度度量显著性检测与肤色先验知识融合的手部区域检测方法，实现对手部区域的初步检测，具体包括：

a、在RGB颜色空间内，对每个通道的颜色量化得到t个不同的值，使颜色总数量减少到t³种；

b、分别计算每种颜色的显著度；

c、遍历每种颜色，形成颜色显著度查找表,所述颜色显著度查找表包括每种量化后的颜色及其对应的显著度；

d、对每种颜色的显著度进行归一化处理；

e、遍历步骤a处理后的图像中的各个像素点，根据颜色显著度查找表对该像素点的显著度进行赋值，获得手部区域显著图image1；

(3)通过基于肤色概率距离与区域对比度的手部区域检测方法，实现对手部区域的初步检测，具体包括：

f、对步骤(1)分割原图像获得的N个区域，分别计算步骤d处理后的图像中各个区域的显著度；

g、遍历各个区域，形成区域显著度查找表，所述区域显著度查找表包括各个区域及其对应的显著度；

h、对各个区域的显著度进行归一化处理；

i、根据区域显著度查找表，对原图像中各个像素点的显著度进行赋值，获得手部区域显著图image2；

(4)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3；

(5)根据得到的手部区域置信图image3，计算每个像素点的先验概率以及观测似然概率，根据贝叶斯公式，进一步计算该像素点属于手部区域的后验概率，获得最终的精确手部区域置信图image4。

2.根据权利要求1所述的一种深度融合显著性检测与先验知识的手部区域分割方法，其特征在于，所述步骤b，对于任意颜色i，i∈1,2...t³，其显著度S_e(i)的求取公式(Ⅰ)、(Ⅱ)如下所示：

S_e(i)＝P_skin(i)exp(-E(i)/σ_e) (Ⅰ)

$E\left(i\right)=-{\mathrm{\&Sigma;}}_{R_j,j\&Element;1,2...N}\&lsqb;p_{ij}{\log }_2{p}_{ij}{\mathrm{\&Sigma;}}_{R_k\&NotEqual;R_j}{D}_s(R_k,R_j)p_{ik}\&rsqb;---\left(II\right)$

式(Ⅰ)、(Ⅱ)中，参数σ_e是指控制颜色i的颜色散布程度对其显著度的影响程度，σ_e的取值范围是(0,5.0]；

P_skin(i)为颜色i的肤色概率；当L_skin(i)<12时，P_skin(i)＝0；否则， L_skin(i)是指通过Oconaire肤色概率模型得到的颜色i属于皮肤点的对数似然；L_max是指在原图像中L_skin(i)的最大值；H(i)指的是颜色i在皮肤区域的颜色直方图H中所占的比例，h(i)指的是颜色i在非皮肤区域的颜色直方图h中所占的比例；

E(i)为颜色i空间散布度量函数，用于度量颜色i在整个图像各个区域中散布的均匀程度以及在整个图像中的空间分布离散程度；颜色i在图像中空间分布越为广泛，E(i)的值越大；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；k∈1,2...N且k≠j；

p_ik是指区域R_k中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例；

p_ij是指区域R_j中颜色为i的像素点数量占整个图像中颜色为i的像素点数量的比例。

3.根据权利要求1所述的一种深度融合显著性检测与先验知识的手部区域分割方法，其特征在于，所述步骤f，对于任意区域R_k，其显著度S_r(R_k)的求取公式(Ⅲ)、(IV)如下所示：

$S_r\left(R_k\right)={\mathrm{\&Sigma;}}_{R_k\&NotEqual;R_i}\&lsqb;N_{R_i}{D}_s(R_k,R_j)\exp (-D_c(R_k,R_j)/{\mathrm{\&sigma;}}_c)\&rsqb;---\left(III\right)$

$D_c(R_k,R_j)={\mathrm{\&Sigma;}}_{m=1}^{n_1}{\mathrm{\&Sigma;}}_{j=1}^{n_2}f\left(c_{km}\right)f\left(c_{ij}\right)\&lsqb;P_{skin}\left(c_{km}\right)-P_{skin}\left(c_{ij}\right)\&rsqb;---\left(IV\right)$

式(Ⅲ)、(IV)中，为区域R_i的像素数量；

参数σ_c是指控制区域间空间距离对于区域显著度的影响程度，σ_c的建议取值范围为(0,5.0]；

D_s(R_k,R_j)为区域R_k与区域R_j的空间距离；

D_c(R_k,R_j)为区域R_k与区域R_j的肤色概率距离；

f(ckm)是指在区域Rk中的颜色m在本区域中所出现的概率；m∈1,2...t³且m≠i；

f(c_ij)是指在区域R_j中的颜色i在本区域中所出现的概率；

P_skin(c_km)是指区域R_k中第m种颜色c_km的肤色概率；

P_skin(c_ij)是指区域R_j中第i种颜色c_ij的肤色概率。

4.根据权利要求1所述的一种深度融合显著性检测与先验知识的手部区域分割方法，其特征在于，所述步骤(5)中，具体步骤包括：

j、计算任意像素点v属于手部区域的先验概率p(hand)及任意像素点v属于背景区域的先验概率p(bk)：任意像素点v属于手部区域的先验概率p(hand)等于手部区域置信图image3在该像素点处的显著度；任意像素点v属于背景区域的先验概率p(bk)的计算公式如式(Ⅴ)所示：

p(bk)＝1-p(hand) (Ⅴ)；

K、将原图像转换到CIELab颜色空间内，对于任意像素点v，根据其在CIELab颜色空间内l、a、b三个颜色通道分量的值，计算任意像素点v属于手部区域的观测似然概率p(v|hand)及像素点v属于背景区域的观测似然概率p(v|bk)，如式(Ⅵ)、式(Ⅶ)所示：

$p\left(v\right|hand)=\frac{N_{R_{hand},v_l}\&CenterDot;N_{R_{hand},v_a}\&CenterDot;N_{R_{hand},v_b}}{N_{R_{hand}}^3}---\left(VI\right)$

$p\left(v\right|bk)=\frac{N_{R_{bk},v_l}\&CenterDot;N_{R_{bk},v_a}\&CenterDot;N_{R_{bk},v_b}}{N_{R_{bk}}^3}---\left(VII\right)$

式(Ⅵ)、式(Ⅶ)中，是指在手部区域R_hand中，与像素点v具有相同颜色通道分量l的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量a的像素点数量；是指在手部区域R_hand中，与像素点v具有相同颜色通道分量b的像素点数量；代表区域R_hand中的总像素点数量；

是指在背景区域R_bk中，与像素点v具有相同颜色通道分量l的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量a的像素点数量；是指在背景区域R_bk中，与像素点v具有相同颜色通道分量b的像素点数量；代表背景区域R_bk中的总像素点数量；

l、将p(hand)、p(bk)、p(v|hand)、p(v|bk)代入贝叶斯公式中，得到任意像素点v属于手势区域的后验概率p(hand|v)，计算公式如式(Ⅷ)所示：

$p\left(hand\right|v)=\frac{p\left(hand\right)p\left(v\right|hand)}{p\left(hand\right)p\left(v\right|hand)+p\left(bk\right)p\left(v\right|bk)}---\left(VIII\right)$

通过式(Ⅷ)得到各个像素点属于手势区域的后验概率；即得到精确手部区域置信图image4。

5.根据权利要求1所述的一种深度融合显著性检测与先验知识的手部区域分割方法，其特征在于，所述步骤(4)，通过式(Ⅸ)融合步骤(2)得到的手部区域显著图image1和步骤(3)得到的手部区域显著图image2，得到排除复杂背景干扰后的手部区域置信图image3，对于手部区域置信图image3任意一点，设其坐标(x,y)，则该点置信度image3(x,y)计算方法为：

$image3(x,y)=\sqrt{image1(x,y)*image2(x,y)}---\left(IX\right)$

式(Ⅸ)中，image1(x,y)代表在手部区域显著图image1中坐标为(x,y)的像素点的显著度；image2(x,y)代表在手部区域显著图image2中坐标为(x,y)的像素点的显著度。