CN105138975A - 一种基于深度信念网络的人体肤色区域分割方法 - Google Patents

Abstract

本发明提供了一种基于深度信念网络的人体肤色区域分割方法，属于计算机视觉和图像处理领域。该方法包括：(1).建立肤色块数据集和非肤色块数据集；(2).产生不同的颜色空间及其组合上的深度信念网络输入特征集；(3).训练不同尺度的深度信念网络，并优化确定各项参数；(4).输入测试图像，在不同尺度约束下，使用滑动窗口策略获取当前待检测图像块范围；(5).在当前滑动窗口确定的图像块上抽取需要的颜色空间分量或其组合，获取输入特征向量；(6).将输入特征向量输入训练好的深度信念网络，得到图像块的分类结果，如果分类结果为肤色块，则块内像素点置1；如果分类结果为非肤色块，则块内像素点置0。

Description

一种基于深度信念网络的人体肤色区域分割方法

技术领域

本发明属于计算机视觉和图像处理领域，涉及机器学习和人体分析技术,具体涉及基于深度信念网络的人体肤色区域分割方法。

背景技术

人体肤色区域分割在计算机视觉处理领域具有较多的应用，例如可以快速检测人脸区域，在基于手势交互的应用中定位人手位置，在身体的姿态估计和行为分析中给出人体肤色部位的初始位置等。在使用肤色检测的许多应用中，一般要求肤色检测方法能够在复杂环境下提供鲁棒的、较为准确的人体肤色区域，而不需要精确的逐像素分类的结果。

目前的肤色分割方法主要是基于逐像素分类的方法，该类方法以图像的像素为处理单位，通过制定的规则或训练分类器对图像中每个像素进行分类，分为肤色像素点或非肤色像素点，最后通过腐蚀、膨胀等形态学操作获得人体肤色区域分割结果。基于逐像素分类的方法得到离散的肤色像素点，不仅影响后续的形态学操作产生不准确的结果，而且在复杂环境下此类方法误检较多，直接影响到高级处理步骤的效果。考虑到相似像素点聚类为区域的特点，也有方法提出了基于区域的肤色分割方法，但此类方法本质是以像素点分类结果为基础，逐像素检测的缺点同样会影响到肤色分割的效果。

《计算机辅助设计与图形学学报》在2013年01期的《与颜色空间选择无关的肤色检测方法》公开了一种基于柔性神经树的肤色检测方法，该方法随机生成不同结构的柔性神经树，使用基于语法引导的遗传算法进行结构优化，同时使用粒子群优化算法对参数进行优化，最终获得肤色模型。文中方法的准确率和误报率优于其他主流肤色检测方法，且对复杂环境下肤色细节的检测有较好的效果。

2014年斯普林格期刊公开了一篇关于多颜色空间融合的肤色检测方法，名称为：肤色检测中的多种颜色空间融合方法(Multiplecolorspacechannelfusionforskindetection)，该文提出一种将不同颜色空间分量进行线性融合的肤色检测方法，用于获得对光照变化鲁棒的效果。其中提出的权重学习过程利用正样本训练数据学习颜色权重模型。实验结果证明了颜色空间融合方法能够进行鲁棒和稳定的肤色检测。

2014年斯普林格期刊还公开了一篇关于多颜色空间融合的肤色检测方法，名称为：肤色检测中的多种颜色空间融合方法(Systematicskinsegmentation:mergingspatialandnon-spatialdata)，此文提出了一种使用图割算法进行肤色分割的方法法，首先利用检测到的人脸的局部肤色信息作为前景种子，并用于计算图的前景权重。如果局部肤色信息不可用，则选择通用种子，同时使用基于决策树的分类器提升鲁棒性，从而获得优于离线分类器的鲁棒肤色分割结果。此外，使用人脸检测的方式能够有效利用场景上下文信息，使用权重提升方法融合空间和非空间数据。实验结果证明所提方法优于其他方法并具有较好的鲁棒性。

2014年爱思唯尔期刊公开了一种基于空间和判别肤色表示特征的肤色检测方法，名称为：Spatial-basedskindetectionusingdiscriminativeskin-presencefeatures，该方法针对基于像素方法的局限性即肤色像素和非肤色像素在许多颜色空间中的重叠问题，提出利用纹理特征和空间特征提升肤色分类器的判别能力。提出判别特征空间用于肤色像素的空间分析，从肤色概率图上抽取纹理特征。实验结果显示所提方法由于其他使用纹理和空间特征的肤色检测方法。

2013年爱思唯尔期刊还公开了一种面向区域的肤色检测方法，名称为：Skindetectionbydualmaximizationofdetectorsagreementforvideomonitoring，该文提出一种自适应参数的肤色检测方法，使用两种检测器分别获得区域和离散像素点检测结果。通过学习检测器参数之间的联系提升框架的可用性，两类检测器通过形态学重构滤波进行结合，既保留了肤色区域同时移除检测错误区域。在人体行为识别数据集的实验证明所提方法优于大多数相关方法。

综上所述，现有人体肤色区域分割技术大多属于逐像素分类的方法，而计算机视觉领域使用肤色检测的场景一般是利用肤色检测方法提供身体肤色部位的大概范围，而不是精确的逐像素的分门别类。逐像素标记的方法的缺点是：一方面准确率不高，误检较多，使得肤色检测的结果达不到高级处理的要求；另一方面此类方法的检测结果是一个个的离散的像素点，为了获得肤色区域分割结果，往往需要使用形态学操作进行后续处理，但是在离散像素点的基础上进行形态学操作，误检的像素点会对结果产生不利影响。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于深度信念网络的人体肤色区域分割方法，以图像块作为处理单元，训练的深度信念网络模型对复杂背景下的肤色区域检测具有较好的鲁棒性。

本发明是通过以下技术方案实现的：

一种基于深度信念网络的人体肤色区域分割方法，其特征在于：所述方法包括：

(1).建立肤色块数据集和非肤色块数据集；

(2).产生不同的颜色空间及其组合上的深度信念网络输入特征集；

(3).训练不同尺度的深度信念网络，并优化确定各项参数；

(4).输入测试图像，在不同尺度约束下，使用滑动窗口策略获取当前待检测图像块范围；

(5).在当前滑动窗口确定的图像块上抽取需要的颜色空间分量或其组合，获取输入特征向量；

(6).将输入特征向量输入训练好的深度信念网络，得到图像块的分类结果，如果分类结果为肤色块，则块内像素点置1；如果分类结果为非肤色块，则块内像素点置0；

(7).判断整幅图像扫描是否完成，如果否，则根据设定的滑动窗移动步长移动窗口，然后返回步骤(5)，如果是，则转入步骤(8)；

(8).获得最终肤色检测结果，结束。

作为对本技术方案的进一步限定，所述步骤(1)包括以下步骤：

(11)从Compaq数据集中的非肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为非肤色块数据集；

(12)从ECU数据集中的肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为肤色块数据集；

(13)对10x10和20x20的数据集随机分为5等份，用于训练深度信念网络的交叉验证。

作为对本技术方案的进一步限定，所述步骤(2)包括以下步骤：

B1：选择RGB，HSV，YCbCr和CIELab为实验用颜色空间，每种颜色空间的各个通道分量作为特征集中的特种分量，同时考虑移除Y分量后的CbCr颜色空间；

B2：对颜色空间组合RGB+YCbCr、RGB+HSV、RGB+CIELab、HSV+YCbCr、HSV+CIELab、YCbCr+CIELab、RGB+YCbCr+HSV、RGB+CIELab+HSV和YCbCr+CIELab+HSV以及四种空间的全部组合空间分别进行实验，检测深度模型在这些组合空间上的效果；

B3：抽取滑动窗口所在图像块的所有像素点的颜色空间分量，归一化为[0,1]范围，根据不同颜色空间或组合，获得特征向量集。

作为对本技术方案的进一步限定，所述步骤(3)包括以下步骤：

(31)确定深度信念网络包含4层，其中隐含层三层，输入层一层，由三个受限玻尔兹曼机组成深度信念网络；

(32)深度肤色分类器在深度信念网络结构基础上增加一层全连接网络，用于分类结果的输出；

(33)分类器隐含层结构为100-100-100-2，训练最小分组为100，迭代次数为200；

(34)分别在10x10和20x20的数据集上训练对应的深度肤色模型DSM₁₀和DSM₂₀。

作为对本技术方案的进一步限定，所述步骤(34)包括以下步骤：

C4.1：获取当前图像块特征x＝(x₀，x₁，...，x_i)；

C4.2：以x＝h(0)为深度肤色模型输入层，训练模型的h1层；

C4.3：使用h1作为第二层的输入数据；

C4.4：将h1作为训练样本，用于训练RBM的h2层；

C4.5：迭代C4.3和C4.4步骤，指导完成所有层的训练；

C4.6：使用反向传播网络调整优化模型参数，其中各参数优化过程如下：

C4.6.1：最优颜色空间及组合选择：分别在10x10和20x20的数据集上采用交叉验证方式训练和测试深度肤色模型，根据准确率、误检率选取最佳颜色空间，同时实验测试不同颜色空间组合下的深度肤色分类器性能。

C4.6.2：深度信念网络结构参数优化，即隐含层神经元数量优化：分别设定神经元数量为100,200和500，进行最佳颜色空间下20x20的数据集的实验，找到最佳神经元数量；

C4.6.3：优化中迭代次数的确定：分别设定迭代次数为50,100和200，在最佳颜色空间下20x20的数据集进行实验，找到最佳迭代次数。

作为对本技术方案的进一步限定，所述步骤(4)包括以下步骤：

(41)分别设定步长step大小为2个像素，5个像素和10个像素；

(42)移动滑窗时依据不同步长设定，将滑动窗口在水平方向和垂直方向进行移动，确定当前窗口位置。

作为对本技术方案的进一步限定，所述步骤(42)包括以下步骤：

D1：设定滑动窗口大小为深度肤色模型对应的图像块大小；

D2：设定滑动窗口移动步长为2像素，5像素和10像素；

D3：获取当前待检测图像长和宽的数据；

D4：从左上角开始，获得当前窗口范围，即当前行坐标row加窗口长度：row+patch_size，当前列坐标加窗口宽度：col+patch_size；

D5：获取当前图像块内容:

patchi＝img(row：row+patch_size-1，col：col+patch_size-1，：)；

D6：水平方向和垂直方向以步长距离移动窗口，重复步骤D4和D5，直到row和col达到图像最大长度和宽度。

作为对本技术方案的进一步限定，所述步骤(5)是这样实现的：

首先确定滑动窗口位置，获得窗口区域内的全部像素点的坐标，然后抽取每个像素点在不同的颜色空间或空间组合中的通道值，即颜色空间分量值，归一化后串联形成特征分量。

与现有技术相比，本发明的有益效果是：

1.以图像块为单位而不是以单个像素为处理单位，直接在检测过程中考虑像素之间的空间上下文信息；

2.基于深度学习方法在计算机视觉领域的成功应用，首次在肤色检测分割中提出基于深度信念网络的肤色模型；

3.建立了一个用于深度肤色模型训练和测试用的肤色块和非肤色块数据集；

4.提出了以滑动窗口为框架的融合深度肤色模型的肤色分割***；

5.所提方法在建立的图像块数据集上的性能优于当前主流方法，在逐像素分类的效果上达到主流方法性能。

附图说明

图1本发明方法的步骤框图。

图2深度信念网络结构图

图3深度肤色模型示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

如图1所示，本发明方法包括：

1.建立肤色块数据集和非肤色块数据集；

2.产生不同的颜色空间及其组合上的深度信念网络输入特征集；

3.训练不同尺度的深度信念网络，并优化确定各项参数；

4.输入测试图像，在不同尺度约束下，使用滑动窗口策略获取当前待检测图像块范围；

5.在当前滑动窗口确定的图像块上抽取需要的颜色空间分量或其组合，获取输入特征向量(实现步骤：首先确定滑动窗口位置，获得窗口区域内的全部像素点的坐标，然后抽取每个像素点在不同的颜色空间(或空间组合)中的通道值(即颜色空间分量值)，归一化后串联形成特征分量。)；

6.将输入特征向量输入训练好的深度信念网络，得到图像块的分类结果，如果分类结果为肤色块，则块内像素点置1；如果分类结果为非肤色块，则块内像素点置0；

7.判断是否整幅图像扫描完成？没有完成，则根据设定的滑动窗移动步长，移动窗口，然后返回步骤5，如果图像扫描完成，转入步骤8；

8.获得最终肤色检测结果。结束。

所述步骤1包括以下步骤：

(1)从Compaq数据集(请参考文献“Jones,M.&Rehg,J.Statisticalcolormodelswithapplicationtoskindetection.InternationalJournalofComputerVision,Springer,2002,46,81-96”，可以从作者实验室链接上下载，属于公开的数据集。)中的非肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为非肤色块数据集(其中，抽取的10x10非肤色块数量为384560；抽取的20x20非肤色块数量为96140。)；

(2)从ECU数据集(请参考文献“Phung,S.；Bouzerdoum,A.&Chai,D.SkinSegmentationUsingColorPixelClassification:AnalysisandComparison.IEEETransactionsonPatternAnalysisandMachineIntelligence,IEEEComputerSociety,2005,27,148-154”，可从作者实验室链接上下载，属于公开的数据集。)中的肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为肤色块数据集(其中，抽取的10x10肤色块数量为188732；抽取的20x20肤色块数量为47183。)；

(3)对10x10和20x20的数据集随机分为5等份(其中10x10的数据集中包括肤色块188732和非肤色块384560块，均分时，分别将肤色块数量按序号升序分为5等份，将非肤色块数量也按序号升序分为5等份，然后将第一份肤色块子集和第一份非肤色块子集组合作为第1等份，其他等份类似组合)，用于训练深度信念网络的交叉验证。

所述步骤2包括以下步骤：

B1：选择RGB，HSV，YCbCr和CIELab(这些都是本领域的通用术语，实际上它们是颜色空间分量的名字组合，用来代表颜色空间名称。比如RGB三个字母分别是红Red,绿Green和蓝Blue。)为实验用颜色空间，每种颜色空间的各个通道分量作为特征集中的特种分量，同时考虑移除Y分量后的CbCr颜色空间，实验将分别检测深度模型在以上颜色空间中的效果。

B2：颜色空间组合分别试验RGB+YCbCr，RGB+HSV,RGB+CIELab,HSV+YCbCr,HSV+CIELab,YCbCr+CIELab,RGB+YCbCr+HSV,RGB+CIELab+HSV,YCbCr+CIELab+HSV以及四种空间的全部组合空间，实验将分别检测深度模型在这些组合空间上的效果。

B3：抽取滑动窗口所在图像块的所有像素点的颜色空间分量，归一化为[0,1]范围，根据不同颜色空间或组合，获得特征向量集(首先根据窗口位置获取窗口对应的图像块内所有像素点坐标，然后取得区域内每个像素点RGB值，根据使用的颜色空间的不同，获得每个像素点当前的向量值(具体来讲：如果使用RGB空间，则直接将区域内像素点的R、G、B值归一化后连接得到特征向量；如果使用其他颜色空间，如HSV，则将像素点的RGB值转化为HSV空间中的值，然后将H、S、V值归一化后连接得到特征向量；如果是颜色空间组合的情况，如RGB+YCbCr,则将归一化后的R、G、B、Y、Cb、Cr六个值连接形成特征向量)。

所述步骤3包括以下步骤：

(1)确定深度信念网络包含4层(该值是根据实验结果得到，实验显示，如果设定为3层，则训练的模型20x10RGB模型的准确率下降5个多百分点；如果设置为5层，训练时间在当前计算机硬件条件下增加约2～3天，但是准确率仅提升约0.018百分点。所以，平衡效率和准确率，采用4层的数值。)，其中隐含层三层，输入层一层，由三个受限玻尔兹曼机组成深度信念网络；

(2)深度肤色分类器在深度信念网络结构基础上增加一层全连接网络，用于分类结果的输出；

(3)分类器隐含层结构(即除去输入层外的每层包含的神经元数)为100-100-100-2，训练最小分组为100，迭代次数为200；

(4)分别在10x10和20x20的数据集上训练对应的深度肤色模型DSM₁₀和DSM₂₀，具体如下：

具体执行步骤如下：

C4.1：获取当前图像块特征x＝(x₀，x₁，...，x_i)；

C4.2：以x＝h(0)为深度肤色模型输入层，训练模型的h1层；

C4.3：使用h1作为第二层的输入数据；

C4.4：将h1作为训练样本，用于训练RBM的h2层；

C4.5：迭代C4.3和C4.4步骤，指导完成所有层的训练；

C4.6：使用反向传播网络调整优化模型参数，其中各参数优化过程如下：

C4.6.1：最优颜色空间及组合选择，分别在10x10和20x20的数据集上采用交叉验证方式训练和测试深度肤色模型，根据准确率、误检率等选取最佳颜色空间，本文选择RGB颜色空间。同时实验测试不同颜色空间组合下的深度肤色分类器性能。

C4.6.2：深度信念网络结构参数优化，即隐含层神经元数量优化。分别设定神经元数量为100,200和500进行RGB空间下20x20的数据集的实验，结果说明神经元数量的增加并不能显著的提升分类器性能。本发明使用神经元数量为100。

C4.6.3：优化中迭代次数的确定，分别设定迭代次数为50,100和200，在RGB空间下20x20的数据集进行实验，结果说明增加迭代次数会使性能有所提升，但是同时增加耗费时间。本发明采用迭代次数为200。

所述步骤4包括以下步骤：

(1)分别设定步长step大小为2个像素，5个像素和10个像素；

(2)移动滑窗时依据不同步长设定，将滑动窗口在水平方向和垂直方向进行移动，确定当前窗口位置。

具体如下：

D1：设定滑动窗口大小为深度肤色模型对应的图像块大小；

D2：设定滑动窗口移动步长为2像素，5像素和10像素；

D3：获取当前待检测图像长和宽的数据；

D4：从左上角开始，获得当前窗口范围，即当前行坐标row加窗口长度：row+patch_size，当前列坐标加窗口宽度：col+patch_size；

D5：获取当前图像块内容:patchi＝img(row：row+patch_size-1，col：col+patch_size-1，：)；

D6：水平方向和垂直方向以步长距离移动窗口，重复步骤D4和D5，直到row和col达到图像最大长度和宽度。

本发明的一个实施例如下：

步骤S1，建立肤色块数据集和非肤色块数据集，该数据集中存储10x10和20x20(像素)大小的图像块，分为肤色图像块和非肤色图像块，按以下过程建立数据集：

A1：随机选取一副Compaq数据库中的非肤色图像样本，在其上随机抽取尺寸为10x10(像素)和20x20(像素)大小的图像块存为非肤色块图像样本，设定每幅图像随机选取10-20的图像块。

A2：随机选取ECU数据库中的肤色标注图像，在肤色区域内(非1区域(ECU数据库中的标注图像保留了人体肤色区域部分并将其他部分擦除为白色背景(白色背景即像素点是的RGB值都是255，归一化后白色背景区域的像素点的值为1，肤色区域的像素点的值不是1)。如此，图像中像素值为1的是非肤色像素点，像素值不是1的就是肤色像素部分了。)中随机抽取尺寸为10x10以及20x20大小的图像块另存为肤色块图像，根据实际肤色区域尺寸设定每幅图像选取的肤色块样本数。

A3：对10x10和20x20的数据集随机分为5等份，用于训练深度信念网络的交叉验证。

步骤S2，根据颜色空间及其组合生成特征集，按以下过程进行：

B1：选择RGB，HSV，YCbCr和CIELab为实验用颜色空间，每种颜色空间的各个通道分量作为特征集中的特种分量，同时考虑移除Y分量后的CbCr颜色空间，实验将分别检测深度模型在以上颜色空间中的效果。

B2：颜色空间组合分别试验RGB+YCbCr，RGB+HSV,RGB+CIELab,HSV+YCbCr,HSV+CIELab,YCbCr+CIELab,RGB+YCbCr+HSV,RGB+CIELab+HSV,YCbCr+CIELab+HSV以及四种空间的全部组合空间，实验将分别检测深度模型在这些组合空间上的效果。

B3：抽取滑动窗口所在图像块的所有像素点的颜色空间分量，归一化为[0,1]范围，根据不同颜色空间或组合，获得特征向量集。

步骤S3，设置深度信念网络的结构、模型结构和参数，优化深度肤色模型参数，训练并获得最优深度肤色模型，该步骤包括以下过程：

C1：使用受限玻尔兹曼机(RBM)组成深度信念网络，其中RBM包含可见层和隐含层，其联合概率分布表示为本发明设定使用三层RBM组成深度信念网络，即深度信念网络包含4层，其中隐含层三层，输入层一层。

C2：构建深度肤色分类器，即在深度信念网络结构基础上增加一层全连接网络，用于分类结果的输出。其中深度信念网络结构示意图如图2所示，深度肤色模型示意图如图3所示。

C3：设定模型参数，其中分类器隐含层结构(即除去输入层外的每层包含的神经元数)为100-100-100-2，训练最小分组为100，迭代次数为200；

C4：在10x10和20x20的数据集上分别训练深度肤色模型DSM₁₀和DSM₂₀，具体执行步骤如下：

C4.1：获取当前图像块特征x＝(x₀，x₁，...，x_i)；

C4.2：以x＝h(0)为深度肤色模型输入层，训练模型的h1层；

C4.3：使用h1作为第二层的输入数据；

C4.4：将h1作为训练样本，用于训练RBM的h2层；

C4.5：迭代C4.3和C4.4步骤，指导完成所有层的训练；

C4.6：使用反向传播网络调整优化模型参数，其中各参数优化过程如下：

C4.6.1：最优颜色空间及组合选择，分别在10x10和20x20的数据集上采用交叉验证方式训练和测试深度肤色模型，根据准确率、误检率等选取最佳颜色空间，本文选择RGB颜色空间。同时实验测试不同颜色空间组合下的深度肤色分类器性能。

C4.6.2：深度信念网络结构参数优化，即隐含层神经元数量优化。分别设定神经元数量为100,200和500进行RGB空间下20x20的数据集的实验，结果说明神经元数量的增加并不能显著的提升分类器性能。本发明使用神经元数量为100。

C4.6.3：优化中迭代次数的确定，分别设定迭代次数为50,100和200，在RGB空间下20x20的数据集进行实验，结果说明增加迭代次数会使性能有所提升，但是同时增加耗费时间。本发明采用迭代次数为200。

步骤S4，输入测试图像，获取图像长度，宽度等基本数据。

步骤S5，使用滑动窗口策略，获取待检测图像块位置测试图像，其中滑动窗口扫描图像过程如下：

D1：设定滑动窗口大小为深度肤色模型对应的图像块大小；

D2：设定滑动窗口移动步长为2像素，5像素和10像素；

D3：获取当前待检测图像长和宽的数据；

D4：从左上角开始，获得当前窗口范围，即当前行坐标row加窗口长度：row+patch_size，当前列坐标加窗口宽度：col+patch_size；

D5：获取当前图像块内容:patchi＝img(row：row+patch_size-1，col：col+patch_size-1，：)；

D6：水平方向和垂直方向以步长距离移动窗口，重复步骤D4和D5，直到row和col达到图像最大长度和宽度。

步骤S6，将滑动窗口所在图像块的特征输入训练好的深度信念网络，得到该图像块的分类结果，该步骤包括以下过程：

E1：如果深度肤色分类器输出结果为肤色块，则块内像素点置1；

E2：否则为非肤色块，像素点置0；

步骤S7，判断滑动窗是否扫描完成？即判断如下条件是否成立：

row+patch_size＞height，col+patch_size＞width

若条件成立，则扫描完成，提交不成立则转步骤S5，获取下一窗口图像块继续检测。

步骤S8，基于滑动窗口框架完成图像的肤色检测，获得人体肤色区域图。

本发明提出了一个以图像块为单位的数据集，在肤色检测领域首次引入深度学习的方法，即使用深度信念网络进行肤色分类器的训练和测试；基于滑动窗口策略，将训练好的分类器用于图像的肤色区域分割；在训练深度肤色模型的过程中，分别考虑评价了四种单独颜色空间及它们的不同组合情况下的分类器性能；同时评价了不同的神经元数量和迭代次数等参数对结果的影响。得到了两种尺度的深度肤色模型，基于不同步长的滑窗框架，提出的方法能够在复杂环境下获得鲁棒、有效的人体肤色区域分割结果，优于传统的逐像素分类加形态学操作的方法。

本发明提出一种以图像块为处理单位的基于深度置信网络的肤色检测方法。该方法以图像块为基本处理单位，而不是以离散的像素点为处理单元，检测中就考虑了像素点的空间关联信息，而不是检测后再使用形态学操作进行空间处理；同时，本发明方法首次提出针对肤色检测的深度网络结构，基于深度学习算法在计算机视觉领域取得的成功应用，训练以图像块为单位的深度信念网络，并采专用滑动窗口策略将训练好的模型用于肤色区域分割。实验结果显示，本发明提出的方法能够在复杂场景下获取比较准确的肤色区域分割结果，优于常用的逐像素分类融合形态学操作的方法，并且在逐像素分类的性能上达到了主流方法的性能。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (8)

1.一种基于深度信念网络的人体肤色区域分割方法，其特征在于：所述方法包括：

(1).建立肤色块数据集和非肤色块数据集；

(2).产生不同的颜色空间及其组合上的深度信念网络输入特征集；

(3).训练不同尺度的深度信念网络，并优化确定各项参数；

(4).输入测试图像，在不同尺度约束下，使用滑动窗口策略获取当前待检测图像块范围；

(5).在当前滑动窗口确定的图像块上抽取需要的颜色空间分量或其组合，获取输入特征向量；

(6).将输入特征向量输入训练好的深度信念网络，得到图像块的分类结果，如果分类结果为肤色块，则块内像素点置1；如果分类结果为非肤色块，则块内像素点置0；

(7).判断整幅图像扫描是否完成，如果否，则根据设定的滑动窗移动步长移动窗口，然后返回步骤(5)，如果是，则转入步骤(8)；

(8).获得最终肤色检测结果，结束。

2.根据权利要求1所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(1)包括以下步骤：

(11)从Compaq数据集中的非肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为非肤色块数据集；

(12)从ECU数据集中的肤色样本中随机抽取尺寸为10x10以及20x20大小的图像块作为肤色块数据集；

(13)对10x10和20x20的数据集随机分为5等份，用于训练深度信念网络的交叉验证。

3.根据权利要求2所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(2)包括以下步骤：

B1：选择RGB，HSV，YCbCr和CIELab为实验用颜色空间，每种颜色空间的各个通道分量作为特征集中的特种分量，同时考虑移除Y分量后的CbCr颜色空间；

B2：对颜色空间组合RGB+YCbCr、RGB+HSV、RGB+CIELab、HSV+YCbCr、HSV+CIELab、YCbCr+CIELab、RGB+YCbCr+HSV、RGB+CIELab+HSV和YCbCr+CIELab+HSV以及四种空间的全部组合空间分别进行实验，检测深度模型在这些组合空间上的效果；

B3：抽取滑动窗口所在图像块的所有像素点的颜色空间分量，归一化为[0,1]范围，根据不同颜色空间或组合，获得特征向量集。

4.根据权利要求3所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(3)包括以下步骤：

(31)确定深度信念网络包含4层，其中隐含层三层，输入层一层，由三个受限玻尔兹曼机组成深度信念网络；

(32)深度肤色分类器在深度信念网络结构基础上增加一层全连接网络，用于分类结果的输出；

(33)分类器隐含层结构为100-100-100-2，训练最小分组为100，迭代次数为200；

(34)分别在10x10和20x20的数据集上训练对应的深度肤色模型DSM₁₀和DSM₂₀。

5.根据权利要求4所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(34)包括以下步骤：

C4.1：获取当前图像块特征x＝(x₀，x₁，...，x_i)；

C4.2：以x＝h(0)为深度肤色模型输入层，训练模型的h1层；

C4.3：使用h1作为第二层的输入数据；

C4.4：将h1作为训练样本，用于训练RBM的h2层；

C4.5：迭代C4.3和C4.4步骤，指导完成所有层的训练；

C4.6：使用反向传播网络调整优化模型参数，其中各参数优化过程如下：

C4.6.1：最优颜色空间及组合选择：分别在10x10和20x20的数据集上采用交叉验证方式训练和测试深度肤色模型，根据准确率、误检率选取最佳颜色空间，同时实验测试不同颜色空间组合下的深度肤色分类器性能。

C4.6.2：深度信念网络结构参数优化，即隐含层神经元数量优化：分别设定神经元数量为100,200和500，进行最佳颜色空间下20x20的数据集的实验，找到最佳神经元数量；

C4.6.3：优化中迭代次数的确定：分别设定迭代次数为50,100和200，在最佳颜色空间下20x20的数据集进行实验，找到最佳迭代次数。

6.根据权利要求4所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(4)包括以下步骤：

(41)分别设定步长step大小为2个像素，5个像素和10个像素；

(42)移动滑窗时依据不同步长设定，将滑动窗口在水平方向和垂直方向进行移动，确定当前窗口位置。

7.根据权利要求6所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(42)包括以下步骤：

D1：设定滑动窗口大小为深度肤色模型对应的图像块大小；

D2：设定滑动窗口移动步长为2像素，5像素和10像素；

D3：获取当前待检测图像长和宽的数据；

D4：从左上角开始，获得当前窗口范围，即当前行坐标row加窗口长度：row+patch_size，当前列坐标加窗口宽度：col+patch_size；

D5：获取当前图像块内容:

patchi＝img(row：row+patch_size-1，col：col+patch_size-1，：)；

D6：水平方向和垂直方向以步长距离移动窗口，重复步骤D4和D5，直到row和col达到图像最大长度和宽度。

8.根据权利要求6所述的基于深度信念网络的人体肤色区域分割方法，其特征在于：所述步骤(5)是这样实现的：

首先确定滑动窗口位置，获得窗口区域内的全部像素点的坐标，然后抽取每个像素点在不同的颜色空间或空间组合中的通道值，即颜色空间分量值，归一化后串联形成特征分量。