CN101251890B - 基于多色域选择性形态学处理的视频图像肤色检测方法 - Google Patents

Abstract

本发明公开了一种基于多色域选择性形态学处理的视频图像肤色检测方法，其特征在于，引入数学形态学处理技术，输入视频图像数据经两个并行的基于RGB色域和基于YUV色域肤色检测模块，在寄存器操作管理模块MCU的控制下，分别在RGB和YUV彩色空间对图像中的像素进行分析、选择和粗判断是否为人体肤色像素，检测结果由肤色检测综合判断模块进行综合判断分析，然后在选择性形态学滤波模块中对判决得到的二值图像进行基于内容信息的选择性形态学滤波，最后根据用户需要在寄存器操作管理模块MCU的控制下对检测到的肤色进行保护或处理，得到符合人眼视觉习惯的图像。

Description

基于多色域选择性形态学处理的视频图像肤色检测方法

技术领域

本发明涉及一种数字视频图像处理方法，特别涉及一种基于多色域选择性形态学处理的视频图像肤色检测方法。

背景技术

随着数字视频处理技术的飞速发展，各种改善画质的方法应用于视频处理芯片为消费者提供高品质的视频图像，而gamma校正、饱和度增强、黑电平扩展等传统的画质改善技术已不能满足人们对视频画面质量的要求，越来越多的电视***都开始研究一种新的画质改善技术-肤色处理技术。肤色检测与处理技术是视频图像处理技术的一个重要分支，由于人类对自身的兴趣远远超出其它任何事物，所以因照相和拍摄时的光、电、热等干扰，人体肤色出现与人类视觉习惯不一致的情况会导致人眼感官的不适应。对人体肤色进行检测并保护或校正处理，便可使其看上去自然、健康，符合人眼视觉习惯。

现有的肤色检测与处理方法大多基于单一的彩色空间，这些处理方法虽易于硬件实现，但其检测准确率较低，当图像中含有大量的类肤色噪声及背景像素，则容易将背景中的类肤色像素误检为前景中人体肤色像素。

如基于RGB色域空间的肤色检测算法利用每个像素R/G值来判断该像素是否为肤色像素，虽然可以很好地将连续大面积成块背景与目标区域分开，但对个别颜色与肤色的区分不是很好；基于YUV色域空间的肤色检测算法认为在UV色度空间，肤色集中在一个很小的区域，利用V/U的反正切值来判断该像素是否为肤色像素，该方法可以检测出肤色颜色细小的变化，但对背景区域中类肤色像素的误检率较高。

发明内容

本发明为了解决了现有技术中检测准确率低、误检等问题，提供了一种能准确、快速的检测视频图像肤色的方法，该方法引入数学形态学处理技术，在RGB和YUV彩色空间对图像中的像素进行分析、选择和判断是否为人体肤色像素，然后对判决得到的二值图像进行基于内容信息的选择性形态学滤波，最后根据用户需要对检测到的肤色进行保护或处理，得到符合人眼视觉习惯的图像。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于多色域选择性形态学处理的视频图像肤色检测方法，其特征在于，包括下述步骤：

a.将视频图像数据输入到一个包括两个基于不同色域空间的并行处理单元的视频图像肤色检测模块，对输入的视频图像数据进行运算分类，并用二位二进制数字标识，其中基于RGB彩色空间的肤色检测模块利用每个像素值的红色和绿色分量的比值R/G的加权值来粗判断该像素是否为肤色像素；基于YUV彩色空间的肤色检测模块利用V/U的反正切值arctan(V/U)来粗判断该像素是否为肤色像素，得到两个独立的肤色粗判断结果，然后把结果送入肤色检测综合判断模块；

b.肤色检测综合判断模块结合基于RGB彩色空间的肤色检测出的背景区域和肤色目标区域的标记信息，以及基于YUV彩色空间的肤色检测出的肤色纯色区域及肤色噪声区域的标记信息，将两模块的肤色检测粗判断结果进行选择性同、异或运算的精确判断，除去误检的背景区域和类肤色噪声，得到真实、准确的肤色区域，判断结果随后输入选择性形态学滤波模块；

c.选择性形态学滤波模块对经过肤色信息综合判断模块的检测结果进行选择性数学形态学滤波处理：首先对YUV色域空间的检测结果进行腐蚀操作，滤除肤色区域边缘的不连续点像素和背景区域中细小的孤立噪声像素，然后根据RGB空间检测的前后景区域信息，再对腐蚀过的图像进行至少3次膨胀操作，膨胀操作时结合RGB空间检测信息判断选择滤波像素点，不对噪声和边界毛刺进行膨胀，只对连续肤色区域进行填补和边界平滑；腐蚀和膨胀滤波过程使用的滤波模板窗口为1×9大小，膨胀操作过程遵循下面算式：

其中，P(x_i)为当前像素点对应的肤色检测二值结果，A表示YUV色域检测的肤色检测标志区域，B表示RGB色域检测的肤色前景信息标志。

上述方案中，根据用户需要，可在步骤c的选择性数学形态学滤波处理后，利用肤色区域保护或处理模块，通过一个寄存器操作管理模块MCU的控制，选择对检测出的肤色区域进行保护或后处理：保护方法为：对肤色区域进行标记，保留肤色区域原有颜色信息，后面的视频图像运算根据标记指示，不会对正常肤色区域进行处理而破坏肤色区域的颜色信息，即不能得到符合人眼视觉习惯的图像效果；后处理的方法为：将检测得到的肤色区域适当进行饱和度、亮度增强，使肤色看上去更加的红润、健康和自然，可得到符合个人特殊人眼视觉习惯的图像效果。

本发明的特点是采用了基于多色域的选择性形态学滤波方法来对图像肤色像素进行滤波，图像肤色区域更加自然，完整。采用多色域肤色检测方法，肤色区域的检测正确率有较大的提高。

与已有技术相比，本发明的优点在于：

1.本发明采用多色域联合肤色检测方法，分别在RGB和YUV两个不同的彩色空间对视频图像进行肤色检测和分类，根据两种检测方法的特点将各检测结果有机地结合在一起，既可以准确检测肤色又可以将背景和目标区域区分开，得到更加精确的检测结果；同时该方法硬件实现采用并行电路设计，可以达到较高的***运算时钟频率，同时结构也较为简单。

2.本发明采用多色域选择性形态学滤波的方法，对检测结果进行综合分析，根据RGB空间检测的前后景及YUV空间检测的肤色纯度信息有选择、有方向性地进行形态学腐蚀和膨胀滤波，使检测得到的人体肤色区域更加完整，边界更加光滑，同时排除类肤色噪声像素的干扰。

附图说明

图1为一种实现本发明方法的装置的功能结构框图。

图2为本发明方法的步骤流程示意图。

图3为图1中YUV空间的肤色检测模块UV色度空间肤色聚集区域示意图。

图4为图1中YUV空间的肤色检测模块的原理图。

图5为图2中的选择性数学形态学滤波方法示意图。

具体实施方式

以下结合附图和实施例对本发明作进一步的详细说明。

参见图1，一种基于多色域选择性形态学处理的视频图像肤色检测方法所实现的装置，包括：

一个视频图像肤色检测模块，包括一个基于RGB空间的肤色检测模块和一个并行的基于YUV空间的肤色检测模块。基于RGB空间的肤色检测模块对输入的各像素点进行色比分析，利用每个像素R/G的加权值来判断该像素是否为肤色像素，从而进行肤色连续前景区域和非肤色后景划分，生成2比特背景标志信号，输入后面综合分析检测模块。基于YUV空间的肤色检测模块对输入的各像素进行肤色色度比例计算，利用V/U的反正切值来判断该像素是否为肤色像素，提取严格肤色纯色前景区域标志信息，生成2比特标志信号，输入后续肤色检测综合判断模块。

一个肤色检测综合判断模块，将RGB、YUV两个单独并行的肤色检测模块的检测结果进行综合判断分析，针对两种单独肤色检测的缺点，结合两种检测模块的优点，将其检测结果有机组合起来，生成第二阶段肤色区域标志信息。

一个基于多色域信息的选择性形态学滤波模块，利用数学形态学方法，结合第一阶段(视频图像肤色检测模块)生成的RGB和YUV色域的肤色前景和背景信息，对第二阶段(肤色检测综合判断模块)生成的肤色区域进行形态学腐蚀膨胀运算；腐蚀膨胀运算不同于传统方法，在进行形态学运算中引入了视频图像的内容信息，使得膨胀腐蚀具有一定的选择性和方向性，从而在保持肤色区域形状特性的同时，可去掉图像背景中细小的类肤色噪声的影响。

一个肤色区域保护或处理模块，根据用户寄存器参数设置对肤色像素进行选择性保护或增强处理，得到符合人眼视觉习惯的自然肤色颜色的像素值。

一个寄存器操作管理模块MCU，由用户操作设置其它模块的各项参数，并控制肤色检测与处理的开关、肤色检测的范围及处理的方式。

一个反正切角度查找表LUT，将反正切值0到4映射为对应的角度，将角度值按顺序写入存储器初始文件，该部分采用软硬件协同结构实现。

图2所示为本发明整个肤色联合检测方法的流程图。视频图像数据输入图1所示的装置***后，首先进入视频图像肤色检测模块，对输入视频图像数据进行运算分类，并将检测结果用二位二进制数字标识，基于RGB彩色空间的肤色检测模块利用每个像素值的红色和绿色分量的比值R/G的加权值来粗判断该像素是否为肤色像素；基于YUV空间的肤色检测模块利用V/U的反正切值arctan(V/U)来粗判断该像素是否为肤色像素，两个模块并行地判断输入图像数据各像素是否为人体肤色像素，得到两个独立的肤色粗判断结果，然后把结果送入后续肤色检测综合判断模块。这两个模块的计算判断结果可以粗略地将人体肤色区域和背景中的类肤色区域与非肤色区域区分开来，同时由于采用了两种肤色检测方法并行执行，大大提高了肤色检测的速度，满足肤色检测实时性的要求。

肤色检测综合判断模块将输入图像肤色检测模块的两个肤色判断结果有机地结合起来，根据两个并行肤色检测模块的检测结果，结合基于RGB彩色空间的肤色检测出的背景区域和肤色目标区域信息，以及基于YUV彩色空间的肤色检测出的肤色纯色区域及肤色噪声区域，将两模块的肤色检测结果进行选择性同、异或运算的精确判断，除去误检的背景区域和类肤色噪声，得到真实、准确的肤色区域。

视频图像数据经过并行的肤色检测后，其检测结果用二位二进制数字标识，标记01表示该像素点为肤色前景像素点，标记00表示该像素点为非肤色背景像素点；标记11表示该像素点为肤色高纯度像素点，标记10表示该肤色低纯度噪声像素点；标识信息送入肤色检测综合判断模块，该模块对输入的信息进行精确判断：如当前点同时对应标记01和11时，即认为肤色点；如当前点同时标记00和10时，即认为为非肤色点；如当前点标记为01和10时，根据加权值K(R/G)和(1-K)arctan(V/U)的大小关系判断，当K(R/G)小于(1-K)arctan(V/U)时，认为当前点为像素点，反之亦然；如当前点标记为00和11时，根据加权值(1-K)(R/G)和Karctan(V/U)的大小关系判断，当(1-K)(R/G)大于Karctan(V/U)时，认为当前点为非像素点，反之亦然；判断结果随后输入选择性形态学滤波模块，该模块根据前面检测产生的前后景信息及肤色杂点噪声信息，对生成标识数据进行综合分析，进行方向性二值形态学腐蚀膨胀运算，生成最终的肤色区域标识信号，送入最终的肤色保护或处理模块，进行最后的肤色保护或后处理。

基于选择性形态学滤波的实现方法如下：对经过肤色信息综合判断模块的检测结果再次根据检测模块产生的前后背景信息、肤色噪声信息进行选择性数学形态学滤波，首先对YUV色域空间的检测结果进行腐蚀操作，去除肤色区域边缘的像素和背景区域中细小的孤立噪声像素，然后腐蚀结果进行膨胀操作，膨胀时特别结合RGB色域检测出的前后景区域信息，选择连续肤色区域像素点进行膨胀运算，使用大小为1×9的滤波窗口膨胀填补肤色区域的边缘和内部空洞噪声像素，使得肤色区域内部完整、边缘平滑连续。

根据用户需要，本发明可利用肤色区域保护或处理模块，通过寄存器操作管理模块的控制，选择对检测出的肤色区域进行保护或适当的后处理。如果选择对检测出的肤色区域进行保护，其做法是对肤色区域进行标记，保留肤色区域原有颜色信息，后面的视频图像处理算法根据标记指示，不会对肤色区域进行处理，以免破坏肤色区域的颜色信息，不能得到符合人眼视觉习惯的图像效果；如果选择对检测出的肤色区域进行处理，其做法是将检测得到的肤色区域适当地进行饱和度、亮度增强，使肤色看上去更加的红润、健康，自然。

图3所示为本发明基于YUV空间的肤色检测模块所利用V/U的反正切值arctan(V/U)来粗判断该像素是否为肤色像素的UV色度空间。

肤色像素粗判断判断方法为：根据V′/U′比值通过查找反正切值表得到其对应的角度，根据用户寄存器参数的设置，判断得到的角度是否在设定的范围内，如果在的话，则该像素为肤色纯色像素；如果不在设定的范围内，则该像素不是肤色纯色像素。

图4所示为YUV空间的肤色检测模块的具体电路：包括2个8位加法器、1个16位除法器、1个循环移位寄存器和一个比较器(阈值电路)。首先将输入数据U、V分量同时减去128，得到U′、V′，构成如图3所示的UV色度空间，由于U′、V′的取值范围同为[-128，127]，V′/U′的商取值为[-128，128]，将V′左移8位，充当除法器的被除数，U′为除法器的除数，得到的商即为V′/U′的商乘以256。并且限定除法器当V′/U′＜4时，商才为有效的。这样得到的商取值范围仅为[0，1023]。将得到的商作为反正切角度查找表的寻址地址，得到反正切值对应的角度，通过寄存器参数的设置，查看角度是否在肤色区域角度范围内。如果在该范围内，则将该像素标记为11，否则标记为10。

在本发明中，中心角度以及左右偏移的角度范围可以通过I2C总线在线修改，范围分别为[100，140]和[0，31]。

图5所示为发明提出选择性数学形态学滤波方法示意图。本发明使用腐蚀模板和膨胀模板均为1×9，如图5(a)所示，使用该一维模板可有效降低硬件实现时的行存器的使用，节约资源；同时仍能取得很好的滤波效果。

模板腐蚀滤波方法如下：将腐蚀模板平移至第一阶段肤色标志二值图各像素点，如图5(b)所示；当模板中心及相邻区域内所有点均为检测出的肤色区域时，认为当前点为连续肤色区域像素点，保持原有值不变；反之认为是噪声点或者边缘点，将其置零。腐蚀结果如图5(c)所示，最终腐蚀结果消除了大量背景区域内的噪声和肤色区域边缘的毛刺。

选择性模板膨胀滤波方法如下：利用膨胀模板(a)在腐蚀结果图5(c)的水平方向进行平移，当中心点临近区域内任意一点为肤色标记区域同时当前点位于前景区域内时，才认为当前像素点也为肤色区域；否则不改变当前点的属性。膨胀结果可以填补连接肤色区域的空洞，扩展肤色区域边缘，同时不会将孤立噪声点再次放大，能够连续平滑、干净无噪的肤色区域标记图，如图5(d)所示。该方法遵循下述算式：

其中，P(x_i)为当前像素点对应肤色检测二值结果，A表示YUV色域检测的肤色检测标志区域，B表示RGB色域检测的肤色前景信息标志，参见图5(c)。

Claims (3)

1.一种基于多色域选择性形态学处理的视频图像肤色检测方法，其特征在于，包括下述步骤：

a.将视频图像数据输入到一个包括两个基于不同色域空间的并行处理单元的视频图像肤色检测模块，对输入的视频图像数据进行运算分类，并用二位二进制数字标识，其中基于RGB空间的肤色检测模块利用每个像素值的红色和绿色分量的比值R/G的加权值来粗判断该像素是否为肤色像素；基于YUV空间的肤色检测模块利用V/U的反正切值arctan(V/U)来粗判断该像素是否为肤色像素，得到两个独立的肤色粗判断结果，然后把结果送入肤色检测综合判断模块；

b.肤色检测综合判断模块结合基于RGB空间的肤色检测模块检测出的背景区域和肤色目标区域的标记信息，以及基于YUV空间的肤色检测模块检测出的肤色纯色区域及肤色噪声区域的标记信息，将基于RGB空间的肤色检测模块和基于YUV空间的肤色检测模块的肤色检测粗判断结果进行选择性同、异或运算的精确判断，除去误检的背景区域和类肤色噪声，得到真实、准确的肤色区域，判断结果随后输入选择性形态学滤波模块；

所述步骤b中的肤色检测综合判断模块对肤色检测粗判断结果进行选择性同、异或运算的精确判断，具体实现方法为：

RGB色域检测结果标记01表示该像素点为肤色前景像素点，标记00表示该像素点为非肤色背景像素点；YUV色域检测结果标记11表示该像素点为肤色高纯度像素点，标记10表示该肤色低纯度噪声像素点；标识信息送入肤色检测综合判断模块对输入的信息进行判断：若当前点同时标记01和11时，即认为肤色点；若当前点同时标记00和10时，即认为为非肤色点；若当前点标记为01和10时，根据加权值K(R/G)和(1-K)arctan(V/U)的大小关系判断，当K(R/G)小于(1-K)arctan(V/U)时，认为当前点为肤色点，反之，当K(R/G)大于(1-K)arctan(V/U)时，认为当前点为非肤色点；若当前点标记为00和11时，根据加权值(1-K)(R/G)和Karctan(V/U)的大小关系判断，当(1-K)(R/G)大于Karctan(V/U)时，认为当前点为非肤色点，反之，当(1-K)(R/G)小于Karctan(V/U)时，认为当前点为肤色点；

c.选择性形态学滤波模块对经过肤色检测综合判断模块的检测结果进行选择性数学形态学滤波处理：首先对YUV空间的检测结果进行腐蚀操作，滤除肤色区域边缘的不连续点像素和背景区域中细小的孤立噪声像素，然后根据RGB空间检测的前后景区域信息，再对腐蚀过的图像进行至少3次膨胀操作，膨胀操作时结合RGB空间检测信息判断选择滤波像素点，不对噪声和边界毛刺进行膨胀，只对连续肤色区域进行填补和边界平滑；腐蚀和膨胀滤波过程使用的滤波模板窗口大小为1×9，膨胀操作过程遵循下面算式：

其中，P(x_i)为当前像素点对应的肤色检测二值结果，A表示YUV色域检测的肤色检测标志区域，B表示RGB色域检测的肤色前景信息标志。

2.按照权利要求1所述的基于多色域选择性形态学处理的视频图像肤色检测方法，其特征在于，根据用户需要，在步骤c的选择性数学形态学滤波处理后，利用肤色区域保护或处理模块，通过一个寄存器操作管理模块MCU的控制，选择对检测出的肤色区域进行保护或后处理：其中，保护方法为：对肤色区域进行标记，保留肤色区域原有颜色信息，后面的视频图像运算根据标记指示，不会对正常肤色区域进行处理而破坏肤色区域的颜色信息，后处理的方法为：将检测得到的肤色区域适当进行饱和度、亮度增强。

3.按照权利要求1所述的基于多色域选择性形态学处理的视频图像肤色检测方法，其特征在于，所述步骤a中基于YUV空间的肤色检测模块利用V/U的反正切值arctan(V/U)来粗判断该像素是否为肤色像素，其具体方法为：首先将输入数据U、V分量同时减去128，得到U′、V′，构成UV色度空间，由于U′、V′的取值范围同为[-128，127]，V′/U′的商取值为[-128，128]，将V′左移8位，充当除法器的被除数，U′为除法器的除数，得到的商即为V′/U′的商乘以256；并且限定除法器当V′/U′＜4时，商才为有效，这样得到的商取值范围仅为[0，1023]；将得到的商作为反正切角度查找表的寻址地址，得到反正切值对应的角度，根据用户寄存器参数的设置，查看角度是否在肤色区域角度范围内；如果在范围内，则该像素为肤色纯色像素，标记为11，否则为杂色像素，标记为10；中心角度以及左右偏移的角度范围分别为[100，140]和[0，31]。

Images