CN106909884B - 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 - Google Patents
一种基于分层结构和可变形部分模型的手部区域检测方法和装置 Download PDFInfo
- Publication number
- CN106909884B CN106909884B CN201710035087.XA CN201710035087A CN106909884B CN 106909884 B CN106909884 B CN 106909884B CN 201710035087 A CN201710035087 A CN 201710035087A CN 106909884 B CN106909884 B CN 106909884B
- Authority
- CN
- China
- Prior art keywords
- skin color
- model
- hand
- region
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 19
- 210000000746 body region Anatomy 0.000 claims abstract description 18
- 230000000877 morphologic effect Effects 0.000 claims abstract description 16
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 239000003642 reactive oxygen metabolite Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层结构和可变形部分模型的手部区域检测方法和装置,方法包括以下步骤:步骤1:建立手势图片库;步骤2:从输入的手势图像中检测并分割出人体上半身区域;步骤3:建立肤色模型,提取人体上半身图像中的类肤色区域;步骤4:通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域;步骤5:将原始图像分割出类肤色区域进行尺寸归一化,提取方向梯度直方图特征,使用支持向量机,建立手部检测模型,然后使用训练好的手部模型检测手部区域。
Description
技术领域
本发明涉及计算机视觉中的特定对象检测领域,具体涉及一种基于分层结构和可变形部分模型的手部区域检测方法和装置。
背景技术
手势作为一种自然交互的通道之一,有重要的研究价值和广泛的应用前景。而手势(静态手势和动态手势)识别和手部跟踪的第一步,也是重要一步,便是将手部区域从图像中分割出来。手部区域分割是手势(静态手势和动态手势)识别和手部跟踪的基础,分割的效果直接影响手势识别或手势跟踪的效果,因此,有必要对其进行研究。
随着机器人的广泛应用,人机交互技术越来越多地受到人们的重视。基于视觉的手势识别具有交互自然的优点,有广泛的应用前景,是人机交互的重要组成部分[2]。手部检测和分割是手势识别和手势跟踪的基础,分割的效果直接影响手势识别或手势跟踪的效果[3]。
人与机器人交互过程中,机器人上安装的视频采集设备与人体有一定距离时,采集的照片包含人体全身。由于此类图片存在大量背景,手部区域只是图片中很小的一部分,如何从大量背景区域检测到手部,并将其分割出来,从而为手势识别奠定基础,是值得研究的问题。
发明内容
本发明的目的是为了解决上述问题,提出一种适用于复杂背景下,包含人体全身的手势图像,基于分层结构和可变形部分模型的手部区域检测方法,可以快速准确地检测手势图像中的手部区域。
一种基于分层结构和可变形部分模型的手部区域检测方法,包括以下步骤:
步骤1:建立手势图片库;
手势图片库包含:y名测试者,预定义x种手势种类,每种手势两只手轮流做,每只手的手势分别在三种距离下拍摄,三种距离分别为照相机距被拍摄人d1m、d2m和d3m,每个人同种距离拍摄三次,分别使人在图像中央、左边和右边,在n种环境下拍摄;
步骤2:从输入的手势图像中检测并分割出人体上半身区域;
首先,对提取的图像进行双边滤波,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域;
步骤3:建立肤色模型,提取人体上半身图像中的类肤色区域;
步骤4:通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域;
步骤5:将原始图像上分割出类肤色区域进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域;其中,可变形部分模型采用HOG特征。
一种基于分层结构和可变形部分模型的手部区域检测装置,包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块;
手势库模块用于提供手势图片;
人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域;
肤色检测模块对人体检测模块检测出的人体上半身区域后,提取满足肤色模型的类肤色区域;
区域调整模块将肤色检测模块检测到的类肤色区域,经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值,调整肤色检测的结果,将类肤色区域从原始RGB图像中分割出来;
手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域;其中,可变形部分模型采用HOG特征。
本发明的优点在于:
(1)本发明所述基于分层结构和可变形部分模型的手部区域检测方法,基于ROS(Robot Operating Syestem,机器人操作***),移植性好,可用于多种机器人***;
(2)本发明所述基于分层结构和可变形部分模型的手部区域检测方法,采用筛选策略,分层结构,逐层缩小区域,计算量较少。即,先检测出人体上半身区域,然后再使用肤色条件过滤出类肤色区域,并对其进行区域调整,接下来训练手部的可变形部分模型,并用训练好的手部可变形部分模型检测手部区域;
(3)本发明所述基于分层结构和可变形部分模型的手部区域检测方法,采用分层结构,先检测出人体上半身区域,在一定程度上减少复杂环境对手部区域检测的影响;第二层检测人体上半身中的肤色,去除非肤色区域;第三层调整检测到的肤色区域,第四层检测手部。
(4)本发明提出一种基于肤色模型的手部检测方法,先通过肤色进行粗检测,去除非肤色区域,减少计算量,然后,对检测到的肤色区域,提取方向梯度直方图特征,使用支持向量机建立手部检测模型。
(5)本发明提出一种基于RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型,该模型综合使用RGB-YCbCr显式阈值与统计学模型,可更好检测肤色区域。其中,RGB-YCbCr色彩空间使用阈值综合考虑经验阈值与样本计算阈值相结合的方法。
(6)本发明所述基于ROS的模块化手部区域检测装置,采用定制式设计、模块化结构,各模块功能相对独立,用户可根据需要增加、删除或调换某些模块,提高了本发明的通用性。
附图说明
图1为本发明提供的基于分层结构和可变形部分模型的手部区域检测方法流程图;
图2为本发明提供的基于分层结构和可变形部分模型的手部区域检测装置;
图3为本发明提供的手势库中的12种手势图像;
图4为本发明实施实例使用的一张手势库中的照片;
图5为本发明实施实例中人体上半身区域的检测结果;
图6为本发明实施例步骤1的检测结果;其中,(a)为环境1中的物体,(b)为环境2中的物体,(c)为人体上半身区域;
图7为本发明实施实例中填充空洞的结果;
图8为本发明实施实例中标记最小连通区域的结果;
图9为本发明实施实例中类肤色区域检测结果;
图10为本发明实施实例中类肤色区域分割结果。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供一种基于分层结构和可变形部分模型的手部区域检测方法,具体包括以下步骤,如图1所示:
步骤1:建立手势图片库;
由于本发明基于机器人背景,手势检测为操作者使用手势控制机器人运动打下坚实基础。因此,本发明手势图片库包含:y名测试者,预定义x种手势种类,每种手势分别在三种距离(照相机分别距被拍摄人d1m,d2m和d3m)下拍摄,每个人每只手同种距离拍摄三次,分别使人在图像中央、左边和右边,在实验室和走廊两种环境下拍摄,如图3所示,采集的照片数共:2×3×3×2xy=36xy。图3为本发明手势图片库中提供的部分手势图像;图4本发明手势图片库中提供的同一种手势两只手在不同距离、不同位置的照片;图5为本发明实施实例使用的一张手势库中的照片;
步骤2:从输入的手势图像中检测并分割出人体上半身区域;
首先,对提取的图像进行双边滤波,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了人体形态学的先验知识:局部上下文信息,检测人体上半身的鲁棒性较强。
步骤3:建立肤色模型,提取人体上半身图像中的类肤色区域。
本发明采用肤色模型的目的,是将肤色检测作为手部检测的预处理,减少手部检测过程中的计算代价。
本发明所用肤色模型综合采用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的方法。其中,显式阈值采用RGB-YCbCr颜色空间的显式阈值,运算速度快。而高斯模型是基于统计的模型,将其结合,可更好检测肤色。
具体包括以下步骤:
综合使用RGB-YCbCr显式阈值和高斯模型,建立肤色模型。
RGB色彩空间虽然常用,但RGB色彩空间受光线强度影响较大,而肤色在YCbCr色彩空间聚类性较好,肤色与非肤色分布范围交叉区域较小。因此,本发明在RGB和YCbCr色彩空间综合使用显式阈值检测肤色,为了更好检测肤色,同时结合高斯肤色模型,建立本发明所述肤色模型。
(1)使用RGB颜色空间显式阈值,检测肤色区域。
提取所建手势库的手部肤色区域,并读取这些肤色像素值,并分析这些像素点RGB三通道间的以下关系:
由于文献中,在RGB颜色空间使用的显式肤色阈值如下所示:
文献[4,5]采用公式(5)所示的阈值,
文献[6]采用公式(6)的所示阈值,
因此,本发明肤色模型在RGB颜色空间采用公式(7)所示阈值,
在RGB颜色空间的肤色像素点Srgb(r,g,b)满足以下公式(8)要求:
其中,r(r,g,b)为某像素在RGB色彩空间的值。
(2)使用YCbCr显式阈值检测肤色。
对于YCbCr,其中Y是亮度分量;Cb是指蓝色分量;Cr指红色色度分量。根据文献[7],YCbCr色彩空间可由RGB色彩空间经公式(9)矩阵变换得到,
根据文献[8],肤色区域在YCbCr颜色空间满足的阈值为:
(80≤Cb≤120)∩(133≤Cr≤173)(10)
在YCbCr色彩空间,满足肤色条件的区域Sycbcr(cb,cr)满足公式(12)的条件,
(3)建立高斯肤色模型进行肤色检测
由于肤色像素在YCbCr色彩空间的统计分布,可近似看作高斯分布。因此,在YCbCr色彩空间建立高斯肤色模型,并使用建立的高斯肤色模型进行肤色检测。
具体包括以下两个步骤:
步骤a:首先,手工剪裁出本发明构造手势图片库中的手部肤色样本,利用公式(9),将肤色像素从RGB转换到YCbCr色彩空间后,并对其进行统计分析,通过椭圆高斯联合概率密度函数(pdf),贝叶斯最大似然估计得到高斯模型的均值μ(μcbμcr)和协方差∑(∑cb∑cr)。
椭圆高斯联合概率密度函数如下所示:
其中,c为肤色向量,μ为均值向量,∑为协方差矩阵。
其中,
手工剪裁出本发明构造手势图片库中的手部肤色样本由RGB转换到YCbCr色彩空间后(cj),通过贝叶斯最大似然估计可得到参数μ(μcb μcr)和∑(∑cb ∑cr)。
步骤b:计算所给像素点与肤色相似的程度,即肤色似然度,进而可得到待检测图像的最大肤色似然度,两者的比值即为肤色概率值,由此得到肤色似然图,再对肤色似然图进行阈值化,以便将肤色区域分割出来。
肤色的灰度分布可近似用一维高斯曲线拟合,CbCr空间的波峰区域是肤色部分,其他分布较少的是非肤色部分。利用这种对应关系,用像素点的肤色相似度作为对应像素点灰度值的权值,建立肤色模型。
根据建立的高斯肤色模型,计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr),计算公式如下:
D(Cb,Cr)=exp[-0.5(c-μ)T∑-1(c-μ)] (16)
相似度D计算出来后,可得到待检测图像的最大肤色似然度,两者的比值为肤色概率值,由此,可得到肤色似然图,再对其阈值化后得到肤色图像的二值图。
本发明肤色模型中的肤色区域Sskin为满足肤色高斯模型Sg(Cb,Cr)、YCbCr显式阈值Sycbcr(cb,cr)和RGB显式阈值Srgb(r,g,b)的交集,即
Sskin=Sg(Cb,Cr)∩Sycbcr(cb,cr)∩Srgb(r,g,b) (17)
如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型,则认为该区域是肤色区域。
满足肤色模型的区域进入步骤4,对其进行形态学处理。不满足要求的图像,不进行处理。
步骤4:通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。
对满足肤色条件的区域进行形态学处理和区域调整,包括:删除二值图中的小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值,在原始图像上分割出类肤色区域。
步骤5:将原始图像上分割出类肤色区域(即步骤4得到的结果)进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域。其中,可变形部分模型采用Pedro F.Felzenszwalb等[9]使用的HOG 特征,潜在支持向量机分类器训练的多尺度可变形模板进行手部检测。
步骤5包括模型训练和手部检测两部分,具体如下所示:
(1)模型训练
步骤4分割出来肤色区域进行归一化后,作为训练样本。其中,训练样本包含正样本和负样本,具体来说,正样本为包含手部区域的照片,负样本为不包含手部区域的照片。将标注后的正负样本信息作为可变形部分模型的输入,使用可变形部分模型[9]训练手部检测模型,生成用户需要的手部检测模型。
(2)使用可变形部分模型检测手部区域
步骤3分割出来肤色区域进行归一化后,使用步骤(1)训练好的可变形部分模型检测手部区域。
一种基于分层结构和可变形部分模型的手部区域检测装置,如图2所示,包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块;
手势库模块用于提供手势图片;
人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域;
肤色检测模块对人体检测模块检测出的人体上半身区域后,提取满足肤色模型的类肤色区域;
区域调整模块将肤色检测模块检测到的类肤色区域,经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值,调整肤色检测的结果,将类肤色区域从原始RGB图像中分割出来;
手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域;其中,可变形部分模型采用HOG特征。
本发明针对人体全身手势图像,采用分层结构检测手部,去除复杂背景,在第一层,检测包含人脸的人体上半身区域。经过第一层的人体上半身区域检测,去除复杂背景的影响,第二层手部检测所面临的图片检测区域将显著减少。
在第二层,基于已检测出的人体上半身图像,通过肤色模型检测类肤色区域;
在第三层,通过形态学操作,最小连通区域的长宽比限制和面积阈值,调整检测出的类肤色区域;
在第四层,将检测出的类肤色区域进行归一化后,使用可变形部分模型检测手部区域。
实施例:
本发明提供一种基于分层结构和可变形部分模型的手部区域检测方法,如图1所示,所述基于分层结构和可变形部分模型的手部区域检测方法,基于Linux Ubuntu 12.04上安装的Robot Operating System(ROS)的hydro版本。将本发明的基于分层结构和可变形部分模型的手部区域检测方法抽象为ROS的一个结点(node),该结点通过ROS中话题(topic)和消息(message)与其他结点(如,控制机器人腿部运动的结点)通信。
本发明实施实例以图5作为输入图像,检测手部区域。图5为手势库中的一张照片。由图5可知,该图像为复杂背景(并且人体背后有类肤色背景)人体全身照。
本发明提供一种基于ROS的模块化手部区域检测方法,如图1所示,具体包括以下步骤:
步骤1:从输入的手势图像中检测并分割出人体上半身区域;
首先,对提取的图像进行双边滤波,然后采用提取脸部、脖子、肩膀、胳膊和手部的Haar小波特征,基于Viola-Jones检测器框架,使用级联分类器瀑布式算法训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域。该模型的优点是使用了脸、脖子、肩膀、胳膊和手部相连的局部上下文信息,检测人体上半身的鲁棒性较强。
采用步骤1的方法以本发明自建手势图片库中的照片为实施实例,实施实例使用图片如图4所示,但同时存在一定误检测,即,除了检测出人体上半身区域,如图6(c),还把环境中一些物体,如图6中的(a)和(b),检测出来。但相比原图像(即图5),大大缩小了手部候选区域,减少了计算量。
步骤2:使用RGB-YCbCr色彩空间显式阈值与高斯模型相结合的肤色模型,提取人体上半身图像中的类肤色区域;
步骤3:通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域。
对满足肤色条件的区域进行形态学处理和区域调整,包括:删除二值图中小面积区域、填充空洞、标记最小连通区域、根据最小连通区域的长宽比和面积阈值,在原始图像上分割出类肤色区域。填充空洞后的结果、标记最小连通区域、根据最小连通区域的面积和长宽比检测出类肤色区域,从原始图片中分割出类肤色区域,分别如图7、图8、图9和图10所示。
步骤4:将从原始图像分割出类肤色区域(即步骤3得到的结果)进行尺寸归一化,如,200*200,使用4.1所述方法训练手部的可变形部分模型,然后,使用训练好的手部可变形部分模型检测手部,即,对步骤3得到的结果进行尺寸归一化后,使用训练好的手部模型,检测手部区域。
参考文献:
1.Hasan,H.and S.Abdul-Kareem,Human–computer interaction using vision-based hand gesture recognition systems:a survey.Neural Computing andApplications,2014.25(2):p.251-261.
2.Pisharady,P.K.and M.Saerbeck,Recent methods and databases invision-based hand gesture recognition:A review.Computer Vision and ImageUnderstanding,2015.141:p.152-165.
3.Rautaray,S.S.and A.Agrawal,Vision based hand gesture recognitionfor human computer interaction:a survey.Artificial Intelligence Review,2015.43(1):p.1-54.
4.Peer,P.and F.Solina,An automatic human face detection method.1999.
5.Solina,F.,et al.15seconds of fame-an interactive,computer-visionbased art installation.in Control,Automation,Robotics and Vision,2002.ICARCV2002.7th International Conference on.2002.IEEE.
6.Chen,W.-C.and M.-S.Wang,Region-based and content adaptive skindetection in color images.Internationaljournal of pattern recognition andartificial intelligence,2007.21(05):p.831-853.
7.Ban,Y.,et al.,Face detection based on skin color likelihood.PatternRecognition,2014.47(4):p.1573-1585.
8.Basilio,J.A.M.,et al.,Explicit image detection using YCbCr spacecolor model as skin detection.Applications of Mathematics and ComputerEngineering,2011:p.123-128.
9.Felzenszwalb,P.F.,et al.,Object detection with discriminativelytrained part-based models.IEEE transactions on pattern analysis and machineintelligence,2010.32(9):p.1627-1645.
Claims (2)
1.一种基于分层结构和可变形部分模型的手部区域检测方法,包括以下步骤:
步骤1:建立手势图片库;
手势图片库包含:y名测试者,预定义x种手势种类,每种手势分别在三种距离下拍摄,三种距离分别为照相机距被拍摄人d1、d2和d3,每个人同种距离拍摄三次,分别使人在图像中央、左边和右边,在n种环境下拍摄;
步骤2:从输入的手势图像中检测并分割出人体上半身区域;
首先,对提取的图像进行双边滤波,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域;
步骤3:建立肤色模型,提取人体上半身图像中的类肤色区域;
具体为:
采用RGB-YCbCr显式阈值和高斯模型,建立肤色模型具体包括:
(1)使用RGB颜色空间显式阈值,检测肤色区域;
提取所建手势库的手部肤色区域,读取肤色像素值,像素点RGB三通道间的关系为:
肤色模型在RGB颜色空间的阈值为:
在RGB颜色空间的肤色像素点Srgb(r,g,b)满足以下要求:
其中,r(r,g,b)为某像素在RGB色彩空间的值;
(2)使用YCbCr显式阈值检测肤色;
针对YCbCr,其中Y是亮度分量,Cb是指蓝色分量,Cr指红色色度分量,YCbCr色彩空间由RGB色彩空间经下式矩阵变换得到:
肤色区域在YCbCr颜色空间满足的阈值为:
(80≤Cb≤120)∩(133≤Cr≤173) (10)
在YCbCr色彩空间,满足肤色条件的区域Sycbcr(cb,cr)满足下式的条件,
(3)建立高斯肤色模型进行肤色检测
具体包括以下两个步骤:
步骤a:获取构造手势图片库中的手部肤色样本,利用公式(9),将肤色像素从RGB转换到YCbCr色彩空间后,并对其进行统计分析,通过椭圆高斯联合概率密度函数,贝叶斯最大似然估计得到高斯模型的均值μ(μcb μcr)和协方差∑(∑cb ∑cr);
椭圆高斯联合概率密度函数如下所示:
其中,c为肤色向量,μ为均值向量,∑为协方差矩阵;
其中,
步骤b:计算所给像素点与肤色相似的程度,即肤色似然度,得到待检测图像的最大肤色似然度,两者的比值即为肤色概率值,由此得到肤色似然图,再对肤色似然图进行阈值化,将肤色区域分割出来;
根据建立的高斯肤色模型,计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr),计算公式如下:
D(Cb,Cr)=exp[-0.5(c-μ)T∑-1(c-μ)] (16)
肤色的似然度D(Cb,Cr)计算出来后,得到待检测图像的最大肤色似然度,两者的比值为肤色概率值,由此,可得到肤色似然图,再对其阈值化后得到肤色图像的二值图;
肤色模型中的肤色区域Sskin为满足肤色高斯模型Sg(Cb,Cr)、YCbCr显式阈值Sycbcr(cb,cr)和RGB显式阈值Srgb(r,g,b)的交集,即
Sskin=Sg(Cb,Cr)∩Sycbcr(cb,cr)∩Srgb(r,g,b) (17)
如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型,则认为该区域是肤色区域;
满足肤色模型的区域进入步骤4,对其进行形态学处理;不满足要求的图像,不进行处理;
步骤4:通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域;
步骤5:将原始图像上分割出类肤色区域进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域;其中,可变形部分模型采用HOG特征;
包括模型训练和手部检测两部分,具体如下所示:
(1)模型训练
步骤4分割出来肤色区域进行归一化后,作为训练样本;其中,训练样本包含正样本和负样本,具体来说,正样本为包含手部区域的照片,负样本为不包含手部区域的照片;将标注后的正负样本信息作为可变形部分模型的输入,使用可变形部分模型训练手部检测模型,生成用户需要的手部检测模型;
(2)使用可变形部分模型检测手部区域
步骤4分割出来肤色区域进行归一化后,使用训练好的可变形部分模型检测手部区域。
2.一种基于分层结构和可变形部分模型的手部区域检测装置,包括手势库模块、人体检测模块、肤色检测模块、区域调整模块和手部检测模块;
手势库模块用于提供手势图片;
人体检测模块对输入的复杂背景下人体全身手势图像进行双边滤波后,然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征,使用Viola-Jones检测器,级联分类器训练得到人体上半身模型,然后使用训练好的人体上半身模型检测人体上半身区域;
肤色检测模块对人体检测模块检测出的人体上半身区域后,提取满足肤色模型的类肤色区域;具体为:
采用RGB-YCbCr显式阈值和高斯模型,建立肤色模型具体包括:
(1)使用RGB颜色空间显式阈值,检测肤色区域;
提取所建手势库的手部肤色区域,读取肤色像素值,像素点RGB三通道间的关系为:
肤色模型在RGB颜色空间的阈值为:
在RGB颜色空间的肤色像素点Srgb(r,g,b)满足以下要求:
其中,r(r,g,b)为某像素在RGB色彩空间的值;
(2)使用YCbCr显式阈值检测肤色;
针对YCbCr,其中Y是亮度分量,Cb是指蓝色分量,Cr指红色色度分量,YCbCr色彩空间由RGB色彩空间经下式矩阵变换得到:
肤色区域在YCbCr颜色空间满足的阈值为:
(80≤Cb≤120)∩(133≤Cr≤173) (10)
在YCbCr色彩空间,满足肤色条件的区域Sycbcr(cb,cr)满足下式的条件,
(3)建立高斯肤色模型进行肤色检测
具体包括以下两个步骤:
步骤a:获取构造手势图片库中的手部肤色样本,利用公式(9),将肤色像素从RGB转换到YCbCr色彩空间后,并对其进行统计分析,通过椭圆高斯联合概率密度函数,贝叶斯最大似然估计得到高斯模型的均值μ(μcb μcr)和协方差∑(∑cb ∑cr);
椭圆高斯联合概率密度函数如下所示:
其中,c为肤色向量,μ为均值向量,∑为协方差矩阵;
其中,
步骤b:计算所给像素点与肤色相似的程度,即肤色似然度,得到待检测图像的最大肤色似然度,两者的比值即为肤色概率值,由此得到肤色似然图,再对肤色似然图进行阈值化,将肤色区域分割出来;
根据建立的高斯肤色模型,计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr),计算公式如下:
D(Cb,Cr)=exp[-0.5(c-μ)T∑-1(c-μ)] (16)
肤色的似然度D(Cb,Cr)计算出来后,得到待检测图像的最大肤色似然度,两者的比值为肤色概率值,由此,可得到肤色似然图,再对其阈值化后得到肤色图像的二值图;
肤色模型中的肤色区域Sskin为满足肤色高斯模型Sg(Cb,Cr)、YCbCr显式阈值Sycbcr(cb,cr)和RGB显式阈值Srgb(r,g,b)的交集,即
Sskin=Sg(Cb,Cr)∩Sycbcr(cb,cr)∩Srgb(r,g,b) (18)
如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型,则认为该区域是肤色区域;
满足肤色模型的区域进入区域调整模块,对其进行形态学处理;不满足要求的图像,不进行处理;
区域调整模块将肤色检测模块检测到的类肤色区域,经过删除二值图中最小面积区域、填充空洞形态学操作、最小连通区域的长宽比和面积阈值,调整肤色检测的结果,将类肤色区域从原始RGB图像中分割出来;
手部检测模块将区域调整模块分割出的类肤色区域进行尺寸归一化,将其作为可变形部分模型的输入,使用可变形部分模型训练手部模型,进而使用训练好的手部模型检测手部区域;其中,可变形部分模型采用HOG特征;
包括模型训练和手部检测两部分,具体如下所示:
(1)模型训练
区域调整模块分割出来肤色区域进行归一化后,作为训练样本;其中,训练样本包含正样本和负样本,具体来说,正样本为包含手部区域的照片,负样本为不包含手部区域的照片;将标注后的正负样本信息作为可变形部分模型的输入,使用可变形部分模型训练手部检测模型,生成用户需要的手部检测模型;
(2)使用可变形部分模型检测手部区域
区域调整模块分割出来肤色区域进行归一化后,使用训练好的可变形部分模型检测手部区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710035087.XA CN106909884B (zh) | 2017-01-17 | 2017-01-17 | 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710035087.XA CN106909884B (zh) | 2017-01-17 | 2017-01-17 | 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106909884A CN106909884A (zh) | 2017-06-30 |
CN106909884B true CN106909884B (zh) | 2020-08-04 |
Family
ID=59207252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710035087.XA Active CN106909884B (zh) | 2017-01-17 | 2017-01-17 | 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106909884B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107846555A (zh) * | 2017-11-06 | 2018-03-27 | 深圳慧源创新科技有限公司 | 基于手势识别的自动拍摄方法、装置、用户终端及计算机存储介质 |
CN110070478B (zh) * | 2018-08-24 | 2020-12-04 | 北京微播视界科技有限公司 | 变形图像生成方法和装置 |
CN110827308A (zh) * | 2019-11-05 | 2020-02-21 | 中国医学科学院肿瘤医院 | 图像处理方法,装置,电子设备及存储介质 |
CN111639641B (zh) * | 2020-04-30 | 2022-05-03 | 中国海洋大学 | 一种针对未着装于人体的服装区域获取方法及装置 |
CN111679737B (zh) * | 2020-05-27 | 2022-06-21 | 维沃移动通信有限公司 | 手部分割方法和电子设备 |
US11488376B2 (en) * | 2021-02-15 | 2022-11-01 | Sony Group Corporation | Human skin detection based on human-body prior |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719015A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 指示手势的手指尖定位方法 |
CN102142084A (zh) * | 2011-05-06 | 2011-08-03 | 北京网尚数字电影院线有限公司 | 一种手势识别的方法 |
CN103295021A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种静态图片中车辆特征检测及识别的方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8781221B2 (en) * | 2011-04-11 | 2014-07-15 | Intel Corporation | Hand gesture recognition system |
US9524028B2 (en) * | 2013-03-08 | 2016-12-20 | Fastvdo Llc | Visual language for human computer interfaces |
CN104680127A (zh) * | 2014-12-18 | 2015-06-03 | 闻泰通讯股份有限公司 | 手势识别方法及*** |
-
2017
- 2017-01-17 CN CN201710035087.XA patent/CN106909884B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719015A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 指示手势的手指尖定位方法 |
CN102142084A (zh) * | 2011-05-06 | 2011-08-03 | 北京网尚数字电影院线有限公司 | 一种手势识别的方法 |
CN103295021A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种静态图片中车辆特征检测及识别的方法及*** |
Non-Patent Citations (2)
Title |
---|
Deformable Part Model Based Hand Detection against Complex Backgrounds;Chunyu Zou;《IGTA 2016:Advances in image and Graphics Technologies》;20160809;第149-159页 * |
结合手指检测和HOG特征的分层静态手势识别;刘淑萍 等;《中国图象图形学报》;20150630;第20卷(第6期);第0781-0788页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106909884A (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106909884B (zh) | 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 | |
CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及*** | |
Christa et al. | CNN-based mask detection system using openCV and MobileNetV2 | |
Huang et al. | Regions of interest extraction from color image based on visual saliency | |
CN110956099B (zh) | 一种动态手势指令识别方法 | |
Rahim et al. | Hand gesture recognition based on optimal segmentation in human-computer interaction | |
Mahmood et al. | A Comparative study of a new hand recognition model based on line of features and other techniques | |
CN106909883A (zh) | 一种基于ros的模块化手部区域检测方法和装置 | |
Moallem et al. | Fuzzy inference system optimized by genetic algorithm for robust face and pose detection | |
Kheirkhah et al. | A hybrid face detection approach in color images with complex background | |
CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
Tarvekar | Hand gesture recognition system for touch-less car interface using multiclass support vector machine | |
CN108345835B (zh) | 一种基于仿复眼感知的目标识别方法 | |
Fernando et al. | Low cost approach for real time sign language recognition | |
Hiremath et al. | Detection of multiple faces in an image using skin color information and lines-of-separability face model | |
Meshram et al. | Convolution Neural Network based Hand Gesture Recognition System | |
Youlian et al. | Face detection method using template feature and skin color feature in rgb color space | |
Yusuf et al. | Human face detection using skin color segmentation and watershed algorithm | |
Singh et al. | Template matching for detection & recognition of frontal view of human face through Matlab | |
Işikdoğan et al. | Automatic recognition of Turkish fingerspelling | |
Kumar et al. | SSVM classifier and hand gesture based sign language recognition | |
Singh et al. | Indian sign language recognition using color space model and thresholding | |
Patravali et al. | Skin segmentation using YCBCR and RGB color models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |