CN101667250A

CN101667250A - 基于CamShift算法与手形遮罩的手识别装置及其方法

Info

Publication number: CN101667250A
Application number: CN200910196986A
Authority: CN
Inventors: 季斐翀; 陆涛; 周暖云; 潘晋
Original assignee: Shanghai Crystal Information Technology Co Ltd
Current assignee: Shanghai Crystal Information Technology Co Ltd
Priority date: 2009-10-10
Filing date: 2009-10-10
Publication date: 2010-03-10

Abstract

本发明揭示了一种基于CamShift算法与手形遮罩的手识别装置及其方法，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；其方法为：1)采用Haar算法识别脸部区域并加于去除；2)采用CamShift算法对图像的手部区域进行初步的识别；3)对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；4)将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似度对比；5)判断所述相似度值中的最大值是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤1)；本发明集中几种算法的优势，对视频中的手所在区域进行连续跟踪，方法执行效率较高，跟踪准确性较高。

Description

基于CamShift算法与手形遮罩的手识别装置及其方法

技术领域

本发明涉及虚拟现实与计算机图像学领域，特别涉及一种对视频中的人手部位进行连续识别与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。

背景技术

手识别是人机交互、机器人、计算机视觉以及数字图像处理等领域一个重要内容。对手的位置进行准确测定与跟踪，在人机交互，手势识别等方面具有重要意义。

手识别与跟踪的方法很多，现有的方法包括基于肤色信息、基于运动信息、基于运动模型等。目前，中科大的顾理、庄镇泉等人利用光照补偿和基于分类搜索的局部阈值手形提取方法对手形进行提取，提取效果较好，但未能实现在连续视频中的追踪。哈工大的张良国等提出了基于hausdorff距离的手识别***并利用其进行手势识别，但对光照与复杂背景等因素较敏感。哈工大的孙超、姜立利用FSR传感器检测加支持向量机的方式进行检测，效果较好但对硬件要求较高。

现有的手识别技术或是技术较复杂，在实时性上有一定缺陷，或是主要运用于单帧的静态图像，不能对连续视频进行准确性较高的跟踪与识别。本***提出一种利用Camshift算法与手形遮罩相结合的手识别方法。该方法针对连续视频，以基于CamShift的颜色分析为主，结合手形模板的形状分析技术，并利用Haar算法等对视频的干扰成分进行处理与去除，能对视频中手所在部位进行连续与准确性较高的识别与跟踪。

其中的CamShift是“Continuously Adaptive Mean-SHIFT”的缩写，即连续自适应Mean-SHIFT算法，是一种基于Mean-SHIFT算法，应用于连续视频的跟踪算法。CamShift基于随机颜色概率模型，与被跟踪对象的具体形状模型无关。CamShift算法采用了HSV色彩空间，受光照等环境因素影响较小，且人手肤色在HSV空间色度值分布鲜明。CamShift分为反向投影(Back Projection)，MeanShift算法与CamShift算法三部分。

参考文献[1]和[2]公开了Haar算法。

[1]Paul Viola，Michael J.Jones.Robust Real-Time Face Detection[J].International Journal of Computer Vision，May 2004，57：137-154.

[2]Friedman，J.H.，Hastie，T.and Tibshirani，R.Additive Logistic Regression：a Statistical View of Boosting.Technical Report[R]，Dept.of Statistics，StanfordUniversity，1998.

有鉴于此，本领域发明人针对上述问题，研发了一种对视频中的人手部位进行连续识别与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。

发明内容

本发明的目的在于，提供一种基于CamShift算法与手形遮罩的手识别装置及其方法，克服了现有技术的困难，达到对视频中的人手部位进行连续识别与跟踪定位的目的。

本发明采用如下技术方案：

本发明的一种基于CamShift算法与手形遮罩的手识别装置，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；

所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位；

所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续追踪；

所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、划分出各个连通区域等操作，去除图像噪点；

所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为手区域，确定最终的识别与跟踪区域。

进一步地，所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。

进一步地，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。

进一步地，所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右合并四种。

进一步地，四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

本发明的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于CamShift算法与手形遮罩的手识别装置，包括以下步骤：

1)采用Haar算法识别脸部区域并加于去除；

2)采用CamShift算法对图像的手部区域进行初步的识别；

3)对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；

4)将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似度对比，式(1)为计算针对某一手形遮罩的相似度值的公式：

p_r＝(S/S₁+S/S₂)/2 (1)

其中，p_r为相似度值，S₁为某连通区域面积，S₂为手遮罩面积，S为两者重叠面积，

对每一个手形遮罩计算相应的p_r值，取所有p_r中最大值p_rmax为最终相似度值；

5)判断所述最终相似度值p_rmax是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤1)。

进一步地，所述步骤1)之前还包括预设阈值。

进一步地，所述步骤4)中的手形遮罩分为左张开，左合并，右张开，右合并四种。

进一步地，所述步骤5)中当判定为手时，将所述连通区域用方框标出，完成手部位的追踪。

相对于已有的其他方法，本发明创造性地将Haar算法，CamShift算法，手形遮罩处理方法等计算机视觉与数字图像处理算法结合在一起，集中几种算法的优势，先对图像进行干扰区域去除，再将基于色彩的识别跟踪与基于形状的识别跟踪算法结合起来，可以对视频中的手所在区域进行连续跟踪，试验证明，该方法执行效率较高，跟踪准确性较高。相比现有技术还具有能对连续视频进行准确性较高的跟踪与识别，对光照与复杂背景等因素敏感度低，降低硬件要求的优点。

以下结合附图及实施例进一步说明本发明。

附图说明

图1为本发明中基于CamShift算法与手形遮罩的手识别装置的结构示意图；

图2为本发明中基于CamShift算法与手形遮罩的手识别方法的流程图；

图3为实施例1中所用到部分手形模板图。

具体实施方式

下面通过图1至3，来介绍本发明的一种具体实施例。

如图1所示，本发明的一种基于CamShift算法与手形遮罩的手识别装置，包括通过数据线相连并交换数据的干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块。

其中，所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位，所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。

所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续追踪，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。

所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为手区域，确定最终的识别与跟踪区域。所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右合并四种，这四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

参见图3，列举了其中的8种：

(左合并，0度)、(右合并，0度)；

(左张开，0度)、(右张开，0度)；

(左合并，90度)、(右合并，90度)；

(左合并，45度)、(右合并，45度)。

如图2所示，本发明的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于CamShift算法与手形遮罩的手识别装置，包括以下步骤：

预设阈值。

1)采用Haar算法识别脸部区域并加于去除；

2)采用CamShift算法对图像的手部区域进行初步的识别；

p_r＝(S/S₁+S/S₂)/2 (1)

手形遮罩分为左张开，左合并，右张开，右合并四种，这四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

参见图3，列举了其中的8种：

(左合并，0度)、(右合并，0度)；

(左张开，0度)、(右张开，0度)；

(左合并，90度)、(右合并，90度)；

(左合并，45度)、(右合并，45度)。

5)判断所述最终相似度值p_rmax是否大于阈值，若是，则判定为手，将所述连通区域用方框标出，完成手部位的追踪；若否，则输入下一帧，执行步骤1)。

综上可知，本发明创造性地将Haar算法，CamShift算法，手形遮罩处理方法等计算机视觉与数字图像处理算法结合在一起，集中几种算法的优势，先对图像进行干扰区域去除，再将基于色彩的识别跟踪与基于形状的识别跟踪算法结合起来，可以对视频中的手所在区域进行连续跟踪，试验证明，该方法执行效率较高，跟踪准确性较高。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims

1、一种基于CamShift算法与手形遮罩的手识别装置，其特征在于：包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；

2、根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于：所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。

3、根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于：所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。

4、根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于：所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右合并四种。

5、根据权利要求4所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于：四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

6、一种基于CamShift算法与手形遮罩的手识别方法，采用如所述权利要求1至5中的任意一项基于CamShift算法与手形遮罩的手识别装置，其特征在于包括以下步骤：

1)采用Haar算法识别脸部区域并加于去除；

2)采用CamShift算法对图像的手部区域进行初步的识别；

p_r＝(S/S₁+S/S₂)/2(1)

7、根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于：所述步骤1)之前还包括预设阈值。

8、根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于：所述步骤4)中的手形遮罩分为左张开，左合并，右张开，右合并四种。

9、根据权利要求8所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于：四种所述手形遮罩再分为旋转0度，正负45度，正负90度五种，共20种遮罩。

10、根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于：所述步骤5)中当判定为手时，将所述连通区域用方框标出，完成手部位的追踪。