CN104102904B - 一种静态手势识别方法 - Google Patents
一种静态手势识别方法 Download PDFInfo
- Publication number
- CN104102904B CN104102904B CN201410334999.3A CN201410334999A CN104102904B CN 104102904 B CN104102904 B CN 104102904B CN 201410334999 A CN201410334999 A CN 201410334999A CN 104102904 B CN104102904 B CN 104102904B
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- sigma
- target
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003068 static effect Effects 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 18
- LVYBAQIVPKCOEE-UHFFFAOYSA-N 1,2,3,4,7,8-Hexachlorodibenzofuran Chemical compound O1C2=C(Cl)C(Cl)=C(Cl)C(Cl)=C2C2=C1C=C(Cl)C(Cl)=C2 LVYBAQIVPKCOEE-UHFFFAOYSA-N 0.000 claims abstract description 16
- 230000005484 gravity Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000013519 translation Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000219000 Populus Species 0.000 description 1
- 241000270708 Testudinidae Species 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明一种静态手势识别方法,本发明提出一种基于空间手势坐标点分布特征HCDF和类-Hausdorff距离模板匹配的手势识别方法。首先用HCDF提取手势特征向量;然后将提取的特征与样本库进行相似性度量,选取M种相近的候选样本;最后用类-Hausdorff距离模板匹配的思想,从M种候选样本中识别出最终的手势。本发明的有益效果是:与HDF方法相比本发明有更高的识别率,并且本发明对于旋转、缩放、平移的手势,仍能正确识别,对区分度较小的相近手势仍能保持很高的识别率。另外,相比于单纯用类-Hausdorff距离进行识别,本发明的识别速度有较大提高。
Description
技术领域
本发明涉及一种静态手势识别方法。
背景技术
手势交互作为一种新颖的人机交互手段,已成为人机交互领域近年来的一个研究热点,基于视觉的手势识别更是手势交互所不可缺少的一项关键技术。从手势的运动特点出发,基于视觉的手势识别可分为动态手势识别和静态手势识别两大类。动态手势可以定义为手运动的轨迹,是指随时间的变化手势的形状和位置也发生着相应的改变。因此,识别效果容易受手势轮廓、时空位置、移动速率等因素的影响。静态手势可以认为是动态手势中某一个时间点下的特例,是指不随时间变化而变化的手势,其识别效果与手势的轮廓、形状、纹理等相关。由于静态手势是动态手势变化过程中的某一状态,是手势识别的核心工作。
HaithamH等提出一种利用神经网络进行手势识别的方法,该方法通过边缘检测提取样本几何矩特征和轮廓特征,然后利用神经网络对手势进行识别,但是该方法对静态手势的识别较低。王海等提出了基于Hu矩的图像旋转识别法,通过一系列数学方法将手部的图像数据映射到特征空间,其缺点是不直观,并且计算量一般都很大。DardasNH等通过对图像进行尺度不变性特征变换和矢量化特征提取,然后用特征包和多类支持向量机对手势进行识别,该方法可以得到较好的手势识别效果,但是由于SIFT算法的计算复杂度高导致识别速度较慢,实时性差。王修晖等提出Tortoise模型表征人手部基本特征,结合遗传算法在几何与纹理混合特征空间内实现手势识别,其方法提高了实时性,但其只对几种区分度较大的手势进行了实验。何力等提出一种基于最大似然准则Hausdorff距离的手势识别算法,搜索策略采用类似于Rucklidge提出的多分辨率搜索方法,缩短了搜索时间,同时也能较好地识别字母手势,但是对部分变形(旋转和缩放)手势识别效果不好。张良国等采取手势区域轮廓特征点,利用Hausdorff距离模板匹配的思想,实现了30个中国手语手指字母的识别,但未考虑手势旋转、缩放、肤色干扰时的手势识别。杨波等提出一种空间分布特征的手势识别算法,将手势的整体表观特征与手势的关节变化特性结合起来提取手势的空间分布特征(HDF),该方法对差异较大的手势有较高的识别率,但对区分度较小的手势,识别率不高。
发明内容
为解决以上技术上的不足,本发明提供了一种识别率高,识别速度快的静态手势识别方法。
本发明是通过以下措施实现的:
本发明一种静态手势识别方法,包括以下步骤:
步骤1,启动摄像头,获取含有目标手势的当前帧的BMP图像,用肤色分布模型把目标手势从该BMP图像中提取出来;
步骤2,求出目标手势图像的最小外接正方形,并把其缩放为标准化图像;计算出该标准化图像中目标手势的主方向,并建立二维手势直角坐标系,然后求出空间手势坐标点分布特征HCDF中的每个特征向量;
步骤3,计算步骤2中当前目标手势与样本库里每种手势的空间手势坐标点分布特征HCDF中第二个特征向量的欧氏距离,然后按照欧氏距离的值从小到大的顺序从样本库内选取出对应的M种候选手势Gm;
步骤4,根据类-Hausdorff距离公式依次计算当前目标手势C的8个点集pi与每种候选手势Gm的8个点集qi的类-Hausdorff距离Hism(C,Gm),其中,
步骤5,求出其中最小的类-Hausdorff距离值H,样本库里与之对应的该种手势就是最终的识别结果,输出三维手势图像,其中,H=Min{His1,...,HisM}。
在步骤2中,在计算标准化图像中目标手势的主方向时,首先求出目标手势的重心点O,然后,计算图像中离手势重心最远的手势像素点M,把向量作为手势的主方向;
然后对每幅手势图像,以手势重心点为坐标原点,手势主方向为Y轴正方向,沿Y轴正方向顺时针旋转90度作为X轴正方向,建立二维手势直角坐标系;
手势主方向顺时针把手势图像等分为8个子图像区域;计算每个子图像区域内目标像素点的总数Si(i=1,...,8),并找出Si的最大值计算HCDF的第2个特征向量r:
空间手势坐标点分布特征HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。
在步骤2中,含目标手势的最小外接正方形图像按照缩放公式缩放为40*40的大小,缩放公式为:
其中, xzoom、yzoom分别为水平和垂直的缩放比率,Newwide、Newheigh为新图像的宽和高,Wide、Height为原图像的宽和高。
本发明的有益效果是:与HDF方法相比本发明有更高的识别率,并且本发明对于旋转、缩放、平移的手势,仍能正确识别,对区分度较小的相近手势仍能保持很高的识别率。另外,相比于单纯用类-Hausdorff距离进行识别,本发明的识别速度有较大提高。
附图说明
图1为本发明建立的二维手势直角坐标系。
具体实施方式
下面结合附图对本发明做进一步详细的描述:
本发明一种静态手势识别方法,首先启动摄像头,获取含有目标手势的当前帧的BMP图像。为了使手势识别时不受手势大小的影响,先把手势图像进行标准化处理,就是把图像尺寸统一到同一大小(采用40*40的图像大小)。首先用肤色分布模型把手势从背景图像中分割出来,然后再把分割后的手势图像进行标准化处理。
图像标准化处理步骤如下:
输入:分割后的手势图像。
输出:标准化后的手势图像。
Step1.求出手势图像的最小外接正方形。
Step2.把正方形内的手势图像按照缩放公式(1)缩放为40*40的大小。
其中, xzoom、yzoom分别为水平和垂直的缩放比率,Newwide、Newheigh为新图像的宽和高,Wide、Height为原图像的宽和高。
空间手势坐标点分布特征(handcoordinatesdistributionfeatures,HCDF)是对人手空间特征的抽象描述。
把空间手势坐标点分布特征信息用一个特征向量描述为
其中,第1个向量表示手势的主方向,第2个向量r表示把手势图像划分为8个子图像区域后,每个子图像区域内目标像素点的相对密度,第3个向量p表示在二维手势直角坐标系内,每个子图像区域中目标像素点的点集。
下面详细介绍计算手势坐标点分布特征的步骤:
输入:缩放后的手势图像。
输出:HCDF的三个特征向量。
Step1.计算当前缩放后图像的手势主方向;首先求出手势的重心点O,然后,计算图像中离手势重心最远的手势像素点M,把向量作为手势的主方向。
其中,
R表示手势图像中的手势像素区域。
Step2.建立二维手势直角坐标系;对每幅手势图像,以手势重心点为坐标原点,手势主方向为Y轴正方向,沿Y轴正方向顺时针旋转90度作为X轴正方向,建立二维手势直角坐标系,如图1所示。
Step3.沿手势主方向顺时针把手势图像等分为8个子图像区域。
Step4.计算每个子图像区域内目标像素点的总数Si(i=1,...,8),并找出Si的最大值
Step5.计算HCDF的第2个特征向量r
Step6.HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。
类-Hausdorff距离表征了两个点集之间的最大不匹配程度。类-Hausdorff距离的值越大说明两幅图片相似性越差。类-Hausdorff距离思想如下:
计算出点集A中每一点到点集B中最近一点的距离后,把这些距离的均值作为两个点集之间的距离,其具体定义为
其中,NA为点集A中特征点的个数;选取欧氏距离作为||a-b||的距离范式,定义为
我们采用类-Hausdorff距离作为最终的相似性度量,即公式(7)。
H(A,B)=h(A,B)+h(B,A)(7)
本实验需要在光照相对稳定的,手势分割比较好的条件下进行。
手势识别算法步骤如下:
输入:摄像头获取的BMP图像。
输出:识别后的三维手势图像。
Step1.启动摄像头,获取当前帧的BMP图像。
Step2.用肤色分布模型把目标手势从BMP图像中提取出来。
Step3.求出手势图像的最小外接正方形,并把它缩放为40*40的标准化图像。
Step4.计算出手势主方向,并建立二维手势直角坐标系,然后求出HCDF中的每个特征向量。
Step5.计算当前手势和样本库里每种手势HCDF中第二个特征向量的欧氏距离dr,然后从小到大选取出M个候选手势Gm。
Step6.根据公式(7)依次计算当前手势C的8个点集pi和候选手势Gm的8个点集qi的类-Hausdorff距离Hism(C,Gm)。
其中,
Step7.求出最小的H,与之对应的样本库里的手势就是最终的识别结果,输出三维手势图像。
其中,H=Min{His1,...,HisM}。
以上所述仅是本专利的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本专利技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本专利的保护范围。
Claims (2)
1.一种静态手势识别方法,其特征在于,包括以下步骤:
步骤1,启动摄像头,获取含有目标手势的当前帧的BMP图像,用肤色分布模型把目标手势从该BMP图像中提取出来;
步骤2,求出目标手势图像的最小外接正方形,并把其缩放为标准化图像;计算出该标准化图像中目标手势的主方向,并建立二维手势直角坐标系,然后求出空间手势坐标点分布特征HCDF中的每个特征向量;
步骤3,计算步骤2中当前目标手势与样本库里每种手势的空间手势坐标点分布特征HCDF中第二个特征向量的欧氏距离,然后按照欧氏距离的值从小到大的顺序从样本库内选取出对应的M种候选手势Gm;
步骤4,根据类-Hausdorff距离公式依次计算当前目标手势C的8个点集pi与每种候选手势Gm的8个点集qi的类-Hausdorff距离Hism(C,Gm),其中,
步骤5,求出其中最小的类-Hausdorff距离值H,样本库里与之对应的该种手势就是最终的识别结果,输出三维手势图像,其中,H=Min{His1,…,HisM};
在步骤2中,在计算标准化图像中目标手势的主方向时,首先求出目标手势的重心点O,然后,计算图像中离手势重心最远的手势像素点M,把向量作为手势的主方向;
手势主方向顺时针把手势图像等分为8个子图像区域;计算每个子图像区域内目标像素点的总数Si(i=1,...,8),并找出Si的最大值计算HCDF的第2个特征向量ri:
空间手势坐标点分布特征HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。
2.根据权利要求1所述静态手势识别方法,其特征在于:在步骤2中,
含目标手势的最小外接正方形图像按照缩放公式缩放为40*40的大小,缩放公式为:
其中, xzoom、yzoom分别为水平和垂直的缩放比率,Newwide、Newheigh为新图像的宽和高,Wide、Height为原图像的宽和高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410334999.3A CN104102904B (zh) | 2014-07-14 | 2014-07-14 | 一种静态手势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410334999.3A CN104102904B (zh) | 2014-07-14 | 2014-07-14 | 一种静态手势识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104102904A CN104102904A (zh) | 2014-10-15 |
CN104102904B true CN104102904B (zh) | 2016-03-23 |
Family
ID=51671044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410334999.3A Expired - Fee Related CN104102904B (zh) | 2014-07-14 | 2014-07-14 | 一种静态手势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104102904B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205641A (zh) * | 2016-12-16 | 2018-06-26 | 比亚迪股份有限公司 | 手势图像处理方法及装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834894B (zh) * | 2015-04-01 | 2018-09-25 | 济南大学 | 一种结合二进制编码和类-Hausdorff距离的手势识别方法 |
CN106295463B (zh) * | 2015-05-15 | 2019-05-07 | 济南大学 | 一种基于特征值的手势识别方法 |
CN105118356B (zh) * | 2015-09-28 | 2018-02-23 | 王超 | 一种手语语音转换方法及装置 |
CN105975906B (zh) * | 2016-04-27 | 2018-01-30 | 济南大学 | 一种基于面积特征的pca静态手势识别方法 |
CN106843472B (zh) * | 2016-12-28 | 2020-01-03 | 歌尔科技有限公司 | 手势识别方法和装置、虚拟现实设备、可编程设备 |
CN107704072A (zh) * | 2017-06-10 | 2018-02-16 | 济南大学 | 一种手势交互过程中用户手势的自动纠错方法 |
CN110147767B (zh) * | 2019-05-22 | 2023-07-18 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
CN110348323B (zh) * | 2019-06-19 | 2022-12-16 | 广东工业大学 | 一种基于神经网络优化的穿戴式设备手势识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901350A (zh) * | 2010-07-23 | 2010-12-01 | 北京航空航天大学 | 一种基于特征向量的静态手势识别方法 |
CN103455794A (zh) * | 2013-08-23 | 2013-12-18 | 济南大学 | 一种基于帧融合技术的动态手势识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2407635B (en) * | 2003-10-31 | 2006-07-12 | Hewlett Packard Development Co | Improvements in and relating to camera control |
-
2014
- 2014-07-14 CN CN201410334999.3A patent/CN104102904B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901350A (zh) * | 2010-07-23 | 2010-12-01 | 北京航空航天大学 | 一种基于特征向量的静态手势识别方法 |
CN103455794A (zh) * | 2013-08-23 | 2013-12-18 | 济南大学 | 一种基于帧融合技术的动态手势识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205641A (zh) * | 2016-12-16 | 2018-06-26 | 比亚迪股份有限公司 | 手势图像处理方法及装置 |
CN108205641B (zh) * | 2016-12-16 | 2020-08-07 | 比亚迪股份有限公司 | 手势图像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104102904A (zh) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104102904B (zh) | 一种静态手势识别方法 | |
Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
Zhu et al. | Single image 3d object detection and pose estimation for grasping | |
Azad et al. | Combining Harris interest points and the SIFT descriptor for fast scale-invariant object recognition | |
US9665606B2 (en) | Edge-based recognition, systems and methods | |
CN104036546B (zh) | 一种基于自适应形变模型的任意视角人脸三维重构方法 | |
Lu et al. | Automatic feature extraction for multiview 3D face recognition | |
Glasner et al. | Aware object detection and pose estimation | |
Lee et al. | Game interface using hand gesture recognition | |
Hu et al. | Exploring structural information and fusing multiple features for person re-identification | |
CN103426186A (zh) | 一种改进的surf快速匹配方法 | |
Hernández-Vela et al. | BoVDW: Bag-of-Visual-and-Depth-Words for gesture recognition | |
Sudderth et al. | Depth from familiar objects: A hierarchical model for 3D scenes | |
Wang et al. | Head pose estimation with combined 2D SIFT and 3D HOG features | |
CN109190535A (zh) | 一种基于深度学习的人脸面部肤色分析方法和*** | |
Redondo-Cabrera et al. | All together now: Simultaneous object detection and continuous pose estimation using a hough forest with probabilistic locally enhanced voting | |
CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
Chen et al. | Silhouette-based object phenotype recognition using 3D shape priors | |
CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
Ohkawa et al. | Hand-shape recognition using the distributions of multi-viewpoint image sets | |
Teney et al. | Multiview feature distributions for object detection and continuous pose estimation | |
Arachchi et al. | Real-time static and dynamic gesture recognition using mixed space features for 3D virtual world's interactions | |
Donoser et al. | Robust planar target tracking and pose estimation from a single concavity | |
Weerasekera et al. | Robust asl fingerspelling recognition using local binary patterns and geometric features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160323 |