CN104102904B - 一种静态手势识别方法 - Google Patents

Abstract

本发明一种静态手势识别方法，本发明提出一种基于空间手势坐标点分布特征HCDF和类-Hausdorff距离模板匹配的手势识别方法。首先用HCDF提取手势特征向量；然后将提取的特征与样本库进行相似性度量，选取M种相近的候选样本；最后用类-Hausdorff距离模板匹配的思想，从M种候选样本中识别出最终的手势。本发明的有益效果是：与HDF方法相比本发明有更高的识别率，并且本发明对于旋转、缩放、平移的手势，仍能正确识别，对区分度较小的相近手势仍能保持很高的识别率。另外，相比于单纯用类-Hausdorff距离进行识别，本发明的识别速度有较大提高。

Description

一种静态手势识别方法

技术领域

本发明涉及一种静态手势识别方法。

背景技术

手势交互作为一种新颖的人机交互手段，已成为人机交互领域近年来的一个研究热点，基于视觉的手势识别更是手势交互所不可缺少的一项关键技术。从手势的运动特点出发，基于视觉的手势识别可分为动态手势识别和静态手势识别两大类。动态手势可以定义为手运动的轨迹，是指随时间的变化手势的形状和位置也发生着相应的改变。因此，识别效果容易受手势轮廓、时空位置、移动速率等因素的影响。静态手势可以认为是动态手势中某一个时间点下的特例，是指不随时间变化而变化的手势，其识别效果与手势的轮廓、形状、纹理等相关。由于静态手势是动态手势变化过程中的某一状态，是手势识别的核心工作。

HaithamH等提出一种利用神经网络进行手势识别的方法，该方法通过边缘检测提取样本几何矩特征和轮廓特征，然后利用神经网络对手势进行识别，但是该方法对静态手势的识别较低。王海等提出了基于Hu矩的图像旋转识别法，通过一系列数学方法将手部的图像数据映射到特征空间，其缺点是不直观，并且计算量一般都很大。DardasNH等通过对图像进行尺度不变性特征变换和矢量化特征提取，然后用特征包和多类支持向量机对手势进行识别，该方法可以得到较好的手势识别效果，但是由于SIFT算法的计算复杂度高导致识别速度较慢，实时性差。王修晖等提出Tortoise模型表征人手部基本特征，结合遗传算法在几何与纹理混合特征空间内实现手势识别，其方法提高了实时性，但其只对几种区分度较大的手势进行了实验。何力等提出一种基于最大似然准则Hausdorff距离的手势识别算法，搜索策略采用类似于Rucklidge提出的多分辨率搜索方法，缩短了搜索时间，同时也能较好地识别字母手势，但是对部分变形(旋转和缩放)手势识别效果不好。张良国等采取手势区域轮廓特征点，利用Hausdorff距离模板匹配的思想，实现了30个中国手语手指字母的识别，但未考虑手势旋转、缩放、肤色干扰时的手势识别。杨波等提出一种空间分布特征的手势识别算法，将手势的整体表观特征与手势的关节变化特性结合起来提取手势的空间分布特征(HDF)，该方法对差异较大的手势有较高的识别率，但对区分度较小的手势，识别率不高。

发明内容

为解决以上技术上的不足，本发明提供了一种识别率高，识别速度快的静态手势识别方法。

本发明是通过以下措施实现的：

本发明一种静态手势识别方法，包括以下步骤：

步骤1，启动摄像头，获取含有目标手势的当前帧的BMP图像，用肤色分布模型把目标手势从该BMP图像中提取出来；

步骤2，求出目标手势图像的最小外接正方形，并把其缩放为标准化图像；计算出该标准化图像中目标手势的主方向，并建立二维手势直角坐标系，然后求出空间手势坐标点分布特征HCDF中的每个特征向量；

步骤3，计算步骤2中当前目标手势与样本库里每种手势的空间手势坐标点分布特征HCDF中第二个特征向量的欧氏距离，然后按照欧氏距离的值从小到大的顺序从样本库内选取出对应的M种候选手势G_m；

步骤4，根据类-Hausdorff距离公式依次计算当前目标手势C的8个点集p_i与每种候选手势G_m的8个点集q_i的类-Hausdorff距离His_m(C,G_m)，其中， ${\mathrm{His}}_m(C,G_m)=\underset{i=1,...,8}{\mathrm{\Σ}}{H}_i(p_i,q_i);$

步骤5，求出其中最小的类-Hausdorff距离值H，样本库里与之对应的该种手势就是最终的识别结果，输出三维手势图像，其中，H＝Min{His₁,...,His_M}。

在步骤2中，在计算标准化图像中目标手势的主方向时，首先求出目标手势的重心点O，然后，计算图像中离手势重心最远的手势像素点M，把向量作为手势的主方向；

$\left\{\begin{array}{c}\stackrel{\‾}{x}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}i\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\\ \stackrel{\‾}{y}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}j\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\end{array}\right.;$ 其中，R表示手势图像中的手势像素区域；

然后对每幅手势图像，以手势重心点为坐标原点，手势主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维手势直角坐标系；

手势主方向顺时针把手势图像等分为8个子图像区域；计算每个子图像区域内目标像素点的总数S_i(i＝1,...,8)，并找出S_i的最大值计算HCDF的第2个特征向量r：

$r_i=\frac{S_i}{S_{\max }},i=1,...,8$

空间手势坐标点分布特征HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。

在步骤2中，含目标手势的最小外接正方形图像按照缩放公式缩放为40*40的大小，缩放公式为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\mathrm{xzoom}& 0\\ 0& \mathrm{yzoom}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

其中， $\left\{\begin{array}{c}\mathrm{xzoom}=\mathrm{Newwide}/\mathrm{Wide}\\ \mathrm{yzoom}=\mathrm{Newheight}/\mathrm{Height}\end{array}\right.;$ xzoom、yzoom分别为水平和垂直的缩放比率，Newwide、Newheigh为新图像的宽和高，Wide、Height为原图像的宽和高。

本发明的有益效果是：与HDF方法相比本发明有更高的识别率，并且本发明对于旋转、缩放、平移的手势，仍能正确识别，对区分度较小的相近手势仍能保持很高的识别率。另外，相比于单纯用类-Hausdorff距离进行识别，本发明的识别速度有较大提高。

附图说明

图1为本发明建立的二维手势直角坐标系。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

本发明一种静态手势识别方法，首先启动摄像头，获取含有目标手势的当前帧的BMP图像。为了使手势识别时不受手势大小的影响，先把手势图像进行标准化处理，就是把图像尺寸统一到同一大小(采用40*40的图像大小)。首先用肤色分布模型把手势从背景图像中分割出来，然后再把分割后的手势图像进行标准化处理。

图像标准化处理步骤如下：

输入：分割后的手势图像。

输出：标准化后的手势图像。

Step1.求出手势图像的最小外接正方形。

Step2.把正方形内的手势图像按照缩放公式(1)缩放为40*40的大小。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\mathrm{xzoom}& 0\\ 0& \mathrm{yzoom}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(1\right)$

其中， $\left\{\begin{array}{c}\mathrm{xzoom}=\mathrm{Newwide}/\mathrm{Wide}\\ \mathrm{yzoom}=\mathrm{Newheight}/\mathrm{Height}\end{array}\right.;$ xzoom、yzoom分别为水平和垂直的缩放比率，Newwide、Newheigh为新图像的宽和高，Wide、Height为原图像的宽和高。

空间手势坐标点分布特征(handcoordinatesdistributionfeatures,HCDF)是对人手空间特征的抽象描述。

把空间手势坐标点分布特征信息用一个特征向量描述为

$\mathrm{HCDF}=(\stackrel{\→}{\mathrm{OM}};r_1,...,r_8;p_1,...p_8)---\left(2\right)$

其中，第1个向量表示手势的主方向，第2个向量r表示把手势图像划分为8个子图像区域后，每个子图像区域内目标像素点的相对密度，第3个向量p表示在二维手势直角坐标系内，每个子图像区域中目标像素点的点集。

下面详细介绍计算手势坐标点分布特征的步骤：

输入：缩放后的手势图像。

输出：HCDF的三个特征向量。

Step1.计算当前缩放后图像的手势主方向；首先求出手势的重心点O，然后，计算图像中离手势重心最远的手势像素点M，把向量作为手势的主方向。

$\left\{\begin{array}{c}\stackrel{\‾}{x}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}i\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\\ \stackrel{\‾}{y}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}j\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\end{array}\right.---\left(3\right)$

其中，

R表示手势图像中的手势像素区域。

Step2.建立二维手势直角坐标系；对每幅手势图像，以手势重心点为坐标原点，手势主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维手势直角坐标系，如图1所示。

Step3.沿手势主方向顺时针把手势图像等分为8个子图像区域。

Step4.计算每个子图像区域内目标像素点的总数S_i(i＝1,...,8)，并找出S_i的最大值 $S_{\max }=\underset{i=1,...,8}{\max }\left(S_i\right).$

Step5.计算HCDF的第2个特征向量r

$r_i=\frac{S_i}{S_{\max }},i=1,...,8---\left(4\right)$

Step6.HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。

类-Hausdorff距离表征了两个点集之间的最大不匹配程度。类-Hausdorff距离的值越大说明两幅图片相似性越差。类-Hausdorff距离思想如下：

计算出点集A中每一点到点集B中最近一点的距离后，把这些距离的均值作为两个点集之间的距离，其具体定义为

$h(A,B)=\sqrt{\frac{1}{N_A}{\mathrm{\Σ}}_{a\∈A}\underset{b\∈B}{\min }\left|\right|a-b\left|\right|}---\left(5\right)$

其中，N_A为点集A中特征点的个数；选取欧氏距离作为||a-b||的距离范式，定义为

$\mathrm{Dis}(a,b)=\sqrt{{(a_x-b_x)}^2+{(a_y-b_y)}^2},a\∈A,b\∈B---\left(6\right)$

我们采用类-Hausdorff距离作为最终的相似性度量，即公式(7)。

H(A,B)＝h(A,B)+h(B,A)(7)

本实验需要在光照相对稳定的，手势分割比较好的条件下进行。

手势识别算法步骤如下：

输入：摄像头获取的BMP图像。

输出：识别后的三维手势图像。

Step1.启动摄像头，获取当前帧的BMP图像。

Step2.用肤色分布模型把目标手势从BMP图像中提取出来。

Step3.求出手势图像的最小外接正方形，并把它缩放为40*40的标准化图像。

Step4.计算出手势主方向，并建立二维手势直角坐标系，然后求出HCDF中的每个特征向量。

Step5.计算当前手势和样本库里每种手势HCDF中第二个特征向量的欧氏距离dr，然后从小到大选取出M个候选手势G_m。

Step6.根据公式(7)依次计算当前手势C的8个点集p_i和候选手势G_m的8个点集q_i的类-Hausdorff距离His_m(C,G_m)。

其中， ${\mathrm{His}}_m(C,G_m)=\underset{i=1,...,8}{\mathrm{\Σ}}{H}_i(p_i,q_i).$

Step7.求出最小的H，与之对应的样本库里的手势就是最终的识别结果，输出三维手势图像。

其中，H＝Min{His₁,...,His_M}。

以上所述仅是本专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本专利的保护范围。

Claims (2)

1.一种静态手势识别方法，其特征在于，包括以下步骤：

步骤1，启动摄像头，获取含有目标手势的当前帧的BMP图像，用肤色分布模型把目标手势从该BMP图像中提取出来；

步骤2，求出目标手势图像的最小外接正方形，并把其缩放为标准化图像；计算出该标准化图像中目标手势的主方向，并建立二维手势直角坐标系，然后求出空间手势坐标点分布特征HCDF中的每个特征向量；

步骤3，计算步骤2中当前目标手势与样本库里每种手势的空间手势坐标点分布特征HCDF中第二个特征向量的欧氏距离，然后按照欧氏距离的值从小到大的顺序从样本库内选取出对应的M种候选手势G_m；

步骤4，根据类-Hausdorff距离公式依次计算当前目标手势C的8个点集p_i与每种候选手势G_m的8个点集q_i的类-Hausdorff距离His_m(C，G_m)，其中， ${\mathrm{His}}_m(C,G_m)=\underset{i=1,...,8}{\Σ}{H}_i(p_i,q_i);$

步骤5，求出其中最小的类-Hausdorff距离值H，样本库里与之对应的该种手势就是最终的识别结果，输出三维手势图像，其中，H＝Min{His₁,…,His_M}；

在步骤2中，在计算标准化图像中目标手势的主方向时，首先求出目标手势的重心点O，然后，计算图像中离手势重心最远的手势像素点M，把向量作为手势的主方向；

$\left\{\begin{array}{c}\stackrel{\‾}{x}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}i\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\\ \stackrel{\‾}{y}=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}j\×f(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}f(i,j)}\end{array}\right.;$ 其中，R表示手势图像中的手势像素区域；然后对每幅手势图像，以手势重心点为坐标原点，手势主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维手势直角坐标系；

手势主方向顺时针把手势图像等分为8个子图像区域；计算每个子图像区域内目标像素点的总数S_i(i＝1_,...,8)，并找出S_i的最大值计算HCDF的第2个特征向量r_i：

$r_i=\frac{S_i}{S_{\max }},i=1,...,8$

空间手势坐标点分布特征HCDF的第3个特征向量p存放每个子图像区域中目标像素点的点集。

2.根据权利要求1所述静态手势识别方法，其特征在于：在步骤2中，

含目标手势的最小外接正方形图像按照缩放公式缩放为40*40的大小，缩放公式为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}xzoom& 0\\ 0& yzoom\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

其中， $\left\{\begin{array}{c}xzoom=Newwide/Wide\\ yzoom=Newheight/Height\end{array}\right.;$ xzoom、yzoom分别为水平和垂直的缩放比率，Newwide、Newheigh为新图像的宽和高，Wide、Height为原图像的宽和高。