CN102938060A - 动态手势识别***及方法 - Google Patents

Abstract

本发明公开了一种动态手势识别***及方法，该方法包括如下步骤：检测运动区域，得到肤色区域；利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；根据手形特征构成特征向量；选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪，本发明可实现快速、高精度动态识别手势的目的。

Description

动态手势识别***及方法

技术领域

本发明关于一种动态手势识别***及方法，特别是涉及一种基于不变性结构特征的动态手势识别***及方法。

背景技术

现有的手势识别方法主要有两种，一种是基于3D模型的手势模型方法，另一种是基于表观的手势模型方法。基于3D模型的手势模型是确定手掌的位置和关节角度，其能够反映手势的局部细节信息，一般是把三维模型映射到图像平面，对模型的运动参数进行搜索匹配。然而，由于3D模型具有很高的特征矢量维度，造成计算量过大，并且在跟踪的过程中会由于误差的不断积累导致跟踪的精度不高甚至丢失目标。基于表观的手势模型，可分为基于区域的跟踪、基于活动轮廓或变形模板的跟踪以及基于其他图像特征的跟踪方法，它们都是完全基于图像表观的非模型方法，由于未能保证所跟踪的特征，如兴趣点、轮廓、2D区域等特征具有不变性，很容易受到遮挡或者条件变化等因素的影响。

发明内容

为克服上述现有技术的不足，本发明之目的在于提供一种动态手势识别***及方法，其利用手势固有的形状结构特征进行手势分割，提取手势的尺度不变性、旋转不变性特征，再采用基于仿射变换的块匹配法对动态手势进行跟踪，以达到速度快、精度高的目的。

为达上述及其它目的，本发明提出一种动态手势识别***，用于对视频中动态手势进行识别，至少包括：

静态手势识别模组，检测视频帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及

动态手势跟踪模组，采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行手势跟踪。

进一步地，该静态手势识别模组包括：

运动区域检测模组，提取帧内运动区域，排除背景干扰，同时缩小检测区域；

特征提取模组，针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及

特征识别模组，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。

进一步地，该运动区域检测模组将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。

进一步地，该特征识别模组选取2000幅人手正样本以及2000副负样本作为训练样本。

进一步地，该特征提取模组包括：

掌心位置及大小计算模组，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；

手指位置计算模组，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；以及

特征向量形成模组，根据手形特征构成特征向量。

进一步地，该动态手势跟踪模组将手势区域作为跟踪对象，进行图像分块，通过将各个小块的运动参数累加，从而得到手区域在相邻两帧之间的运动向量

为达到上述及其他目的，本发明还提供一种动态手势识别方法，用于对视频中动态手势进行识别，包括如下步骤：

步骤一，检测运动区域，得到肤色区域；

步骤二，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；

步骤三，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；

步骤四，根据手形特征构成特征向量；

步骤五，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及

步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪。

进一步地，于步骤一中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。

进一步地，步骤三中，判断手指及缺陷坐标的规则如下：

1)从左至右遍历凸缺陷，寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到D0、D1、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值；

2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标；

3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合，则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标；

4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度。

进一步地，于步骤四中，长度特征向量为指长与手掌半径的比值，角度特征向量为向量手指之间的夹角。

与现有技术相比，本发明一种动态手势识别***及方法通过利用手势固有的形状结构特征进行手势分割，提取手势的尺度不变性、旋转不变性特征，再采用基于仿射变换的块匹配法对动态手势进行跟踪，实现了快速、高精度动态识别手势的目的。

附图说明

图1为本发明一种动态手势识别***的***架构图；

图2为本发明较佳实施例中五指张开的手势模型示意图；

图3为本发明较佳实施例中手形长度特征向量示意图；

图4为本发明较佳实施例中手形角度特征向量示意图；

图5为本发明较佳实施例中的块匹配示意图；

图6为本发明一种动态手势识别方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种动态手势识别***的***架构图。如图1所示，本发明一种动态手势识别***，至少包括：静态手势识别模组10及动态手势跟踪模组11。

其中静态手势识别模组10利用帧间差分法，检测帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征(如指长与手掌半径的比值，相邻手指夹角)，再利用SVM(support vector machine支持向量机)分类器进行分类，从而从肤色区域中定位出手势部分。具体来说，静态手势识别模组10进一步包括运动区域检测模组101、特征提取模组102以及特征识别模组103。

运动区域检测模组101利用帧间差分法，提取帧内运动区域，排除背景干扰，同时缩小检测区域，有效提高运行速度。

在本发明较佳实施例中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。设fⁱ(x，y)为视频中第i帧，为f^i-1(x，y)第i-1帧。帧间差分dⁱ(x，y)为：

$d^i(x,y)=\left\{\begin{array}{c}1,|f^i(x,y)-f^{i-1}(x,y)|>T\\ 0,|f^i(x,y)-f^{i-1}(x,y)|<T\end{array}\right.---\left(1\right)$

特征提取模组102，针对五指张开的手势，提取几何特征，采用手形的相对几何特征(如指长与手掌半径的比值，相邻手指夹角)，再利用SVM分类器进行分类，从而从肤色区域中定位出手势部分。在本发明较佳实施例中，手形的相对几何特征具有尺度不变形以及旋转不变性的特点。特征识别模组103选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。在本发明较佳实施例中，特征识别模组103选取2000幅人手正样本以及2000副负样本作为训练样本。

在本发明较佳实施例中，特征提取模组102还包括：掌心位置及大小计算模组301、手指位置计算模组302以及特征向量形成模组303。

掌心位置及大小计算模组301利用距离变换得到肤色分类器给出的肤色区域中封闭区域的中心点以及该点到边界的平均距离，即掌心位置及掌心大小。对于手势区域而言，掌心是离背景点最远的位置，因此距离变换图像的最大值的点即为掌心。而掌心到边界的平均距离记为r，表示手掌的半径。

设f(x，y)为一副二值图像，由前景A以及背景B两部分组成。则前景A中的像素p的欧式距离变换定义为：

D(p)＝min{d(p，q)q^∈B}               (2)

其中d(p，q)为p，q两个像素点之间的欧式距离。

手指位置计算模组302利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置。手势缺陷如图2所示：

1)从左至右遍历凸缺陷。寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到D0、D1、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值。

2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标。

3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合。则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标F1、F2、F3、F4、F5。

4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度L1、L2、L3、L4、L5。

特征向量形成模组303，根据手形特征构成特征向量，长度特征为指长与手掌半径r的比值L_i/r，i＝1，2...5。角度特征为向量手指之间的夹角θ_i，i＝1，2...5。如图3及图4所示。

动态手势跟踪模组11采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行跟踪。对于动态手势识别而言，相邻两帧中所包含的手部区域可能由于运动、光照等影响而产生形变，因此本发明采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行跟踪。

图5为本发明较佳实施例中的块匹配示意图。图5中的图像块R为第f帧的图像块，由于相邻帧内存在相关性，因此将f-1帧R块周边的B*B邻域定为搜素区域。第f帧R块中像素p(x，y，z)与下一帧对应的像素p’(x’，y’，z’)之间存在着公式(3)表示的仿射变换关系。

$\left[\begin{array}{c}{x}^{,}\\ y^{,}\\ z^{,}\end{array}\right]=\left[\begin{array}{ccc}a& b& 0\\ c& d& 0\\ 0& 0& r\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}e\\ f\\ 0\end{array}\right]=\left(\begin{array}{c}\mathrm{ax}+\mathrm{by}+e\\ \mathrm{cx}+\mathrm{dy}+f\\ \mathrm{rz}+0\end{array}\right)---\left(3\right)$

其中a，b，c，d为尺度因子和旋转因子，e，f为位移矢量，它们共同决定变换后的坐标；r为幅度因子，o为亮度补偿，决定了变换后的像素值。

E(i，j)＝∑_x∑_y|I_f(x，y)-I_f-1(x+i，y+j)|       (4)

E为运动参数(a，b，c，d，e，f，r，o)的函数，通过最优化的方法迭代求出使得E的取值达到最小的最优运动参数。将手势区域作为跟踪对象，它包括多个上述的R块。通过将各个小块的运动参数累加，从而得到了手区域在相邻两帧之间的运动向量。

图6为本发明一种动态手势识别方法的步骤流程图。如图6所示，本发明一种动态手势识别方法，包括如下步骤：

步骤601，运动区域检测，得到肤色区域，根据手形大小等约束条件，提出非手形的肤色区域；

步骤602，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；

步骤603，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置。判断手指及缺陷坐标的规则如下：

1)从左至右遍历凸缺陷。寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到D0、D1、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值。

2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标。

3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合。则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标F1、F2、F3、F4、F5。

4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度L1、L2、L3、L4、L5。

步骤604，根据手形特征构成特征向量，长度特征为指长与手掌半径r的值L_i/r，i＝1，2...5。角度特征为向量手指之间的夹角θ_i，i＝1，2...5。如图3及图4所示；

步骤605，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及

步骤606，利用基于仿射变换的图像块匹配方法进行手形跟踪。将手势区域作为跟踪对象，进行图像分块，通过将各个小块的运动参数累加，从而得到了手区域在相邻两帧之间的运动向量。

综上所述，本发明一种动态手势识别***及方法通过利用手势固有的形状结构特征进行手势分割，提取手势的尺度不变性、旋转不变性特征，再采用基于仿射变换的块匹配法对动态手势进行跟踪，实现了快速、高精度动态识别手势的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种动态手势识别***，用于对视频中动态手势进行识别，至少包括：

静态手势识别模组，检测视频帧内运动区域，得到肤色区域，并针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及

动态手势跟踪模组，采用基于仿射变换的块匹配法，通过计算相邻帧的运动参数进行手势跟踪。

2.如权利要求1所述的动态手势识别***，其特征在于，该静态手势识别模组包括：

运动区域检测模组，提取帧内运动区域，排除背景干扰，同时缩小检测区域；

特征提取模组，针对五指张开的手势，提取几何特征，采用手形的相对几何特征，利用SVM分类器进行分类，从而从肤色区域中定位出手势部分；以及

特征识别模组，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别选取。

3.如权利要求2所述的动态手势识别***，其特征在于:该运动区域检测模组将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。

4.如权利要求3所述的动态手势识别***，其特征在于:该特征识别模组选取2000幅人手正样本以及2000副负样本作为训练样本。

5.如权利要求2所述的动态手势识别***，其特征在于，该特征提取模组包括：

掌心位置及大小计算模组，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；

手指位置计算模组，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；以及

特征向量形成模组，根据手形特征构成特征向量。

6.如权利要求5所述的动态手势识别***，其特征在于：该动态手势跟踪模组将手势区域作为跟踪对象，进行图像分块，通过将各个小块的运动参数累加，从而得到手区域在相邻两帧之间的运动向量。

7.一种动态手势识别方法，用于对视频中动态手势进行识别，包括如下步骤：

步骤一，检测运动区域，得到肤色区域；

步骤二，利用距离变换得到肤色分类器给出的手形区域中掌心位置及掌心大小；

步骤三，利用手势凸包、外轮廓，计算手指位置以及最大缺陷的位置；

步骤四，根据手形特征构成特征向量；

步骤五，选取若干幅人手正样本以及若干副样本作为训练样本，利用SVM分类器进行学习，再将学习后的分类器对视频帧进行手势识别；以及

步骤六，利用基于仿射变换的图像块匹配方法进行手形跟踪。

8.如权利要求7所述的一种动态手势识别方法，其特征在于：于步骤一中，将相邻的图像帧之间的像素进行差分并阈值化，提取出图像中的运动区域。

9.如权利要求7所述的一种动态手势识别方法，其特征在于，于步骤三中，判断手指及缺陷坐标的规则如下：

1)从左至右遍历凸缺陷，寻找缺陷开始点，最大点以及缺陷结束点，并计算最大缺陷值，得到D0、D1、D2、D3、D4、D5六个缺陷点坐标及最大缺陷值；

2)当缺陷值大于设定阈值时，则判定该缺陷为手指间的缺陷。将缺陷的开始点、结束点分别标定位两手指坐标，缺陷位置为指间缺陷坐标；

3)除大拇指以及小拇指以外，剩余指尖由于缺陷开始点及结束点不一定重合，则当不重合时，取两者的平均值作为指尖坐标，从而得到指尖坐标；

4)将相邻最大缺陷点相连，线段的中点被认为是五指的指根坐标，从而通过指尖与指根可以计算出五指的长度。

10.如权利要求7所述的一种动态手势识别方法，其特征在于：于步骤四中，长度特征向量为指长与手掌半径的比值，角度特征向量为向量手指之间的夹角。

Images