CN109409236A - 三维静态手势识别方法和装置 - Google Patents

Abstract

本发明提供了一种三维静态手势识别方法和装置，三维静态手势识别方法包括：获取手势正面图像；获取手势侧面图像；根据手势正面图像和手势侧面图像生成三维手势模型；对三维手势模型进行降维处理；根据降维后的三维手势模型进行手势识别。本发明不仅能够提高手势识别的精度和成功率，还能够降低手势识别的运算时间和功耗。

Description

三维静态手势识别方法和装置

技术领域

本发明涉及人机交互技术领域，具体涉及一种三维静态手势识别方法和一种三维静态手势识别装置。

背景技术

随着计算机的广泛应用，人机交互已经成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然地交流，其中肢体形态语言如手势、体势和表情是人们常用的交流方式，而手势在人机交互中具有方便、生动、形象和直观特点，因此对于手势识别的研究顺应了科技发展的需要。目前，手势识别主要有二维手势识别和三维手势识别等方向。随着手势识别技术的日趋完善，该技术逐渐被各个行业所采用，很大程度上提高了人机交互的便利性和实用性。

但是，由于人手本身具有多样性、多义性、多变性和时空差异性等特点，背景环境复杂多变、不可预知，加之手势自由度高而灵活，使得基于视觉的手势交互成为一个极富挑战性的多学科交叉的研究课题。基于视觉的手势交互技术和方法的研究，不仅在人工智能、模式识别、机器学习等学科中具有重要的理论意义，在智能化的学习、工作以及生活中也具有非常广泛的应用。基于视觉的手势交互技术是实现新一代人机交互不可缺少的一项关键技术。而如何提高手势识别的精度和成功率，并降低手势识别的运算时间和功耗成为亟需解决的问题。

发明内容

本发明为解决如何提高手势识别的精度和成功率，并降低手势识别的运算时间和功耗的技术问题，提供了一种三维静态手势识别方法和装置。

本发明采用的技术方案如下：

一种三维静态手势识别方法，包括：获取手势正面图像；获取手势侧面图像；根据所述手势正面图像和所述手势侧面图像生成三维手势模型；对所述三维手势模型进行降维处理；根据降维后的三维手势模型进行手势识别。

通过对应目标手部正面设置的第一图像采集单元采集所述手势正面图像，并通过沿对应目标手部侧面设置的导轨运动的第二图像采集单元从多个不同的角度采集多个手势侧面图像。

所述导轨为弧形导轨，所述弧形导轨所在的平面垂直于所述目标手部的手掌所在的平面。

所述第一图像采集单元采集一次所述手势正面图像，所述第二图像采集单元沿所述弧形导轨从第一端运动至第二端采集多个手势侧面图像或从第二端运动至第一端采集多个手势侧面图像，完成手势正面图像与手势侧面图像的同步采集。

根据所述手势正面图像和所述手势侧面图像生成三维手势模型，具体包括：参考三维手部骨骼模型的约束关系，根据所述手势正面图像得到三维手势模型指节参数；计算每个所述手势侧面图像中手部的面积，并选取手部的面积最小的手势侧面图像作为选定手势侧面图像；结合三维手势模型指节参数，根据所述选定手势侧面图像得到三维手势模型端指节与图像平面的夹角参数；结合所述三维手势模型指节参数和所述三维手势模型端指节与图像平面的夹角参数生成所述三维手势模型。

所述三维手势模型指节参数包括各个手指指节的长度和根指节、中指节、端指节与图像平面的夹角。

对所述三维手势模型进行降维处理，具体包括：将三维手势模型参数向量从27维降至12维。

根据降维后的三维手势模型进行手势识别，具体包括：以降维后的三维手势模型为输入，运用预先建立的手势识别深度学习模型获得三维手势模型特征向量；对所述三维手势模型特征向量进行量化，获得单个手势离散特征向量，并根据所述单个手势离散特征向量进行训练，获得静态手势分类器参数；将训练后的静态手势分类器用于对所述单个手势离散特征向量进行分类判断，输出手势识别结果。

一种三维静态手势识别装置，包括：第一图像采集单元，所述第一图像采集单元用于采集手势正面图像；第二图像采集单元，所述第二图像采集单元用于采集手势侧面图像；计算机终端，所述计算机终端分别与所述第一图像采集单元和所述第二图像采集单元通过通讯接口相连，所述计算机终端用于根据所述手势正面图像和所述手势侧面图像生成三维手势模型，并对所述三维手势模型进行降维处理，以及根据降维后的三维手势模型进行手势识别。

所述通讯接口为USB(Universal Serial Bus，通用串行总线)数据传输接口或API(Application Programming Interface，应用程序编程接口)接口。

本发明的有益效果：

本发明通过获取手势正面图像和手势侧面图像，并生成三维手势模型，然后对三维手势模型进行降维处理，并根据降维后的三维手势模型进行手势识别，不仅能够提高手势识别的精度和成功率，还能够降低手势识别的运算时间和功耗。

附图说明

图1为本发明实施例的三维静态手势识别方法的流程图；

图2为本发明一个实施例的图像采集单元的设置位置示意图；

图3为本发明一个实施例的以间隔角度采集手势侧面图像的示意图；

图4为本发明一个实施例的图像采集单元沿导轨运动的示意图；

图5为本发明一个具体实施例的三维静态手势识别方法的流程图；

图6为本发明实施例的三维静态手势识别装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例的三维静态手势识别方法包括以下步骤：

S1，获取手势正面图像。

在本发明的一个实施例中，如图2所示，可通过对应目标手部正面设置的第一图像采集单元1采集手势正面图像。

S2，获取手势侧面图像。

在本发明的一个实施例中，如图2所示，可通过沿对应目标手部侧面设置的导轨3运动的第二图像采集单元2从多个不同的角度采集多个手势侧面图像。其中，导轨3为弧形导轨，弧形导轨所在的平面垂直于目标手部的手掌所在的平面。需要说明的是，图2中目标手部与第一图像采集单元1、导轨3之间的位置关系仅作为示意，在具体实施例中以第一图像采集单元1正对目标手部的手掌一面、导轨3所在的平面垂直于目标手部的手掌所在的平面为准。

如图3所示，当第二图像采集单元2沿导轨3运动时，可按照预先设定的角度采集手势侧面图像。N值为采集的角度个数，N为整数且N>1，应当理解，在弧形导轨角度一定的情况下，N值越大，间隔角度越小，采集到的手势侧面图像越多；N值越小，间隔角度越大，采集到的手势侧面图像越少。M值为任意采集角度个数，M为整数且1<M<N。

在本发明的一个实施例中，每次进行手势识别时，可一次同步采集手势正面图像与手势侧面图像。具体地，第一图像采集单元采集一次手势正面图像，第二图像采集单元沿弧形导轨从第一端运动至第二端采集多个手势侧面图像或从第二端运动至第一端采集多个手势侧面图像，完成手势正面图像与手势侧面图像的同步采集。第二图像采集单元完成一次多角度手势侧面图像采集后，停止移动，当进行下一次手势图像采集时，沿导轨向反方向移动。如图4所示，第二图像采集单元2第一次手势图像采集时沿导轨3顺时针方向运动，即从第一端运动至第二端，第二次沿导轨3逆时针方向运动，从第二端运动至第一端，第三次沿导轨3顺时针方向运动，以此类推。

S3，根据手势正面图像和手势侧面图像生成三维手势模型。

S4，对三维手势模型进行降维处理。

具体地，步骤S3包括：参考三维手部骨骼模型的约束关系，根据手势正面图像得到三维手势模型指节参数；计算每个手势侧面图像中手部的面积，并选取手部的面积最小的手势侧面图像作为选定手势侧面图像；结合三维手势模型指节参数，根据选定手势侧面图像得到三维手势模型端指节与图像平面的夹角参数；结合三维手势模型指节参数和三维手势模型端指节与图像平面的夹角参数生成三维手势模型。

其中，手部的面积最小的手势侧面图像，即为最准确的手势侧面图像，通过采集多个手势侧面图像并确定最准确的手势侧面图像，能够提高手势侧面图像采集的准确度，从而提高后续的手势识别精度。

在本发明的一个实施例中，三维手势模型指节参数包括各个手指指节的长度和根指节、中指节、端指节与图像平面的夹角。

进一步地，可对手势正面图像和手势侧面图像进行手部分割，获得归一化的手部图像。

可根据第一图像采集单元采集到的手势正面图像得到各个手指指节的长度和宽度，即每个手指由2个角度表示，一个角度表示根指节与图像平面的夹角，另一个角度表示中指节与图像平面的夹角，根据根指节、中指节夹角与中指节、端指节夹角之间的线性约束关系推导得到端指节与图像平面的夹角，人手骨架模型为27个自由度。加之各手指运动角度范围的静态约束和手指运动指节之间的动态约束，将三维手势模型参数向量从27维降至12维。其中，拇指自由度由5降为2，中指自由度由4降为1，其他三根手指自由度均由4降为2，人手的旋转角度表示有3个自由度，所以，最终得到的三维手势模型参数向量是12维。

S5，根据降维后的三维手势模型进行手势识别。

具体地，可以降维后的三维手势模型为输入，运用预先建立的手势识别深度学习模型获得三维手势模型特征向量，其中，手势识别深度学习模型为12维的三维手势模型。再对三维手势模型特征向量进行量化，获得单个手势离散特征向量，并根据单个手势离散特征向量进行训练，获得静态手势分类器参数。然后，将训练后的静态手势分类器用于对单个手势离散特征向量进行分类判断，输出手势识别结果。

在本发明的一个实施例中，上述的步骤S3至S5可由计算机终端执行。

在本发明的一个具体实施例中，如图5所示，三维静态手势识别方法包括以下步骤：

S101，第一图像采集单元采集手势正面图像。

S102，第二图像采集单元沿导轨做单向运动并案设定角度采集多个不同角度的手势正面图像。

S103，计算机终端接收第一图像采集单元和第二图像采集单元采集到的图像。

S104，参考三维手部骨骼模型的约束关系，根据手势正面图像得到三维手势模型指节参数。

S105，选取手部的面积最小的手势侧面图像作为选定手势侧面图像。

S106，结合三维手势模型指节参数，根据选定手势侧面图像得到三维手势模型端指节与图像平面的夹角参数。

S107，结合三维手势模型指节参数和三维手势模型端指节与图像平面的夹角参数生成三维手势模型。

S108，将三维手势模型参数向量从27维降至12维。

S109，根据降维后的三维手势模型进行手势识别。

综上所述，根据本发明实施例的三维静态手势识别方法，通过获取手势正面图像和手势侧面图像，并生成三维手势模型，然后对三维手势模型进行降维处理，并根据降维后的三维手势模型进行手势识别，不仅能够提高手势识别的精度和成功率，还能够降低手势识别的运算时间和功耗。

对应上述实施例的三维静态手势识别方法，本发明还提出一种三维静态手势识别装置。

如图6所示，本发明实施例的三维静态手势识别装置，包括第一图像采集单元1、第二图像采集单元2和计算机终端4。其中，第一图像采集单元1用于采集手势正面图像；第二图像采集单元2用于采集手势侧面图像；计算机终端4分别与第一图像采集单元1和第二图像采集单元2通过通讯接口相连，计算机终端4用于根据手势正面图像和手势侧面图像生成三维手势模型，并对三维手势模型进行降维处理，以及根据降维后的三维手势模型进行手势识别。

在本发明的一个实施例中，通讯接口为USB数据传输接口或API接口。

在本发明的一个实施例中，计算机终端4包括主控和与主控相连的人机交互模块，人机交互模块可用于设置上述N的值、查看手势识别结果等。

三维静态手势识别装置更具体的实施方式可参照上述三维静态手势识别方法的实施例，在此不再赘述。

根据本发明实施例的三维静态手势识别装置，通过第一图像采集单元采集手势正面图像，通过第二图像采集单元采集手势侧面图像，通过计算机终端根据手势正面图像和手势侧面图像生成三维手势模型，并对三维手势模型进行降维处理，以及根据降维后的三维手势模型进行手势识别，不仅能够提高手势识别的精度和成功率，还能够降低手势识别的运算时间和功耗。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种三维静态手势识别方法，其特征在于，包括：

获取手势正面图像；

获取手势侧面图像；

根据所述手势正面图像和所述手势侧面图像生成三维手势模型；

对所述三维手势模型进行降维处理；

根据降维后的三维手势模型进行手势识别。

2.根据权利要求1所述的三维静态手势识别方法，其特征在于，通过对应目标手部正面设置的第一图像采集单元采集所述手势正面图像，并通过沿对应目标手部侧面设置的导轨运动的第二图像采集单元从多个不同的角度采集多个手势侧面图像。

3.根据权利要求2所述的三维静态手势识别方法，其特征在于，所述导轨为弧形导轨，所述弧形导轨所在的平面垂直于所述目标手部的手掌所在的平面。

4.根据权利要求3所述的三维静态手势识别方法，其特征在于，所述第一图像采集单元采集一次所述手势正面图像，所述第二图像采集单元沿所述弧形导轨从第一端运动至第二端采集多个手势侧面图像或从第二端运动至第一端采集多个手势侧面图像，完成手势正面图像与手势侧面图像的同步采集。

5.根据权利要求1-3中任一项所述的三维静态手势识别方法，其特征在于，根据所述手势正面图像和所述手势侧面图像生成三维手势模型，具体包括：

参考三维手部骨骼模型的约束关系，根据所述手势正面图像得到三维手势模型指节参数；

计算每个所述手势侧面图像中手部的面积，并选取手部的面积最小的手势侧面图像作为选定手势侧面图像；

结合三维手势模型指节参数，根据所述选定手势侧面图像得到三维手势模型端指节与图像平面的夹角参数；

结合所述三维手势模型指节参数和所述三维手势模型端指节与图像平面的夹角参数生成所述三维手势模型。

6.根据权利要求5所述的三维静态手势识别方法，其特征在于，所述三维手势模型指节参数包括各个手指指节的长度和根指节、中指节、端指节与图像平面的夹角。

7.根据权利要求6所述的三维静态手势识别方法，其特征在于，对所述三维手势模型进行降维处理，具体包括：

将三维手势模型参数向量从27维降至12维。

8.根据权利要求7所述的三维静态手势识别方法，其特征在于，根据降维后的三维手势模型进行手势识别，具体包括：

以降维后的三维手势模型为输入，运用预先建立的手势识别深度学习模型获得三维手势模型特征向量；

对所述三维手势模型特征向量进行量化，获得单个手势离散特征向量，并根据所述单个手势离散特征向量进行训练，获得静态手势分类器参数；

将训练后的静态手势分类器用于对所述单个手势离散特征向量进行分类判断，输出手势识别结果。

9.一种三维静态手势识别装置，其特征在于，包括：

第一图像采集单元，所述第一图像采集单元用于采集手势正面图像；

第二图像采集单元，所述第二图像采集单元用于采集手势侧面图像；

计算机终端，所述计算机终端分别与所述第一图像采集单元和所述第二图像采集单元通过通讯接口相连，所述计算机终端用于根据所述手势正面图像和所述手势侧面图像生成三维手势模型，并对所述三维手势模型进行降维处理，以及根据降维后的三维手势模型进行手势识别。

10.根据权利要求9所述的三维静态手势识别装置，其特征在于，所述通讯接口为USB数据传输接口或API接口。