CN103472916B - 一种基于人体手势识别的人机交互方法 - Google Patents

Abstract

本发明涉及基于人体手势识别的人机交互方法，通过KINECT设备对用户行为过程中手臂动作和手指动作进行采集，并对采集后的图像进行运算处理，对处理后的图像进行识别，识别后进行操作控制；对手臂动作进行识别时，通过KINECT设备进行图像采集，得到人体的骨骼图像数据，进行真人到虚拟人的映射，处理获取的数据得到手肘和手掌的行为，进行计算和分析来识别相应的动作后执行控制操作；对手指动作进行识别时，通过KINECT设备获取深度图像，根据手掌坐标获取手的位置，截取合适的手掌区域，再通过对手掌深度图像进行处理，得到手指图像的HU不变矩，通过与标准手势匹配后执行控制操作。本发明实现无缝的人机交互，给用户带来新的体验。

Description

一种基于人体手势识别的人机交互方法

技术领域

本发明涉及智能识别技术领域，特别是涉及一种基于人体手势识别的人机交互方法。

背景技术

随着计算机视觉技术的发展以及人们对新的交互手段的需求，基于计算机视觉的交互方法也逐渐发展起来。传统的交互方式如：鼠标、键盘、手柄等在某些特殊领域已经无法发挥便利的作用，通过人体手势识别来进行非接触式控制的***，完全摆脱了对鼠标和遥控器等的依赖，具有非常好的应用前景。

传统的人机交互方式在使用过程中确定性比较强，比如按下键盘按钮或者点击鼠标的左右键，那么计算机都会将此关联到一定的***事件上，而此过程中一般不会受到周边环境或者使用者改变的影响。基于手势识别的交互表达方式表意丰富，形象生动，比如通过人体不同手势可以组合出非常多的信息，更能符合人的操作习惯，并且这种交互方式可以与其他的交互方式共同组成一组信息。然而，随着更多交互方式的融入，必然增加了在识别过程中的难度，况且人的动作信息有时并不是非常的精准，不像鼠标或者键盘事件那样确定，这也给在图像的识别和处理过程中提出了更高的要求。有时候人们的手在移动的过程中并不表示要和电脑进行交互，可能只是用户的一些无意识行为，那么如何区分这些无效信息，给视觉交互带来了一定的挑战和困难。

发明内容

本发明所要解决的技术问题是提供一种基于人体手势识别的人机交互方法，以解决传统人机交互依赖鼠标和遥控器等局限性，实现更加无缝的人机交互，给用户带来新的体验，较便捷地完成计算机操作或者设备控制。

本发明解决其技术问题所采用的技术方案是：提供一种基于人体手势识别的人机交互方法，通过KINECT设备对用户行为过程中手臂动作和手指动作进行采集，并对采集后的图像进行运算处理，对处理后的图像进行识别，识别后进行操作控制；对手臂动作进行识别时，通过KINECT设备进行图像采集，得到人体的骨骼图像数据，进行真人到虚拟人的映射，处理获取的数据得到手肘和手掌的行为，进行计算和分析来识别相应的动作后执行控制操作；对手指动作进行识别时，通过KINECT设备获取深度图像，根据手掌坐标获取手的位置，截取合适的手掌区域，再通过对手掌深度图像进行处理，得到手指图像的HU不变矩，通过与标准手势匹配后执行控制操作。

所述的基于人体手势识别的人机交互方法还包括定义手臂动作，定义时，以手肘作为圆心，以固定半径画圆，在平面上得到两个随手肘位置改变而移动的圆，并将手掌的位置映射到平面中的两个点上，根据手掌点和手肘圆的相对位置实现不同的控制方式。

对手臂动作进行识别时，获取手掌点基于手肘圆圆心的方向，同时还计算手掌点与手肘圆圆心之间的距离，令手掌点和手肘圆的距离是m，手肘圆的半径为r，则鼠标要移动的距离为dl=m-r。

对手臂动作进行识别时，获取手掌点和手肘圆心的坐标后，以手肘圆心定为原点，建立极坐标系，通过数学计算得到由圆心指向手掌点的角度，角度范围为-180°至180°，以角度划分四个区域，当手掌点与手肘圆心的距离超过手肘圆半径时，计算其角度判断落在哪个区域，最后执行相应的操作。

对手指动作进行识别时，通过KINECT设备的深度摄像头获取深度图像，根据手掌坐标获取手的位置，得到手掌所占深度图像的总象元宽度和高度，截取得到手掌的图像，手掌表面的平均深度对深度图像进行二值化处理，得到手势图，计算出手势图的HU不变矩，并与标准手势的HU不变矩进行比较，根据匹配的结果执行相应的控制命令。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用KINECT设备作为外部输入，可以采集到不同形式的图像数据，通过处理所得到的图像深度值，能够克服传统输入在光照条件不好的情况下图像识别率不高的问题，可以实现在各种光照条件下进行较高精度的识别，满足平常操作环境中的控制与操作。该装置操作简便、成本低、精度满足测量要求，具有很好的使用价值和推广前景。

附图说明

图1为人机交互***示意图；

图2人体手掌点与人体手肘相对位置的形象化表示图；

图3自适应手肘圆触发阈值的变化图；

图4a为移动鼠标原理图，图4b为鼠标按住左键形象图；

图5不同外部输入的手势对比图；

图6KINECT公式换算图；

图7从深度图像中截取的左右手示意图；

图8经过二值化处理的手势深度图

图9五种预定义手势图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

该人机交互***示意图如图1所示。当人体做出具有一定意图的控制手势时，作为外部信息输入设备的KINECT，对人体的手势数据进行记录并传递给计算机，计算机进行处理和识别后，向被控制设备发出控制指令，从而完成对设备的控制和操作。被控制设备即可以是计算机中的软件，也可以是通过有线或无线方式连接到计算机的外部设备。

对于手势的识别包括两部分：（1）手臂动作（2）手指行为。

首先介绍手臂动作的定义方式。根据实际应用，通过KINECT设备只需提取手肘和手掌的信息。如图2所示，***中以手肘作为圆心，以一定的半径画圆，这样，平面上将出现两个随手肘位置改变而移动的圆，并将手掌的位置映射到平面中的两个点上。在实际应用中，将根据手掌点和手肘圆的相对位置实现不同的控制方式。但是，由于用户所站位置的远近不同，用户操作的灵敏度也会不同，因此手肘圆的半径需要能够根据用户所站的距离来自动适应，以保证一定范围内的灵敏度变化。通过测量分析，发现KINECT设备的深度传感器最佳的识别范围在1米至3米间，当用户站在距离KINECT设备1米至2米内时，由于用户的臂长为定值，站得越近，手掌点将越难远离手肘圆，即触发灵敏度越低。而用户站在设备2米至3米内时，由于站得比较远，故一个微小的动作可能就使手掌点远离手肘圆圆心，即触发灵敏度很高，而用户站在距离设备2米左右的位置为最佳位置。

如图3所示，根据以上实际情况，采取如下方案：首先推荐用户站在距离设备2米左右的位置，并设定最合适的手肘圆半径，即触发灵敏度。从2米至1米处，手肘圆半径根据一定的比例变小，至1米时半径最小，小于1米时维持最小半径，此时KINECT设备可能已经无法获取到用户的深度图像。从2米至3米处，为了适应用户对不同灵敏度的需求，手肘圆半径会随着距离的增加而缓慢减小，即逐渐提高其触发灵敏度，超出3米时，会维持3米时的最大灵敏度。

对于手臂识别与鼠标控制的结合方式，用手臂控制鼠标，实际上是解决如何用手臂移动鼠标和用手臂控制鼠标按键的问题。本***通过左手的手肘圆和手掌进行移动鼠标，右手的手肘圆和手掌控制鼠标按键，实现了对鼠标的全面模拟。

（1）移动鼠标

手掌点的位置和手肘圆的位置有三种，分别是点在圆内，点在圆上和点在圆外。我们将通过区分点是否在圆外来判断是否移动鼠标或触发按键。当手掌点的位置在手肘圆内或圆上时，不进行操作，而手掌点的位置在手肘圆的外部时，将根据手肘圆圆心指向手掌点的方向来控制鼠标移动的方向。这样便实现了鼠标360度的全方位移动。在实际操作中，仅仅通过读取方向来控制鼠标是远远不够的，并不能带给用户良好的体验，原因是鼠标移动的速度是一个预先设置的定值，并不能像我们手握鼠标一样轻松自如地操作。

如图4a所示，为了解决该问题，实现根据用户需要，自由地加速或减速鼠标的移动。不仅获取手掌点基于手肘圆圆心的方向，同时还计算它们之间的距离，即通过一个由手肘圆圆心指向手掌点的向量来控制鼠标的移动。假设手掌点和手肘圆的距离是m，手肘圆的半径为r，则鼠标要移动的距离为dl=m-r。这样，鼠标的移动距离便和手掌点与手肘圆圆心的距离关联起来，让用户可以随心所欲地控制鼠标移动的速度。

（2）鼠标按键

如图4b所示，我们将右手肘圈分为四个方向，上下左右。手掌点的位置落在圆外这四个不同的区域时，映射到鼠标不同的按键上，比如手掌点落在圆外左区域时，执行按住鼠标左键操作，当手掌点回到圆内时，释放鼠标左键，完成一次鼠标单击操作。同理，右区域为鼠标右键。而进入的上区域时，只执行滚轮向上操作，进入下区域时，执行滚轮向下操作。具体实现方法为：获取手掌点和手肘圆心的坐标后，以手肘圆心定为原点，建立极坐标系，通过数学计算得到由圆心指向手掌点的角度，角度范围为-180°至180°，以角度划分四个区域，当手掌点与手肘圆心的距离超过手肘圆半径（触发阈值）时，计算其角度判断落在哪个区域，最后执行相应的操作。

对于人体手指的识别，利用KINECT设备的深度传感器来获取深度图像，从而实现在各种亮度的环境下进行手势的准确识别，避免了传统方案没有灯光或光线较差的环境下无法识别手势的缺点。如图5所示，分别是普通摄像头获取的图像（见图5a）、HSV肤色模型提取的手势（见图5b）和KINECT深度传感器提取的手势（见图5c），可见利用KINECT设备具有显著优点，简化了人体手指的提取，方便对数据进行处理和识别。

如图6所示，通过KINECT设备的深度摄像头获取深度图像，然后根据手掌坐标获取手的位置。为了截取合适的手掌区域，我们对手掌进行测量，并通过计算得出手掌区域的大小。换算公式如下：摄像头的视场角是一个以手掌深度位置为底边的一个等腰三角形，手掌的实际深度值是这个等腰三角形的高，这样就能够计算出底边的长度，从而可以将像素的宽度转换为现实中的宽度。计算手掌高度采用类似原理，只不过使用的垂直视场角和深度影像的高度。图6中，Wp为人体所占像素宽度，b为侧面视场范围，d为深度，人体的实际宽度Wr=2b(Wp)/320。

如图7所示，通过上述方法计算出手掌所占深度图像的总像元宽度和高度，截取得到手掌的图像。由于得到的手势信息仍然很混乱，无法准确识别出具体手势，故仍需对图片进行处理。如图8所示，根据手掌表面的平均深度对深度图像进行二值化处理，得到较为清晰的手势图。

如图9所示，在***中预定义了五种标准手势，并赋予每种手势不同的意义以发出不同的控制命令，同时定义了每种手势的HU不变矩。根据前面得到的清晰手势图，计算出它们的七个HU不变矩，和标准手势的HU不变矩进行比较，根据匹配的结果执行相应的控制命令。

本发明采用KINECT设备作为外部输入，可以采集到不同形式的图像数据，通过处理所得到的图像深度值，能够克服传统输入在光照条件不好的情况下图像识别率不高的问题，可以实现在各种光照条件下进行较高精度的识别，满足平常操作环境中的控制与操作。该装置操作简便、成本低、精度满足测量要求，具有很好的使用价值和推广前景。

Claims (4)

1.一种基于人体手势识别的人机交互方法，其特征在于，通过KINECT设备对用户行为过程中手臂动作和手指动作进行采集，并对采集后的图像进行运算处理，对处理后的图像进行识别，识别后进行操作控制；对手臂动作进行识别时，通过KINECT设备进行图像采集，得到人体的骨骼图像数据，进行真人到虚拟人的映射，处理获取的数据得到手肘和手掌的行为，进行计算和分析来识别相应的动作后执行控制操作；对手指动作进行识别时，通过KINECT设备获取深度图像，根据手掌坐标获取手的位置，截取合适的手掌区域，再通过对手掌深度图像进行处理，得到手指图像的HU不变矩，通过与标准手势匹配后执行控制操作；还包括定义手臂动作，定义时，以手肘作为圆心，以固定半径画圆，在平面上得到两个随手肘位置改变而移动的圆，并将手掌的位置映射到平面中的两个点上，根据手掌点和手肘圆的相对位置实现不同的控制方式。

2.根据权利要求1所述的基于人体手势识别的人机交互方法，其特征在于，对手臂动作进行识别时，获取手掌点基于手肘圆圆心的方向，同时还计算手掌点与手肘圆圆心之间的距离，令手掌点和手肘圆的距离是m，手肘圆的半径为r，则鼠标要移动的距离为dl＝m-r。

3.根据权利要求1所述的基于人体手势识别的人机交互方法，其特征在于，对手臂动作进行识别时，获取手掌点和手肘圆心的坐标后，以手肘圆心定为原点，建立极坐标系，通过数学计算得到由圆心指向手掌点的角度，角度范围为-180°至180°，以角度划分四个区域，当手掌点与手肘圆心的距离超过手肘圆半径时，计算其角度判断落在哪个区域，最后执行相应的操作。

4.根据权利要求1所述的基于人体手势识别的人机交互方法，其特征在于，对手指动作进行识别时，通过KINECT设备的深度摄像头获取深度图像，根据手掌坐标获取手的位置，得到手掌所占深度图像的总象元宽度和高度，截取得到手掌的图像，手掌表面的平均深度对深度图像进行二值化处理，得到手势图，计算出手势图的HU不变矩，并与标准手势的HU不变矩进行比较，根据匹配的结果执行相应的控制命令。