CN103514437A - 一种三维手势识别装置及三维手势识别方法 - Google Patents

Abstract

一种三维手势识别装置及三维手势识别方法，识别装置包括两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元；两个红外摄像头朝上设置与图像采集单元电连接，红外发光二极管驱动单元驱动红外发光二极管发光，运算单元与图像采集单元、红外发光二极管驱动单元、手势识别单元电连接；红外发光二极管发光提供背景光，图像采集单元通过红外摄像头采集手势图像数据并发送到运算单元进行二值化、边缘提取、二维手指定位、三维位置定位处理后发送给手势识别单元实现三维手势识别。本发明采用红外照明和红外摄像头，解决了可见光干扰，朝上的摄像头摄取图像减少了背景的干扰，进一步提高了手势识别的可靠性。

Description

一种三维手势识别装置及三维手势识别方法

技术领域

本发明涉及手势识别技术，尤其涉及一种三维手势识别装置三维手势识别方法。

背景技术

目前，手势交互技术已经广泛应用于人机交互领域，现有技术手势交互技术主要包括基于单摄像头的二维手势识别和基于红外结构光的摄像头三维手势识别，后者如微软公司的产品kinect。基于单摄像头的二维手势识别操作上没有纵深信息，只能识别比较简单的二维手势信息；基于红外结构光的三维手势识别实现成本较高，操作精度有一定缺陷。

因此，现有技术还有待改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明为解决现有技术缺陷和不足，提出一种基于普通红外摄像头的三维手势识别设备及手势识别方法，可消除环境的干扰，提高手势识别的可靠性，计算过程简单，实现成本低。

本发明解决技术问题所采用的技术方案如下：

一种三维手势识别装置，用于对手势进行识别，包括两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元；所述两个红外摄像头的镜头朝上设置，所述图像采集单元与两个红外摄像头电连接，所述红外发光二极管驱动单元与红外发光二极管电连接以驱动红外发光二极管发光，所述运算单元与图像采集单元、红外发光二极管驱动单元、手势识别单元电连接；所述运算单元控制红外发光二极管发光为两个红外摄像头摄取的手势图像提供背景光，所述图像采集单元通过两个红外摄像头采集手势图像数据，并将手势图像数据发送到运算单元进行处理，运算单元获得手势图像数据后发送给手势识别单元实现三维手势识别。

所述两个红外摄像头之间的水平距离为6cm。

所述两个红外摄像头的视角夹角为60°。

所述红外二极管至少为一个。

本发明还提供了一种三维手势识别方法，基于上述三维手势识别装置来实现，其特征在于，包括如下步骤：

将左、右两个红外摄像头水平设置，且摄像头镜头朝上；

所述图像采集单元通过左、右两个红外摄像头分别获取两个红外摄像头上方视角范围内的第一手势图像、第二手势图像发送至运算单元；

运算单元将第一手势图像、第二手势图像分别进行图像二值化处理；

运算单元将二值化处理后的第一手势图像、第二手势图像分别进行边缘提取算法得到第一手势图像的边缘图像、第二手势图像的边缘图像；

运算单元根据第一手势图像的边缘图像、第二手势图像的边缘图像实现手指二维坐标定位；

运算单元将第一手势图像的边缘图像的二维定位坐标和第二手势图像的边缘图像的二维定位坐标转换成三维定位坐标，与预先存储于手势识别单元中的手势模型信息进行匹配识别。

作为进一步改进的方案，手势操作范围为两个红外摄像头的视角的交集。

所述二值化算法采用普通阈值分割实现。

所述边缘提取算法先采用7×7模板的腐蚀算法去除杂散点，然后用7×7模板膨胀恢复原图，再采用恢复的原图减去该恢复的原图经过3×3腐蚀算法后的图像得到边缘图像。

所述二维手指定位采用搜索第一、二手势图像中整个手的边缘轮廓图像，扫描手部轮廓曲线中的夹角，确定夹角为锐角并且方向垂直向上的为指尖部位，定位出手指的每个指尖所在位置。

所述将第一手势图像的边缘图像的二维定位坐标和第二手势图像的边缘图像的二维定位坐标转换成三维定位坐标是通过双目视觉算法实现的。

与现有技术相比较，本发明采用了两个红外摄像头来获取手势图像解决了二维手势识别没有纵深信息导致手势识别不准确；红外发光二极管照明解决了可见光干扰的问题，并且红外摄像头的镜头朝上设置，能减少摄取到的图像背景的干扰，不像现有技术摄取的手势图像往往会受到人体背景的干扰，能够通过简单的计算实现复杂手势的识别，提高识别的准确率。 

附图说明

图1是本发明三维手势识别装置的原理结构框图。

图2是本发明三维手势识别装置具体实施例（仅示出两个红外摄像头和红外发光二极管）的透视结构示意图。

图3是本发明三维手势识别装置具体实施例之红外发光摄像头的视角结构示意图。

图4是本发明三维手势识别方法的工作流程图。

图5是图4中所指二维手指坐标定位的手指定位结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

 如图1所示，本发明三维手势识别装置包括两个红外摄像头21、22，图像采集单元20、红外发光二极管41、红外发光二极管驱动单元40、运算单元30和手势识别单元50。

图1中示出的图像采集单元20与两个红外摄像头21、22电连接，所述红外发光二极管驱动单元40与红外发光二极管41电连接以驱动红外发光二极管发光，所述运算单元30与图像采集单元20、红外发光二极管驱动单元40、手势识别单元50电连接；所述图像采集单元20通过两个红外摄像头21、22采集手势图像数据，并将手势图像数据发送到运算单元30进行处理，运算单元30获得手势图像数据并进行三维坐标定位后发送数据给手势识别单元50进行模式匹配实现三维手势识别。两个红外摄像头进行图像摄取时，所述运算单元可以根据环境光，通过红外发光二极管驱动单元40来控制红外发光二极管41发光为两个红外摄像头摄取的手势图像提供背景光。

具体而言，本发明三维手势识别装置的产品设置为一个盒体，如图2所示，将上述装置的组成部件放置于该盒体10中，图2仅仅示出两摄像头和红外发光二极管的设置位置，其余部件在形成具体产品时，可以是整体设置在PCB上，此处并不做限制，仅用以说明该装置的手势识别原理。两个红外摄像头21、22水平设置在三维手势识别装置10内，其镜头朝上设置。图3示出了两个红外摄像头设置的结构，两个红外摄像头水平方向上的距离为6cm，符合一般双目视觉的合理摆放范围，图中两个红外摄像头视角相交的区域23为目标操作区域，即操作对象——手所处的操作区域，在此目标操作区域的范围内，可以实现该装置对手势的识别，根据两个红外摄像头21、22水平方向上的距离，俩红外摄像头视角相交的夹角为60°。工作时，将手放在盒体10的上方进行操作，这样能够避免摄像头获取图像的背景干扰，提高计算效率。

图4所示是本发明三维手势识别方法实施例的处理流程图，该三维手势识别方法中的手势提取是基于双目视觉技术，其方法步骤如下：

S100，将左、右两个红外摄像头水平设置，且摄像头镜头朝上；

S200，所述图像采集单元通过左、右两个红外摄像头分别获取两个红外摄像头上方视角范围内的第一手势图像、第二手势图像发送至运算单元；这里所述的第一、第二手势图像是指左或右摄像头所摄取的手势图像，由于是两个红外摄像头所分别摄取的，此处用第一、第二来进行区分。所述两个红外摄像头上方视角范围为两红外摄像头视角相交60°夹角范围，该范围即图3中的目标操作区域，操作时，手在该目标操作区域内工作。

S300，运算单元将第一手势图像、第二手势图像分别进行图像二值化处理；所述二值化算法采用普通阈值分割算法来实现。

S400，运算单元将二值化处理后的第一手势图像、第二手势图像分别进行边缘提取算法得到第一手势图像的边缘图像、第二手势图像的边缘图像；所述边缘提取算法先采用7×7模板的腐蚀算法去除杂散点，然后用7×7模板膨胀恢复原图，再采用恢复原图减去该恢复原图经过3×3腐蚀算法后的图得到边缘图像。

S500，运算单元根据第一手势图像的边缘图像、第二手势图像的边缘图像实现二维手指坐标定位；所述二维手指定位采用搜索第一、二手势图像中整个手的边缘轮廓图像，扫描手部轮廓曲线中的夹角，确定夹角为锐角并且方向垂直向上的为指尖部位，定位出手指的每个指尖所在位置。图5示出了第一或第二手势图像的边缘图像的轮廓图，如图5所示，运算单元通过搜索整个手的边缘轮廓图像，来扫描手部轮廓曲线中的夹角，如图中A、B、C点所形成的夹角α，可以定位出手指的指尖所在位置，以得到二维手指坐标。

S600，运算单元将第一手势图像的二维定位坐标和第二手势图像的二维定位坐标结合运算转换成三维定位坐标，与预先存储于手势识别单元的手势模型信息进行匹配识别。具体而言，所述的二维定位坐标是根据第一或第二手势图像的边缘图像来获取手的轮廓坐标，将第一手势图像的二维定位坐标和第二手势图像的二维定位坐标转换成三维定位坐标是通过双目视觉方法实现的，双目视觉算法为现有技术，此处不赘述。

采用本发明装置及方法可以解决可见光对图像的干扰，手在装置上方进行操作也可以有效减少背景的干扰，不像现有技术的手势识别装置，人体在摄像头前面会对摄取的图像有干扰，使计算过程还要考虑人体的干扰，解决了双目视觉计算的复杂度，提高了手势识别的可靠性。

应当理解的是，以上所述仅为本发明的较佳实施例而已，并不足以限制本发明的技术方案，对本领域普通技术人员来说，在本发明的精神和原则之内，可以根据上述说明加以增减、替换、变换或改进，而所有这些增减、替换、变换或改进后的技术方案，都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种三维手势识别装置，用于对手势进行识别，其特征在于，包括两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元；所述两个红外摄像头的镜头朝上设置，所述图像采集单元与两个红外摄像头电连接，所述红外发光二极管驱动单元与红外发光二极管电连接以驱动红外发光二极管发光，所述运算单元与图像采集单元、红外发光二极管驱动单元、手势识别单元电连接；所述运算单元控制红外发光二极管发光为两个红外摄像头摄取的手势图像提供背景光，所述图像采集单元通过两个红外摄像头采集手势图像数据，并将手势图像数据发送到运算单元进行处理，运算单元获得手势图像数据后发送给手势识别单元实现三维手势识别。

2.根据权利要求1所述的三维手势识别装置，其特征在于，所述两个红外摄像头之间的水平距离为6cm。

3.根据权利要求2所述的三维手势识别装置，其特征在于，所述两个红外摄像头的视角为60°。

4.根据权利要求1所述的三维手势识别装置，其特征在于，所述红外二极管至少为一个。

5.一种基于权利要求1至4任一项所述的三维手势识别装置实现三维手势识别方法，其特征在于，所述方法包括如下步骤：

将左、右两个红外摄像头水平设置，且摄像头镜头朝上；

所述图像采集单元通过左、右两个红外摄像头分别获取两个红外摄像头上方视角范围内的第一手势图像、第二手势图像发送至运算单元；

运算单元将第一手势图像、第二手势图像分别进行图像二值化处理；

运算单元将二值化处理后的第一手势图像、第二手势图像分别进行边缘提取算法得到第一手势图像的边缘图像、第二手势图像的边缘图像；

运算单元根据第一手势图像的边缘图像、第二手势图像的边缘图像实现手指二维坐标定位；

运算单元将第一手势图像的边缘图像的二维定位坐标和第二手势图像的边缘图像的二维定位坐标转换成三维定位坐标，与预先存储于手势识别单元中的手势模型信息进行匹配识别。

6.根据权利要求5所述的三维手势识别方法，其特征在于，所述两个红外摄像头上方视角范围为两红外摄像头视角相交60°夹角范围。

7.根据权利要求5所述的三维手势识别方法，其特征在于，所述二值化算法采用普通阈值分割实现。

8.根据权利要求5所述的三维手势识别方法，其特征在于，所述边缘提取算法先采用7×7模板的腐蚀算法去除杂散点，然后用7×7模板膨胀恢复原图，再采用恢复原图减去该恢复原图经过3×3腐蚀算法后的图得到边缘图像。

9.根据权利要求5所述的三维手势识别方法，其特征在于， 所述二维手指定位采用搜索第一、二手势图像中整个手的边缘轮廓图像，扫描手部轮廓曲线中的夹角，确定夹角为锐角并且方向垂直向上的为指尖部位，定位出手指的每个指尖所在位置。

10.根据权利要求5所述的三维手势识别方法，其特征在于，所述将第一手势图像的边缘图像的二维定位坐标和第二手势图像的边缘图像的二维定位坐标转换成三维定位坐标是通过双目视觉算法实现的。

Images