CN105929939A - 一种远距离手势控制终端 - Google Patents

Abstract

本发明公开了一种远距离手势控制终端。本发明具有以下优点和有益效果：该终端可以实现对智能设备的较远距离的手势控制，并可更为精准的获取手势控制信息，***采用曲率变化跟踪分析算法，大幅提高了手势指令的识别率。

Description

一种远距离手势控制终端

所属技术领域

本发明涉及一种远距离手势控制终端。

背景技术

随着智能电子设备的增多，人机交互技术的发展，手势识别技术被应用到越来越多的智能电子设备中。在人机交互中，人们正试图摆脱以计算机为中心的交互模式转向以人为中心的交互方式，从用户去适应计算机的工作方式向计算机去适应用户的自然需求转变。

手势作为一种自然直观的交流方式广泛应用在日常生活中。手势作为人与人交流的重要媒介，包含了生动而富足的信息。因此，手势识别作为人机交互的一个分支，以其具有自然性，简单丰富性，直接性等特点，逐渐成为人们研究的热点。

现有技术中手势识别比较成熟的是利用图像识别技术实现交互命令的识别。这种基于图像识别的方法一般需要配备高性能的摄像装置，比较典型的应用如微软的Xbox Kinect产品。这种方法通过摄像设备获取静态或动态图像，然后利用计算机视觉算法分析图像，进行模式匹配，从而理解这种手势的含义，实现手势识别。但是，这一技术需要高性能的摄像装置，并且需要高性能的处理器进行复杂的图像分析算法，成本高昂且难以小型化，而且被识别的动作需要面对摄像装置，以上缺点都导致这一技术无法广泛应用。

现有技术中影响动态手势识别率的主要因素有：手具有唯一性，不同人的同一种手势的差别很大；手是三维空间中的物质，在二维图像中手势方向难以确定。目前手势识别方法主要有几何特征法，神经网络法(ANN)和隐马尔可夫模型(HMM)识别方法等。其中ANN和HMM由于算法复杂，实时性不高，并不适用于动态手势识别中，而几何特征识别法则面临识别率不够高的问题。

发明内容

本发明提供一种远距离手势控制终端，该终端可以实现对智能设备的较远距离的手势控制，并可更为精准的获取手势控制信息。

为了实现上述目的，本发明提供一种远距离手势控制终端包括：

视频获取模块，用于从第一红外摄像头获取第一红外图形，从第二红外摄像头获取第二红外图形；

深度获取模块，用于将所述第一红外图形和所述第二红外图形所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块，用于根据所述深度从所述第一红外图形和所述第二红外图形的图像中检测出手图形；

手势获取模块，用于获取经手分离模块确认为手势图形的手势数据；

无线数据收发模块一，用于将远距离手势控制终端的手势数据发送至所述远距离手势控制服务器，并用来接收来自远距离手势控制服务器发送的相关指令数据；

指令获取模块，用于从无线数据收发模块一获取所述手势对应的执行指令；

执行模块，用于执行所述执行指令。

优选的，所述深度获取模块，具体用于：

对所述第一红外图形和所述第二红外图形中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度；

设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在第一红外图形和第二红外图形上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{left}=f\frac{x_c}{z_c}\\ X_{right}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---(1-1)$

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在相机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{left}}{Disparity}\\ y_c=\frac{B\·Y}{Disparity}\\ z_c=\frac{B\·f}{Disparity}\end{array}\right.---(1-2)$

其中B为基线距，等于两摄像机的投影中心连线的距离；f为相机焦距；

因此，第一红外图形的任意一点只要能在第二红外图形找到对应的匹配点，就可以确定出该点的三维坐标，这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

优选的，所述手分离模块，具体用于：

将从所述第一红外图形和所述第二红外图形的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手势图形。

优选的，所述指令获取模块，具体用于:

获取所述控制指令配合模块识别出的控制指令。

优选的，所述视频获取模块具有四个红外传感器，用于采集所述手势操作方向反射回来的红外光信号，并按照同步的时钟信号将采集到的红外光信号经数模转换成四路数字采样信号发送给深度获取模块，经手分离模块判断为手势图形后，手势获取模块获取具有四路数字采样信号的手势数据，然后经无线数据收发模块一发送给远距离手势控制服务器。

优选的，所述控制指令采取如下方式获得：

所述控制服务器对所述四路数字采样信号进行平滑处理；

根据平滑处理后的四路数字采样信号，以时间为x轴，以红外传感器采集到的红外光信号的强度为y轴，分别将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线；

计算不同时间段内所述曲线生成模块输出的四条曲线的曲率；

用于根据所述四条曲线在不同时间段内的曲率获取所述四个曲线的曲率随时间变化的四条变化率曲线；

根据所述四条变化率曲线判断用户的手势；

存储不同的手势所对应的特征曲线模板；

提取所述四条变化率曲线中的波峰值、波峰值出现的时间以及波峰值出现前后的曲率变化特征；

根据所述四条变化率曲线中的所述波峰值、所述波峰值出现的时间以及所述波峰值出现前后的曲率变化特征识别出用户的手势，并给出相应的控制指令。

本发明具有以下优点和有益效果：该终端可以实现对智能设备的较远距离的手势控制，并可更为精准的获取手势控制信息，***采用曲率变化跟踪分析算法，大幅提高了手势指令的识别率。

附图说明

图1示出了本发明的一种包含本发明的远距离手势控制终端的基于手势的远距离控制***的框图。

图2示出了本发明的利用本发明的手势控制终端的远距离手势控制方法的流程图。

具体实施方式

图1是示出了本发明的一种基于手势的远距离控制***。该***包括远距离手势控制终端1和远距离手势控制服务器2。

其中，本发明的一种远距离手势控制终端1包括：

视频获取模块11，用于从第一红外摄像头获取第一红外图形，从第二红外摄像头获取第二红外图形；

深度获取模块12，用于将所述第一红外图形和所述第二红外图形所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块13，用于根据所述深度从所述第一红外图形和所述第二红外图形的图像中检测出手图形；

手势获取模块14，用于获取经手分离模块确认为手势图形的手势数据；

无线数据收发模块一15，用于将远距离手势控制终端的手势数据发送至所述远距离手势控制服务器，并用来接收来自远距离手势控制服务器发送的相关指令数据；

指令获取模块16，用于从无线数据收发模块一15获取所述手势对应的执行指令；

执行模块17，用于执行所述执行指令。

远距离手势控制服务器2包括无线数据收发模块二21、数据缓存模块22、曲线生成模块23、学习模块24和控制指令匹配模块25：

无线数据收发模块二21，用于接收所述终端无线数据收发模块一15发送的远距离手势数据；

数据缓存模块22，用于接收所述手势信号数据，并按照先进先出的原则将所述手势信号数据发送至所述控制指令匹配模块25和曲线生成模块23；

曲线生成模块23，用于根据所述手势数据的变化趋势拟合成曲线；

学习模块24，用于预先学习并存储不同的手势所对应的特征曲线模板；

控制指令匹配模块25，用于根据所述拟合成的曲线和所述特征曲线模板识别出用户的手势，并根据用户的手势输出相应的控制指令，并将控制指令经由无线数据收发模块二发送给所述远距离手势控制终端1。

优选的，所述深度获取模块12，具体用于：

对所述第一红外图形和所述第二红外图形中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度；

设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在第一红外图形和第二红外图形上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{left}=f\frac{x_c}{z_c}\\ X_{right}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---(1-1)$

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在相机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{left}}{Disparity}\\ y_c=\frac{B\·Y}{Disparity}\\ z_c=\frac{B\·f}{Disparity}\end{array}\right.---(1-2)$

其中B为基线距，等于两摄像机的投影中心连线的距离；f为相机焦距；

因此，第一红外图形的任意一点只要能在第二红外图形找到对应的匹配点，就可以确定出该点的三维坐标，这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

优选的，所述手分离模块13，具体用于：

将从所述第一红外图形和所述第二红外图形的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手势图形。

优选的，所述指令获取模块16，具体用于:

获取所述控制指令配合模块识别出的控制指令。

优选的，所述视频获取模块11具有四个红外传感器，用于采集所述手势操作方向反射回来的红外光信号，并按照同步的时钟信号将采集到的红外光信号经数模转换成四路数字采样信号发送给深度获取模块12，经手分离模块13判断为手势图形后，手势获取模块14获取具有四路数字采样信号的手势数据，然后经无线数据收发模块一15发送给远距离手势控制服务器。

优选的，所述曲线生成模块23包括依次连接的预处理单元和曲线合成单元，所述预处理单元还与所述数据缓存模块22连接，所述曲线合成单元还与所述学习模块和所述控制指令匹配模块连接，其中：

所述预处理单元，用于对所述四路数字采样信号进行平滑处理；

所述曲线合成单元，用于根据平滑处理后的四路数字采样信号，以时间为x轴，以红外传感器采集到的红外光信号的强度为y轴，分别将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线。

优选的，所述学习模块24包括依次连接的曲率计算单元、变化率曲线生成单元、手势判断单元以及存储单元，所述曲率计算单元与所述曲线合成单元连接，所述存储单元与所述控制指令匹配模块连接，其中：

所述曲率计算单元，用于计算不同时间段内所述曲线生成模块输出的四条曲线的曲率；

所述变化率曲线生成单元，用于根据所述四条曲线在不同时间段内的曲率获取所述四个曲线的曲率随时间变化的四条变化率曲线；

所述手势判断单元，用于根据所述四条变化率曲线判断用户的手势；

所述存储单元，用于根据所述手势判断单元的判断结果存储不同的手势所对应的特征曲线模板。

优选的，所述学习模块24还包括连接在所述变化率曲线生成单元和所述手势判断单元之间的触发单元；

所述触发单元，用于判断当前时刻所述四条变化率曲线中的曲率值是否有一个达到预设的曲率范围，若是，则触发所述手势判断单元识别用户的手势。

优选的，所述手势判断单元包括依次连接的特征提取单元和手势识别单元，所述特征提取单元还与所述变化率曲线生成单元连接，所述手势识别单元还与所述控制指令匹配模块连接，其中：

所述特征提取单元，用于提取所述四条变化率曲线中的波峰值、波峰值出现的时间以及波峰值出现前后的曲率变化特征；

所述手势识别单元，用于根据所述四条变化率曲线中的所述波峰值、所述波峰值出现的时间以及所述波峰值出现前后的曲率变化特征识别出用户的手势。

优选的，所述无线数据收发模块二21包括接收器、分发器、流控器和频控器，接收器用于接收无线数据收发模块一发送的远距离手势控制终端数据，分发器将接收器接收的远距离手势控制终端数据分发至数据缓存模块，并将远距离手势控制终端数据接收的速度传递给自适应控制器模块，流控器将自适应控制器模块产生的自适应值发送给频控器，以控制远距离手势控制终端数据接收的速率。

图2示出了本发明的一种远距离手势控制方法。该方法具体包括如下步骤：

S1.视频获取模块获取红外图形，深度获取模块获取来自不同红外摄像机的红外图形的深度；

S2.从所述红外图形中分离出红外手势图形，手势获取模块获取红外手势图形的数据，然后发送给远距离手势控制服务器；

S3.曲线生成模块根据所述手势数据生成相应数据曲线，在此之前，学习模块预先学习并存储不同手势所对应的特征曲线模板；

S4.控制指令匹配模块根据所述数据曲线和所述特征曲线模板识别出用户的手势，并根据用户的手势输出相应的控制指令；

S5.将控制指令发送给远距离手势控制终端，并执行该指令。

优选的，所述步骤S1具体包括：

对不同红外摄像机中的具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度；

设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在第一红外图形和第二红外图形上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{left}=f\frac{x_c}{z_c}\\ X_{right}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---(1-1)$

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在相机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{left}}{Disparity}\\ y_c=\frac{B\·Y}{Disparity}\\ z_c=\frac{B\·f}{Disparity}\end{array}\right.---(1-2)$

其中B为基线距，等于两摄像机的投影中心连线的距离；f为相机焦距；

因此，第一红外图形的任意一点只要能在第二红外图形找到对应的匹配点，就可以确定出该点的三维坐标，这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

优选的，在步骤S2中，将所述物体的深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手势图形。

优选的，在步骤S1中，视频获取模块具有四个红外传感器，用于采集所述手势操作方向反射回来的红外光信号，并按照同步的时钟信号将采集到的红外光信号经数模转换成四路数字采样信号发送给深度获取模块。

优选的，在步骤S2中，经手分离模块判断为手势图形后，手势获取模块获取具有四路数字采样信号的手势数据，然后经无线数据收发模块一发送给远距离手势控制服务器。

优选的，在步骤S3中，根据所述数据缓存模块输出的四路数字采样信号将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线具体包括：

对所述数据缓存器输出的四路数字采样信号进行平滑处理；

根据平滑处理后的四路数字采样信号，以时间为x轴，以红外传感器采集到的红外光信号的强度为y轴，分别将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线。

优选的，所述预先学习并存储不同的手势所对应的特征曲线模板具体包括：

将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线，并计算不同时间段内所述四条曲线的曲率；

根据所述四条曲线在不同时间段内的曲率获取所述四个曲线的曲率随时间变化的四条变化率曲线；

根据所述四条变化率曲线判断用户的手势，并根据判断结果存储不同的手势所对应的特征曲线模板。

优选的，所述根据所述四条变化率曲线判断用户的手势，并根据判断结果存储不同的手势所对应的特征曲线模板之前还包括；

判断当前时刻所述四条变化率曲线中的曲率值是否有一个达到预设的曲率范围，若是，则进入根据所述四条变化率曲线判断用户的手势的步骤。

优选的，所述根据所述四条变化率曲线判断用户的手势具体包括：

提取所述四条变化率曲线中的波峰值、波峰值出现的时间以及波峰值出现前后的曲率变化特征；

根据所述四条变化率曲线中的所述波峰值、所述波峰值出现的时间以及所述波峰值出现前后的曲率变化特征识别出用户的手势。

如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的***、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种远距离手势控制终端，包括：

视频获取模块，用于从第一红外摄像头获取第一红外图形，从第二红外摄像头获取第二红外图形；

深度获取模块，用于将所述第一红外图形和所述第二红外图形所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块，用于根据所述深度从所述第一红外图形和所述第二红外图形的图像中检测出手图形；

手势获取模块，用于获取经手分离模块确认为手势图形的手势数据；

无线数据收发模块一，用于将远距离手势控制终端的手势数据发送至所述远距离手势控制服务器，并用来接收来自远距离手势控制服务器发送的相关指令数据；

指令获取模块，用于从无线数据收发模块一获取所述手势对应的执行指令；

执行模块，用于执行所述执行指令。

2.如权利要求1所述的终端，其特征在于，所述深度获取模块，具体用于：

对所述第一红外图形和所述第二红外图形中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度；

设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在第一红外图形和第二红外图形上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{left}=f\frac{x_c}{z_c}\\ X_{right}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---(1-1)$

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在相机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{left}}{Disparity}\\ y_c=\frac{B\·Y}{Disparity}\\ z_c=\frac{B\·f}{Disparity}\end{array}\right.---(1-2)$

其中B为基线距，等于两摄像机的投影中心连线的距离；f为相机焦距；

因此，第一红外图形的任意一点只要能在第二红外图形找到对应的匹配点，就可以确定出该点的三维坐标，这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

3.如权利要求2所述的终端，其特征在于，所述手分离模块，具体用于：

将从所述第一红外图形和所述第二红外图形的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手势图形。

4.如权利要求3所述的终端，其特征在于，所述指令获取模块，具体用于:

获取所述控制指令配合模块识别出的控制指令。

5.如权利要求4所述的终端，其特征在于，所述视频获取模块具有四个红外传感器，用于采集所述手势操作方向反射回来的红外光信号，并按照同步的时钟信号将采集到的红外光信号经数模转换成四路数字采样信号发送给深度获取模块，经手分离模块判断为手势图形后，手势获取模块获取具有四路数字采样信号的手势数据，然后经无线数据收发模块一发送给远距离手势控制服务器。

6.如权利要求1所述的终端，其特征在于，所述控制指令采取如下方式获得：

所述控制服务器对所述四路数字采样信号进行平滑处理；

根据平滑处理后的四路数字采样信号，以时间为x轴，以红外传感器采集到的红外光信号的强度为y轴，分别将所述四个红外传感器采集到的红外光信号强度的变化趋势拟合成四条曲线；

计算不同时间段内所述曲线生成模块输出的四条曲线的曲率；

用于根据所述四条曲线在不同时间段内的曲率获取所述四个曲线的曲率随时间变化的四条变化率曲线；

根据所述四条变化率曲线判断用户的手势；

存储不同的手势所对应的特征曲线模板；

提取所述四条变化率曲线中的波峰值、波峰值出现的时间以及波峰值出现前后的曲率变化特征；

根据所述四条变化率曲线中的所述波峰值、所述波峰值出现的时间以及所述波峰值出现前后的曲率变化特征识别出用户的手势，并给出相应的控制指令。