CN101634919B - 一种手势识别的装置与方法 - Google Patents

Abstract

本发明公开了一种手势识别的装置，包括：光源，用于向待触摸输入区域发射特定波长的光线；二维光学传感器，用于接收从待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号；数据处理模块，用于根据二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。本发明还公开了一种手势识别的方法。本发明具有准确的跟踪轨迹，应对图像的畸变效应有很好的精确定位性能，并且实时支持更多的触点，最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪，再此基础上，可以快速的获得更为准确的手势信息。

Description

一种手势识别的装置与方法 

技术领域

本发明涉及触摸输入技术领域，特别是涉及一种手势识别的装置与方法。 

背景技术

手势识别是一种基于对手指运动轨迹做行为分类的技术，而基于多点输入的手势识别是发展趋势。目前市场上能够提供多点运动轨迹的装置主要有以下两种： 

一种是基于透明传感介质的多点触摸屏，该触摸屏主要依靠在玻璃材料中嵌入电容传感器矩阵，材料和工艺造价非常高昂，并不适合大屏幕显示。 

另一种是基于红外线发射/扫描装置的的多点触摸屏，该触摸屏主要依靠在以一定顺序安装在屏幕表面四周的若干对红外线发射和接收元件，在微型计算机***的控制下按照一定的顺序分别接通每一对发射和红外接收元件，检测每一对红外线发射与红外线接收的红外线是否被阻断，以此来判定是否有触摸事件发生。 

但是，基于红外线发射/扫描装置的的多点触摸屏具有以下缺陷：发射/接收元件的对数和工作电路复杂性会随需要检测手指的个数呈指数级增长，很难实现超过2个手指以上的触摸检测。 

发明内容

本发明要解决的问题是提供一种手势识别的装置与方法，以克服现有技术中很难实现多触点触摸检测的缺陷。 

为达到上述目的，本发明的技术方案提供一种手势识别的装置，所述装置包括：光源，用于向待触摸输入区域发射特定波长的光线；二维光学传感器，用于接收从所述待触摸输入区域反射的光线，并根 据接收到的光线形成二维图像信号；数据处理模块，用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。 

其中，所述光源发射的光线的波长为780nm以上。 

其中，所述数据处理模块包括：触点检测子模块，用于根据所述二维图像信号，获取原始图像下的触点坐标信息；坐标校正子模块，用于对所述原始图像下的触点坐标信息进行校准；轨迹跟踪子模块，用于根据相邻帧间的触点关系，匹配触点的连续变化趋势，获取每一个触点的运动轨迹信息；手势识别子模块，用于将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。 

本发明的技术方案还提供一种手势识别的方法，所述方法包括以下步骤：S1，向待触摸输入区域发射特定波长的光线；S2，接收从所述待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号；S3，根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。 

其中，在步骤S2中，具体为：将接收到的光线信号转换为二维八位灰度图像。 

其中，在步骤S3中，具体包括：S31，根据所述二维图像信号，获取原始图像下的触点坐标信息；S32，对所述原始图像下的触点坐标信息进行校准；S33，根据相邻帧间的触点关系，匹配触点的连续变化趋势，获取每一个触点的运动轨迹信息；S34，将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。 

其中，所述步骤S31具体包括：S311，根据所述二维图像信号中各点的像素值概率，将所述二维八位灰度图像转换为二值图像，并划分为触点和背景两类区域；S312，对每个触点区域求得其中心坐标，将所述中心坐标作为原始图像下的触点坐标。 

其中，所述步骤S311具体为：将各点的像素值概率与预先设定 的概率阈值进行比较，当像素值概率大于阈值时，为触点范围内，当像素值概率小于阈值时，为稳定背景区域。 

其中，在所述步骤S33中，具体包括：S331，获取T0时刻触点的序列S₀＝{(x₀₀，y₀₀)(x₀₁，y₀₁)，...(x_0m，y_0m)}；S332，获取T1时刻触点的序列S₁＝{(x₁₀，y₁₀)，(x₁₁，y₁₁)，...(x_1n，y_1n)}；S333，生成距离矩阵 

其中d_ij为T0时刻第i个点距离T1时刻第j个点的距离；S334，遍历所述距离矩阵，找到全局最小值d_pq，判断最小值d_pq是否大于间隔最大值的阈值；如果小于，则p、q为帧间对应的同一点；如果大于，则判定尚未配对的点为移出和新加的点；S335，去除第p行、第q列，得到低一阶的距离矩阵；S336，根据步骤S335中得到的新的距离矩阵，重复步骤S334和S335，直到没有符合配对要求的点。 

与现有技术相比，本发明的技术方案具有如下优点： 

本发明能够结合各种显示设备使其具有触摸输入功能，对于光源和光学传感器的安装没有严格的结构要求。而相对于现有的手势识别技术，本发明具有更为准确的跟踪轨迹，应对图像的畸变效应有很好的精确定位性能，并且实时支持更多的触点，最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪，再此基础上，可以快速的获得更为准确的手势信息。 

附图说明

图1为本发明的一种手势识别装置的结构示意图； 

图2为本发明的另一种手势识别装置的结构示意图； 

图3为本发明的屏幕坐标校正示意图。 

其中，11为激光发射器，12为激光发射器，13为触点，14为激光面，15为二维光学传感器，16为数据处理模块，21为激光发射器，22 为触点，23为触摸板，24为二维光学传感器，25为数据处理模块。 

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。 

本发明的一种手势识别装置的结构如图1所示，包括激光发射器光源11和12(本实施例中为激光发射器)、二维光学传感器15和数据处理模块16。激光发射器以平行于屏幕方向发射线状激光，当用户手指接触或物体接触到激光面14时，触点13处将激光反射至屏幕后方，置于屏幕后方的二维光学传感器接收的信号发生变化。 

本发明的另一种手势识别装置的结构如图2所示，包括激光发射器光源21(本实施例中为激光发射器)、二维光学传感器24和数据处理模块25。其中触摸板23为可透射并具有衰减激光能量的材料，激光发射器21对着触摸板23发射面光源，当手指或物体贴近触摸板时，触点22处具有较强的反射能量，传感器接收的信号变化较大；当手指或物体没有贴近触摸板时，由于触摸板对光源能量的衰减，具有较弱的反射能量，传感器的信号变化很小。 

在本发明中，光源用于向待触摸输入区域发射特定波长的光线，该波长为780nm以上；二维光学传感器用于接收从所述待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号；数据处理模块用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。该数据处理模块包括触点检测子模块、坐标校正子模块、轨迹跟踪子模块和手势识别子模块。触点检测子模块用于根据所述二维图像信号，获取原始图像下的触点坐标信息；坐标校正子模块用于对所述原始图像下的触点坐标信息进行校准；轨迹跟踪子模块用于根据相邻帧间的触点关系，匹配触点的连续变化趋势，获取每一个触点的运动轨迹信息；手势识别子模块用于将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。 

当采用图1或图2所示的手势识别装置时，本发明的一种手势识别方法如下： 

S1，向待触摸输入区域发射特定波长的光线。 

S2，接收从所述待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号。 

S3，根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。其过程包括： 

S31，根据所述二维图像信号，获取原始图像下的触点坐标信息。二维光学传感器将接收到的光信号转化为二维八位灰度图像。在没有手指或物体进入感光区域时，图像各个像素值是稳定的，符合一定参数的高斯分布。当有手指或者物体进入感光区域时，图像对应的区域像素值发生变化，其对应的高斯概率降低。选定一个概率阈值，当像素值概率大于阈值时，为触点范围内，当像素值概率小于阈值时，为稳定背景区域。这样就把八位的灰度图像变化为一个二值图像，划分为触点和背景两类区域。对每个触点区域求得其中心坐标，即为原始图像下的触点坐标信息。 

S32，对所述原始图像下的触点坐标信息进行校准。如图3所示，由于光学器件的光路畸变，二维光学传感器对矩形网格得到的图像，发生了较大的畸变。传统的图像校正技术，是针对于图像每一个像素，直接从畸变图像还原为标准图像，然后再对还原后的图像进行处理，得到在直角正交坐标系下的多触点的坐标信息。这对于实时的多触点检测来说，计算过于复杂，大量的冗余信息消耗了大量的计算资源。本发明首先在校准前的图像上做触点检测，然后仅对触点单一坐标进行校准计算，这样就极大的简化了校准过程。应用薄板样条函数得到弹性形变变换方程。 

S33，根据相邻帧间的触点关系，匹配触点的连续变化趋势，获 取每一个触点的运动轨迹信息。多触点检测是在每一帧上得到的，但轨迹跟踪是要根据相邻帧间的关系来分析得到。以T0和T1时刻的两帧为例： 

首先获取T0时刻触点的序列S₀＝{(x₀₀，y₀₀)，(x₀₁，y₀₁)，...(x_0m，y_0m)}，然后获取T1时刻触点的序列S₁＝{(x₁₀，y₁₀)，(x₁₁，y₁₁)，...(x_1n，y_1n)}，再生成距离矩阵 

其中d_ij为T0时刻第i个点距离T1时刻第j个点的距离。然后进行以下步骤： 

(a)遍历矩阵，找到全局最小值d_pq，判断最小值d_pq是否大于间隔最大值的阈值。如果小于此阈值，则p、q为帧间对应的同一点。如果d_pq大于最大值阈值，则可判定尚未配对的点都是移出和新加的点。 

(b)去除第p行、第q列，得到低一阶的矩阵。 

(c)应用(a)得到新矩阵对应的行和列。 

(d)直到没有符合配对要求的点。 

S34，将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。不同的手势对应不同的轨迹组合。当获取到感兴趣的轨迹组合时，与已经定义好的手势做比对，有匹配成功的，则此轨迹组合即被识别为相应的手势，并通知应用程序。 

本发明能够结合各种显示设备使其具有触摸输入功能，对于光源和光学传感器的安装没有严格的结构要求。而相对于现有的手势识别技术，本发明具有更为准确的跟踪轨迹，应对图像的畸变效应有很好的精确定位性能，并且实时支持更多的触点，最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪，再此基础上，可以快速的获 得更为准确的手势信息。 

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (7)

1.一种手势识别的装置，其特征在于，所述装置包括：

光源，用于向待触摸输入区域发射特定波长的光线；

二维光学传感器，用于接收从所述待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号；

数据处理模块，用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息，所述数据处理模块包括：

触点检测子模块，用于根据所述二维图像信号，获取原始图像下的触点坐标信息；

坐标校正子模块，用于对所述原始图像下的触点坐标信息进行校准；

轨迹跟踪子模块，用于根据相邻帧间的触点关系，匹配触点的连续变化趋势，获取每一个触点的运动轨迹信息；

手势识别子模块，用于将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。

2.如权利要求1所述的手势识别的装置，其特征在于，所述光源发射的光线的波长为780nm以上。

3.一种手势识别的方法，其特征在于，所述方法包括以下步骤：

S1，向待触摸输入区域发射特定波长的光线；

S2，接收从所述待触摸输入区域反射的光线，并根据接收到的光线形成二维图像信号；

S3，根据所述二维图像信号获取每个触摸输入点的屏幕坐标，并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息，具体包括步骤：

S31，根据所述二维图像信号，获取原始图像下的触点坐标信息；

S32，对所述原始图像下的触点坐标信息进行校准； 

S33，根据相邻帧间的触点关系，匹配触点的连续变化趋势，获取每一个触点的运动轨迹信息；

S34，将每个触点的运动轨迹与预先设定的手势信息进行匹配，识别出输入的手势信息。

4.如权利要求3所述的手势识别的方法，其特征在于，在步骤S2中，具体为：将接收到的光线信号转换为二维八位灰度图像。

5.如权利要求4所述的手势识别的方法，其特征在于，所述步骤S31具体包括：

S311，根据所述二维图像信号中各点的像素值概率，将所述二维八位灰度图像转换为二值图像，并划分为触点和背景两类区域；

S312，对每个触点区域求得其中心坐标，将所述中心坐标作为原始图像下的触点坐标。

6.如权利要求5所述的手势识别的方法，其特征在于，所述步骤S311具体为：将各点的像素值概率与预先设定的概率阈值进行比较，当像素值概率大于阈值时，为触点范围内，当像素值概率小于阈值时，为稳定背景区域。

7.如权利要求3所述的手势识别的方法，其特征在于，在所述步骤S33中，具体包括：

S331，获取T0时刻触点的序列S₀＝{(x₀₀，y₀₀)，(x₀₁，y₀₁)，...(x_0m，y_0m)}；

S332，获取T1时刻触点的序列S₁＝{(x₁₀，y₁₀)，(x₁₁，y₁₁)，...(x_1n，y_1n)}；

S333，生成距离矩阵

其中d_ij为T0时刻第i个点距离T1时刻第j个点的距离；

S334，遍历所述距离矩阵，找到全局最小值d_pq，判断最小值d_pq是否大于间隔最大值的阈值；如果小于，则p、q为帧间对应的同一点； 如果大于，则判定尚未配对的点为移出和新加的点；

S335，去除第p行、第q列，得到低一阶的距离矩阵；

S336，根据步骤S335中得到的新的距离矩阵，重复步骤S334和S335，直到没有符合配对要求的点。 

Images