CN103543826A - 一种基于加速度传感器的手势识别方法 - Google Patents

Abstract

本发明公开一种基于加速度传感器的手势识别方法。该方法首先采集三轴加速度传感器信号，设计平滑去噪滤波器对信号进行预处理并自动实现手势信号边界的检测；结合非手势过滤策略，在模版匹配之前将非手势数据过滤；采用动态规划以及DTW算法，对待识别的手势数据与存储的模板数据进行匹配计算，从而找到与待识别手势最近的模板手势；通过斜率限定曲线路径、限定路径区域以及设定失真门限值等策略，减轻模板匹配计算量，降低识别的开销；利用模板自适应策略，自动更新样本模板库，提高手势识别的精度。本发明能在不明显增加终端能耗的前提下，以较高的识别效率和精度，带来更好的用户体验度，促进人机更加自由地交互。

Description

一种基于加速度传感器的手势识别方法

技术领域

本发明是一种基于加速度传感器的手势识别方法，属于人机交互技术领域。 

背景技术

近年来随着计算机技术和通讯技术的发展，用户对计算机使用方便程度和人机交互要求越来越高，尤其在虚拟现实和可穿戴计算领域，传统的人机交互手段如鼠标和键盘越来越显示出它们的局限性。手势作为一种日常生活中常用的自然直观的交流方式，能在许多特定场景表达特定的意义，相比于传统人机交互中的键盘和鼠标，手势能以更加自由、自然的形式与机器交互。目前手势识别的研究方法主要有三种：基于视觉的方法、基于肌电信号的方法和基于惯性传感器的方法。基于图像的手势识别方法对设备要求高、资金投入大，并且限于在特定场所使用，会受到背景、拍摄角度和遮挡问题的影响，实时性能差。基于肌电信号的研究方法通过获取手部肌电信号得到相关的动力学信息，以识别手势。信号采集必须紧贴皮肤并在电极配置方面有较高的要求，目前仅限于实验室研究。近年来，随着传感器技术的发展及其制作工艺的改进，基于加速度传感器的手势识别正日益兴起。加速度传感器不仅具有尺寸小、精度高、功耗低等优点，更具有不受运动场地和环境限制的优点，并不断普及到以手机为代表的智能终端上，使智能终端具备越来越强大的感知能力。智能终端丰富的感知手段以及“随时随身”的特点，使得基于运动传感器的手势研究更为方便，具有更为广阔的应用前景。  

基于加速度传感器的手势识别的识别精度不断提高，识别效率不断改善，但是仍存在以下的不足：1、绝大多数研究工作都是基于专用的传感器设备，在手势识别的应用中用户需要携带专用设备，不适合大范围推广应用。2、在手势识别的过程中，需要用户控制按钮等额外操作来表示手势的开始和结束，给用户带来额外的操作负担，降低了用户的体验度。3、片面最求精度，开销过大，没有考虑到智能终端仍旧是资源受限的设备，尤其是电池续航能力。4、对手势数据的处理过程中，没有有效地区别手势数据和非手势数据，没有在识别算法之前将非手势数据剔除，降低手势识别的效率，不利于智能终端的长久使用。5、由于手势多样性以及执行手势个体的差异，同一识别方法，在不同人群中的识别率不同，需根据手势的多样性和手势个体的差异性，采取有效的识别策略，提高手势识别的效率和精度。 

发明内容

本发明的目的：设计适合资源受限的智能终端的手势识别算法，采用手势边界检测策略，自动判定手势的开始和结束，并结合非手势过滤策略，有效地过滤非手势数据，采用动态规划以及DWT(Dynamic Time Warping，动态时间规整)算法的思想，设计手势识别算法，提高手势识别的效率；采用模板处适应策略，提高手势识别的精度。 

本发明为了达到上述目的采用的技术方案为：一种基于加速度传感器的手势识别算法，其步骤如下： 

步骤(1)、手势数据采集：利用智能终端上的加速度传感器采集动态手势的三维加速度信息； 

步骤(2)、手势数据平滑去噪：设计平滑滤波器对手势过程中获取的三轴加速度数据进行平稳去噪处理，剔除由于手势过程中手的抖动及传感器本身精度的噪声干扰； 

步骤(3)、手势边界检测：采取手势运动判定策略，自动检测手势的开始和结束，不需要用户额外手动指定，提高用户体验度； 

步骤(4)、非手势数据过滤：经过手势边界检测的手势数据送入非手势过滤阶段。非手势过滤机制虽然不能判断出具体手势，但是能够以较高的准确度判断数据流是手势数据还是非手势数据； 

步骤(5)、手势数据量化：在手势识别匹配计算之前，需要对手势数据进行量化，减少手势数据序列长度，提高计算效率；对于资源受限的智能终端来说非常实用； 

步骤(6)、DTW算法匹配计算：利用DTW算法，对待识别的手势数据与存储的样本模板数据进行匹配计算，从而找到与待识别手势最近的样本模板手势，完成手势识别的目的； 

步骤(7)、模板自适应：手势由于多义性和多样性，不同的用户在执行同一个手势时，手势数据序列会表现出明显不同，需要根据用户手势习惯的变化，对样本模板采取有效的自适应策略，选择最适合的样本模板。 

进一步的，所述步骤(1)中的手势数据采集的具体过程如下：人类手势活动一般在10Hz左右，根据奈奎斯特定律，当采样频率大于信号中最高频率的2倍时，采样之后的数字信号完整地保留了原始信号的信息。本发明采用的加速度传感器的采样频率为50Hz。 

进一步的，所述步骤(2)中的手势数据平滑去噪的具体过程如下：采用SMA(Simp1e Moving Average，简单移动平均线)滤波器的方法对获取的加速度数据进行平稳地去噪处理，滤去由于手势过程中不可避免的手的抖动以及传感器本身精度所引起的噪声干扰。SMA滤波器中的数 据序列长度n的大小关系到平滑的效果。n太小，平稳效果不明显；n过大，平稳效果好，但是容易导致手势信息丢失。参照经验，数据序列的长度n去5至15。 

进一步的，所述步骤(3)中的手势边界检测的具体过程如下：通过门限值的策略，自动检测手势的开始和结束，而不需要用户手动指定，从而提高用户体验度。如果采集的手势数据能量值超过了某一门限值，则认为手势运动开始；手势开始之后，如果采集的手势数据能量值在某一规定的时间段内没有超过某一预定阀值，则认为手势结束。基于门限值的手势动作判定中，阀值的设置很大程度决定了判定的准确性。如果阀值过低，用户不经意的细微动作都会判定为手势的开始，阀值过高，则会错过正常手势的开始判定。本发明利用一个较强的阀值来检测手势的运动，在此基础上通过向前和向后的两个较小的阀值来判定手势的开始和结束。 

进一步的，所述步骤(4)中的非手势数据过滤的具体过程如下：利用基于边界限定的非手势过滤主要考察手势加速度的最大值、最小值是否在某一限定的范围内，以及手势的持续时长是否在某一限定范围内。如果加速度大小和时间长度在限定范围内，则认为是手势数据；否则判定为非手势数据，直接丢弃。判定范围边界值在训练样本模板数据时确定。 

进一步的，所述步骤(5)中的手势数据量化的具体过程如下：量化过程分两步进行：一是重采样，这样既可保留手势动作的信息，又大大减少了手势数据序列的长度，从而减轻了后续模板匹配计算。二是将为浮点值的加速度数据转换为整形数据，从而避免了浮点计算。这对于资源受限的智能终端来说是非常实用的。 

进一步的，所述步骤(6)的DTW算法匹配计算的具体实现过程如下：由于手势存在多样性，即使是重复同一个手势，每次所获取的手势数据在空间和时间上也会表现出差异性。DTW算法基于动态规划的思想，采用时间规整，消除待识别手势数据以及样本模板手势数据时间上的差异性；利用DTW累积距离度量待识别手势数据以及样本模板手势数据空间上的差异性，根据DTW累积距离的大小，识别出具体的手势。 

进一步的，所述步骤(7)的模板白适应的具体实现过程如下：DTW匹配算法将采集的数据与训练的样本模板进行匹配计算，样本模板的好坏必然关系到匹配的精度。手势由于其多义性和多样性，不同的用户在执行同一个手势时，手势数据序列会表现出明显的不同；即使是同一个用户执行同一个手势，每次都有明显的差别，需要根据用户手势习惯的变化，对样本模板采取有效的自适应策略，选择最适合的样本模板，从而减少因用户行为习惯对手势识别***的影响，提高手势识别的精度。 

附图说明

图1基于加速度传感器的手势识别方法框架； 

图2平滑去噪后右甩手势三轴加速度测量值图； 

图3右甩手势三轴加速度能量值，变化值和加权总和值图； 

图4基于能量阀值分割的右甩手势边界起止检测图。 

具体实施方式

下面结合附图与实施例对本发明作进一步的详细描述： 

本发明实施过程包括五个主要阶段：对加速度传感器信号预处理；在线对加速度信号序列进行分割分离出对应手势运动序列；判别待测试的手势运动序列是否为手势运动数据还是非手势运动序列；利用DTW算法和模板匹配原理识别出具体的手势；手势模板自适应调整。 

阶段一，即对加速度传感器信号预处理，由于用户移动或者在手势过程中手不可避免的抖动以及传感器本身精度的影响，加速度传感器采集的手势动作数据不可避免受到噪声干扰，利用SMA(Simple Moving Average，简单移动平均线)滤波器的方法对获取的加速度数据进行平稳去噪处理。SMA滤波器的推导公式如下所示： 

Y_i＝(X_i+X_i-1+ΛX_i-(n-1))/n   n＝1,2,3,4，Λ 

上式中n表示数据序列的长度。n的大小关系到平滑的效果。n太小，平稳效果不明显；n过大，平稳效果好，但是容易导致手势信息丢失。参照经验，视不同的情况，n一般取5至15。 

计算的时候，可以直接使用下式： 

Y_now＝Y_previous-X_i-n/n+X_i/n 

手势1的原始数据经过SMA过滤器平稳后的数据如图所示。 

阶段二，分割加速度信号序列分离出手势加速度信号序列。通过门限值的策略，自动检测手势的开始和结束，而不需要用户手动指定，从而提高用户体验度。如果采集的手势数据能量值超过了某一门限值，则认为手势运动开始；手势开始之后，如果采集的手势数据在某一规定的时间段内没有超过某一预定阀值，则认为手势结束。基于门限值的判定策略公式如下： 

$C\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\left(a_i\left(t\right)\right)}^2+(1-C)\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{(a_i\left(t\right)-a_i(t-1))}^2>{\mathrm{\ϵ}}_b$

其中C为调节参数，决定当前三轴加速度能量值和当前三轴加速度值相对于前一测量值变化量的重要性，ε_b为设定的阀值。基于门限值的手势动作判定中，阀值的设置很大程度决定了判定的准确性。如果阀值过低，用户不经意的细微动作都会判定为手势的开始，阀值过高，则会错过正常手势的开始判定。本发明利用一个较强的阀值来检测手势的运动，在此基础上通过向前和向后的两个较小的阀值来判定手势的开始和结束。 

阶段三，对非手势数据的过滤。基于边界限定的非手势过滤主要考察手势加速度的最大值、最小值是否在某一限定范围[A_min，A_max]之内，以及手势的持续时长是否在某一限定[T_min，T_max]之内，如下式所示： 

$\∀A.x\∈[A{.x}_{\min },{A.x}_{\max }]$

$\∀A.y\∈[A{.y}_{\min },{A.y}_{\max }]$

$\∀A.z\∈[{A.z}_{\min },{A.z}_{\max }]$

T∈[T_min，T_max] 

经过阶段二分离出的手势加速度数据，如果加速度大小和时间长度在限定范围之内，则认为是手势数据；否则，判定为非手势数据，直接丢弃。为了避免将手势识别为非手势，边界限定应适当放宽。可以在训练样本模板数据时确定。 

阶段四，利用DTW算法和模板匹配原理识别出具体的手势。对待识别的手势数据与存储的样本模板数据进行匹配计算，从而找到与待识别手势最近的样本模板手势，完成手势识别的目的。在进行模板匹配计算之前，需要预先训练样本模板数据。假设待识别的手势数据为T[N]＝{T₁，T₂，Λ T_N}，共有N个特征矢量，某个参考模板的手势数据为R[M]＝{R₁,R₂，Λ R_M}，共有M个特征矢量，T_j和R_j都是由三维的加速度值组成，包含X，Y，Z轴三个分量，也就是T_i＝{T_i.x，T_i.y，T_i.z}，R_i＝{R_i.x，R_i.y，R_i.z}。DTW匹配算法就是要寻找时间规整函数j＝w(i)，使得待识别手势矢量R[M]的时间轴i非线性地映射到手势样本模板T[N]的时间轴j上，并满足： 

$\mathrm{Dist}=\underset{w\left(u\right)}{\min }\mathrm{\Σd}[T\left(i\right),R\left(w\left(i\right)\right)]$

式中d[T(i)，R(w(i))]是第i帧测试矢量T(i)和第j针手势模板矢量R(j)之间的距离测度。Dist则是在最优情况下的俩矢量之间的匹配路径。 

为了使动态路径搜索问题更具有实际意义，必须对时间规整函数必须满足一下的约束条件： 

1、函数单调性限制。由于加速度传感器采集的手势数据在时间上的时序性，规整函数必 须保证匹配的路径不违背索引序列的时间顺序，也就是规整函数必须满足单调性限制： 

w(i+1)≥w(i) 

2、连续性限制。为了保证识别的正确定，规整函数不允许跳过任何一个匹配点。 

3、为了使路径不过分倾斜，可将斜率约束在0-2范围内，如果路径通过格点(n_i，m_i)，那么前一个节点(n_i-1，m_i-1)只可能是下列三轴情况之一：(n_i-1，m_i)、(n_i-1，m_i-1)、(n_i-1，m_i-2)，路径的累计距离： 

D[(n_i，m_j)]＝d[R(n_i)，T(m_i)]+D[(n_i-1，m_i-1)] 

其中(n_i-1，m_i-1)由下式决定： 

D[(n_i-1，m_i-1)]＝min{D[n_i-1，m_i]，D[(n_i-1，m_i-1)]，D[(n_i-1，m_i-2)]} 

4、在手势识别的匹配计算过程中，待识别手势语样本模板手势之间的DTW累积距离随着两者之间的差异而不断增大。如果待识别手势与手势样本模板属于同一类手势，则DTW累积距离小；如果属于非同类手势，则DTW累积距离大。手势识别***最终将待识别的手势与具有最小DTW累积距离的样本模板手势归为同一类手势，完成手势的识别，通过设置阀值，一旦当前计算DTW累积距离超过失真门限值，表示最终识别结果不是该模板所表示的手势，则可立即终止对该模板的继续计算，从而减少大量的计算开销，提高算法的效率。失真门限值的设定，直接关系到手势识别算法的效率和精度，如果失真门限值过高，则对非同类手势无裁剪作用，无法起到降低计算量的作用；如果失真门限值过低，将会裁剪同类样本模本手势，大大降低算法的精度。本发明采用平均DTW累积距离来设定失真门限值。当待识别手势与样本模本手势匹配计算到待识别手势的第n帧时，平均DTW累积距离为： 

$D_{\mathrm{average}}=\frac{D[n,w\left(n\right))]}{n}$

阶段五，手势样本模板的自适应调整。手势识别算法需要将采集到的手势数据于手势样本模板进行匹配计算，样本模板的好坏，必然关系到匹配的精度。由于手势的多样性和多义性，不同的用户执行同一个手势，即使是同一个用户执行同一个手势，手势数据序列都有明显的差别。本发明采取两种简单的模板自适应策略：1、***每天自动为每个手势采集一个样本模板，自动选择当天DTW匹配距离最小的手势数据作为该类手势的样本模板；2、当手势识别错误时，有用户指定对应手势的样本模板。 

Claims (7)

1.一种基于加速度传感器的手势识别方法，其特征在于该方法步骤如下：

步骤(1)、手势数据采集：利用智能终端上的加速度传感器采集动态手势的三维加速度信息；

步骤(2)、手势数据平滑滤波器：设计平滑滤波器对手势过程中获取的三轴加速度数据进行平稳去噪处理，剔除由于手势过程中手的抖动及传感器本身精度的噪声干扰；

步骤(3)、手势边界检测：采取手势运动判定策略，自动检测手势的开始和结束，不需要用户额外手动指定，提高用户体验度；

步骤(4)、非手势数据过滤：经过手势边界检测的手势数据送入非手势过滤阶段。非手势过滤机制虽然不能判断出具体手势，但是能够以较高的准确度判断数据流是手势数据还是非手势数据；

步骤(5)、手势数据量化：在手势识别匹配计算之前，需要对手势数据进行量化，减少手势数据序列长度，提高计算效率；对于资源受限的智能终端来说非常实用；

步骤(6)、DTW算法匹配计算：利用DTW算法，对待识别的手势数据与存储的样本模板数据进行匹配计算，从而找到与待识别手势最近的样本模板手势，完成手势识别的目的；

步骤(7)、模板自适应：手势由于多义性和多样性，不同的用户在执行同一个手势时，手势数据序列会表现出明显不同，需要根据用户于势习惯的变化，对样本模板采取有效的自适应策略，选择最适合的样本模板。

2.根据权利要求1所述的基于加速传感器的运动识别方法，其特征在于：所述步骤(2)中的手势数据平滑去噪的具体过程如下：采用SMA(Simple Moving Average，简单移动平均线)滤波器的方法对获取的手势加速度数据进行平稳去噪处理，滤去由于手势过程中不可避免的手的抖动以及传感器本身精度所引起的噪声干扰。

3.根据权利要求1所述的基于加速度传感器的运动识别方法，其特征在于：所述步骤(3)中的手势边界检测的具体过程如下：通过门限值的策略，自动检测手势的开始和结束，而不需要用户手动指定，从而提高用户体验度。如果采集的手势数据能量值超过了某一门限值，则认为手势运动开始；手势开始之后，如果采集的手势数据能量值在某一规定的时间段内没有超过某一预定阀值，则认为手势结束。

4.根据权利要求1所述的基于加速度传感器的运动识别方法，其特征在于：所述步骤(4)中的非手势数据过滤的具体过程如下：利用基于边界限定的非手势过滤主要考察手势加速度的最大值、最小值是否在某一限定的范围内，以及手势的持续时长是否在某一限定范围内。如果加速度大小和时间长度在限定范围内，则认为是手势数据；否则判定为非手势数据，直接丢弃。

5.根据权利要求1所述的基于加速度传感器的运动识别方法，其特征在于：所述步骤(5)中的手势数据量化的具体过程如下：量化过程分两步进行：一是重采样，这样既可保留手势动作的信息，又大大减少了于势数据序列的长度，从而减轻了后续模板匹配计算。二是将为浮点值的加速度数据转换为整形数据，从而避免了浮点计算。

6.根据权利要求1所述的基于加速度传感器的运动识别方法，其特征在于：所述步骤(6)中的DTW匹配算法计算具体过程如下：由于手势存在多样性，即使是重复同一个手势，每次所获取的手势数据在空间和时间上也会表现出差异性。DTW算法基于动态规划的思想，采用时间规整，消除待识别手势数据以及样本模板手势数据时间上的差异性；利用DTW累积距离度量待识别手势数据以及样本模板手势数据空间上的差异性，根据DTW累积距离的大小，识别出具体的手势。通过斜率限定曲线路径、限定路径区域以及设定失真门限值等策略，减轻模板匹配的计算量，降低手势识别的开销。

7.根据权利要求1所述的基于加速度传感器的运动识别方法，其特征在于：所述步骤(7)中的模板自适应具体过程如下：1、***每天自动为每个手势采集一个样本模板，自动选择当天DTW匹配距离最小的手势数据作为该类手势的样本模板；2、当手势识别错误时，有用户指定对应手势的样本模板。

Images