CN106293103B - 基于惯性传感器的四轴飞行器手势控制装置和控制方法 - Google Patents

Abstract

本发明涉及一种四轴飞行器的体感手势控制装置和控制方法，手势控制装置包括：控制器和惯性传感器。所述惯性传感节点必须包含三轴角速度计和三轴加速度计，或是两者一体的六轴惯性传感器，三轴磁力计可不包含在内。所述惯性传感节点固定在手指第二指节背部且Y轴正方向指向指尖。所述运动姿态融合采用捷联导航算法。所述控制器上集成一个六轴惯性传感器，用作参考点，手指的实际测量角度是手指关节的惯性传感器与参考点的相对角度。控制方法，根据采集、处理的先后顺序可将过程分为配置传感器、采集误差和计算手指指令三个步骤。所述控制方法只使用横滚角判断手指姿态。所述左手手势指令，根据平伸手指数确定油门档位。所述右手手势指令，根据大拇指和其余四指的伸收确定飞行器向前、后、左和右飞行方向。

Description

基于惯性传感器的四轴飞行器手势控制装置和控制方法

技术领域

本发明涉及一种手势控制装置和方法，特别涉及基于惯性传感器的四轴飞行器手势控制装置和控制方法。

背景技术

近年来，四轴飞行器作为一种特殊的“自拍杆”，已经逐渐在消费市场得到普及。然而针对四轴飞行器的操控方式，目前商用的产品仍然是以手柄操作为主。最近也有些研究人尝试使用手势来控制四轴飞行器，手势控制最核心的部分就是手势识别与手势指令。

目前，手势识别通常有两种方式，一种方式是基于机器视觉。即，通过双目摄像头，提取所拍摄三维空间的景深信息，然后再对手势做三维重建，典型代表就是kinect和leapmotion。这种方式，最大的优点可以实现裸手操作，这是最理想的操控方式。然而，缺点就是对环境光线要求比较苛刻，光照强弱、均匀性等对识别率的影响很大。另外，基于图像的手势识别算法进行的都是二阶矢量运算，需要专用的图形处理器进行加速，整个处理过程的延时和功耗都很大，通常都是在主机设备上使用。

另一种方式是基于传感器技术，即，利用与手指关节贴合的各类传感器检测出手指动作。其中，最主要的一类传感器就是惯性传感器。这种惯性传感器通常包含三轴陀螺仪、三轴加速度计(部分产品还包含三轴磁力计)。这种手势识别方式，最大的优点就是测量的数据直接、快速、功耗低以及受环境影响小，适用于对实时性要求比较高的场景，尤其适合于在户外操控四轴飞行器。

现有的基于惯性传感器的手势控制方法，存在三个问题：(1)识别精度和速度无法兼顾，有些使用了9轴惯性传感器及相应姿态解算算法，片面追求姿态解算的精度，这种方案解算后稳定的延时要达到几十甚至几百毫秒；要么仅使用3轴惯性传感器不做姿态解算和融合，直接使用原始数据做判断，这种方案下传感器本身的漂移对后续识别精度影响很大。(2)手势识别的鲁棒性不够，只是在手掌保持某一特定姿势时识别率较高，例如平举，而当手部有一倾斜角度时，则识别率急剧下降。(3)手势指令的差异性不够明显，例如，旋转手腕和摆动手臂，摆动的时候也会发生轻微的旋转动作，容易产生误操作。

发明内容

发明要解决的问题

本发明要解决的技术问题在于，如何平衡手势识别精度和速度，提高手势识别鲁棒性以及提出一套差异性明显便于稳定识别的手势动作指令。

用于解决问题的方案

有鉴于此，本发明提出了一种基于惯性传感器的四轴飞行器手势控制装置和控制方法，针对上述问题提出解决方案。

一方面，提出了一种手势控制装置，包括：控制器、惯性传感节点。其中，所述控制器固定在手背上，所述惯性传感节点固定在手指第二指节处。所述惯性传感器用于采集手指的运动姿态角信息并输出给控制器，所述控制器用于采集所述传感器的输出数据，并向四轴飞行器发送控制指令。

所述惯性传感节点必须包含三轴角速度计和三轴加速度计，三轴磁力计可不包含在内。

所述惯性传感节点固定在手指第二指节背部且Y轴正方向指向指尖。

所述运动姿态融合采用捷联导航算法，融合后的俯仰角测量范围为-80°～+80°；横滚角测量范围为-180°～180°；地磁导致偏航角持续漂移，无精确测量结果。

所述控制方法中，只使用横滚角判断手指姿态。

所述控制器上集成一个惯性传感器，用作参考点，手指的实际测量角度是手指关节的惯性传感器与参考点的相对角度。

另一方面，提出了一种控制方法，具体实现步骤如下：

步骤1：配置传感器并采集误差值，指的是按照一定要求配置传感器，并采集角速度和加速度的误差值。

步骤2：采集手指信息并计算手指的弯曲程度，指的是采集每个手指的加速度和角速度，计算出各手指相对于手背的弯曲程度。

步骤3：计算当前手势并发送相应的控制命令，指的是根据双手的手指弯曲程度，计算出当前手势，并向四轴飞行器发送对应的手势控制指令。

所述左手控制指令，具体为：

油门一档：手心朝地，平伸食指，其余手指蜷曲。所述手势以食指为例，也可以是其余任意一根手指的平伸动作。

油门二档：手心朝地，平伸食指和中指，其余手指蜷曲。所述手势以食指和中指为例，也可以是其余任意两根手指的平伸动作。

油门三档：手心朝地，平伸食指、中指和无名指，其余手指蜷曲。所述手势以食指、中指和无名指为例，也可以是其余任意三根手指的平伸动作。

油门四档：手心朝地，平伸食指、中指、无名指和小拇指，大拇指蜷曲。所述手势以食指、中指、无名指和小拇指为例，也可以是其余任意四根手指的平伸动作。

油门五档：表示手心朝地，平伸五根手指。

所述右手手势指令，具体为：

向前飞行：手心朝天，大拇指蜷曲，其余四指平伸。

向后飞行：手心朝天，大拇指蜷曲，其余四指蜷曲并压在大拇指上。

向左飞行：手心朝地，大拇指平伸向左，其余四指蜷曲。

向右飞行：手心朝天，大拇指平伸向右，其余四指蜷曲。

附图说明

图1：是本发明的控制装置的左手势命令示意图；

图2：是本发明的控制装置的右手势命令示意图；

图3：是本发明的控制装置的示意性结构图；

图4：是本发明的控制流程图；

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

图1示出本发明一实施例的控制装置的左手势命令示意，图中手指编号101～105分别依次代表左手大拇指、食指、中指、无名指、大拇指。左手控制四轴飞行器的油门，手势106～110分别表示控制油门由低至高依次分为五档。

左手势106：表示手心朝地，平伸食指，其余手指蜷曲，此手势控制油门为一档。所述手势以食指为例，也可以是其余任意一根手指的平伸动作。

左手势107：表示手心朝地，平伸食指和中指，其余手指蜷曲，此手势控制油门为二档。所述手势以食指和中指为例，也可以是其余任意两根手指的平伸动作。

左手势108：表示手心朝地，平伸食指、中指和无名指，其余手指蜷曲，此手势控制油门为三档。所述手势以食指、中指和无名指为例，也可以是其余任意三根手指的平伸动作。

左手势109：表示手心朝地，平伸食指、中指、无名指和小拇指，大拇指蜷曲，此手势控制油门为四档。所述手势以食指、中指、无名指和小拇指为例，也可以是其余任意四根手指的平伸动作。

左手势110：表示手心朝地，平伸五根手指。此手势控制油门为五档。

图2示出本发明一实施例的控制装置右手势命令示意性结构图，图中手指编号201～205分别依次代表右手大拇指、食指、中指、无名指、大拇指。右手势206～209分别表示控制四轴飞行器向前、向后、向左、向右四个方向飞行，此处所谓前后左右方向是相对于四轴飞行器的初始位置。

右手势206：表示手心朝天，大拇指蜷曲，其余四指平伸，此手势控制飞行器向前飞行。

右手势207：表示手心朝天，大拇指蜷曲，其余四指蜷曲并压在大拇指上，此手势控制飞行器向后飞行。

右手势208：表示手心朝地，大拇指平伸向左，其余四指蜷曲，此手势控制飞行器向左飞行。

右手势209：表示手心朝天，大拇指平伸向右，其余四指蜷曲，此手势控制飞行器向右飞行。

图3示出本发明一实例的控制装置300、连接线309和指关节检测装置310的示意图，如图所示，该控制装置包括微控制器301、惯性传感器302、无线传输模块(1)303、无线传输模块(2)304、电源模块305、LED等其他外设模块306，该检测装置包括接线口307、惯性传感器308。其中，所述微控制器301通过SPI通信分别于所述惯性传感器模块302、所述无线传输模块(1)303、所述无线传输模块(2)304、所述接线口307连接。所述接口线307和所述惯性传感器308直接连接。控制装置300固定在手背上且所述惯性传感器302的Y轴正方向指向四个手指。检测装置310固定于手指第二指节背部且所述惯性传感器308的Y轴正方向指向指甲盖。

图4示出本发明提供一种四轴飞行器的控制方法。具体实现步骤如下：

步骤1：配置传感器并采集误差值

在一种可能的实现方式中，控制器按照一定要求配置惯性传感器并控制惯性传感器按照一定的速度采集手指的角速度Gyro和加速度Acc，并将两种数据读入控制器分别计算出角速度误差e_gyro和加速度误差e_acc。其中，角速度和加速度均为三维矢量。

在一具体实施例中：

将双手五指并拢手背朝上水平放置并保持静止状态，采集加速度和角速度值并记录采集次数num。

采集角速度的大小：Gyro(i)＝Gyro_Correct()

采集加速度的大小：Acc(i)＝Acc_Correct()

计算角速度误差：

计算加速度误差：

步骤2：采集手指信息并计算手指的弯曲程度

在一种可能的实现方式中，采集角速度Gyro(i)、加速度Acc(i)使用捷联惯导算法(IMU)进行手指姿态解算并计算出手指的弯曲程度。

在一具体实施例中：

(1)先对采集到的Gyro(i)、Acc(i)进行校准

和

其中，Final.Gyro(i).X、Final.Gyro(i).Y、Final.Gyro(i).Z、Final.Acc(i).XFinal.Acc(i).Y、Final.Acc(i).Z分别代表校准后的角速度、加速度各轴大小。

(2)再把校准后的加速度、角速度单位化，得FN.Gyro(i).X、FN.Gyro(i).Y、FN.Gyro(i).Z、FN.Acc(i).X、FN.Acc(i).Y、FN.Acc(i).Z。

(3)把地理坐标系中的重力加速度矢量通过姿态转换矩阵/>转化成载体坐标系中的矢量/>那么

其中，是由四元数/>构成的矩阵并且四元数的初值

(4)在载体坐标系下，计算惯性传感器所测到的加速度FN.Acc(i)和由姿态矩阵转化的加速度V之间的误差，记作e。

e＝FN .Acc(i)×V (6)

(5)利用比例、积分修正角速度，修正量δ和修正后的角速度w分别是：

δ＝K_pe+K_i∫e (7)

w＝FN .Gyro(i)+δ (8)

(6)利用修正后的角速度去更新四元数

由四元数微分方程得：

其中是更新后的四元数的各个分量

(7)利用跟新后的四元数求出欧拉角

航向角：

俯仰角：pitch＝arcsin(2(q₀q₂-q₁q₃))

横滚角：

横滚角就是惯性传感器绕X轴旋转的角度，记作D₀，故计算出手背上的惯性传感器302绕X轴旋转的角度D₀和各手指上(大拇指除外)的惯性传感器308绕X轴旋转的角度D_i，则各手指(大拇指除外)相对于手背弯曲的角度DT_i＝D_i-D₀。

步骤3：计算当前手势并发送相应的控制命令

在一种可能的实现方式中，当五指并拢伸直手背朝上保持静止时，D₀在C₁到C₂之间。例如，经过多次重复实验，实测-3°到+3°为稳定状态。食指、中指、无名指、小拇指上的惯性传感器绕X轴旋转的角度D₂、D₃、D₄、D₅在C₃到C₄之间，例如，经过多次重复实验，实测当四指并拢伸直保持稳定时角度显示在-3°到+5°之间。大拇指上的惯性传感器绕X轴旋转的角度D₁在C₅到C₆之间，例如，经过多次重复实验，实测在30°到40°之间为稳定状态。

当手背水平朝上四指第二指节紧握，大拇指朝垂直于四指方向张开时，D₂、D₃、D₄、D₅均在C₇到C₈之间，例如，经过多次重复实验，实测数据显示稳定在75°到+93°之间。D₁在C₉到C₁₀之间，例如，经过多次重复实验数据稳定在70°到87°之间。

综合得知，当DT_i(i＝2、3、4、5)在0°到(C₄-C₁+ε)°之间时，例如在0°到+10°之间时，认为DTi对应的手指相对于手背处于伸直状态；当D₁在0°到(C₆+ε)之间时，例如在0°到+40°之间时，认为大拇指处于并拢状态。其中ε代表很小的角度裕量。

当DT_i(i＝2、3、4、5)大于(C₇+ε)时，例如大于65°时，认为DT_i对应的手指相对于手背处于紧握状态；当D₁大于(C₉+ε)时，例如大于70°时，认为大拇指处于张开状态。

从而根据手指张开或者紧握的个数就可以判定当前处于哪个手势，最后向四轴飞行器发送手势所对应的命令。

Claims (9)

1.手势控制装置，其特征在于，包括：控制器、惯性传感节点，其中，所述控制器固定在手背上，所述惯性传感节点固定在手指第二指节处；所述惯性传感器用于采集手指的运动姿态角信息并输出给控制器，所述控制器用于采集所述传感器的输出数据，并向四轴飞行器发送控制指令；

手指的运动姿态角信息为手指相对于手背的弯曲程度；

计算出各手指相对于手背的弯曲程度的过程包括：

对采集到的角速度和加速度进行校准；

将校准后的角速度和加速度进行单位化，得到单位化角速度和单位化加速度；

将地理坐标系中的重力加速度矢量通过姿态转换矩阵转化成载体坐标系中的矢量，其中所述姿态转换矩阵为四元数构成的矩阵；

在载体坐标系下，计算惯性传感器所测到的加速度和由姿态矩阵转化的加速度之间的误差；

基于所述误差，利用比例、积分修正所述单位化角速度，得到修正后的角速度；

利用所述修正后角速度去更新四元数，得到更新后的四元数；

基于更新后的四元数，计算得到欧拉角，所述欧拉角包括：航向角、俯仰角和横滚角，基于所述横滚角，计算出各手指相对于手背的弯曲程度。

2.根据权利要求1所述的手势控制装置，其特征在于，所述惯性传感节点必须包含三轴角速度计和三轴加速度计，或是两者一体的六轴惯性传感器，三轴磁力计可不包含在内。

3.根据权利要求1所述的手势控制装置，其特征在于，所述惯性传感节点固定在手指第二指节背部且Y轴正方向指向指尖。

4.根据权利要求1所述的手势控制装置，其特征在于，所述运动姿态融合采用捷联导航算法，融合后的俯仰角测量范围为-90°～+90°；横滚角测量范围为-180°～180°；地磁导致偏航角持续漂移，无精确测量结果。

5.根据权利要求1所述的手势控制装置，其特征在于，所述控制器上集成一个六轴惯性传感器，用作参考点，手指的实际测量角度是手指关节的惯性传感器与参考点的相对角度。

6.一种手势控制方法，其特征在于，

所述控制方法根据采集、处理的先后顺序可将过程分为三个步骤：

步骤1：配置传感器并采集误差值，指的是按照一定要求配置传感器，并采集角速度和加速度的误差值；

步骤2：采集手指信息并计算手指的弯曲程度，指的是采集每个手指的加速度和角速度，计算出各手指相对于手背的弯曲程度；

计算出各手指相对于手背的弯曲程度的过程包括：

对采集到的角速度和加速度进行校准；

将校准后的角速度和加速度进行单位化，得到单位化角速度和单位化加速度；

将地理坐标系中的重力加速度矢量通过姿态转换矩阵转化成载体坐标系中的矢量，其中所述姿态转换矩阵为四元数构成的矩阵；

在载体坐标系下，计算惯性传感器所测到的加速度和由姿态矩阵转化的加速度之间的误差；

基于所述误差，利用比例、积分修正所述单位化角速度，得到修正后的角速度；

利用所述修正后角速度去更新四元数，得到更新后的四元数；

基于更新后的四元数，计算得到欧拉角，所述欧拉角包括：航向角、俯仰角和横滚角，基于所述横滚角，计算出各手指相对于手背的弯曲程度；

步骤3：计算当前手势并发送相应的控制命令，指的是根据双手的手指弯曲程度，计算出当前手势，并向四轴飞行器发送对应的手势控制指令。

7.根据权利要求6所述的手势控制方法，其特征在于，所述控制方法中，只使用横滚角判断手指姿态。

8.根据权利要求6所述的手势控制方法，其特征在于，左手控制指令，具体为：

油门一档：手心朝地，平伸食指，其余手指蜷曲；所述手势以食指为例，也可以是其余任意一根手指的平伸动作；

油门二档：手心朝地，平伸食指和中指，其余手指蜷曲；所述手势以食指和中指为例，也可以是其余任意两根手指的平伸动作；

油门三档：手心朝地，平伸食指、中指和无名指，其余手指蜷曲；所述手势以食指、中指和无名指为例，也可以是其余任意三根手指的平伸动作；

油门四档：手心朝地，平伸食指、中指、无名指和小拇指，大拇指蜷曲；所述手势以食指、中指、无名指和小拇指为例，也可以是其余任意四根手指的平伸动作；

油门五档：表示手心朝地，平伸五根手指。

9.根据权利要求6所述的手势控制方法，其特征在于，

右手手势指令，具体为：

向前飞行：手心朝天，大拇指蜷曲，其余四指平伸；

向后飞行：手心朝天，大拇指蜷曲，其余四指蜷曲并压在大拇指上；

向左飞行：手心朝地，大拇指平伸向左，其余四指蜷曲；

向右飞行：手心朝天，大拇指平伸向右，其余四指蜷曲。