CN108983957A - 可穿戴装置及手势识别*** - Google Patents

Abstract

本发明涉及一种可穿戴装置，用于识别用户在驾驶车辆时所做的手势，可穿戴装置包括：加速度传感器，用于捕获用户手部的第一运动信息；陀螺仪传感器，用于捕获用户手部的第二运动信息；电子罗盘，用于捕获用户手部的第一方向信息；以及识别处理单元，其结合第一、第二运动信息以及第一方向信息而生成用户手势信息。其能够完整地、准确地表征用户在驾驶车辆时所做的各种复杂手势，简化了用户驾驶操作、提高了用户使用体验。

Description

可穿戴装置及手势识别***

技术领域

本发明涉及手势识别技术领域，更具体地说，涉及一种可穿戴装置及手势识别***。

背景技术

随着各种新技术在车辆内的普及应用，以及出于提高用户驾驶体验方面的考量，手势识别技术已逐渐应用车辆中。

目前，现有技术中，对用户手势的检测有两类解决方案：

第一类解决方案是通过摄像头采集进而识别用户的手势，进而进行人机交互。但其缺点是：（1）图像识别不够准确，且一般只能识别静态的动作和姿势，（2）手势种类少、算法复杂而又往往存在缺陷，导致识别精度不高，在保障安全性的前提下，能够识别的手势种类很少。

第二类解决方案是通过肌肉传感器采集用户的手势，进而进行人机交互，例如CN105190578，CN105706024等专利文献。通过肌肉传感器感知手势来控制多媒体***如如下方式操作：在手臂上佩戴无线式的肌肉传感器，预先设定手势与多媒体***交互之间的对应关系，例如一个特定的手势对应一种操作（界面切换等）。用户在执行特定手势的时候，手臂上会产生特定的肌肉活动，传感器对该特定的肌肉活动进行感应，识别之后多媒体***，实现对其的控制。这种方案存在以下缺点：（1）容易误触发，即：用户在正常活动中，在不存在操作意愿时，有可能做出与操作要求一样的手势，造成误触发；（2）手势种类同样较少，这是因为肌肉群的活动样式有限。

发明内容

本发明的目的之一是提供一种可穿戴装置，其能够准确、可靠地识别用户在驾驶车辆时所做的手势。

为实现上述目的，本发明提供一种技术方案如下：

一种可穿戴装置，用于识别用户在驾驶车辆时所做的手势，可穿戴装置包括：加速度传感器，用于捕获用户手部的第一运动信息，第一运动信息表征用户手部的运动的加速度信息；陀螺仪传感器，用于捕获用户手部的第二运动信息，第二运动信息表征用户手部的角运动信息；电子罗盘，用于捕获用户手部的第一方向信息；以及识别处理单元，其结合第一、第二运动信息以及第一方向信息而生成用户手势信息。

优选地，第一运动信息、第二运动信息及第一方向信息中的每个均包括分别对应于X、Y、Z轴的三个信息段。

优选地，加速度传感器、陀螺仪传感器和电子罗盘同时对手部的运动信息进行捕获。

优选地，识别处理单元还利用车辆运动信息与第一、第二运动信息以及第一方向信息进行向量运算来生成用户手势信息。

优选地，手势包括下面手势中的至少一个：直线加速手势；直线折返手势；圆形轨迹手势；以及半圆形轨迹手势。

优选地，可穿戴装置还包括蓝牙通信模块，蓝牙通信模块与设置于车辆上的车载主机相通信，以用于将手势指令传送至车载主机。

本发明还公开一种车载手势识别***，包括：可穿戴装置；车载主机，与可穿戴装置在通信上耦合；车载红外传感器，与车载主机在通信上耦合；以及其中，可穿戴装置在以下情况下生成用户手势信息：车载主机确定用户所做的手势处于车载红外传感器的识别范围内。

本发明进一步提供一种手势识别方法，用于识别用户在驾驶车辆时所做的手势，该方法包括：a)、捕获用户手部的第一运动信息，第一运动信息表征用户手部的运动的加速度信息；b)、捕获用户手部的第二运动信息，第二运动信息表征用户手部的角运动信息；c)、捕获用户手部的第一方向信息；以及d)、结合第一、第二运动信息以及第一方向信息来生成用户手势信息。

本发明各实施例提供的可穿戴装置及车载手势识别***，配置有多种不同的传感器，其能够完整地、准确地表征用户在驾驶车辆时所做的各种复杂手势，在屏蔽无意手势、误操作手势方面明显优于现有技术方案，从而简化了用户驾驶操作。所提供的手势识别方法也能够完整地、准确地表征用户在驾驶车辆时所做的各种复杂手势，进而促进提升用户使用体验。

附图说明

图1示出本发明第一实施例提供的可穿戴装置的模块结构示意图。

图2示出根据本发明第二实施例的可穿戴装置与车载主机之间的数据流向图。

图3示出本发明第三实施例提供的手势识别方法的流程示意图。

具体实施方式

在以下描述中提出具体细节，以便提供对本发明的透彻理解。然而，本领域的技术人员将清楚地知道，即使没有这些具体细节也可实施本发明的实施例。在本发明中，可进行具体的数字引用，例如“第一元件”、“第二装置”等。但是，具体数字引用不应当被理解为必须服从于其字面顺序，而是应被理解为“第一元件”与“第二元件”不同。

本发明所提出的具体细节只是示范性的，具体细节可以变化，但仍然落入本发明的精神和范围之内。术语“耦合”定义为表示直接连接到组件或者经由另一个组件而间接连接到组件。

以下通过参照附图来描述适于实现本发明的方法、***和装置的优选实施例。虽然各实施例是针对元件的单个组合来描述，但是应理解，本发明包括所公开元件的所有可能组合。因此，如果一个实施例包括元件A、B和C，而第二实施例包括元件B和D，则本发明也应被认为包括A、B、C或D的其他剩余组合，即使没有明确公开。

如图1所示，本发明第一实施例提供一种可穿戴装置10，其用于识别用户在驾驶车辆时所做的手势，可穿戴装置10包括多种传感器，包括：加速度传感器101、陀螺仪传感器102以及电子罗盘103，以及识别处理单元110、蓝牙通信模块120。

具体地，加速度传感器101用于捕获用户手部的第一运动信息，其能够表征用户手部的运动的加速度信息。陀螺仪传感器102用于捕获用户手部的第二运动信息，其能够表征用户手部的角运动信息。电子罗盘103用于捕获用户手部的第一方向信息。

可以理解的是，第一运动信息、第二运动信息以及第一方向信息的组合表征用户手部的运动的加速度信息、角运动信息以及方向信息，能够充分涵盖用户手部（相对于车辆）的多种运动特征，从而能够用来区分各种不同手势，即使它们之间仅仅存在少许差异，甚至是手势在某个微小时间段上的速度、加速度、方向以及轨迹差异。

为了能够完整地体现用户在驾驶车辆时所做的各种复杂手势，并使得有效手势能够明显地区别于无效手势（例如误操作手势或无意手势），有必要采用多种不同的传感器。

根据本发明第一实施例，加速度传感器101有助于识别直线加速手势、直线折返手势。陀螺仪传感器102有助于识别圆形轨迹手势、半圆形轨迹手势。电子罗盘103有助于识别手势的方向信息。

优选情况下，第一运动信息、第二运动信息及第一方向信息中的每个均包括分别对应于X、Y、Z轴的三个信息段。换言之，加速度传感器101、陀螺仪传感器102以及电子罗盘103各自能够在三个轴的方向上识别用户手部的运动信息或方向信息，这有助于进一步提高手势识别的准确度。

根据本发明一实施例，加速度传感器101、陀螺仪传感器102以及电子罗盘103同时地识别、记录用户手部的运动信息或方向信息，进而，这些信息的组合能够表征用户手部在特定时间或时间段内作出的一个完整手势。

作为另一改进的实施例，加速度传感器101、陀螺仪传感器102以及电子罗盘103共同集成于一块测量芯片上，该芯片直接接入可穿戴装置10。在测量芯片上还可以设置其他的运算电路，从而可以对三个传感器采集的信号进行简单的处理，例如，模拟信号至数字信号的转换，数字信号的归一化等。

识别处理单元110分别与加速度传感器101、陀螺仪传感器102以及电子罗盘103相耦合，其结合第一、第二运动信息以及第一方向信息而生成用户手势信息。

具体来说，识别处理单元110分别分析第一运动信息的三个信息段（分别对应于X、Y、Z轴），第二运动信息的三个信息段，以及第一方向信息的三个信息段。共计九个信息段的组合能够形成用户手势信息，不同的用户手势信息相互之间差异明显，从而区分度良好。可能需要引入复杂的计算公式或模型来表征不同的用户手势信息，但可以理解，本发明的思想与具体的公式或模型无关。

进一步地，识别处理单元还可以获取车辆运动信息，作为示例，可以从车辆自身携带的传感器来获取。该车辆运动信息独立于用户手势信息。具体地，车辆运动信息是由与车内主机相耦合的附加传感器探测到，然后通过无线通信方式（如蓝牙）反馈到可穿戴装置的识别处理单元110。随后，将可穿戴装置的三个传感器（加速度传感器101、陀螺仪传感器102以及电子罗盘103）探测到的数据按向量运算方式来减去反馈信号，能够得到用户手部在汽车运动过程中的相对运动信息，从而生成手势轨迹。由于用户经常会在车辆行驶过程中通过手势来控制车辆状态，安装于车身上的三个传感器探测得到的手势数据实际上是车辆自身运动信息与用户手部运动信息的叠加。在运动的车辆中，即使用户没有手势动作，传感器设备也会探测到相应的运动信息。因而，有必要将车辆运动信息考虑在内（例如从传感器数据中减去），这使得所生成的用户手势信息更准确地反映出用户手部相对于汽车的运动信息。换言之，本发明优选地利用用户手部的相对运动信息来生成用户手势信息。

根据本发明另一改进实施例，车载主机能够在显示屏上显示车辆运动信息以及手势轨迹，还可以将它们上传到云端，以供***级的统计分析所用。

作为又一种改进实施例，可穿戴装置10还包括手势信息库，识别处理单元110还将所生成的用户手势信息与手势信息库进行匹配，从而生成手势指令。

具体来说，用户手势可包括有意手势、无意手势。有意手势又可进一步划分为有效操作手势、无效操作手势。有效操作手势将引起车载主机对车辆工作装置的控制动作，无效操作手势将不会引起任何控制动作。为了定义有效操作手势，将手势信息库设置于可穿戴装置10中，仅在用户手势信息与手势信息库其中的一条手势信息匹配成功的情况下，将该用户手势信息确定为有效操作手势，进而生成手势指令。作为备选，手势信息库也可以设置于车载主机端，而独立于可穿戴装置10。

蓝牙通信模块120与设置于车辆上的车载主机相通信，以用于将手势指令传送至车载主机，从而可以引起车载主机对车辆工作状态的有效控制。蓝牙通信模式作为可穿戴装置10与车载主机进行通信的一种示范，设计人员也可以选用其他的通信模式，例如，基于WIFI信号或红外信号的通信。

本发明第二实施例提供一种车载手势识别***，其包括上述第一实施例中的可穿戴装置、车载主机以及车载红外传感器。

其中，车载主机与可穿戴装置在通信上耦合，例如通过蓝牙通信模式，或通过WIFI来通信。车载红外传感器又与车载主机在通信上耦合，例如通过CAN总线通信。

根据该第二实施例，可穿戴装置仅在以下情况下才会生成用户手势信息：车载主机确定用户所做的手势处于车载红外传感器的识别范围内。换言之，用户在该识别范围外所做的手势都将被可穿戴装置所屏蔽。

作为示例，可穿戴装置与车载主机之间的数据流向如图2所示。具体来说，用户佩戴可穿戴装置10做出相应手势，若手势动作位于红外传感器覆盖范围外，车载主机将不做手势探测命令并重新等待用户手势操作。若随后的手势动作位于红外传感器覆盖范围内，车载主机将发出检测手势命令，并传输车身运动信息，进而，可穿戴装置10能够探测并处理手势运动信号，以判断手势。若手势判断失败，可穿戴装置10向车载主机发送手势识别失败信号，并重新等待用户手势操作。若手势判断成功，可穿戴装置10能够生成手势命令信号，车载主机将执行相应手势控制操作命令。随后，可穿戴装置10将重新等待用户下一个手势操作。

优选地，可以在配置于车辆内的触摸屏附近安装红外传感器，佩戴这种可穿戴装置的用户仅在红外感应区域内才能触发手势控制。按这种方式，不仅方便用户使用，还可有效地避免手势控制误触发的问题。优选情况下，红外传感器覆盖范围可根据用户使用习惯后期调节。

进一步地，车载主机根据可穿戴装置所生成的手势指令控制车辆的工作状态，包括但不限于：车载空调工作状态；车载多媒体设备工作状态；以及，车载通信设备工作状态。控制车辆的工作状态还可以体现为对车窗开关、座椅、雨刷开关、尾门开关的控制或调节等。

本发明第三实施例提供一种手势识别方法，其能够用于识别用户在驾驶车辆时所做的手势，该方法具体包括以下各步骤，如图3所示。

步骤S30、捕获用户手部的第一运动信息。其中，第一运动信息表征用户手部的运动的加速度信息。

步骤S31、捕获用户手部的第二运动信息。其中，第二运动信息表征用户手部的角运动信息。

步骤S32、捕获用户手部的第一方向信息。

步骤S33、结合第一、第二运动信息以及第一方向信息来生成用户手势信息。

具体来说，为了完整地、准确地表征用户在驾驶车辆时所做的各种复杂手势，第一运动信息、第二运动信息及第一方向信息中的每个均包括分别对应于X、Y、Z轴的三个信息段。

作为进一步的改进，在步骤S33中，利用车辆运动信息与第一、第二运动信息以及第一方向信息联合进行向量运算（例如，将车辆运动信息从第一、第二运动信息以及第一方向信息中分别减去），来生成用户手势信息，这是为了使得所生成的用户手势信息更准确地反映出用户手部相对于汽车的运动特征。

应理解，上述步骤S30、S31及S32并非按照固定的先后顺序来执行，而是可以将该三个步骤组合执行、或同步执行、或以微小的时间差按任意次序执行，均不影响本发明的技术效果。优选情况下，步骤S30、S31及S32同步执行，以实时获取用户手部的运动信息，进而识别用户手势，最终生成手势命令信号来应用于车辆。

上述说明仅针对于本发明的优选实施例，并不在于限制本发明的保护范围。本领域技术人员可能作出各种变形设计，而不脱离本发明的思想及附随的权利要求。

Claims (14)

1.一种可穿戴装置，用于识别用户在驾驶车辆时所做的手势，所述可穿戴装置包括：

加速度传感器，用于捕获用户手部的第一运动信息，所述第一运动信息表征用户手部的运动的加速度信息；

陀螺仪传感器，用于捕获用户手部的第二运动信息，所述第二运动信息表征用户手部的角运动信息；

电子罗盘，用于捕获用户手部的第一方向信息；以及

识别处理单元，其结合所述第一、第二运动信息以及所述第一方向信息而生成用户手势信息。

2.根据权利要求1所述的可穿戴装置，其特征在于，所述第一运动信息、所述第二运动信息及所述第一方向信息中的每个均包括分别对应于X、Y、Z轴的三个信息段。

3.根据权利要求1所述的可穿戴装置，其特征在于，所述加速度传感器、陀螺仪传感器和电子罗盘同时对手部的运动信息进行捕获。

4.根据权利要求1所述的可穿戴装置，其特征在于，所述识别处理单元还利用车辆运动信息与所述第一、第二运动信息以及所述第一方向信息进行向量运算来生成所述用户手势信息。

5.根据权利要求1所述的可穿戴装置，其特征在于，所述手势包括下面手势中的至少一个：

直线加速手势；

直线折返手势；

圆形轨迹手势；以及

半圆形轨迹手势。

6.根据权利要求1所述的可穿戴装置，其特征在于，所述可穿戴装置还包括手势信息库，所述识别处理单元还将所述用户手势信息与所述手势信息库进行匹配，以生成手势指令。

7.根据权利要求1至6中任一项所述的可穿戴装置，其特征在于，其还包括蓝牙通信模块，所述蓝牙通信模块与设置于所述车辆上的车载主机相通信，以用于将所述手势指令传送至所述车载主机。

8.一种车载手势识别***，包括：

权利要求1-7中任一项所述的可穿戴装置；

车载主机，与所述可穿戴装置在通信上耦合；

车载红外传感器，与所述车载主机在通信上耦合；以及

其中，所述可穿戴装置在以下情况下生成所述用户手势信息：

所述车载主机确定用户所做的手势处于所述车载红外传感器的识别范围内。

9.根据权利要求8所述的***，其特征在于，所述车载主机根据所述可穿戴装置所生成的手势指令控制所述车辆的工作状态。

10.根据权利要求9所述的***，其特征在于，所述车辆的工作状态包括：

车载空调工作状态；

车载多媒体设备工作状态；以及

车载通信设备工作状态。

11.一种手势识别方法，用于识别用户在驾驶车辆时所做的手势，所述方法包括：

a)、捕获用户手部的第一运动信息，所述第一运动信息表征用户手部的运动的加速度信息；

b)、捕获用户手部的第二运动信息，所述第二运动信息表征用户手部的角运动信息；

c)、捕获用户手部的第一方向信息；以及

d)、结合所述第一、第二运动信息以及所述第一方向信息来生成用户手势信息。

12.根据权利要求11所述的方法，其特征在于，所述第一运动信息、所述第二运动信息及所述第一方向信息中的每个均包括分别对应于X、Y、Z轴的三个信息段。

13.根据权利要求11所述的方法，其特征在于，步骤d)具体包括：

利用车辆运动信息与所述第一、第二运动信息以及所述第一方向信息进行向量运算来生成所述用户手势信息。

14.根据权利要求11至13中任一项所述的方法，其特征在于，步骤a)、b)、以及c)同步执行。