CN114327042B - 检测手套、手势追踪方法、ar设备及按键方法 - Google Patents

Abstract

本公开涉及AR技术领域，公开了一种检测手套、手势追踪方法、AR设备及按键方法；该检测手套包括手套本体、动作检测组件、位置检测组件及第一处理器；手套本体包括依次连接的手腕部、手掌部和多个手指部；动作检测组件设于手指部及手掌部，用于检测各个手指指节的运动信号；位置检测组件设于手腕部，用于检测位置检测组件的第一初始坐标值，及检测位置检测组件相对于第一初始坐标值的第一偏移量；第一处理器电连接于动作检测组件和位置检测组件，用于通过运动信号获得手指关节的夹角，并根据手的尺寸信号及夹角获得手指末端相对于位置检测组件的指端坐标值，及根据指端坐标值、尺寸信号及夹角获得手指姿态。该检测手套对处理器性能要求低。

Description

检测手套、手势追踪方法、AR设备及按键方法

技术领域

本公开涉及AR技术领域，具体而言，涉及一种检测手套、手势追踪方法、AR设备及按键方法。

背景技术

AR(Augmented Reality，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。AR技术构建了数字的三维世界，受到广泛的关注。

但是，目前的AR设备算法复杂度高、响应速度慢、要求处理器性能高等问题，使得AR设备对硬件要求和软件要求较高，限制了AR设备的应用。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于克服上述现有技术的硬件和软件要求较高的不足，提供一种硬件和软件要求较低的检测手套、手势追踪方法、AR设备及按键方法。

根据本公开的一个方面，提供了一种检测手套，包括：

手套本体，包括手腕部、手掌部和多个手指部，所述手掌部连接于所述手腕部，多个所述手指部均连接于所述手掌部；

多个动作检测组件，设于所述手指部以及所述手掌部，所述动作检测组件用于检测各个手指指节的运动信号；

位置检测组件，设于所述手腕部，所述位置检测组件用于检测所述位置检测组件的第一初始坐标值，以及检测所述位置检测组件相对于所述第一初始坐标值的第一偏移量；

第一处理器，电连接于所述动作检测组件和所述位置检测组件，所述第一处理器用于通过所述运动信号获得所述手指关节的夹角，并根据手的尺寸信号以及所述夹角获得手指末端相对于所述位置检测组件的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态。

在本公开的一种示例性实施例中，所述动作检测组件包括：

电极片，用于检测所述手指指节的肌电信号，所述电极片电连接于所述第一处理器；

应变片，用于检测所述手指指节的皮肤张力信号，所述应变片电连接于所述第一处理器。

在本公开的一种示例性实施例中，设于所述手掌部的所述动作检测组件为第一动作检测组件，所述第一动作检测组件设置为五个，所述第一动作检测组件对应设于手指关节靠近所述手腕部的一侧，所述第一动作检测组件位于手心侧；

设于所述手指部的所述动作检测组件为第三动作检测组件，相邻两个手指关节之间均设置有一个所述第三动作检测组件，所述第三动作检测组件位于手心侧。

在本公开的一种示例性实施例中，在所述手掌部还设置有第二动作检测组件，所述第二动作检测组件设置为五个，所述第二动作检测组件对应设于手指关节靠近所述手腕部的一侧，所述第二动作检测组件位于手背侧；

在所述手指部还设置有多个第四动作检测组件，相邻两个手指关节之间均设置有一个所述第四动作检测组件，所述第四动作检测组件位于手背侧。

在本公开的一种示例性实施例中，所述位置检测组件包括：

第一惯性传感器，用于检测所述位置检测组件的第一初始坐标值，以及检测所述位置检测组件相对于所述第一初始坐标值的第一偏移量。

根据本公开的另一个方面，提供了一种手势追踪方法，用于上述任意一项所述的检测手套，所述手势追踪方法包括：

接收各个手指指节的运动信号；

接收手的尺寸信号；

根据所述运动信号获得手指关节的旋转角度，并根据所述旋转角度获取各个所述手指关节处的夹角；

根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态。

在本公开的一种示例性实施例中，根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件的指端坐标值，包括：

第一指关节相对于所述位置检测组件的第一关节坐标值为：

第n指关节相对于n-1指关节的第n关节坐标值为：

所述手指末端相对于第n指关节的指端相对坐标值为：

所述指端坐标值：

式中，l₁为所述位置检测组件与第一关节之间的距离，l_n为所述第n关节与第n-1关节之间的距离，l_n+1为手指末端指节的长度；θ₁为第一关节位于手心一侧的角度，θ_n为第n关节位于手心一侧的角度，θ_n-1为第n-1关节位于手心一侧的角度；O₁为位置检测组件的位置，O₂为手指末端的位置；s表示sin，c表示cos；

对于拇指n的取值为2，对于食指、中指、无名指以及小指n的取值为3。

根据本公开的又一个方面，提供了一种AR设备，包括：

检测手套，为上述任意一项所述的检测手套；

AR装置，与所述检测手套通信连接。

在本公开的一种示例性实施例中，所述AR装置包括：

第二惯性传感器，所述第二惯性传感器用于检测所述AR装置的第二初始坐标值，以及检测所述AR装置相对于所述第二初始坐标值的第二偏移量；

第二处理器，电连接于所述第二惯性传感器，并与所述检测手套通信连接。

根据本公开的再一个方面，提供了一种虚拟键盘的按键方法，用于上述所述的AR设备，包括：

建立空间坐标系；

生成虚拟键盘，并确定所述虚拟键盘的各个按键在所述空间坐标系中的按键坐标值；

接收手指末端相对于位置检测组件的指端坐标值，以及位置检测组件的第一初始坐标值；

根据所述第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值；

根据所述检测坐标值与所述指端坐标值确定所述手指末端在所述空间坐标系中的最终坐标值；

根据所述最终坐标值与某一按键的所述按键坐标值之间的差值在设定阈值范围之内，确定按动所述虚拟键盘的所述某一按键。

在本公开的一种示例性实施例中，所述空间坐标系以所述AR装置上的一点为坐标原点，所述空间坐标系相对于所述AR装置固定；在接收所述第一初始坐标值之后，所述按键方法还包括：

接收所述位置检测组件相对于第一初始坐标值的第一偏移量；

根据所述第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值，包括：

根据所述第一偏移量和第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值。

在本公开的一种示例性实施例中，在建立空间坐标系之后，所述按键方法还包括：

接收所述AR装置的第二初始坐标值，以及所述AR装置相对于所述第二初始坐标值的第二偏移量；

根据所述第二初始坐标值以及所述第二偏移量确定第二空间坐标系。

本公开的检测手套和手势追踪方法，动作检测组件用于检测各个手指指节的运动信号；第一处理器用于通过运动信号获得手指关节的夹角，并根据手的尺寸信号以及夹角获得手指末端相对于位置检测组件的指端坐标值。可以检测各个手指末端的指端坐标值，以实现识别手指的具体动作；而且算法复杂度低，不依赖于高性能的第一处理器。

本公开的AR设备及按键方法，手势追踪部分使用单独的第一处理器并发送给AR装置，不占用AR装置的第二处理器的资源，从而可以降低对AR装置对硬件和软件的要求，进而在一些中低端处理性能的AR装置上布置虚拟键盘的功能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开检测手套一示例实施方式的结构示意图。

图2为图1中手指部(食指)的侧视结构示意图。

图3为本公开检测手套一示例实施方式的电气连接结构示意框图。

图4为本公开手势追踪方法一示例实施方式的流程示意框图。

图5为图1中的手指部(食指)的运动学模型示意图。

图6为图1中的手指部(拇指)的运动学模型示意图。

图7为本公开AR设备一示例实施方式的电气连接结构示意框图。

图8为本公开AR设备使用状态示意图。

图9为本公开虚拟键盘的按键方法一示例实施方式的流程示意框图。

附图标记说明：

1、手套本体；11、手腕部；12、手掌部；13、手指部；

2、动作检测组件；21、电极片；22、应变片；2a、第一动作检测组件；2b、第二动作检测组件；2c、第三动作检测组件；2d、第四动作检测组件；

3、位置检测组件；31、第一惯性传感器；

4、第一处理器；

5、AR装置；6、带通放大器；7、检测手套；8、第二处理器；9、第二惯性传感器。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本公开将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。

虽然本说明书中使用相对性的用语，例如“上”“下”来描述图标的一个组件对于另一组件的相对关系，但是这些术语用于本说明书中仅出于方便，例如根据附图中所述的示例的方向。能理解的是，如果将图标的装置翻转使其上下颠倒，则所叙述在“上”的组件将会成为在“下”的组件。当某结构在其它结构“上”时，有可能是指某结构一体形成于其它结构上，或指某结构“直接”设置在其它结构上，或指某结构通过另一结构“间接”设置在其它结构上。

用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。

相关技术中，使用比较多的虚拟键盘是使用描点或是控制器控制虚拟键盘，但是效率低下。除此之外，还有一些产品已导入基础手势追踪技术，能够让使用者在***界面上拖拉、点选、浏览网络、甚至进行特定兼容游戏，而无须额外的控制器，但无法实现追踪手指动作，例如无法在虚拟键盘上打字。

SLAM(Simultaneous Localization And Mapping，同步定位与建图)提供了三维数字世界的定位功能。SLAM解决的是估计设备位置和姿态的问题，并且对周围环境有所感知。AR应用需要让用户通过设备，实现虚拟世界、现实世界及人之间的交互，因此，SLAM技术为AR提供了实现这些基本功能的方法。AR领域SLAM的主要挑战是在计算力有限的平台上完成较高精度及鲁棒性的定位与建图，一些情况下受限于算法实施的硬件，设备所处的环境也会对算法产生不同程度的影响，所以SLAM技术在AR领域还无法有效应用。

相关技术中，采用基于图像识别的手势追踪技术，也是只能实现拖拉、点选等基本虚拟按键的功能，并不能识别手指的具体动作，所以无法实现在虚拟键盘上打字的操作。

而且，图像识别技术和SLAM技术因为算法的复杂度大，需要运行在高性能处理能力的硬件上，对于AR领域使用的嵌入式处理器，运算能力是远远不够的，这必须依赖于更加先进的硬件架构，因此，图像识别技术和SLAM技术在AR领域还无法更好应用。

本公开示例实施方式提供了一种检测手套7，如图1和图2所示，图中椭圆形虚线表示指关节，该检测手套7可以包括手套本体1、动作检测组件2、位置检测组件3以及第一处理器4；手套本体1包括手腕部11、手掌部12和多个手指部13，手掌部12连接于手腕部11，多个手指部13均连接于手掌部12；多个动作检测组件2设于手指部13以及手掌部12，动作检测组件2用于检测各个手指指节的运动信号；位置检测组件3设于手腕部11，位置检测组件3用于检测位置检测组件3的第一初始坐标值，以及检测位置检测组件3相对于第一初始坐标值的第一偏移量；第一处理器4电连接于动作检测组件2和位置检测组件3，第一处理器4用于通过运动信号获得手指关节的夹角，并根据手的尺寸信号以及夹角获得手指末端相对于位置检测组件3的指端坐标值，以及根据指端坐标值、尺寸信号以及夹角获得手指姿态。

在本示例实施方式中，手套本体1可以包括手腕部11、手掌部12和五个手指部13；手掌部12连接于手腕部11，五个手指部13均连接于手掌部12。

手套本体1可以设置多种不同大小的型号，例如，可以设置大号、中号、小号；使用者可以根据自己手的大小选择合适的手套本体1。当然，根据需要还可以设置更多的型号，例如，可以设置儿童型号、女版型号、男版型号等等。

手套本体1可以采用弹性材质制备而成，使得手套本体1具有弹性，使用者带上手套本体1后可以使动作检测组件2与使用者的手部皮肤紧密贴合，从而可以检测各个手指指节的运动信号。

在本示例实施方式中，动作检测组件2可以包括电极片21和应变片22；电极片21可以用于检测手指指节的肌电信号；应变片22可以用于检测手指指节的皮肤张力信号。

电极片21可以设置为长条状，应变片22可以设置为长条状，电极片21的长度方向与应变片22的长度方向一致，且电极片21与应变片22在宽度方向上并列排布；电极片21的长度方向与手指的长度方向一致。

参照图2所示，设于手掌部12的动作检测组件2为第一动作检测组件2a和第二动作检测组件2b，第一动作检测组件2a可以设置为五个，第二动作检测组件2b可以设置为五个，第一动作检测组件2a和第二动作检测组件2b对应设于五个手指关节靠近手腕部11的一侧，第一动作检测组件2a位于手心侧，第二动作检测组件2b位于手背侧；五个第一动作检测组件2a与五个第二动作检测组件2b一一对应的相对设置。

设于手指部13的动作检测组件2为第三动作检测组件2c和第四动作检测组件2d；第三动作检测组件2c可以设置有九个，第四动作检测组件2d可以设置有九个。相邻两个手指关节之间设置有一个第三动作检测组件2c和一个第四动作检测组件2d，第三动作检测组件2c位于手心侧，第四动作检测组件2d位于手背侧，第三动作检测组件2c与第四动作检测组件2d一一对应的相对设置。

另外，在本公开的其他示例实施方式中，可以仅设置位于手心侧的五个第一动作检测组件2a和九个第三动作检测组件2c，即在手背侧可以不设置动作检测组件2。

手指在弯曲时，位于手心侧的肌肉会收缩，在肌肉收缩的过程中，随着收缩程度变大，位于手心侧的电极片21采集的肌电信号逐渐变强；肌肉表面的皮肤由于关节运动的拉扯及压缩作用，皮肤表面张力会存在较明显的变化，当肌肉收缩时，皮肤发生压缩，位于手心侧的应变片22会有压缩力产生，而且随着肌肉的收缩程度，压缩力会变大，位于手心侧的应变片22采集的皮肤张力信号逐渐变强。因此，夹角与第一动作检测组件2a和第三动作检测组件2c的肌电信号成正比，且与第一动作检测组件2a和第三动作检测组件2c的皮肤张力信号成正比。

因此，通过运动信号获得手指关节的夹角，即通过电极片21采集的手指指节的肌电信号和应变片22检测的手指指节的皮肤张力信号可以计算的到手指关节的夹角。手指关节的夹角大小对应的肌电信号的大小以及皮肤张力信号的大小可以通过实验的方式来获取，具体来讲：在手指关节的夹角为设定夹角的情况下，测出对应的肌电信号的大小和皮肤张力信号的大小；选取足够多的手指关节的夹角进行实验，并测出对应的肌电信号的大小以及皮肤张力信号的大小，最后，通过数据拟合分别得到手指关节的夹角与肌电信号以及皮肤张力信号的数学模型。还可以将手指关节的夹角与对应的肌电信号以及皮肤张力信号形成对应的表格，在使用时，获得肌电信号和皮肤张力信号以后，通过查表可以获得手指关节的夹角。

关节向不同方向旋转，由不同的肌肉收缩完成，手指弯曲时，相对方向(手背侧)的肌肉舒张，这时，舒张方向的肌肉因为放松状态，没有肌电信号产生，即手背侧的电极片21采集不到肌电信号；但是，对于检测皮肤张力的应变片22来说，因为皮肤在相反侧肌肉(手心侧)的拉伸作用下，手背侧的皮肤表面的应变片22会有拉力产生，手背侧的应变片22仍然会输出皮肤张力信号。因此，在手背侧设置第二动作检测组件2b和第四动作检测组件2d可以提高对夹角计算的准确性。

在本示例实施方式中，位置检测组件3可以包括第一惯性传感器31，第一惯性传感器31可以用于检测位置检测组件3的第一初始坐标值，以及检测位置检测组件3相对于第一初始坐标值的第一偏移量。惯性传感器可以包括加速度计(或加速度传感计)和角速度传感器(陀螺)以及它们的单、双、三轴组合IMU(惯性测量单元)，AHRS(包括磁传感器的姿态参考***)。

在本示例实施方式中，参照图3所示，检测手套7还可以包括带通放大器6，在电极片21与第一处理器4之间连接有带通放大器6，在应变片22与第一处理器4之间也连接有带通放大器6；通过带通放大器6可以对电极片21和应变片22采集的信号进行放大和滤波，放大后的信号方便第一处理器4的处理，而且滤波后的信号可以减少噪音。

在本示例实施方式中，第一处理器4可以是微控制单元(Microcontroller Unit，MCU)，又称单片微型计算机(Single Chip Microcomputer)或者单片机。当然，还可以是其他体积较小，具有数据处理功能的处理器。第一处理器4可以与位置检测组件3绑定在一起，共同设置在手套本体1的手腕部11。

第一处理器4电连接于动作检测组件2和位置检测组件3，第一处理器4将电极片21和应变片22采集的模拟信号转换为数字信号，第一处理器4用于通过运动信号获得手指关节的夹角，并根据手的尺寸信号以及夹角，通过运动学正解获得手指末端相对于位置检测组件3的指端坐标值，以及根据指端坐标值、尺寸信号以及夹角获得手指姿态。下面对第一处理器4的数据处理过程进行详细说明。

基于同一发明构思，本公开示例实施方式提供了一种手势追踪方法，参照图4所示，该手势追踪方法用于上述任意一项所述的检测手套7，该手势追踪方法可以包括以下步骤：

步骤S10，接收各个手指指节的运动信号。

步骤S20，接收手的尺寸信号。

步骤S30，根据所述运动信号获得手指关节的夹角。

步骤S40，根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件3的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态。

下面对手势追踪方法的各个步骤进行详细说明。

步骤S10，接收各个手指指节的运动信号。

在本示例实施方式中，运动信号可以包括手指指节的肌电信号和手指指节的皮肤张力信号，即接收电极片21检测的手指指节的肌电信号，接收应变片22检测的手指指节的皮肤张力信号。

步骤S20，接收手的尺寸信号。

在本示例实施方式中，手的尺寸信号与手套本体1的型号是相对应的，即一个手套本体1的型号对应一组手的尺寸信号；因此，可以将手的尺寸信号存储在第一处理器4中，使用者选择了合适的检测手套7后，可以从第一处理器4中提取与选择的检测手套7对应的手的尺寸信号。

在本公开的另外一些示例实施方式中，也可以通过图像采集器件采集使用者的手的图像，然后通过图像处理获取手的尺寸信号，并将手的尺寸信号传输至第一处理器4。

步骤S30，根据所述运动信号获得手指关节的旋转角度，并根据所述旋转角度获取各个所述手指关节处的夹角。

在本示例实施方式中，根据运动信号获得手指关节的旋转角度，即根据肌电信号和皮肤张力信号获得手指关节的旋转角度。上述已经进行了详细说明，因此，此处不再赘述。

步骤S40，根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件3的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态。

在本示例实施方式中，参照图5所示，在手指是食指、中指、无名指以及小指的情况下，根据夹角和尺寸信号获得手指末端相对于位置检测组件3的坐标值，包括：

第一指关节相对于位置检测组件3的第一关节坐标值为：

第二指关节相对于第一指关节的第二关节坐标值为：

第三指关节相对于第二指关节的第三关节坐标值为：

手指末端相对于第三指关节的指端相对坐标值为：

手指末端相对于位置检测组件3的坐标值为：

式中，l₁为位置检测组件3与第一关节之间的距离，l₂为第一关节与第二关节之间的距离，l₃为第二关节与第三关节之间的距离，l₄为第三关节与手指末端之间的距离，即手指末端指节的长度；θ₁为第一关节位于手心一侧的夹角，θ₂为第二关节位于手心一侧的夹角，θ₃为第三关节位于手心一侧的夹角；O₁为位置检测组件3的位置，O₂为手指末端的位置；s表示sin，c表示cos。

参照图6所示，在手指是拇指的情况下，根据夹角和尺寸信号获得手指末端相对于位置检测组件3的坐标值，包括：

第一指关节相对于所述位置检测组件3的第一关节坐标值为：

第二指关节相对于第一指关节的第二关节坐标值为：

手指末端相对于第二指关节的指端相对坐标值为：

手指末端相对于位置检测组件3的坐标值为：

式中，l₁为位置检测组件3与第一关节之间的距离，l₂为第一关节与第二关节之间的距离，l₃为第二关节与第三关节之间的距离，即手指末端指节的长度；θ₁为第一关节位于手心一侧的夹角，θ₂为第二关节位于手心一侧的夹角；O₁为位置检测组件3的位置，O₂为手指末端的位置；s表示sin，c表示cos。

需要说明的是，从手腕一侧到手指末端一侧，指关节分别为第一关节、第二关节、第三关节。

根据指端坐标值、尺寸信号以及夹角获得手指姿态，例如，根据指端坐标值、尺寸信号以及夹角可以绘制手指姿态图，实现手势追踪。

本公开的检测手套7和手势追踪方法，可以检测各个手指末端的指端坐标值，以实现识别手指的具体动作；而且算法复杂度低，不依赖于高性能的第一处理器4。

需要说明的是，尽管在附图中以特定顺序描述了本公开中手势追踪方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

基于同一发明构思，本公开示例实施方式提供了一种AR设备，参照图7和图8所示，该AR设备可以包括检测手套7和AR装置5，检测手套7为上述任意一项所述的检测手套7；检测手套7的具体结构上述已经进行了详细说明，因此，此处不再赘述。AR装置5与检测手套7通信连接。

AR装置5可以是AR眼镜。

AR装置5可以包括第二惯性传感器9和第二处理器8，第二惯性传感器9用于检测AR装置5的第二初始坐标值，以及检测AR装置5相对于第二初始坐标值的第二偏移量；第二处理器8电连接于第二惯性传感器9，并与检测手套7通信连接。

AR装置5与检测手套7之间的通信可以通过蓝牙进行，即在AR装置5和检测手套7上均设置有蓝牙通信器件，通过蓝牙通信器件实现AR装置5与检测手套7之间的通信连接。当然，还可以采用其他的微型通信器件，在此不一一说明。

第二处理器8用于根据检测手套7输入的指端坐标值和第一初始坐标值以及第二惯性传感器9输入的检测坐标值，获得手指末端在空间坐标系中的最终坐标值，并确定按动的按键。

基于同一发明构思，本公开示例实施方式提供了一种虚拟键盘的按键方法，用于上述任意一项所述的AR设备，参照图9所示，该按键方法可以包括以下步骤：

步骤S510，建立空间坐标系。

步骤S520，生成虚拟键盘，并确定所述虚拟键盘的各个按键在所述空间坐标系中的按键坐标值。

步骤S530，接收手指末端相对于位置检测组件3的指端坐标值，以及位置检测组件3的第一初始坐标值。

步骤S540，根据所述第一初始坐标值确定所述位置检测组件3在所述空间坐标系中的检测坐标值。

步骤S550，根据所述检测坐标值与所述指端坐标值确定所述手指末端在所述空间坐标系中的最终坐标值。

步骤S560，根据所述最终坐标值与某一按键的所述按键坐标值之间的差值在设定阈值范围之内，确定按动所述虚拟键盘的所述某一按键。

下面对虚拟键盘的按键方法进行详细说明。

步骤S510，建立空间坐标系。

空间坐标系可以以AR装置5上的一点为坐标原点，与水平面垂直的轴为Z轴，X轴和Y轴与水平面平行，X轴与Y轴垂直，X轴可以与虚拟键盘的一边平行，虚拟键盘的另一边可以与Y轴或Z轴平行，方便后续数据处理。当然，虚拟键盘也可以设置为倾斜状态。

步骤S520，生成虚拟键盘，并确定所述虚拟键盘的各个按键在所述空间坐标系中的按键坐标值。

通过AR装置5生成虚拟键盘，确定虚拟键盘的各个按键在空间坐标系中的按键坐标值。空间坐标系相对于AR装置5固定，虚拟键盘相对于AR装置5固定，因此，虚拟键盘相对于空间坐标系也是固定的，虚拟键盘上各个按键在空间坐标系内的按键坐标值也是固定的，方便后续数据处理。

步骤S530，接收手指末端相对于位置检测组件3的指端坐标值，以及位置检测组件3的第一初始坐标值。

接收检测手套7通过蓝牙发送的手指末端相对于位置检测组件3的指端坐标值，以及位置检测组件3的第一初始坐标值。位置检测组件3的第一初始坐标值的获取过程如下：设置两个标定点(第一个标定点和第二标定点)，第一个标定点位于AR眼镜上，例如，第一个标定点可以是建立的空间坐标系的坐标原点；然后，使位置检测组件3上的具体一点与AR眼镜的具体一点重合，这个重合点为第一个标定点，记录下这个第一个标定点，然后将位置检测组件3移动到AR眼镜显示中的虚拟点(第二个标定点)的位置，位置检测组件3通过IMU计算出下第二个标定点与第一个标定点的相对坐标，以后位置检测组件3在移动过程中通过IMU计算出相对于第二个标定点的相对坐标，那么可以获得位置检测组件3相对于AR眼镜的相对坐标，坐标变换的具体方法与上述获取手指末端相对于位置检测组件3的坐标值的具体方法相同，因此，此处不再赘述。

步骤S540，根据所述第一初始坐标值确定所述位置检测组件3在所述空间坐标系中的检测坐标值。

根据第一初始坐标值确定位置检测组件3在空间坐标系中的检测坐标值；即通过坐标变换，将第一初始坐标值变换至空间坐标系中即可得到检测坐标值。坐标变换的具体方法与上述获取手指末端相对于位置检测组件3的坐标值的具体方法相同，因此，此处不再赘述。

步骤S550，根据所述检测坐标值与所述指端坐标值确定所述手指末端在所述空间坐标系中的最终坐标值。

根据检测坐标值与指端坐标值确定手指末端在空间坐标系中的最终坐标值；即通过坐标变换，将指端坐标值变换至空间坐标系中即可得到手指末端在空间坐标系中的最终坐标值。坐标变换的具体方法与上述获取手指末端相对于位置检测组件3的坐标值的具体方法相同，因此，此处不再赘述。

步骤S560，根据所述最终坐标值与某一按键的所述按键坐标值之间的差值在设定阈值范围之内，确定按动所述虚拟键盘的所述某一按键。

根据最终坐标值与按键坐标值之间的差值在设定阈值范围之内，确定按动的按键。即，手指末端的最终坐标值与按键“R”的按键坐标值之间的差值在设定阈值范围之内，确定按动的按键为“R”。具体为，由于最终坐标值和按键坐标值均是三维坐标值，因此，最终坐标值与按键坐标值之间的差值为三个差值，三个差值均需要在设定阈值范围之内，才能确定按动的按键，即只要一个差值不在设定阈值范围之内，就不能确定按动的按键。可以在各个坐标轴上设置一个互不相同设定阈值范围，即总共设置有三个设定阈值范围。也可以设置一个设定阈值范围，即三个坐标轴上的设定阈值范围相同。

上述说明的是在AR装置5和检测手套7的检测组件3的位置均没有移动的情况下，确定按动的按键的方法。

在使用虚拟键盘的过程中，使用者的手会移动，从而带动检测手套7的位置检测组件3移动，因此，需要接收位置检测组件3相对于第一初始坐标值的第一偏移量；第一偏移量可以通过第一惯性传感器31获得，具体为，第一惯性传感器31采集角加速度和位移加速度，将角加速度和位移加速度进行两次积分即可得到位置检测组件3相对于第一初始坐标值的第一偏移量，第一偏移量包括在三个坐标轴上的位移偏移量和在三个坐标轴上的旋转偏移量。

然后通过第一偏移量和第一初始坐标值获得位置检测组件3的在空间坐标系中的检测坐标值，其具体方法也是通过坐标变换，在此不再赘述。后续的处理方法与上述相同，因此，此处不再赘述。

还有，在使用虚拟键盘的过程中，AR装置5也会移动，从而带动第二惯性传感器9、虚拟键盘以及空间坐标系移动。因此，需要重新确定空间坐标系。

虚拟键盘与空间坐标系的相对位置是固定的，因此，虚拟键盘上各个按键的按键坐标值不会发生变化。

重新确定空间坐标系的具体过程为：

接收AR装置5的第二初始坐标值，以及AR装置5相对于第二初始坐标值的第二偏移量；第二偏移量可以通过第二惯性传感器9获得，具体为，第二惯性传感器9采集角加速度和位移加速度，将角加速度和位移加速度进行两次积分即可得到位置检测组件3相对于第二初始坐标值的第二偏移量，第二偏移量包括在三个坐标轴上的位移偏移量和在三个坐标轴上的旋转偏移量。第二初始坐标值可以为上述获取位置检测组件3的第一初始坐标值时的第一个标定点，也就是建立的空间坐标系的坐标原点。

根据第二初始坐标值以及第二偏移量确定第二空间坐标系，即通过第二偏移量和第二初始坐标值确定第二空间坐标系，其具体方法也是通过坐标变换，在此不再赘述。

后续的计算需要在第二空间坐标系中进行，具体的计算方法与上述相同，因此，此处不再赘述。

另外，当需要使用虚拟键盘或是手势控制时，首先要进行物理坐标及尺寸标定，原因是每个使用AR设备的人员的佩戴习惯和生理结构都不同，比如，每个人的眼睛相对于手腕的空间位置不同、手掌大小不同，所以在初次使用虚拟键盘及手势控制时，需要记录下AR眼镜的初始位置(建立的空间坐标系的坐标原点)、位置检测组件3相对于AR眼镜的初始坐标(即位置检测组件3的第一初始坐标值)，使用者的手的尺寸信号(通过AR设备的图像采集设备获得)，这些参数标定完成以后保存在AR设备，以供计算使用。具体的标定方法上述已经进行了详细说明，即位置检测组件3的第一初始坐标值的获取过程，因此，此处不再赘述。

本公开采用分布式处理器，即在检测手套7上设置第一处理器4，在AR装置5上设置第二处理器8，两个处理器的功能不同，而且通过通信网络连接起来，在控制***的统一管理控制下，协调地完成大规模信息处理任务的计算机***。分布式处理器就是将庞大的信息处理需求，拆分至一个集群中的多个分布式处理器来共同完成。这就像将本该由一个人执行的工作交给一个团队一样，大大提高了信息处理的效率。不占用AR装置5的第二处理器8的资源，从而可以在一些中低端处理性能的AR装置5上布置虚拟键盘的功能。

相较于现有的图像识别手势和视觉SLAM确定手指末端位置的算法复杂度低、处理速度快，继而响应速度也更加迅速。在一些因算力不够，无法运行手势追踪算法或是视觉SLAM算法的AR处理器上，也可以实现虚拟键盘的使用，这在某种程度上也降低了因使用高算力CPU而带来的昂贵的AR制造成本，促进AR设备的平民化进程。

需要说明的是，尽管在附图中以特定顺序描述了本公开中虚拟键盘的按键方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种检测手套，其特征在于，包括：

手套本体，包括手腕部、手掌部和多个手指部，所述手掌部连接于所述手腕部，多个所述手指部均连接于所述手掌部；

多个动作检测组件，设于所述手指部以及所述手掌部，所述动作检测组件用于检测各个手指指节的运动信号；

位置检测组件，设于所述手腕部，所述位置检测组件用于检测所述位置检测组件的第一初始坐标值，以及检测所述位置检测组件相对于所述第一初始坐标值的第一偏移量；

第一处理器，电连接于所述动作检测组件和所述位置检测组件，所述第一处理器用于通过所述运动信号获得所述手指关节的夹角，并根据手的尺寸信号以及所述夹角获得手指末端相对于所述位置检测组件的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态；

所述动作检测组件包括：

电极片，用于检测所述手指指节的肌电信号，所述电极片电连接于所述第一处理器；

应变片，用于检测所述手指指节的皮肤张力信号，所述应变片电连接于所述第一处理器。

2.根据权利要求1所述的检测手套，其特征在于，设于所述手掌部的所述动作检测组件为第一动作检测组件，所述第一动作检测组件设置为五个，所述第一动作检测组件对应设于手指关节靠近所述手腕部的一侧，所述第一动作检测组件位于手心侧；

设于所述手指部的所述动作检测组件为第三动作检测组件，相邻两个手指关节之间均设置有一个所述第三动作检测组件，所述第三动作检测组件位于手心侧。

3.根据权利要求2所述的检测手套，其特征在于，在所述手掌部还设置有第二动作检测组件，所述第二动作检测组件设置为五个，所述第二动作检测组件对应设于手指关节靠近所述手腕部的一侧，所述第二动作检测组件位于手背侧；

在所述手指部还设置有多个第四动作检测组件，相邻两个手指关节之间均设置有一个所述第四动作检测组件，所述第四动作检测组件位于手背侧。

4.根据权利要求1所述的检测手套，其特征在于，所述位置检测组件包括：

第一惯性传感器，用于检测所述位置检测组件的第一初始坐标值，以及检测所述位置检测组件相对于所述第一初始坐标值的第一偏移量。

5.一种手势追踪方法，用于权利要求1～4任意一项所述的检测手套，其特征在于，所述手势追踪方法包括：

接收各个手指指节的运动信号；

接收手的尺寸信号；

根据所述运动信号获得手指关节的旋转角度，并根据所述旋转角度获取各个所述手指关节处的夹角；

根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件的指端坐标值，以及根据所述指端坐标值、所述尺寸信号以及所述夹角获得手指姿态。

6.根据权利要求5所述的手势追踪方法，其特征在于，根据所述夹角和所述尺寸信号获得手指末端相对于位置检测组件的指端坐标值，包括：

第一指关节相对于所述位置检测组件的第一关节坐标值为：

第n指关节相对于n-1指关节的第n关节坐标值为：

所述手指末端相对于第n指关节的指端相对坐标值为：

所述指端坐标值：

式中，l₁为所述位置检测组件与第一关节之间的距离，l_n为所述第n关节与第n-1关节之间的距离，l_n+1为手指末端指节的长度；θ₁为第一关节位于手心一侧的角度，θ_n为第n关节位于手心一侧的角度，θ_n-1为第n-1关节位于手心一侧的角度；O₁为位置检测组件的位置，O₂为手指末端的位置；s表示sin，c表示cos；

对于拇指n的取值为2，对于食指、中指、无名指以及小指n的取值为3。

7.一种AR设备，其特征在于，包括：

检测手套，为权利要求1～4任意一项所述的检测手套；

AR装置，与所述检测手套通信连接。

8.根据权利要求7所述的AR设备，其特征在于，所述AR装置包括：

第二惯性传感器，所述第二惯性传感器用于检测所述AR装置的第二初始坐标值，以及检测所述AR装置相对于所述第二初始坐标值的第二偏移量；

第二处理器，电连接于所述第二惯性传感器，并与所述检测手套通信连接。

9.一种虚拟键盘的按键方法，用于权利要求7或8所述的AR设备，其特征在于，包括：

建立空间坐标系；

生成虚拟键盘，并确定所述虚拟键盘的各个按键在所述空间坐标系中的按键坐标值；

接收手指末端相对于位置检测组件的指端坐标值，以及位置检测组件的第一初始坐标值；

根据所述第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值；

根据所述检测坐标值与所述指端坐标值确定所述手指末端在所述空间坐标系中的最终坐标值；

根据所述最终坐标值与某一按键的所述按键坐标值之间的差值在设定阈值范围之内，确定按动所述虚拟键盘的所述某一按键。

10.根据权利要求9所述的虚拟键盘的按键方法，其特征在于，所述空间坐标系以所述AR装置上的一点为坐标原点，所述空间坐标系相对于所述AR装置固定；在接收所述第一初始坐标值之后，所述按键方法还包括：

接收所述位置检测组件相对于第一初始坐标值的第一偏移量；

根据所述第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值，包括：

根据所述第一偏移量和第一初始坐标值确定所述位置检测组件在所述空间坐标系中的检测坐标值。

11.根据权利要求9所述的虚拟键盘的按键方法，其特征在于，在建立空间坐标系之后，所述按键方法还包括：

接收所述AR装置的第二初始坐标值，以及所述AR装置相对于所述第二初始坐标值的第二偏移量；

根据所述第二初始坐标值以及所述第二偏移量确定第二空间坐标系。