CN109189218B

CN109189218B - 一种手势识别的方法、装置、设备及计算机可读存储介质

Info

Publication number: CN109189218B
Application number: CN201810947731.5A
Authority: CN
Inventors: 刘捷; 曾奇凡; 程大鹏
Original assignee: Field River Guangzhou Three Culture Science And Technology Co Ltd
Current assignee: Field River Guangzhou Three Culture Science And Technology Co Ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2019-05-10
Anticipated expiration: 2038-08-20
Also published as: CN109189218A

Abstract

本申请实施例公开了一种手势识别的方法、装置、设备及计算机可读存储介质，应用于VR设备，包括：实时获取体感控制器leap motion检测到的手势信息，所述手势信息包括手势动作；根据手势信息与控制信息的预置对应关系确定所述手势信息对应的控制信息，使得响应模块根据所述控制信息做出相应的响应，所述控制信息包括控制指令。解决了现有的套件依靠手持控制器实现人机交互造成的沉浸式体验效果差的技术问题。

Description

一种手势识别的方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种手势识别的方法、装置、设备及计算机可读存储介质。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的***仿真，使用户沉浸到该环境中。

目前，在虚拟现实(Virtual Reality，VR)领域中，出现了包括一个头戴式显示器、两个单手持控制器和一个定位***在内的套件，该定位***可以在空间内同时追踪显示器与控制器，通过该套件可以实现功能较为完整的360°房型空间虚拟现实体验。

然而，该套件实现人物在场景中的位移、物体抓取、物体投掷和物体旋转等人机交互时，需要依靠手持控制器，造成虚拟现实的沉浸式体验效果差，而且存在手持控制器没电的情况，会使得沉浸式体验效果更大打折扣，真实感降低。

发明内容

本申请实施例提供了一种手势识别的方法、装置、设备及计算机可读存储介质，使得不需要通过手持控制器即可实现人机交互，提高了虚拟现实的沉浸式体验效果。

有鉴于此，本申请第一方面提供了一种手势识别的方法，应用于VR设备，包括：

实时获取体感控制器leap motion检测到的手势信息，所述手势信息包括手势动作；

根据手势信息与控制信息的预置对应关系确定所述手势信息对应的控制信息，使得响应模块根据所述控制信息做出相应的响应，所述控制信息包括控制指令。

优选地，

所述手势信息还包括所述手势动作的持续时间，所述控制信息还包括所述控制指令的数量；

根据手势信息与控制信息的预置对应关系确所述手势动作对应的控制信息具体包括：

根据手势动作与控制指令的预置对应关系确定所述手势动作对应的控制指令；

根据所述持续时间和有效时间间隔对所述手势动作进行分段，从所述手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段有效手势，将有效手势的段数作为所述控制指令的数量。

优选地，

当所述手势动作为直线滑动时，所述手势信息还包括所述手势动作的持续时间和所述手势动作的位移，所述控制信息还包括所述控制指令的数量；

根据所述持续时间和有效时间间隔对所述手势动作进行分段，从所述手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段手势；

若一段手势对应的位移大于预置有效位移，则将该段手势作为有效手势；

将有效手势的段数作为所述控制指令的数量。

优选地，

所述有效时间间隔为0.4s至0.6s。

优选地，

统计预设时间内所述持续时间大于阈值的次数；

当所述次数大于预设次数时，则统计所述预设时间内所述手势动作的持续时间在预设多个参考时间段内的分布情况；

根据参考时间段和参考时间间隔的预置对应关系，获取所述手势动作分布数量最多的一个参考时间段对应的参考时间间隔，并将该参考时间间隔作为下一次手势识别的有效时间间隔。

本申请第二方面提供一种手势识别的装置，应用于VR设备，包括：

获取单元，用于实时获取体感控制器leap motion检测到的手势信息，所述手势信息包括手势动作；

控制信息确定单元，用于根据手势信息与控制信息的预置对应关系确定所述手势信息对应的控制信息，使得响应模块根据所述控制信息做出相应的响应，所述控制信息包括控制指令。

优选地，

所述控制信息确定单元具体包括：

控制指令确定子单元，用于根据手势动作与控制指令的预置对应关系确定所述手势动作对应的控制指令；

数量确定子单元，用于根据所述持续时间和有效时间间隔对所述手势动作进行分段，从所述手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段有效手势，将有效手势的段数作为所述控制指令的数量。

优选地，

所述控制信息确定单元具体包括：

数量确定子单元，用于根据所述持续时间和有效时间间隔对所述手势动作进行分段，从所述手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段手势；

将有效手势的段数作为所述控制指令的数量。

优选地，

所述有效时间间隔为0.4s至0.6s。

本申请第三方面提供一种VR设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种手势识别的方法，包括：实时获取体感控制器leapmotion检测到的手势信息，手势信息包括手势动作；根据手势信息与控制信息的预置对应关系确定手势信息对应的控制信息，使得响应模块根据控制信息做出相应的响应，控制信息包括控制指令；本申请实施例通过体感控制器leap motion进行手势识别，然后识别到的手势信息转化成控制信息发送至响应模块响应，从而在不依靠手持控制器的情况下实现了人机交互，解放了双手，使得人机交互更加友好方便，提高了虚拟现实的沉浸式体验效果，也避免了手持控制器没电造成真实感降低的缺陷。

附图说明

图1为本申请实施例提供的一种手势识别的方法的第一实施例的流程图；

图2为本申请实施例提供的一种手势识别的方法的第二实施例的流程图；

图3为本申请实施例提供的一种手势识别的方法的第三实施例的流程图；

图4为本申请实施例提供的一种手势识别的装置的第一实施例的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例提供的一种手势识别的方法的第一实施例的流程图。

本申请实施例提供的一种手势识别的方法的第一实施例，应用于VR设备，包括：

步骤101，实时获取体感控制器leap motion检测到的手势信息，手势信息包括手势动作。

需要说明的是，体感控制器leap motion能够检测出手势信息，且该技术属于现有技术，所以此处不做详述。

步骤102，根据手势信息与控制信息的预置对应关系确定手势信息对应的控制信息，使得响应模块根据控制信息做出相应的响应，控制信息包括控制指令。

可以理解的是，当手势信息只包括手势动作，控制信息只包括控制指令时，手势信息与控制信息的预置对应关系则变成了手势动作和控制指令的动作关系。

本申请实施例通过体感控制器leap motion进行手势识别，然后识别到的手势信息转化成控制信息发送至响应模块响应，从而在不依靠手持控制器的情况下实现了人机交互，解放了双手，使得人机交互更加友好方便，提高了虚拟现实的沉浸式体验效果，也避免了手持控制器没电造成真实感降低的缺陷。

请参阅图2，本申请实施例提供的一种手势识别的方法的第二实施例的流程图。

本申请实施例提供的一种手势识别的方法的第二实施例，应用于VR设备，包括：

步骤201，实时获取体感控制器leap motion检测到的手势信息，手势信息包括手势动作和手势动作的持续时间。

步骤201与本申请第一实施例中步骤101的内容相同，具体描述可以参见第一实施例步骤101的内容，在此不再赘述。

步骤202，根据手势动作与控制指令的预置对应关系确定手势动作对应的控制指令。

步骤203，根据持续时间和有效时间间隔对手势动作进行分段，从手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段有效手势，将有效手势的段数作为控制指令的数量。

在本申请实施例中，控制信息包括控制指令和控制指令的数量。

因为体感控制器leap motion实际检测手势信息的频率较高，所以可能存在体验者做了一个持续时间较长的手势动作，并想用这一个手势动作发出一个控制命令，而体感控制器leap motion检测出多个手势动作从而发出了多个控制命令的情况。

因此，在本申请实施例中，设置了有效时间间隔，其中时间间隔可以根据实际需要进行调整，可以为0.4s至0.6s；然后通过有效时间间隔对手势动作进行分段，从而可以计算有效手势段数，并将有效手势的段数作为控制指令的数量；例如，有效时间间隔为0.5s，手势动作的持续时间为2s，则控制指令的数量为4个。

可以理解的是，当持续时间不是有效时间间隔的整数倍时，处理方法有以下两种：

第一，将时间不足有效时间间隔的部分手势动作视为一段有效手势，这样，当手势动作的持续时间小于有效时间间隔时，也可以发出一个控制指令，使得手势识别较灵敏；

第二，将时间不足有效时间间隔的部分手势动作视为一段无效手势，这样，可以防止体验者无意间的一个手势动作造成控制指令误发的情况。

进一步地，本申请实施例的手势识别方法还包括：

统计预设时间内持续时间大于阈值的次数；

当次数大于预设次数时，则统计预设时间内手势动作的持续时间在预设多个参考时间段内的分布情况；

根据参考时间段和参考时间间隔的预置对应关系，获取手势动作分布数量最多的一个参考时间段对应的参考时间间隔，并将该参考时间间隔作为下一次手势识别的有效时间间隔。

需要说明的是，预设时间、阈值、预设次数、预设参考时间段和参考时间间隔均可以根据实际需要进行设置；例如，可以统计近一分钟内持续时间大于阈值的次数，当大于五次后，则统计持续时间的分布情况，并用分布数量最多的一个参考时间段对应的参考时间间隔来更新有效时间间隔，这样，本申请实施例中的有效时间间隔便可以根据不同的用户情况进行相应的调整和更新，因为的用户做的手势动作的持续时间可能通常较长，有的持续时间可能通常较短，不同用户有不同的特点，本申请实施例根据用户特点更新时间间间隔，可以提高用户的体验度，达到智能化的目的。

请参阅图3，本申请实施例提供的一种手势识别的方法的第三实施例的流程图。

本申请实施例提供的一种手势识别的方法的第三实施例，应用于VR设备，包括：

步骤301，实时获取体感控制器leap motion检测到的手势信息，手势信息包括手势动作、手势动作的持续时间和手势动作的位移，且手势动作为直线滑动。

步骤302，根据手势动作与控制指令的预置对应关系确定手势动作对应的控制指令。

步骤302与本申请第二实施例中步骤202的内容相同，具体描述可以参见第二实施例步骤202的内容，在此不再赘述。

步骤303，根据持续时间和有效时间间隔对手势动作进行分段，从手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段手势。

步骤304，若一段手势对应的位移大于预置有效位移，则将该段手势作为有效手势。

步骤305，将有效手势的段数作为控制指令的数量。

可以理解的是，当手势动作为直线滑动时，本申请实施例在本申请第二实施例的基础上，还进行了有效位移的判断，即本实施例通过有效时间间隔和有效位移两个参数对有效手势进行识别，除了具备本申请第二实施例的技术效果外，还能避免直线滑动速度很慢造成控制指令误发的情况。

具体地，假设体感控制器leap motion检测到了一个速度很慢的直线滑动，而这个直线滑动实际属于体验者的自然移动，即体验者没有想要发出控制指令，但持续时间恰好与有效时间间隔相同，如果不判断有效时间间隔内的位移是否大于预置有效位移，那么这种情况将会造成控制指令误发。

需要说明的是，本申请实施例的的其他内容与本申请第二实施例中内容相同，具体描述可以参见第二实施例的内容，在此不再赘述。

请参阅图4，本申请实施例提供的一种移动控制的装置的第一实施例的流程图。

本申请实施例提供了一种手势识别的装置的第一实施例，应用于VR设备，包括：

获取单元401，用于实时获取体感控制器leap motion检测到的手势信息，手势信息包括手势动作；

控制信息确定单元402，用于根据手势信息与控制信息的预置对应关系确定手势信息对应的控制信息，使得响应模块根据控制信息做出相应的响应，控制信息包括控制指令。

进一步地，控制信息确定单元402可以具体包括：

控制指令确定子单元4021，用于根据手势动作与控制指令的预置对应关系确定手势动作对应的控制指令；

数量确定子单元4022，用于根据持续时间和有效时间间隔对手势动作进行分段，从手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段有效手势，将有效手势的段数作为控制指令的数量。

进一步地，

当手势动作为直线滑动时，手势信息还包括手势动作的持续时间和手势动作的位移，控制信息还包括控制指令的数量；

数量确定子单元4022，还可以具体用于根据持续时间和有效时间间隔对手势动作进行分段，从手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段手势；

将有效手势的段数作为控制指令的数量。

本申请第三方面提供一种VR设备，其特征在于，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令前述各个实施例所述的一种手势识别方法中的任意一种实施方式。

本申请第四方面提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述各个实施例所述的一种手势识别方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种手势识别的方法，其特征在于，应用于VR设备，包括：

根据手势信息与控制信息的预置对应关系确定所述手势信息对应的控制信息，使得响应模块根据所述控制信息做出相应的响应，所述控制信息包括控制指令；

根据所述持续时间和有效时间间隔对所述手势动作进行分段，从所述手势动作出现算起，每一有效时间间隔对应的部分手势动作为一段有效手势，将有效手势的段数作为所述控制指令的数量；

或

将有效手势的段数作为所述控制指令的数量；

所述手势识别的方法还包括：

统计预设时间内所述持续时间大于阈值的次数；

2.根据权利要求1所述的方法，其特征在于，所述有效时间间隔为0.4s至0.6s。

3.一种VR设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求1-2任一项所述的手势识别方法。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-2任一项所述的手势识别方法。