CN114118152A - 一种头戴显示设备及其手势识别方法、装置和存储介质 - Google Patents

一种头戴显示设备及其手势识别方法、装置和存储介质 Download PDF

Info

Publication number
CN114118152A
CN114118152A CN202111424574.8A CN202111424574A CN114118152A CN 114118152 A CN114118152 A CN 114118152A CN 202111424574 A CN202111424574 A CN 202111424574A CN 114118152 A CN114118152 A CN 114118152A
Authority
CN
China
Prior art keywords
gesture
head
mounted display
preset
reflected wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424574.8A
Other languages
English (en)
Inventor
郝选
铁广朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202111424574.8A priority Critical patent/CN114118152A/zh
Priority to PCT/CN2021/135586 priority patent/WO2023092637A1/zh
Publication of CN114118152A publication Critical patent/CN114118152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种头戴显示设备的手势识别方法、装置、头戴显示设备及计算机可读存储介质，该方法包括：获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；根据反射波数据，获取目标方向上的手势运动状态信息；其中，目标方向包括垂直方向和/或麦克风的排列方向，手势运动状态信息包括运动方向信息；根据手势运动状态信息识别目标控制手势；其中，目标控制手势为手势运动状态信息对应的预设控制手势；本发明能够利用扬声器和麦克风，依据超声定位原理，确定用户在目标方向上的手势运动状态，进而识别用户的控制手势，从而能够避免摄像头的使用，大大缩小了头戴显示设备的体积，并且摆脱了环境光对手势识别的影响。

Description

一种头戴显示设备及其手势识别方法、装置和存储介质
技术领域
本发明涉及头戴显示设备技术领域，特别涉及一种头戴显示设备的手势识别方法、装置、头戴显示设备及计算机可读存储介质。
背景技术
随着现代社会科技的发展，如VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备和MR(Mediated Reality，混合现实)设备等头戴显示设备(HMD)的应用越来越广泛。
目前，如AR设备的头戴显示设备中对控制手势的识别需要利用摄像头进行动作识别，成本高，且容易受到环境光影响。因此，如何能够提供一种新的手势识别方式，避免摄像头的使用，摆脱环境光对手势识别的影响，缩小头戴显示设备的体积，提升用户体验，是现今急需解决的问题。
发明内容
本发明的目的是提供一种头戴显示设备的手势识别方法、装置、头戴显示设备及计算机可读存储介质，以利用扬声器和麦克风实现手势识别，避免摄像头的使用，摆脱环境光对手势识别的影响。
为解决上述技术问题，本发明提供一种头戴显示设备的手势识别方法，包括：
获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，所述预设超声波信号为所述头戴显示设备中扬声器发出预设频率的超声波信号；
根据所述反射波数据，获取目标方向上的手势运动状态信息；其中，所述目标方向包括垂直方向和/或所述麦克风的排列方向，所述手势运动状态信息包括运动方向信息；
根据所述手势运动状态信息识别目标控制手势；其中，所述目标控制手势为所述手势运动状态信息对应的预设控制手势。
可选的，所述根据所述反射波数据，获取目标方向上的手势运动状态信息，包括：
根据反射波数据中的反射波频率，获取所述手势运动状态信息。
可选的，所述目标方向包括所述垂直方向时，所述根据反射波数据中的反射波频率，获取所述手势运动状态信息，包括：
根据第一预设时间段内的目标麦克风的反射波频率变化和频率变化阈值，确定是否监测到垂直控制手势；其中，所述目标麦克风为任意一个或多个所述麦克风；
若是，则根据第二预设时间段内的所述目标麦克风的反射波频率变化，确定所述垂直方向上的垂直运动状态信息；其中，所述垂直运动状态信息包括垂直运动方向信息以及垂直运动距离信息和/或垂直运动速度信息，所述第二预设时间段包括所述第一预设时间段。
可选的，所述目标方向包括所述排列方向时，所述麦克风的数量大于或等于2；
所述根据反射波数据中的反射波频率，获取所述手势运动状态信息，包括：
检测各所述麦克风对应的反射波频率中是否存在预设频率偏移；
若是，则将存在的第一个所述预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各所述麦克风对应的反射波频率中的所述预设频率偏移对应的相对延时；
根据所述相对延时，确定所述排列方向上的排列运动状态信息；所述排列运动状态信息包括排列运动方向信息以及运动路径信息。
可选的，所述检测各所述麦克风对应的反射波频率中是否存在预设频率偏移，包括：
对各所述麦克风对应的反射波频率的幅值进行阈值滤波，得到各所述麦克风对应的滤波幅值；
对所述滤波幅值进行时间加权平均，得到各所述麦克风对应的目标幅值；
检测各所述麦克风对应的目标幅值中是否存在所述预设频率偏移对应的幅值波动；
若是，则执行所述将存在的第一个所述预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各所述麦克风对应的反射波频率中的所述预设频率偏移对应的相对延时的步骤。
可选的，所述麦克风设置在所述头戴显示设备的下镜框处，用于采集所述预设超声波信号从所述头戴显示设备下方反射回的所述反射波数据。
可选的，所述扬声器设置在所述头戴显示设备的镜腿处，用于向所述头戴显示设备的下方输出所述预设超声波信号。
本发明还提供了一种头戴显示设备的手势识别装置，包括：
数据获取模块，用于获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，所述预设超声波信号为所述头戴显示设备中扬声器发出预设频率的超声波信号；
运动获取模块，用于根据所述反射波数据，获取目标方向上的手势运动状态信息；其中，所述目标方向包括垂直方向和/或所述麦克风的排列方向，所述手势运动状态信息包括运动方向信息；
手势识别模块，用于根据所述手势运动状态信息识别目标控制手势；其中，所述目标控制手势为所述手势运动状态信息对应的预设控制手势。
本发明还提供了一种头戴显示设备，包括：麦克风、扬声器、存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序时实现如上述所述的头戴显示设备的手势识别方法的步骤。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的头戴显示设备的手势识别方法的步骤。
本发明所提供的一种头戴显示设备的手势识别方法，包括：获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，预设超声波信号为头戴显示设备中扬声器发出预设频率的超声波信号；根据反射波数据，获取目标方向上的手势运动状态信息；其中，目标方向包括垂直方向和/或麦克风的排列方向，手势运动状态信息包括运动方向信息；根据手势运动状态信息识别目标控制手势；其中，目标控制手势为手势运动状态信息对应的预设控制手势；
可见，本发明通过根据反射波数据，获取目标方向上的手势运动状态信息，能够利用扬声器和麦克风，依据超声定位原理，确定用户在目标方向上的手势运动状态，进而识别用户的控制手势，从而能够避免摄像头的使用，大大缩小了头戴显示设备的体积，并且摆脱了环境光对手势识别的影响，提升了用户体验。此外，本发明还提供了一种头戴显示设备的手势识别装置、头戴显示设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种头戴显示设备的手势识别方法的流程图；
图2为本发明实施例所提供的一种头戴显示设备的正面展示图；
图3为图2所示的头戴显示设备的侧面展示图；
图4为本发明实施例所提供的一种头戴显示设备的电路示意图；
图5为本发明实施例所提供的一种渡越时间的双阈值测量的示意图；
图6为本发明实施例所提供的一种垂直方向上先靠近后远离的手势移动的反射波频率的曲线示意图；
图7为图6所示的反射波频率的幅值的曲线示意图；
图8为本发明实施例所提供的一种麦克风的排列方向上的手势移动的反射波频率的曲线示意图；
图9为图8所示的反射波频率处理后的幅值的曲线示意图；
图10为本发明实施例所提供的一种头戴显示设备的手势识别装置。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种头戴显示设备的手势识别方法的流程图。该方法可以包括：
步骤101：获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，预设超声波信号为头戴显示设备中扬声器发出预设频率的超声波信号。
可以理解的是，本步骤中的扬声器可以为头戴显示设备中预先设置的用于输出预设频率的超声波信号(即预设超声波信号)的扬声器；本步骤中的麦克风可以为头戴显示设备中预先设置的用于采集扬声器输出的预设超声波信号经过物体反射后的回波信号(即反射波数据)的麦克风。本实施例中头戴显示设备中的处理器可以通过控制扬声器输出预设超声波信号，并获取麦克风采集的预设超声波信号对应的反射波数据，从而通过对反射波数据的分析实现对用户的控制手势识别的效果。
具体的，对于本步骤中扬声器和麦克风的具体设置位置和类型，可以由设计人员根据实用场景和用户需求自行设置，如本实施例中的麦克风可以设置在头戴显示设备(如AR设备)的下镜框处，用于采集预设超声波信号从头戴显示设备下方反射回的反射波数据；如图2所示，4个麦克风②③④⑤可以设置在头戴显示设备①的下镜框处；相应的，麦克风可以具体为MEMS(MicroElectroMechanical System微型机电***)麦克风，以保证尺寸极小MEMS麦克风的能够安装到AR产品的下镜框。对应的，本实施例中的扬声器可以设置在头戴显示设备的下镜框或镜腿处，用于向头戴显示设备的下方输出预设超声波信号，如图3所示，尺寸较小的扬声器可以安装在头戴显示设备的眼镜腿位置上，向下方输出预设超声波信号，使麦克风可以采集在用户佩戴的头戴显示设备下方用户手势反射回的反射波数据。
同样的，本实施例并不限定扬声器输出的预设超声波信号的具体类型，即预设频率的具体设置，由于超声信号属于一种机械波，信号的频率越高，衰减越快；考虑到频率越低，越容易受杂波干扰，以及扬声器可发出的超声信号性能，预设超声波信号可以为40kHz的振动频率的超声波信号。例如，头戴显示设备的扬声器可以输出频率为40kHz(即预设频率)的连续超声波信号(即预设超声波信号)；如采用MEMS麦克风时，其在超声频段拥有良好的性能，在40kHz的灵敏度可以达到-20dB；而扬声器在超声频段也拥有良好的性能，在40kHz的灵敏度可以达到80dB。
需要说明的是，对于本实施例中头戴显示设备的处理器获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据的具体方式，可以由设计人员自行设置，如图4所示，处理器可以通过发送电路控制扬声器输出40kHz的连续超声波信号(即预设超声波信号)；经过用户的手反射后，通过接收电路获取4个麦克风采集的信号(即反射波数据)。例如，头戴显示设备的处理器可以在检测到手势识别指令后，控制扬声器输出预设超声波信号，以利用麦克风采集的反射波数据，识别用户的控制手势(即目标控制手势)。
进一步的，本步骤之前还可以包括：获取手势识别指令，并根据手势识别指令控制扬声器发出预设超声波信号。例如，用户或头戴显示设备可以在确定用户需要进行手势控制时，通过手势识别指令，控制头戴显示设备进行手势识别。
步骤102：根据反射波数据，获取目标方向上的手势运动状态信息；其中，目标方向包括垂直方向和/或麦克风的排列方向，手势运动状态信息包括运动方向信息。
可以理解的是，本步骤中的目标方向可以为手势识别所能识别的方向，如垂直方向和/或麦克风的排列方向(如图2所示的水平方向)。本步骤中的手势运动状态信息可以为手势识别所能识别的在目标方向上运动状态的信息；本实施例并不限定手势运动状态信息的具体内容，如手势运动状态信息可以包括运动方向信息，例如垂直方向上的向上运动和向下运动等的运动方向信息(即垂直运动方向信息)和如图2所示的水平方向(即排列方向)上的向左运动和向下运动等的运动方向信息(即排列运动方向信息)；手势运动状态信息还可以运动距离信息和/或运动速度信息，本实施例对此不做任何限制。
具体的，对于本步骤中处理器根据反射波数据，获取目标方向上的手势运动状态信息的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如本步骤中处理器可以根据反射波数据中的反射波频率，获取手势运动状态信息，例如根据声波的Doppler(多普勒)效应，目标物体的移动会造成频率的移动；反射波的频率的变化与物体运动速度的关系为
Figure BDA0003377682190000071
其中，f为声波的原始频率；v为声波在空气中的传播速度；v0为目标物体与接收端的相对移动速度；f'为接收端接收到的声波频率。由上式可以看出，当目标物体靠近接收端(即麦克风)时，目标物体反射的声波频率会大于原始的声波频率；反之，频率会降低；通过接收端声波的频率变化，可以判断目标物体在垂直方向上的运动状态。麦克风的排列方向上，由麦克风组成阵列，由于目标物体在识别范围内时会加大声波的反射，接收到的声波的幅值也会产生相应的变化，且幅值与距离成正相关；当目标物体从头戴显示设备的下方水平划过时，引起的各麦克风的幅值变化会有一定的时间间隔；通过各通道麦克风幅值变化的时间差，可以计算用户手在排列方向内的运动方向。
具体的，通过测量超声波飞行时间进行超声测距是实际应用中最为常用的方法，这种方式又称为渡越时间法；在这种方法中，需要准确测量超声波从发射到接收的时间。为了测量渡越时间，最常用的是在回波信号中设定阈值，回波幅值超过阈值后会产生触发信号，进而得到渡越时间。设定阈值的方法根据形式的不同分为单阈值法、双阈值法。
单阈值法通过设定单个阈值，在声波发射之后开始计时，回波超过设定阈值后结束计时，然后得到飞行时间。其实现简单，通过电压比较与触发就可在硬件电路中进行飞行时间的测量，是超声测距中最原始的方法。但是由于环境中不可避免的存在噪声信号，而且噪声信号的幅值会发生变化，使得单阈值方法中设定的固定阈值不具有很好的环境适应性。又由于麦克风在起振和结束振动时存在余振过程，单阈值方法无法检测真正的超声波飞行时间。因此单阈值方法一般在对精度要求不高的情况下使用。
双阈值法为了解决由于起振过程的时间延迟，通过预置的两个阈值，使用构造直线方程的方式推断出真实的飞行时间。如图5所示，两个阈值分别为V1和V2，当回波幅值超过V1时记录为tb，回波幅值超过V2时记录为ta，通过a、b两点作一条直线与X轴的交点c作为渡越时间的时间点，渡越时间tc可以通过式
Figure BDA0003377682190000072
和
Figure BDA0003377682190000073
计算得到，从而进行超声测距。
如图6和图7所示，用户的手从头戴显示设备的下方在垂直方向先靠近后远离头戴显示设备，即佩戴头戴显示设备的用户的手先向上后向下时，从反射波数据中4个麦克风的反射波频率的频率图(图6中的通道一至四)可以看出，频率经过了先升高再降低的过程，反映了用户的手靠近设备和远离设备两个过程；相应的，反射波频率对应的幅值图(图7中的通道一至四)中的幅值的变化也可以反映出这一现象；如图6中频率的最高点和最低点对应的频率分别为40370Hz和39630Hz，可以计算得到手运动的速度约为0.75m/s。
对应的，本步骤中目标方向包括垂直方向时，处理器可以根据第一预设时间段内的目标麦克风的反射波频率变化和频率变化阈值，确定是否监测到垂直控制手势(即垂直方向上的预设控制手势)；若是，则根据第二预设时间段内的目标麦克风的反射波频率变化，确定垂直方向上的垂直运动状态信息；若否，则可以直接结束本流程或继续监测垂直控制手势；其中，目标麦克风为用于进行垂直方向上的运动状态检测的麦克风，如全部麦克风中的任意一个或多个麦克风；垂直运动状态信息可以为垂直方向上的运动状态信息，如垂直运动状态信息可以包括垂直运动方向信息以及垂直运动距离信息和/或垂直运动速度信息，第二预设时间段包括第一预设时间段。也就是说，本步骤中处理器可以在检测到第一预设时间段内目标麦克风的反射波频率变化中存在大于或等于频率变化阈值的反射波频率变化时，确定监测到垂直控制手势，从而利用包括第一预设时间段的第二预设时间段内的目标麦克风的反射波频率变化，确定垂直方向上的垂直运动状态信息。
如图2和图8所示，用户的手从头戴显示设备的下方在水平方向从麦克风②移动到麦克风④时，反射波数据中4个麦克风的反射波频率的频率图(图8中的通道一至四)可以看出，目标物体经过时会有轻微的多普勒现象造成频率的偏移，以最先出现的多普勒现象的频率偏移(即预设频率偏移)的通道一为基准，可以测得通道二、通道三、通道四的相对时延为0.0071s，0.016s，0.0098s，结果符合麦克风②移动到麦克风④的手经过路径。
相应的，本步骤中目标方向包括垂直方向时，麦克风的数量可以大于或等于2；本步骤中处理器可以检测各麦克风对应的反射波频率中是否存在预设频率偏移(如预设的多普勒现象的频率偏移)；若否，则可以直接结束本流程或继续监测预设频率偏移；若是，则可以将存在的第一个预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各麦克风对应的反射波频率中的预设频率偏移对应的相对延时；根据相对延时，确定排列方向上的排列运动状态信息；排列运动状态信息包括排列运动方向信息以及运动路径信息。也就是说，本步骤中处理器可以在检测到各麦克风的反射波频率中第一次出现预设频率偏移时，将该预设频率偏移的出现时间作为基准起始时间，检测之后的第三预设时间段内各麦克风对应的反射波频率中的预设频率偏移对应的相对延时，从而根据第一次出现预设频率偏移对应的麦克风与各相对延时对应的麦克风的设置位置，确定麦克风的排列方向上的排列运动状态信息；排列运动状态信息可以包括排列运动方向信息(即排列方向上的运动路径信息)以及排列运动距离信息和/或排列运动速度信息。
对应的，由于多普勒现象的频率偏移(即预设频率偏移)的偏移量比较小，为了保证预设频率偏移的识别准确性，本实施例中处理器在检测各麦克风对应的反射波频率中是否存在预设频率偏移的过程中，可以对各麦克风对应的反射波频率的幅值进行阈值滤波，得到各麦克风对应的滤波幅值；对滤波幅值进行时间加权平均，得到各麦克风对应的目标幅值；检测各麦克风对应的目标幅值中是否存在预设频率偏移对应的幅值波动；若是，则将存在的第一个预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各麦克风对应的反射波频率中的预设频率偏移对应的相对延时。也就是说，处理器可以通过对各麦克风对应的反射波频率的幅值进行阈值滤波和时间上的加权平均，得到相应的幅值(即目标幅值)，从而通过对目标幅值的检测，识别预设频率偏移；如图8和图9所示，可以对图8中的反射波频率的幅值以250进行阈值过滤后再进行时间上的加权平均，得到图9所示的目标幅值，以提升多普勒现象的频率偏移的检测准确性。
步骤103：根据手势运动状态信息识别目标控制手势；其中，目标控制手势为手势运动状态信息对应的预设控制手势。
可以理解的是，本步骤中的预设控制手势可以为预先设置的能够识别的控制手势，如向上抬手和手势和向右挥手的手势等。本实施例并不限定预设控制手势的具体内容和数量，如预设控制手势的数量可以为预先设置的固定值，例如穿戴设备主体中可以预先存储有固定值的预设控制手势，用户可以按照各预设控制手势的展示，做出相应的手势，配置各预设控制手势对应的预设手势运动状态信息，实现固定的预设控制手势的校准；预设控制手势的数量也可以为用户自行配置的数量，例如用户可以在穿戴设备主体中自行加入各种自身所需的预设控制手势，并自行做出相应的手势，配置各预设控制手势对应的预设手势运动状态信息，完成各预设控制手势的校准。
具体的，本步骤中的目标控制手势可以为利用手势运动状态信息所识别到的预设控制手势。对于本步骤中处理器根据手势运动状态信息识别目标控制手势的具体方式，可以由设计人员自行设置，如每个预设控制手势可以对应一组预设手势运动状态信息，处理器可以将当前获取的手势运动状态信息与各控制手势对应的预设手势运动状态信息进行匹配，识别目标控制手势；目标控制手势为手势运动状态信息匹配到的预设手势运动状态信息对应的预设控制手势。
进一步的，本步骤之前还可以包括头戴显示设备的佩戴检测过程，以在用户未佩戴头戴显示设备时，停止手势识别流程，以降低头戴显示设备的耗电量。例如本步骤之前，步骤101之前处理器可以判断头戴显示设备是否处于佩戴状态；若是，则控制头戴显示设备中扬声器发出预设超声波信号，并进入步骤101；若否，则可以直接结束本流程。
本实施例中，本发明实施例通过根据反射波数据，获取目标方向上的手势运动状态信息，能够利用扬声器和麦克风，依据超声定位原理，确定用户在目标方向上的手势运动状态，进而识别用户的控制手势，从而能够避免摄像头的使用，大大缩小了头戴显示设备的体积，并且摆脱了环境光对手势识别的影响，提升了用户体验。
相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的手势识别装置，下文描述的一种头戴显示设备的手势识别装置与上文描述的一种头戴显示设备的手势识别方法可相互对应参照。
请参考图10，图10为本发明实施例所提供的一种头戴显示设备的手势识别装置。该装置可以包括：
数据获取模块10，用于获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，预设超声波信号为头戴显示设备中扬声器发出预设频率的超声波信号；
运动获取模块20，用于根据反射波数据，获取目标方向上的手势运动状态信息；其中，目标方向包括垂直方向和/或麦克风的排列方向，手势运动状态信息包括运动方向信息；
手势识别模块30，用于根据手势运动状态信息识别目标控制手势；其中，目标控制手势为手势运动状态信息对应的预设控制手势。
可选的，运动获取模块20可以具体用于根据反射波数据中的反射波频率，获取手势运动状态信息。
可选的，目标方向包括垂直方向时，运动获取模块20可以包括：
垂直监测子模块，用于根据第一预设时间段内的目标麦克风的反射波频率变化和频率变化阈值，确定是否监测到垂直控制手势；其中，目标麦克风为任意一个或多个麦克风；
垂直确定子模块，用于若监测到垂直控制手势，则根据第二预设时间段内的目标麦克风的反射波频率变化，确定垂直方向上的垂直运动状态信息；其中，垂直运动状态信息包括垂直运动方向信息以及垂直运动距离信息和/或垂直运动速度信息，第二预设时间段包括第一预设时间段。
可选的，目标方向包括排列方向时，麦克风的数量大于或等于2；
运动获取模块20可以包括：
偏移检测子模块，用于检测各麦克风对应的反射波频率中是否存在预设频率偏移；
延时检测子模块，用于若存在预设频率偏移，则将存在的第一个预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各麦克风对应的反射波频率中的预设频率偏移对应的相对延时；
排列确定子模块，用于根据相对延时，确定排列方向上的排列运动状态信息；排列运动状态信息包括排列运动方向信息以及运动路径信息。
可选的，偏移检测子模块可以具体用于对各麦克风对应的反射波频率的幅值进行阈值滤波，得到各麦克风对应的滤波幅值；对滤波幅值进行时间加权平均，得到各麦克风对应的目标幅值；检测各麦克风对应的目标幅值中是否存在预设频率偏移对应的幅值波动；若是，则向延时检测子模块发送启动信号。
可选的，麦克风设置在头戴显示设备的下镜框处，用于采集预设超声波信号从头戴显示设备下方反射回的反射波数据。
可选的，扬声器设置在头戴显示设备的镜腿处，用于向头戴显示设备的下方输出预设超声波信号。
本实施例中，本发明实施例通过运动获取模块20根据反射波数据，获取目标方向上的手势运动状态信息，能够利用扬声器和麦克风，依据超声定位原理，确定用户在目标方向上的手势运动状态，进而识别用户的控制手势，从而能够避免摄像头的使用，大大缩小了头戴显示设备的体积，并且摆脱了环境光对手势识别的影响，提升了用户体验。
相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备，下文描述的一种头戴显示设备与上文描述的一种头戴显示设备的手势识别方法可相互对应参照。
一种头戴显示设备，包括：麦克风、扬声器、存储器和处理器；其中，存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述方法实施例所提供的头戴显示设备的手势识别方法的步骤。
其中，本实施例并不限定头戴显示设备的具体设备类型，如本实施例所提供的头戴显示设备可以具体为AR设备和VR设备等。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，下文描述的一种计算机可读存储介质与上文描述的一种头戴显示设备的手势识别方法可相互对应参照。
一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所提供的头戴显示设备的手势识别方法的步骤。
该计算机可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、头戴显示设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本发明所提供的一种头戴显示设备的手势识别方法、装置、头戴显示设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种头戴显示设备的手势识别方法，其特征在于，包括：
获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，所述预设超声波信号为所述头戴显示设备中扬声器发出预设频率的超声波信号；
根据所述反射波数据，获取目标方向上的手势运动状态信息；其中，所述目标方向包括垂直方向和/或所述麦克风的排列方向，所述手势运动状态信息包括运动方向信息；
根据所述手势运动状态信息识别目标控制手势；其中，所述目标控制手势为所述手势运动状态信息对应的预设控制手势。
2.根据权利要求1所述的头戴显示设备的手势识别方法，其特征在于，所述根据所述反射波数据，获取目标方向上的手势运动状态信息，包括：
根据反射波数据中的反射波频率，获取所述手势运动状态信息。
3.根据权利要求2所述的头戴显示设备的手势识别方法，其特征在于，所述目标方向包括所述垂直方向时，所述根据反射波数据中的反射波频率，获取所述手势运动状态信息，包括：
根据第一预设时间段内的目标麦克风的反射波频率变化和频率变化阈值，确定是否监测到垂直控制手势；其中，所述目标麦克风为任意一个或多个所述麦克风；
若是，则根据第二预设时间段内的所述目标麦克风的反射波频率变化，确定所述垂直方向上的垂直运动状态信息；其中，所述垂直运动状态信息包括垂直运动方向信息以及垂直运动距离信息和/或垂直运动速度信息，所述第二预设时间段包括所述第一预设时间段。
4.根据权利要求2所述的头戴显示设备的手势识别方法，其特征在于，所述目标方向包括所述排列方向时，所述麦克风的数量大于或等于2；
所述根据反射波数据中的反射波频率，获取所述手势运动状态信息，包括：
检测各所述麦克风对应的反射波频率中是否存在预设频率偏移；
若是，则将存在的第一个所述预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各所述麦克风对应的反射波频率中的所述预设频率偏移对应的相对延时；
根据所述相对延时，确定所述排列方向上的排列运动状态信息；所述排列运动状态信息包括排列运动方向信息以及运动路径信息。
5.根据权利要求4所述的头戴显示设备的手势识别方法，其特征在于，所述检测各所述麦克风对应的反射波频率中是否存在预设频率偏移，包括：
对各所述麦克风对应的反射波频率的幅值进行阈值滤波，得到各所述麦克风对应的滤波幅值；
对所述滤波幅值进行时间加权平均，得到各所述麦克风对应的目标幅值；
检测各所述麦克风对应的目标幅值中是否存在所述预设频率偏移对应的幅值波动；
若是，则执行所述将存在的第一个所述预设频率偏移的时间作为基准起始时间，检测第三预设时间段内各所述麦克风对应的反射波频率中的所述预设频率偏移对应的相对延时的步骤。
6.根据权利要求1至5任一项所述的头戴显示设备的手势识别方法，其特征在于，所述麦克风设置在所述头戴显示设备的下镜框处，用于采集所述预设超声波信号从所述头戴显示设备下方反射回的所述反射波数据。
7.根据权利要求6所述的头戴显示设备的手势识别方法，其特征在于，所述扬声器设置在所述头戴显示设备的镜腿处，用于向所述头戴显示设备的下方输出所述预设超声波信号。
8.一种头戴显示设备的手势识别装置，其特征在于，包括：
数据获取模块，用于获取头戴显示设备中麦克风采集的预设超声波信号的反射波数据；其中，所述预设超声波信号为所述头戴显示设备中扬声器发出预设频率的超声波信号；
运动获取模块，用于根据所述反射波数据，获取目标方向上的手势运动状态信息；其中，所述目标方向包括垂直方向和/或所述麦克风的排列方向，所述手势运动状态信息包括运动方向信息；
手势识别模块，用于根据所述手势运动状态信息识别目标控制手势；其中，所述目标控制手势为所述手势运动状态信息对应的预设控制手势。
9.一种头戴显示设备，其特征在于，包括：麦克风、扬声器、存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的头戴显示设备的手势识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的头戴显示设备的手势识别方法的步骤。
CN202111424574.8A 2021-11-26 2021-11-26 一种头戴显示设备及其手势识别方法、装置和存储介质 Pending CN114118152A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111424574.8A CN114118152A (zh) 2021-11-26 2021-11-26 一种头戴显示设备及其手势识别方法、装置和存储介质
PCT/CN2021/135586 WO2023092637A1 (zh) 2021-11-26 2021-12-06 一种头戴显示设备及其手势识别方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424574.8A CN114118152A (zh) 2021-11-26 2021-11-26 一种头戴显示设备及其手势识别方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114118152A true CN114118152A (zh) 2022-03-01

Family

ID=80370413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424574.8A Pending CN114118152A (zh) 2021-11-26 2021-11-26 一种头戴显示设备及其手势识别方法、装置和存储介质

Country Status (2)

Country Link
CN (1) CN114118152A (zh)
WO (1) WO2023092637A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153365A (zh) * 2023-10-30 2023-12-01 中国人民解放军总医院第二医学中心 一种基于音频识别的透析设备运行状态预警方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
CN103344959B (zh) * 2013-07-22 2016-04-20 苏州触达信息技术有限公司 一种超声定位***和具有定位功能的电子装置
CN106446801B (zh) * 2016-09-06 2020-01-07 清华大学 基于超声主动探测的微手势识别方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153365A (zh) * 2023-10-30 2023-12-01 中国人民解放军总医院第二医学中心 一种基于音频识别的透析设备运行状态预警方法及***
CN117153365B (zh) * 2023-10-30 2024-03-12 中国人民解放军总医院第二医学中心 一种基于音频识别的透析设备运行状态预警方法及***

Also Published As

Publication number Publication date
WO2023092637A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US11398235B2 (en) Methods, apparatuses, systems, devices, and computer-readable storage media for processing speech signals based on horizontal and pitch angles and distance of a sound source relative to a microphone array
JP5710792B2 (ja) 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体
US10061010B2 (en) Distance measurement
US11828885B2 (en) Proximity sensing
US20160171965A1 (en) Vibration source estimation device, vibration source estimation method, and vibration source estimation program
WO2021017950A1 (zh) 超声波处理方法、装置、电子设备及计算机可读介质
CN106898360B (zh) 音频信号处理方法、装置和电子设备
US10234548B2 (en) Ultrasonic detection device to determine interference source by an additional reception mode
US10416305B2 (en) Positioning device and positioning method
US20230333205A1 (en) Sound source positioning method and apparatus
CN114118152A (zh) 一种头戴显示设备及其手势识别方法、装置和存储介质
CN113253287A (zh) 物体移动检测装置和方法及非暂时性计算机可读存储介质
JP6147350B2 (ja) 距離測定装置
US10375501B2 (en) Method and device for quickly determining location-dependent pulse responses in signal transmission from or into a spatial volume
CN111638522B (zh) 接近检测方法及电子设备
US11536759B2 (en) Absorption rate detection
CN112180377B (zh) 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质
CN110987154B (zh) 一种敲击事件的检测方法、装置、介质及头戴式设备
KR102132603B1 (ko) 거리 측정 장치 및 방법
Saez et al. Ultrasound technology for touchless HMI system: finger tracker
KR101490821B1 (ko) 입체 음향 기술 적용 방법 및 이를 이용한 지상 감시 레이더 시스템
CN118294963A (zh) 一种基于声波fmcw的高精度实时人体测距方法
KR20230074997A (ko) 거리 측정 방법 및 그 장치
JP2021030062A (ja) 浴室内の危険状態を検出する方法、装置及び電子機器
CN116364087A (zh) 一种提高唤醒率的方法、***、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221121

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, Weifang High tech Zone, Weifang City, Shandong Province

Applicant before: GoerTek Optical Technology Co.,Ltd.