CN113064483A - 一种手势识别方法以及相关装置 - Google Patents

一种手势识别方法以及相关装置 Download PDF

Info

Publication number
CN113064483A
CN113064483A CN202110221938.6A CN202110221938A CN113064483A CN 113064483 A CN113064483 A CN 113064483A CN 202110221938 A CN202110221938 A CN 202110221938A CN 113064483 A CN113064483 A CN 113064483A
Authority
CN
China
Prior art keywords
gesture
target
types
circling
application scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110221938.6A
Other languages
English (en)
Inventor
夏朝阳
丁根明
徐丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Huawei Technologies Co Ltd
Original Assignee
Fudan University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Huawei Technologies Co Ltd filed Critical Fudan University
Priority to CN202110221938.6A priority Critical patent/CN113064483A/zh
Publication of CN113064483A publication Critical patent/CN113064483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种手势识别方法，涉及人工智能以及手势识别领域，方法包括：获取当前的目标应用场景，并从多个用于在不同应用场景中识别手势的手势识别模型中获取所述目标应用场景对应的目标手势识别模型，进而可以通过所述目标手势识别模型识别出所述手势数据对应的目标手势类型。本申请针对于目标应用场景，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别目标应用场景需要识别的手势类型，只需要正确的识别出目标应用场景需要识别的手势类型，而不需要识别出除目标应用场景需要识别的手势类型之外的手势类别，能降低手势识别的混淆性，提高手势识别的准确性。

Description

一种手势识别方法以及相关装置
技术领域
本申请涉及人工智能领域，尤其涉及一种应用操作方法以及相关装置。
背景技术
近年来随着智能家居与可穿戴设备的迅速发展，用于计算的设备无处不在并融入到人们生活的环境当中。为方便人与计算设备的交互，相对于传统的接触式人机交互方式，有必要提出一种更加自然、使用户尽可能摆脱对输入设备等依赖的交互方式，如隔空手势。隔空手势是一类非接触式的、能够使用户以徒手方式进行操作的空中手势，其本质是一种不给用户手势交互带来任何不便的自然人机交互方式。
隔空手势通过用户自然地利用手指、手腕和手臂动作表达其交互意图，主要包括指、挥手、握拳、手掌转动等，具有更广阔的交互空间、更高的灵活度和更好的交互体验等特点。依据感知设备的不同，目前主要分为基于计算机视觉、超声波和电磁波信号的三大类手势识别技术。
在现有的实现方式中，可以通过预训练好的神经网络模型来进行手势类型的识别，该神经网络模型获取雷达装置采集得到的数据，并进行特征提取分割以及手势类别的识别。然而随着手势控制需求的增大，手势类型的数量不断增多，不同手势类型之间的区别度越来越小，使得准确识别手势类型成为一件较为困难的事情，现有的神经网络模型在进行手势类型识别的过程中，经常会出现手势误识别的现象。
发明内容
第一方面，本申请提供了一种手势识别方法，应用于计算设备，所述计算设备应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，其中手势控制的多类应用场景可以为同一个应用中的不同应用界面(例如应用场景可以是音频播放界面、视频播放界面或应用导航界面等等)，或者是同一个终端设备的不同应用(例如应用场景可以是音频播放应用、聊天应用、视频播放应用或者是游戏应用)，或者是同一个物理区域内的不同终端设备(例如应用场景可以电视、游戏机、空调等等终端设备)。
所述方法包括：
获取目标应用场景；从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；
本申请实施例中，针对于每一类应用场景，训练了对应的手势识别模型，其中，每一类应用场景对应的手势识别模型可以识别出应用场景需要做出识别的手势类别。
获取所述目标应用场景下的手势数据；通过所述目标手势识别模型识别出所述手势数据对应的目标手势类型。
本申请实施例中，手势数据可以是基于对接收到雷达信号的反射信号进行处理得到的，其中雷达信号的种类可以包括但不限于连续波(continuous wave，CW)信号和chirp信号。
在现有的实现方式中，可以通过预训练好的神经网络模型来进行手势类型的识别，该神经网络模型可以获取到雷达装置采集得到的数据，并进行特征提取分割以及手势类别的识别，为了能够识别出各类应用场景需要识别的全部手势类型，该神经网络模型需要具备识别出全部手势类型的能力。因而，该神经网络模型需要识别出的手势类型的种类较多(例如Y种手势类型)，然而若目标应用场景只需要响应于其中的一部分手势类型(例如M种手势类型，且M小于Y)，则在处于目标应用场景时，神经网络模型只需要正确的识别出M种手势类型即可。若采用现有的实现方式进行手势识别会存在着如下几种问题：
一方面，可能会导致手势误识别的问题。
例如，Y种手势类型中存在着两个非常相似的手势，例如画圈手势和画X手势，M种手势类型包括两个非常相似的手势中的一个手势，例如包括画圈手势而不包括画X手势或者包括画X手势而不包括画圈手势，若该神经网络模型具备着可以识别出两个非常相似的手势的能力，则神经网络模型需要区分出这两个非常相似的手势，在神经网络模型的训练过程中，由于手势之间的相似性很大，神经网络模型在更新参数时可能会有很大的概率出现局部最值，会对这两个非常相似的手势的识别出现混淆，例如将画圈手势识别成画X手势，或者将画X手势识别成画圈手势。目标应用场景只需要响应于画圈手势而不需要响应于画X手势，用户若进行了一个画X手势，神经网络模型可能将该画X手势识别为画圈手势，进而出现了手势的误识别。
另一方面，原有神经网络模型可能无法识别新的手势类型。
由于可识别出Y种手势类型的神经网络模型是预训练好的，在应用场景的类别越来越多、手势类型多样的情况下，出现了一些需要响应于不包括在Y种手势类型之内的手势类型的应用场景，例如在终端设备新安装了一些可响应于不包括在Y种手势类型之内的手势类型的应用时，上述可识别出Y种手势类型的神经网络模型就无法使用了，这种情况下，需要在原有的神经网络模型上继续训练，或者重新训练一个可以识别原有的Y类手势类别以及新增加的手势类别的神经网络模型，由于需要识别出的手势类别数量很大，因此模型本身的参数量很大，且训练过程需要花费的计算量和时间很多。此外，若新增加的手势类别与原本的Y类手势类别中的一个或多个手势类别之间的相似度很大，则同样会出现上述的识别混淆的问题。然而，若针对于目标应用界面，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别M种手势类型，以M种手势类型包括画圈手势而不包括画X手势为例，神经网络模型不需要区分出画圈手势和画X手势，只需要正确的识别出画圈手势，由于不需要识别出画X手势，神经网络模型在更新参数时会较快收敛，并能准确地识别出画圈手势。且，M种手势类型的数量远远小于Y种手势类型，因此模型本身的参数量较小，训练过程需要花费的计算量和时间相比训练可识别出Y种手势类型的神经网络模型是少很多的。在出现了一些新的应用场景时(也就是在终端设备或云侧服务器上未存储有可识别新的应用场景需要识别的手势类别)，只需要训练能识别出新的应用场景需要识别的手势类别的神经网络模型即可。
本实施例针对于目标应用场景，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别目标应用场景需要识别的手势类型，只需要正确的识别出目标应用场景需要识别的手势类型，而不需要识别出除目标应用场景需要识别的手势类型之外的手势类别，神经网络模型在更新参数时会较快收敛，并能降低手势识别的混淆性，提高手势识别的准确性。且，由于需要识别的手势类别数量较少，因此模型本身的参数量较小，训练过程需要花费的计算量和时间较少。此外，在出现一些新的应用场景时，只需要训练能识别出新的应用场景可以识别的手势类别的神经网络模型即可。
在一种可能的实现中，所述目标应用场景需要识别M种手势类型；所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型用于在第一应用场景中，根据获取到的手势数据识别对应的手势类型，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
计算设备可以从本地存储或云端存储获取目标应用场景的场景下对应手势识别模型(目标手势识别模型)，其中本地存储或云端存储中可以存储着多个手势识别模型，每个手势识别模型对应于一类应用场景，不同类的应用场景需要相应的手势类别不同，每个手势识别模型可以识别出对应的应用场景需要识别的手势类别，具体的，所述多个手势识别模型还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要响应于N种手势类型；所述第一手势识别模型第一手势识别模型用于识别出第一应用场景需要识别的N种手势类型，所述M种手势类型与所述N种手势类型不完全相同。在一种实现中，M种手势类型是N种手势类型的一部分，或者N种手势类型是M种手势类型的一部分，或者M种手势类型中的每个手势类型都不属于N种手势类型，也就是M种手势类型和N种手势类型的交集为空集，或者M种手势类型和N种手势类型中包括相同的手势类型，且M种手势类型中存在N种手势类型不包括的手势类型。
在一种可能的实现中，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
这里所谓所述第一手势和所述第二手势的相似度大于预设值，是指所述第一手势和所述第二手势是很相似的手势，具体的，可以理解为第一手势和所述第二手势之间的轨迹相似，若应用场景对于手势的轨迹幅度不敏感，也就是无论用户做出手势的幅度有多大，只要轨迹的形状相似，都应该认为是相同类别的手势，且应用场景会做出相同的响应，在这种情况下，第一手势和所述第二手势之间的相似度大于预设值可以理解为轨迹的形状相似，例如幅度较大的画圈手势、幅度较小的画圈手势、幅度较大的画X手势以及幅度较小的画X手势的任两个手势都可以认为是相似度大于预设值的手势。若应用场景对于手势的轨迹幅度敏感，也就是针对于相同形状的手势，用户做出的幅度不同，应该认为是不同类别的手势，且应用场景会做出不同的识别，在这种情况下，第一手势和所述第二手势之间的相似度大于预设值可以理解为轨迹的形状相似且轨迹的幅度相似，例如相似幅度的画圈手势和画X手势之间可以认为是相似度大于预设值的手势。
在一种可能的实现中，在所述第一手势识别模型处理所述手势数据的情况下，所述第一手势识别模型确定所述手势数据对应于第一手势类型或所述手势数据不可识别，所述第一手势类型与所述目标手势类型不同。
在一些实现中，针对于不同的应用场景，相同的手势数据识别出的结果可以是不同的(可以是识别出不同的手势类别或者是识别不出来)。例如，针对于A界面，当用户进行画圈手势时，需要识别出画圈手势并进行响应，而针对于B界面，当用户进行画圈手势时，不需要进行响应；又例如，针对于A界面，需要区分出用户的画圈手势的幅度差异而进行不同的识别，具体的，当用户进行幅度较大的画圈手势时，需要识别出幅度较大的画圈手势并进行幅度较大的画圈手势对应的响应，当用户进行幅度较小的画圈手势时，需要识别出幅度较小的画圈手势并进行幅度较小的画圈手势对应的响应，而针对于B界面，当用户进行画圈手势时，无论是多大的幅度，都只需要识别出画圈手势，并进行相同的响应。通过针对于不同应用场景的类别区分，可以使得针对于相同的手势，根据应用的不同而进行不同结果的识别。
在一种可能的实现中，所述多个手势识别模型为神经网络模型。
在一种可能的实现中，所述目标手势识别模型的训练样本包括样本标签为M种手势类型的手势数据；
所述第一手势识别模型的训练样本包括样本标签为N种手势类型的手势数据。
在一种可能的实现中，所述目标手势类型为画圈手势，所述方法还包括：基于所述手势数据，确定所述画圈手势的运动特征，所述运动特征包括所述画圈手势在方位角或者俯仰角上随时间的角度变化；获取所述角度变化中波峰和波谷的数量；根据所述波峰或者波谷的数量，确定所述画圈手势的画圈次数。
其中，可以通过目标手势识别模型识别出目标手势类型为画圈手势，还可以基于手势数据的运动特征来确定所述画圈手势的画圈次数。
在另一种实现中，可以获取所述目标应用场景下的第二手势数据；根据所述第二手势数据，确定第三手势的运动特征，所述运动特征包括所述第三手势在方位角或者俯仰角上随时间的角度变化；若满足预设条件，则确定所述第三手势的手势类型为画圈手势，所述第一波峰以及所述第二波峰为所述角度变化中相邻的波峰；所述预设条件包括所述角度变化中第一波峰和第二波峰对应的时间的差异大于目标时间阈值、以及所述第一波峰以及所述第二波峰对应的方位角或俯仰角大于目标角度阈值中的至少一种，以及所述角度变化与正弦波的差异在预设范围内。
本实施例中，不通过神经网络，而是直接通过对手势数据的运动特征进行分析处理，来判定是否是画圈的手势类别，可以大大降低所需的时间开销，进而对画圈手势类别做出快速的判定。
在一些场景中，应用场景可以对一些周期性的手势进行识别，并基于周期性手势的类别以及一些运动特征进行应用操作，其中应用操作是与手势的运动特征有关的，例如视频播放界面可以对画圈手势进行识别，并进行音量调节的应用操作，其中，音量调节的大小与画圈手势的画圈的数量有关，且调节过程是连续平滑的，例如每画30度，则音量调节一个单位，在这种情况下，就需要获取到实时的手势数据(具体可以是包括手势运动的角度数据，例如可以是方位角与俯仰角)，进而才可以进行识别的平滑的应用操作。此时若依然采用用于进行手势识别的神经网络模型，仅能获取到手势类别，而不能实时获取到手势的运动数据。
在一种可能的实现中，所述方法还包括：获取所述角度变化中波峰和波谷的数量；
根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
具体的，可以获取所述角度变化的M个波峰以及N个波谷；基于所述M个波峰以及N个波谷，确定所述画圈手势的画圈次数，其中，由一个波峰到之后且相邻的波峰对应于一次画圈，由一个波谷到之后且相邻的波谷对应于一次画圈；为了获取到画圈手势的画圈数量，可以获取所述角度变化的M个波峰以及N个波谷，并基于所述M个波峰以及N个波谷，确定所述画圈手势的画圈次数，其中，由一个波峰到之后且相邻的波峰对应于一次画圈，由一个波谷到之后且相邻的波谷对应于一次画圈。
在一种可能的实现中，所述N个波谷包括第一波谷以及第二波谷，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波谷对应于所述目标时间窗内的最后一帧，且所述第二波谷与所述第一波谷之间的差异值小于预设角度；或，
所述M个波峰包括第一波峰以及第二波峰，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波峰对应于所述目标时间窗内的最后一帧，且所述第二波峰与所述第一波峰之间的差异值小于预设角度。
在一种实现中，所述N个波谷包括第一波谷以及第二波谷，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波谷对应于所述目标时间窗内的最后一帧，且所述第二波谷与所述第一波谷之间的差异值小于预设角度；或，所述M个波峰包括第一波峰以及第二波峰，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波峰对应于所述目标时间窗内的最后一帧，且所述第二波峰与所述第一波峰之间的差异值小于预设角度。
以预设角度为波峰高度的1/10为例，本实施例中，可以对滑动窗内方位角与俯仰角随时间变化的1维(1D)时域特征进行寻峰，得到特征的峰个数、峰位置、峰高度、峰宽度等参数，利用寻峰结果进行特征分割，基于寻峰及谐波失真计算进行周期性手势判定，判定为周期性手势(例如上述的画圈手势)后，可根据寻峰结果进行周期性手势的特征分割、周期性手势识别与计数。
在一种可能的实现中，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述画圈手势在俯仰角上随时间的第二角度变化；所述方法还包括：根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
具体的，所述第一角度变化包括第一子角度变化以及第二子角度变化，所述第二角度变化包括第三子角度变化以及第四子角度变化，所述第一子角度变化与所述第三子角度变化为相同时间段内的角度变化，所述第二子角度变化与所述第四子角度变化为相同时间段内的角度变化，所述第三子角度变化为所述第二角度变化中由一个波峰到相邻波谷的角度变化，所述第四子角度变化为所述第二角度变化中由一个波谷到相邻波峰的角度变化，可以基于所述第一子角度变化先增大后减小以及所述第二子角度变化先减小后增大，确定所述目标手势的画圈方向为顺时针画圈；基于所述第一子角度变化先减小后增大以及所述第二子角度变化先增大后减小，确定所述目标手势的画圈方向为逆时针画圈；
具体的，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化，所述第一角度变化包括第一子角度变化以及第二子角度变化，所述第二角度变化包括第三子角度变化以及第四子角度变化，所述第一子角度变化与所述第三子角度变化为相同时间段内的角度变化，所述第二子角度变化与所述第四子角度变化为相同时间段内的角度变化，所述第三子角度变化为所述第二角度变化中由一个波峰到相邻波谷的角度变化，所述第四子角度变化为所述第二角度变化中由一个波谷到相邻波峰的角度变化，可以基于所述第一子角度变化先增大后减小以及所述第二子角度变化先减小后增大，确定所述目标手势的画圈方向为顺时针画圈；基于所述第一子角度变化先减小后增大以及所述第二子角度变化先增大后减小，确定所述目标手势的画圈方向为逆时针画圈，本实施例中，顺时针画圈对应特征为俯仰角波峰到波谷方位角先增大后减小，俯仰角波谷到波峰方位角先减小后增大；逆时针画圈对应特征为俯仰角波峰到波谷方位角先负后正，俯仰角波谷到波峰方位角先增大后减小。
第二方面，本申请提供了一种手势识别装置，所述手势识别装置应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述装置包括：
获取模块，用于获取目标应用场景；
所述获取模块还用于从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；
所述获取模块还用于获取所述目标应用场景下的手势数据；
手势识别模块，用于基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。
在一种可能的实现中，所述目标应用场景需要识别M种手势类型；
所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
在一种可能的实现中，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
在一种可能的实现中，所述多个手势识别模型为神经网络模型。
在一种可能的实现中，所述目标手势识别模型的训练样本包括样本标签为M种手势类型的手势数据；
所述第一手势识别模型的训练样本包括样本标签为N种手势类型的手势数据。
在一种可能的实现中，所述获取模块还用于获取所述目标应用场景下的手势数据，具体为：
所述获取模块还用于获取所述目标应用场景下的雷达反射信息；
所述获取模块还用于基于所述雷达反射信息，获取手势数据。
在一种可能的实现中，所述手势识别模块，还用于：
基于所述手势数据，确定目标手势的运动特征，所述运动特征包括所述目标手势在方位角或者俯仰角上随时间的角度变化；
所述获取模块，还用于获取所述角度变化中波峰和波谷的数量；
所述装置还包括：
画圈次数确定模块，用于：根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
在一种可能的实现中，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化；
所述装置还包括：画圈方向确定模块，用于：
根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
第三方面，本申请实施例提供了一种手势识别设备，其特征在于，包括：一个或多个处理器和存储器；其中，所述存储器中存储有计算机可读指令；所述一个或多个处理器读取所述计算机可读指令，以使所述计算机设备实现如上述第一方面及其任一可选的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行上述第一方面及其任一可选的方法。
第五方面，本申请实施例提供了一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行上述第一方面及其任一可选的方法。
第六方面，本申请实施例提供了一种终端设备，包括：
雷达装置，用于发送雷达信号；接收所述雷达信号的反射信号；
存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如上述第一方面及其任一可选的方法，以得到目标手势类型；
应用操作模块，用于基于所述目标手势类型，执行对应的应用操作。
第七方面，本申请提供了一种芯片***，该芯片***包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片***还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片***，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请实施例提供了一种手势识别方法，应用于计算设备，所述计算设备应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述方法包括：获取目标应用场景；从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；获取所述目标应用场景下的手势数据；基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。本实施例针对于目标应用场景，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别目标应用场景需要识别的手势类型，只需要正确的识别出目标应用场景需要识别的手势类型，而不需要识别出除目标应用场景需要识别的手势类型之外的手势类别，神经网络模型在更新参数时会较快收敛，并能降低手势识别的混淆性，提高手势识别的准确性。且，由于需要识别的手势类别数量较少，因此模型本身的参数量较小，训练过程需要花费的计算量和时间较少。此外，在出现一些新的应用场景时，只需要训练能识别出新的应用场景可以识别的手势类别的神经网络模型即可。
附图说明
图1a为本申请实施例提供的场景示意；
图1b为本申请实施例提供的场景示意；
图1c为本申请实施例提供的场景示意；
图2为本申请实施例提供的一种雷达装置的架构示意图；
图3为本申请实施例提供的一种终端设备的架构示意图；
图4为本申请实施例提供的一种终端设备的架构示意图；
图5为本申请实施例提供的一种手势识别方法的实施例示意图；
图6为本申请实施例提供的一种应用交互示意；
图7a为本申请实施例提供的一种应用交互示意；
图7b为本申请实施例提供的一种应用交互示意；
图8为本申请实施例提供的一种应用交互示意；
图9为本申请实施例提供的一种应用交互示意；
图10为本申请实施例提供的一种应用交互示意；
图11为本申请实施例提供的一种3D点云示意；
图12为chirp信号时域幅值变化的示意；
图13为一帧信号包括K个chirp信号的示意；
图14为本申请实施例提供的一种距离多普勒谱生成流程示意；
图15为本申请实施例提供的一种3D点云示意；
图16为本申请实施例提供的一种手势的角度变化示意；
图17为本申请实施例提供的一种手势的角度变化示意；
图18为本申请实施例提供的一种手势的角度变化示意；
图19为本申请实施例提供的一种手势识别率示意；
图20为本申请实施例提供的一种手势识别率示意；
图21为本申请提供的一种手势识别装置的结构示意；
图22为本申请实施例提供的手势识别装置的一种结构示意图；
图23是本申请实施例提供的服务器的一种结构示意图；
图24为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。首先介绍本申请实施例的应用场景：
本申请实施例可以应用于手势控制的应用场景。
终端设备上可以安装有多个应用，每个应用可以包括多个应用界面，在一种实现中，手势控制的应用场景可以为同一个终端设备的不同应用(例如音频播放应用、聊天应用、视频播放应用或者是游戏应用)；在一种实现中，手势控制的应用场景可以为同一个应用中的应用界面(例如音频播放界面、视频播放界面或应用导航界面等等)；在一种实现中，手势控制的应用场景可以为同一个物理区域内的不同终端设备(例如电视、游戏机、空调等等终端设备)。
在进行手势识别时，终端设备上的雷达装置可以发送雷达信号并接收到雷达信号的反射信号，应理解，若反射信号是针对于用户的手势的反射信号，则可以称之为手势数据，该手势数据可以是反射信号，或者是对反射信号进行一定信号处理(例如模数转换等)后得到的数据。通过对手势信号进行处理，可以得到手势类别，进而可以在终端上进行手势类别对应的操作。
其中，在一种实现中，终端设备上可以部署有计算设备(例如处理器)，计算设备可以进行对手势信号进行处理的过程。
其中，在一种实现中，终端设备可以将手势数据发送至部署有计算设备的其他终端设备(为方便描述，可以称之为第一设备)，第一设备可以进行对手势信号进行处理的过程，在第一设备得到手势类别后，可以将手势类别发送至终端设备。
在一种实现中，可以由云侧的计算设备(例如服务器)进行对手势信号进行处理的过程，在云侧的计算设备得到手势类别后，可以将手势类别发送至终端设备。
针对于计算设备部署在终端设备以及服务器的两种情况，接下来分别进行说明：
在一种应用架构中，计算设备部署在终端设备，且终端设备还可以部署有雷达装置。
以计算设备部署在终端设备上为例，请参阅图1a，图1a为本申请实施例提供的一种应用场景的示意图。如图1a所示，计算设备101可以集成于电视中，该计算设备101还可以集成于其他终端设备(例如计算机、智能手机或智能手表等需要用户进行无接触人机交互的产品)。
图1a中的终端设备100可以设置有雷达装置102。在图1a示出的场景中，用户在雷达装置102的监视区域中挥动手部，该手部在如图1a所示的空间坐标系(例如但不限于：x-y-z轴空间直角坐标系)中形成运动轨迹。雷达装置102可以向人体发送雷达信号，并接受该雷达信号的反射信号。
根据雷达装置102的不同具体实现，该雷达信号可以有多种载体，例如：当该雷达装置102是微波雷达时，该雷达信号为微波信号；当该雷达装置102是超声波雷达时，该雷达信号为超声波信号；当雷达装置102是激光雷达时，该雷达信号为激光信号。需要说明的是，当该雷达装置102为集成多种不同的雷达时，该雷达信号可以是多种雷达信号的集合，此处不作限定。
雷达装置102在接收到反射信号后，可以对反射信号进行处理以确定手势数据，并由计算设备101根据手势数据确定手势类型，或者直接将反射信号发送至计算设备101，由计算设备101根据反射信号确定手势类型。
在一种应用架构中，计算设备可以为部署在终端设备中的处理器。
接下来以计算设备101为处理器为例，介绍图1a中的终端设备的架构，参照图2，图2为本申请实施例提供的一种终端设备100的架构示意图。其中，终端设备100可以生成雷达信号并将雷达信号发射到终端设备100正在监视的区域中。信号的生成和发射可以由射频(radio frequency，RF)信号发生器12、雷达发射电路14和发射天线32来实现。雷达发射电路14通常包括生成经由发射天线32发射的信号所需的任何电路，例如脉冲整形电路、发射触发电路、RF开关电路或由终端设备100使用的任何其他适当的发射电路。RF信号发生器12和雷达发射电路14可经由处理器20来得以控制，该处理器经由控制线34发出命令和控制信号，使得在发射天线32处发射具有期望的配置和信号参数的期望的RF信号。
终端设备100还经由接收天线30在模拟处理电路16处接收返回的雷达信号，此返回的雷达信号可以称为“回波”或“回波信号”或“反射信号”。模拟处理电路16通常包括处理经由接收天线30接收的信号(例如信号分离、混合、外差和/或零差转换、放大、滤波、接收信号触发、信号切换和路由，以及/或者由终端设备100执行的任何其他适当的雷达信号接收功能)所需的任何电路。因此，模拟处理电路16生成由终端设备100处理的一个或多个模拟信号，例如同相(I)模拟信号和正交(Q)模拟信号。所得到的模拟信号被发射到模数转换器电路(analog-to-digital converter，ADC)18并由该电路数字化。然后，数字化的信号被转发到处理器20以进行反射信号处理。
其中，处理器20可以为图1a中所示的计算设备101。
处理器20可以是实现下述功能的各种类型的处理器中的一种：其能够对数字化的接收信号进行处理并且控制RF信号发生器12和雷达发射电路14以提供终端设备100的雷达操作和功能。因此，处理器20可以是数字信号处理器(digital signal processor，DSP)、微处理器、微控制器或其他此类设备。为了执行终端设备100的雷达操作和功能，处理器20经由***总线22与一个或多个其他所需电路(例如由一种或多种类型的存储器组成的一个或多个存储器设备24、任何所需的***电路26标识以及任何所需的输入/输出电路28对接。
如上所述，处理器20可以经由控制线34对接RF信号发生器12和雷达发射电路14。在替代实施例中，RF信号发生器12和/或雷达发射电路14可连接到总线22，使得它们可经由总线22与处理器20、存储器设备24、***电路26和输入/输出电路28中的一者或多者通信。
在一种应用架构中，计算设备部署在服务器上。
以计算设备部署在服务器上为例，请参阅图1b，图1b为本申请实施例提供的一种应用场景的示意图。如图1b所示，计算设备101可以部署在服务器上中。
本申请实施例还应用在终端设备与服务器的交互***中，如图1b所示，该***可以包括终端设备和服务器。其中，终端设备可以是可移动终端、人机交互设备、车载视觉感知设备，如手机、扫地机、智能机器人、无人驾驶车辆、智能监控器、增强现实(AugmentedReality，AR)穿戴设备等。
以计算设备为服务器中的处理器为例，服务器200可以包括处理器210、收发器220，收发器220可以与处理器210连接，如图1c所示。收发器220可以包括接收器和发送器，可以用于接收或者发送消息或数据，收发器220可以是网卡。服务器200还可以包括加速部件(可称为加速器)，当加速部件为网络加速部件时，加速部件可以为网卡。处理器210可以是服务器200的控制中心，利用各种接口和线路连接整个服务器200的各个部分，如收发器220等。在本发明中，处理器210可以是中央处理器(Central Processing Unit，CPU)，可选的，处理器210可以包括一个或多个处理单元。处理器210还可以是数字信号处理器、专用集成电路、现场可编程门阵列、GPU或者其他可编程逻辑器件等。服务器200还可以包括存储器230，存储器230可用于存储软件程序以及模块，处理器210通过读取存储在存储器230的软件代码以及模块，从而执行服务器200的各种功能应用以及数据处理。
接下来结合产品的形态描述本申请实施例提供的终端设备。终端设备可以为电视、计算机、智能手机或智能手表等需要用户进行无接触人机交互的产品。
参照图3，图3为本申请实施例提供的终端设备的结构示意，如图3所示，本申请实施例提供的终端设备可以包括传感器单元以及边缘服务单元，传感器单元可以包括雷达装置以及辅助传感器，可选的，雷达装置可以是图3所示的毫米波雷达或者其他类型的雷达装置，辅助传感器可以包括但不限于光线传感器(ambient light sensor)、距离传感器(proximity sensor)、加速度传感器(accelerometer sensor)、重力传感器(G-sensor)、霍尔传感器(hall sensor)、紫外线传感器等等。应理解，终端设备也可以不包括辅助传感器。
边缘服务单元主要由计算设备加存储装置组成，传感器单元采集的数据可以被传输至边缘服务单元，并由边缘服务单元中包括的计算设备进行数据处理。应理解，图3中的雷达装置可以为不包括处理器的装置，而是包括雷达信号发送以及接收装置，边缘服务单元可以集成到传感器单元中的雷达装置，以作为雷达装置的处理器，边缘服务单元可以不集成到传感器单元中的雷达装置，而是作为独立的数据处理装置。
此外，每一终端设备与服务器之间相互传递数据，终端设备还可以将处理的数据发送至云侧的服务器，具体的，服务器可以与n个终端设备通讯连接。
以终端设备为电视为例，如图4所示，以电视的手势交互场景为例，电视的显示屏可以显示应用界面，例如，在视频调控的应用场景中，应用界面可以为视频播放界面，在音频调控的应用场景中，应用界面可以为音频播放界面，在用户界面(user interface，UI)导航的应用场景中，应用界面可以为应用导航界面。
本申请实施例中，传感器单元中的雷达装置(例如毫米波雷达)可以用于检测场景中的手势，获取手势数据，边缘服务单元可以用于基于应用场景的类型(例如应用界面的类型)进行手势类型的判定。或者终端设备可以将手势数据发送至云侧服务器，由云侧的云计算中心(也就是云侧服务器中的计算设备)进行手势类型的判定。
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
参照图5，图5为本申请实施例提供的一种手势识别方法的实施例示意图，本申请实施例提供的手势识别方法可以应用于终端设备或服务器中的计算设备，其中，终端设备可以为电视、计算机、智能手机或智能手表等需要用户进行无接触人机交互的产品。如图5示出的那样，本申请实施例提供的手势识别方法包括：
501、获取目标应用场景。
本申请实施例中，计算设备需要识别并获取当前的应用场景；若计算设备部署于终端设备中，则计算设备可以识别出终端设备当前运行的应用类别或当前应用的界面类别，以确定终端设备当前的目标应用场景。
以划分不同应用场景的粒度为应用界面为例，终端设备可以包括显示屏，终端设备可以打开应用程序，相应的，在终端设备的显示屏上可以显示有打开的应用程序对应的应用界面。
由于不同类型的应用界面实现的功能不同，不同类型的应用界面需要识别的手势类型可能不同，以应用界面为视频播放界面为例，视频播放界面可以响应于上挥手势、下挥手势、左挥手势、右挥手势、向前挥手势(或者称之为点击操作)、向后挥手势(或者称之为抬手操作)、画圈手势。
其中，视频播放界面可以响应于左挥手势以及右挥手势，并进行播放进度调节的应用操作。其中，左挥操作对应于向前的播放进度调节，右挥操作对应于向后的播放进度调节，例如参照图7a所示，在显示图6的视频播放界面的显示屏之前，用户可以进行向右挥的手势，终端设备在识别出该向右挥的手势之后，可以进行向右挥的手势对应的应用操作，也就是向后的播放进度调节的应用操作。
应理解，上述左挥手势、右挥手势的幅度可以决定着视频播放界面中视频进度调节的大小，幅度越大则视频进度调节的大小越大，用户在进行视频播放进度的调节时，视频播放界面可以实时显示调节进度(例如图7a中示出的快进的进度条)，在调节到用户想调节的视频播放进度时，用户可以进行抬手手势(或者称之为向后挥手势)，视频播放界面可以响应于该抬手手势，将视频快进至调节后的视频播放进度，如图8示中示出的那样，视频播放界面可以将视频快进至调节后的视频播放进度(10:03)。
其中，视频播放界面还可以响应于画圈手势，并进行播放进度调节的应用操作，其中，在用户进行顺时针画圈时，上半圈的画圈手势对应于向后的播放进度调节，下半圈的画圈手势对应于向前的播放进度调节，在用户进行逆时针画圈时，下半圈的画圈手势对应于向后的播放进度调节，上半圈的画圈手势对应于向前的播放进度调节，例如参照图7b所示，在显示图6的视频播放界面的显示屏之前，用户可以进行顺时针画圈的手势，终端设备在识别出该顺时针画圈上半圈的画圈手势之后，可以顺时针画圈时，上半圈的画圈手势对应的应用操作，也就是向后的播放进度调节的应用操作。
应理解，上述画圈手势的幅度可以决定着视频播放界面中视频进度调节的大小，幅度越大则视频进度调节的大小越大，用户在进行视频播放进度的调节时，视频播放界面可以实时显示调节进度(例如图7b中示出的快进的进度条)，在调节到用户想调节的视频播放进度时，用户可以进行抬手手势(或者称之为向后挥手势)，视频播放界面可以响应于该抬手手势，将视频快进至调节后的视频播放进度，如图8示中示出的那样，视频播放界面可以将视频快进至调节后的视频播放进度(10:03)
其中，视频播放界面可以响应于上挥手势以及下挥手势，并进行音量调节的应用操作。其中，上挥手势对应于调大音量，下挥手势对应于调小音量，例如参照图9所示，在显示图6的视频播放界面的显示屏之前且靠右侧的区域，用户可以进行上挥手势，终端设备在识别出该上挥手势之后，可以进行上挥手势对应的应用操作，也就是调大音量的应用操作，用户可以进行下挥手势，终端设备在识别出该下挥手势之后，可以进行下挥手势对应的应用操作，也就是调小音量的应用操作。
其中，视频播放界面可以响应于上挥手势以及下挥手势，并进行亮度调节的应用操作。其中，上挥手势对应于调大亮度，下挥手势对应于调小亮度，例如参照图10所示，在显示图6的视频播放界面的显示屏之前且靠左侧的区域，用户可以进行上挥手势，终端设备在识别出该上挥手势之后，可以进行上挥手势对应的应用操作，也就是调大亮度的应用操作，用户可以进行下挥手势，终端设备在识别出该下挥手势之后，可以进行下挥手势对应的应用操作，也就是调小亮度的应用操作。
应理解上述手势操作仅为一种示意，视频播放界面可以响应于上述示出的手势的一部分、全部或者未示出的手势，且进行的应用操作也不限于上述的示例，例如视频播放界面可以响应于画圈手势进行音量的调节，而不是进度调节，其中，画圈的圈数决定着音量的调节大小，画圈的方向(顺时针或逆时针)决定着音频调节的方向(调大音量量还是调小音量)。
本申请实施例中，不同类型的应用界面可以响应于不同数量或不同类型的手势，并进行相应的应用操作，且响应于相同的手势时，进行的应用操作也可以不同。例如，视频播放界面可以响应于上挥手势、下挥手势、左挥手势、右挥手势、向前挥手势(或者称之为点击操作)、向后挥手势(或者称之为抬手操作)、画圈手势，总共7种手势，而应用导航界面可以响应于左挥手势、右挥手势、向前挥手势(或者称之为点击操作)、向后挥手势(或者称之为抬手操作)，总共4种手势。
以划分不同应用场景的粒度为应用为例，不同的应用需要识别的手势类别可能不同。
以划分不同应用场景的粒度为终端设备为例，不同的终端设备需要识别的手势类别可能不同。
502、从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，且所述每个手势识别模型用于识别对应的应用场景中需要识别的手势类型。
在现有的实现方式中，可以通过预训练好的神经网络模型来进行手势类型的识别，该神经网络模型可以获取到雷达装置采集得到的数据，并进行特征提取分割以及手势类别的识别，为了能够识别出各个应用场景需要识别的全部手势类型，该神经网络模型需要具备识别出全部手势类型的能力。因而，该神经网络模型需要识别出的手势类型的种类较多(例如Y种手势类型)，然而若目标应用场景只需要响应于其中的一部分手势类型(例如M种手势类型，且M小于Y)，则在处于目标应用场景时，神经网络模型只需要正确的识别出M种手势类型即可，这会存在着如下几种问题：
一方面，可能会导致手势误识别的问题。
例如，Y种手势类型中存在着两个非常相似的手势，例如画圈手势和画X手势，M种手势类型包括两个非常相似的手势中的一个手势，例如包括画圈手势而不包括画X手势或者包括画X手势而不包括画圈手势，若该神经网络模型具备着可以识别出两个非常相似的手势的能力，则神经网络模型需要区分出这两个非常相似的手势，在神经网络模型的训练过程中，由于手势之间的相似性很大，神经网络模型在更新参数时可能会有很大的概率出现局部最值，会对这两个非常相似的手势的识别出现混淆，例如将画圈手势识别成画X手势，或者将画X手势识别成画圈手势。目标应用场景只需要响应于画圈手势而不需要响应于画X手势，用户若进行了一个画X手势，神经网络模型可能将该画X手势识别为画圈手势，进而出现了手势的误识别。
另一方面，原有神经网络模型可能无法识别新的手势类型。
由于可识别出Y种手势类型的神经网络模型是预训练好的，在应用场景的类别越来越多、手势类型多样的情况下，出现了一些需要响应于不包括在Y种手势类型之内的手势类型的应用场景，例如在终端设备新安装了一些可响应于不包括在Y种手势类型之内的手势类型的应用时，上述可识别出Y种手势类型的神经网络模型就无法使用了，这种情况下，需要在原有的神经网络模型上继续训练，或者重新训练一个可以识别原有的Y类手势类别以及新增加的手势类别的神经网络模型，由于需要识别出的手势类别数量很大，因此模型本身的参数量很大，且训练过程需要花费的计算量和时间很多。此外，若新增加的手势类别与原本的Y类手势类别中的一个或多个手势类别之间的相似度很大，则同样会出现上述的识别混淆的问题。然而，若针对于目标应用界面，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别M种手势类型，以M种手势类型包括画圈手势而不包括画X手势为例，神经网络模型不需要区分出画圈手势和画X手势，只需要正确的识别出画圈手势，由于不需要识别出画X手势，神经网络模型在更新参数时会较快收敛，并能准确地识别出画圈手势。且，M种手势类型的数量远远小于Y种手势类型，因此模型本身的参数量较小，训练过程需要花费的计算量和时间相比训练可识别出Y种手势类型的神经网络模型是少很多的。在出现了一些新的应用场景时(也就是在终端设备或云侧服务器上未存储有可识别新的应用场景需要识别的手势类别)，只需要训练能识别出新的应用场景需要识别的手势类别的神经网络模型即可。
因此，本申请实施例中，针对于每一类应用场景，训练了对应的手势识别模型，其中，每一类应用场景对应的手势识别模型可以识别出应用场景需要做出识别的手势类别。
以目标应用场景为目标应用界面为例，本申请实施例中，若终端设备的显示屏当前显示有一个应用界面(以下实施例中称之为目标应用界面)，基于终端设备当前显示的目标应用界面用于响应于M种手势类型，可以从多个手势识别模型中获取所述目标应用界面对应的目标手势识别模型，所述目标手势识别模型可以根据用户的手势数据，从所述M种手势类型中识别出所述用户的手势数据对应的手势类型。
在一种可选的实现中，计算设备可以从本地存储或云端存储获取目标应用场景的场景下对应手势识别模型(目标手势识别模型)，其中本地存储或云端存储中可以存储着多个手势识别模型，每个手势识别模型对应于一类应用场景，不同类的应用场景需要相应的手势类别不同，每个手势识别模型可以识别出对应的应用场景需要识别的手势类别，具体的，所述多个手势识别模型还包括第一手势识别模型第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要响应于N种手势类型；所述第一手势识别模型第一手势识别模型用于识别出第一应用场景需要识别的N种手势类型，所述M种手势类型与所述N种手势类型不完全相同。在一种实现中，M种手势类型是N种手势类型的一部分，或者N种手势类型是M种手势类型的一部分，或者M种手势类型中的每个手势类型都不属于N种手势类型，也就是M种手势类型和N种手势类型的交集为空集，或者M种手势类型和N种手势类型中包括相同的手势类型，且M种手势类型中存在N种手势类型不包括的手势类型。
在一种实现方式中，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势，
这里所谓所述第一手势和所述第二手势的相似度大于预设值，是指所述第一手势和所述第二手势是很相似的手势，具体的，可以理解为第一手势和所述第二手势之间的轨迹相似，若应用场景对于手势的轨迹幅度不敏感，也就是无论用户做出手势的幅度有多大，只要轨迹的形状相似，都应该认为是相同类别的手势，且应用场景会做出相同的响应，在这种情况下，第一手势和所述第二手势之间的相似度大于预设值可以理解为轨迹的形状相似，例如幅度较大的画圈手势、幅度较小的画圈手势、幅度较大的画X手势以及幅度较小的画X手势的任两个手势都可以认为是相似度大于预设值的手势。若应用场景对于手势的轨迹幅度敏感，也就是针对于相同形状的手势，用户做出的幅度不同，应该认为是不同类别的手势，且应用场景会做出不同的识别，在这种情况下，第一手势和所述第二手势之间的相似度大于预设值可以理解为轨迹的形状相似且轨迹的幅度相似，例如相似幅度的画圈手势和画X手势之间可以认为是相似度大于预设值的手势。
503、获取所述目标应用场景下的手势数据。
在一种可选的实现中，终端设备上的雷达装置可以发送第一雷达信号，并接收所述第一雷达信号的第一反射信号。
本申请实施例中，终端设备上的雷达装置可以发射第一雷达信号，第一雷达信号的种类可以包括但不限于连续波(Continuous Wave，CW)信号和chirp信号。
其中，chirp信号是频率随时间变化的电磁信号。通常，上升chirp信号的频率随时间推移增大，而下降chirp信号的频率随时间推移减小。chirp信号的频率变化可以呈现许多不同的形式。例如，线性调频(LFM)信号的频率线性地变化。chirp信号中的其他形式的频率变化包括指数变化。
除了其中频率根据某些预定函数(即线性函数或指数函数)连续变化的这些后一类型的chirp信号之外，还可以生成步进chirp信号形式的chirp信号，其中频率步进变化。也就是说，典型的步进chirp信号包括多个频率步进，其中频率在每个步进处在某个预定持续时间内恒定。步进chirp信号还可脉冲式开启和关闭，其中所述脉冲在chirp扫描的各个步进期间的某个预定时间段期间开启。
本申请实施例中，雷达装置可以发射chirp信号，其中chirp信号数学表达式可以为：
Figure BDA0002955308390000161
其中
Figure BDA0002955308390000162
B为带宽，
Figure BDA0002955308390000163
为固定初始相位，tc为Chirp信号周期，A为幅值，f0为起始频率。
本申请实施例中，雷达装置生成第一雷达信号并将第一雷达信号通过发射器发射到雷达装置正在监视的区域中。信号的生成和发射可以由图2中的RF信号发生器12、雷达发射电路14和发射天线32来实现。
本申请实施例中，雷达装置的发射器发射第一雷达信号，雷达装置的接收器可以接收来自远程物体的回波信号或第一反射信号。所述回波信号或第一反射信号是发射的第一雷达信号撞击所述远程物体并被该物体反射的信号。
本申请实施例中，在接收到第一反射信号之后，可以根据所述第一反射信号，获取手势数据。具体的，终端设备可以将雷达设备接收的第一反射信号传递至计算设备，计算涉笔可以根据第一反射信号来计算得到手势数据。
在一种实现中，雷达装置除了具备发送信号以及接收信号的能力之外，还具备一定的信号处理能力，进而雷达装置可以对第一反射信号进行模数转换处理，以得到预处理的第一反射信号(数字化的信号)。
具体的，雷达装置可以经由图2所示的接收天线30在模拟处理电路16处接收反射的第一雷达信号，此反射的第一雷达信号在本文中可以称为“回波”或“回波信号”或“第一反射信号”。模拟处理电路16可以包括处理经由接收天线30接收的信号(例如信号分离、混合、外差和/或零差转换、放大、滤波、接收信号触发、信号切换和路由，以及/或者由雷达装置100执行的任何其他适当的雷达信号接收功能)所需的任何电路。模拟处理电路16可以基于第一反射信号生成一个或多个模拟信号，例如同相(I)模拟信号和正交(Q)模拟信号。所得到的模拟信号被发射到模数转换器电路(analog to digital conversion，ADC)18并由该电路数字化(例如可以得到解调后的基带离散采样信号，后续实施例中也可以称之为中频原始数据)。然后，数字化的信号(基带离散采样信号)被转发到计算设备以进行信号处理，以得到手势数据。
示例性的，用户做出的手势或非手势动作对应的第一反射信号可以被雷达装置的接收天线接收，第一反射信号经混频、低通滤波、ADC等过程后可以获得中频原始数据，计算设备可以对中频原始数据进行快速傅里叶变换(fast fourier transform，FFT)、恒虚警率(constant false-alarm rate，CFAR)、测角等处理后获得手势数据。
在一种实现中，终端设备可以将雷达装置处理得到的手势数据传递至自身部署的计算设备、或者其他终端设备部署的计算设备、或者云侧服务器部署的计算设备。
其中，手势数据可以表征目标手势的运动特征，例如距离特征、运动速率特征、角度特征等等。接下来描述如何根据所述第一反射信号，获取手势数据。
在一种实现中，可以采用线性调频连续波(linear frequency modulatedcontinuous wave，LFMCW)信号体制，利用毫米波频段内的大带宽获得较高的距离分辨率，利用毫米波的小波长与大调频周期配置获得较高的速度分辨率。基于二维真实或虚拟天线阵列，具备方位角与俯仰角测量能力。将包含目标信息的单个调频周期的反射回波与发射信号进行差频处理可以得到中频信号，中频信号的频率与目标距离成正比，利用快速傅里叶变换(FFT)将中频信号变换到频域可以得到可测范围内的距离分布。对多个调频周期、相同采样点位置或相同距离对应的信号做FFT可以得到可测范围内的速度分布，多个调频周期的距离与速度分布构成距离多普勒分布，或距离多普勒(RD)图。
对所有收发天线得到的多通道RD图进行目标检测(一种方法是对所有通道非相干叠加平均的RD图进行恒虚警率(CFAR)检测)，得到场景中所有运动目标点。示例性的，可以参照图11，从图11中可以看到位于1m附近的手势对象正在做径向速度接近1m的运动(靠近雷达的手势运动)，运动部位在RD图中占据多个距离值、多个速度值，除了手势对象，雷达还检测到距离更大一些的多径干扰点。利用多个虚拟天线的空间相位差，选择合适的角度估计算法，还可以计算RD图中目标点的方位角与俯仰角。
示例性的，第一反射信号可以包括多个chirp信号，可以对每个chirp信号进行处理，得到对应的距离傅里叶谱以及多个幅度数据。
本申请实施例中，若r(n)为接收天线接收的反射信号(chirp信号)进行接收解调后的基带离散采样信号，其中n为单个chirp信号周期内采样数，对r(n)做N1点快速傅里叶变换(fast fourier transformation，FFT)计算，得到R(k)：
R(k)＝FFT(r(n)，N1)，N1≥n；
即对天线接收的反射信号(chirp信号)进行接收解调后的基带离散采样信号进行一维快速傅里叶1D-FFT计算，得到对应的距离傅里叶频谱Range-FFT，其中距离傅里叶频谱Range-FFT由多个频点Range-bin组成，频点Range-bin可以表示为
Figure BDA0002955308390000171
频点αi为R(k)正频域复数值的模值，可以定义单个频点Range-bin对应的距离为距离分辨率dres，则距离值di＝αi×dres，最大探测距离为
Figure BDA0002955308390000181
进一步的，可以得到距离傅里叶谱Range-FFT，其中，距离傅里叶谱Range-FFT的纵轴表示每个距离值对应的信号反射强度，信号反射强度可以定义为复数信号的模值(例如，若复数信号为a+bj，则信号反射强度可以表示为
Figure BDA0002955308390000182
)，距离傅里叶谱Range-FFT可以包括N1/2个距离值，以及每个距离值对应的信号反射强度。
示例性的，可以参照图12，图12为本申请实施例提供的一种距离傅里叶谱Range-FFT的示意，如图12示出的那样，距离傅里叶谱Range-FFT的横坐标为距离值d(包括
Figure BDA0002955308390000183
)，纵轴表示反射信号强度，需要说明的是，图12示出的距离傅里叶谱Range-FFT由离散数据组成，其可以包括多个反射强度峰值，如图12示出的反射强度峰值401和反射强度峰值402。
本申请实施例中，在计算出一个chirp信号的距离傅里叶谱之后，类似的，计算设备可以对一帧内所有K个chirp信号进行1D-FFT处理，得到K个距离傅里叶谱Range-FFT，参照图13，图13为本申请实施例提供的一种距离傅里叶谱Range-FFT的示意，图13示出了K个chirp信号对应的K个距离傅里叶谱Range-FFT。
本申请实施例中，计算设备还可以根据所述反射信号计算多个幅度数据，其中，每个幅度数据对应于一个距离值，所述幅度数据用于表示对应的距离值的运动幅度，示例性的，幅度数据可以定义为对复数信号进行反正切解调得到的(例如，若复数信号为a+bj，则幅度数据可以表示为
Figure BDA0002955308390000184
在一种实施例中，计算设备可以根据第一反射信号计算距离多普勒谱，根据距离多普勒谱可以得到多个点云数据，称为距离速率谱点云。每个点云数据包括一个距离值、对应的多普勒速率以及相应的信噪比(signal noise radio，SNR)。
具体的，计算设备可以对一帧内对所有K个chirp进行1D-FFT计算得到K个R(k)序列，并对每一个R(k)序列同一个Range-bin上的K个值构成的序列再进行一次FFT计算，即第二维度的FFT计算(可以称为2D-FFT)，得到距离多普勒谱Range-Doppler。如图14所示，图14为本申请实施例提供的一种距离多普勒谱生成流程示意，如图14示出的那样，首先对K个chirp信号进行1D-FFT计算，得到K个1D-FFT结果(Range-FFT)(如图14中左侧示出的那样)，然后将K个1D-FFT结果(Range-FFT)按行排列得到复值矩阵(如图14中间示出的那样)，其中，复值矩阵的横轴为Range-bin序列，表示距离，然后可以对每一列再做一次N2点FFT计算，即2D-FFT计算，得到图14中右侧所示的距离多普勒谱Range-Doppler，其中横轴为Range-bin，纵轴为多普勒速率值，距离多普勒谱Range-Doppler中的每个方格对应所在的距离值与多普勒速率的信息，颜色深浅还可以表示相应的信噪比大小，示例性的，颜色越深表示信噪比越大。
本申请实施例中，根据距离多普勒谱Range-Doppler可以得到多个点云数据，其中每个点云数据可以包括一个距离值以及对应的多普勒速率，特别的，每个点云数据还可以包括信噪比，该信噪比表示对应的距离值以及多普勒速率的信噪比。即，距离多普勒谱Range-Doppler中每个方格可以构成一个点云数据，点云数据格式可以示例性的定义为α＝[r,v,s]，其中r为距离值，v为多普勒速率的模值，s为信噪比。
在一种实施例中，计算设备可以根据所述反射信号计算所述反射信号的距离多普勒谱，根据所述距离多普勒谱可以得到多个点云数据，称为位置速率谱点云。每个点云数据包括一个位置坐标、对应的多普勒速率以及相应的信噪比。
具体的，计算设备可以对一帧内对所有K个chirp进行1D-FFT计算得到K个R(k)序列，并对每一个R(k)序列同一个Range-bin上的K个值构成的序列再进行一次FFT计算，即第二维度的FFT计算(可以称为2D-FFT)，得到距离多普勒谱。如图14所示，图14为本申请实施例提供的一种位置多普勒谱生成流程示意，如图14示出的那样，首先对K个chirp信号进行1D-FFT计算，得到K个1D-FFT结果(Range-FFT)(如图14中左侧示出的那样)，然后将K个1D-FFT结果(Range-FFT)按行排列得到复值矩阵(如图14中间示出的那样)，其中，复值矩阵的横轴为Range-bin序列，表示距离值，然后可以对每一列再做一次N2点FFT计算，即2D-FFT计算，得到图14中右侧所示的距离多普勒谱，其中横轴为距离值，纵轴为多普勒速率值，位置多普勒谱中的每个方格对应所在的位置坐标与多普勒速率的信息，颜色深浅还可以表示相应的信噪比大小，示例性的，颜色越深表示信噪比越大。
本申请实施例中，当雷达装置具有多输入多输出(multiple-input multiple-output,MIMO)天线阵列时，比如3个发射天线，4个接收天线，则为3*4MIMO天线阵列，此时雷达装置可进行反射信号的角度估计，根据估计的水平方位角可估算出位置多普勒谱中各个方格对应的水平二维坐标，当天线阵列同时具备垂直方位角估计时，可估算出位置多普勒谱中每个方格对应的三维坐标。以二维坐标为例，位置速率谱点云数据格式可以示例性的定义为α＝[x,y,v,s]，其中x,y为水平坐标位置，y轴为雷达装置的水平径向，x轴为雷达装置的水平切向；以三维坐标为例，位置速率谱点云数据格式可以示例性的定义为α＝[x,y,z,v,s]，其中，z为雷达装置的。
通过上述方法，可以得到3D空间位置点云，之后对点云进行聚类处理，得到可能的手势对象位置，滤除离群点，保留有效手势对象对应的点云分布。示例性的，有效手势对象可以定义为在滑动帧窗内目标对象的2D位置点云分布在一个有限范围(例如设置为0.8m*0.8m)内的聚类簇中且能够检测到手势运动特征的对象，如图15所示，图15左侧的图示中最左侧的聚类簇为无效手势对象，右侧聚类簇不能够检测到手势运动特征，为无效手势对象，中间聚类簇能够检测到手势运动特征，为有效手势对象。
可选地，本申请实施例中的聚类算法可以是例如K-平均聚类方法(K-Means聚类算法)、具有噪声的基于密度的聚类(density-based spatial clustering of applicationswith noise，DBSCAN)算法、利用层次方法的平衡迭代规约和聚类(balanced iterativereducing and clustering using hierarchies，BIRCH)算法、STING算法模型等，本申请实施例对此不做任何限制。
通过上述方式，可以得到目标手势的手势数据。
504、通过所述目标手势识别模型识别出所述手势数据对应的目标手势类型。
在得到手势数据之后，可以将手势数据输入到目标手势识别模型，通过目标手势识别模型来确定所述手势数据对应的目标手势类型。
可选的，在一种实现中，计算设备在得到目标手势类型之后，可以触发终端设备进行目标手势类型对应的应用操作。
在一种可能的实现中，可以基于目标手势识别模型识别出所述手势数据对应的目标手势类型为画圈手势，在这种情况下，还可以根据手势数据识别出画圈手势画圈次数以及画圈方向。接下来分别进行说明：
在一种可能的实现中，可以基于手势数据，确定目标手势的运动特征，所述运动特征包括所述目标手势在方位角或者俯仰角上随时间的角度变化；获取所述角度变化中波峰和波谷的数量；根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
为了获取到画圈手势的画圈数量，可以获取所述角度变化中波峰和波谷的数量；根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
在一种实现中，可以获取所述角度变化的M个波峰以及N个波谷，并基于所述M个波峰以及N个波谷，确定所述画圈手势的画圈次数，其中，由一个波峰到之后且相邻的波峰对应于一次画圈，由一个波谷到之后且相邻的波谷对应于一次画圈。
在一种实现中，所述N个波谷包括第一波谷以及第二波谷，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波谷对应于所述目标时间窗内的最后一帧，且所述第二波谷与所述第一波谷之间的差异值小于预设角度；或，所述M个波峰包括第一波峰以及第二波峰，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波峰对应于所述目标时间窗内的最后一帧，且所述第二波峰与所述第一波峰之间的差异值小于预设角度。
以预设角度为波峰高度的1/10为例，本实施例中，可以对滑动窗内方位角与俯仰角随时间变化的1维(1D)时域特征进行寻峰，得到特征的峰个数、峰位置、峰高度、峰宽度等参数，利用寻峰结果进行特征分割，基于寻峰及谐波失真计算进行周期性手势判定，判定为周期性手势(例如上述的画圈手势)后，可根据寻峰结果进行周期性手势的特征分割、周期性手势识别与计数。其中，连续周期性画圈手势的分割技术方案为：利用滑动窗内俯仰角1D时域特征寻峰结果进行手势分割，例如图16所示的示例的滑动窗长度为50帧，分割条件为：滑动窗内检测到两个新增波峰(在图17中下三角标注的为波峰位置，前面已被分割过的手势帧被跳过)，且最后一帧处的俯仰角大小(图17中为-8°)与两个新增波峰间波谷值(图17中为-9°)的偏差小于两个波峰高度(16°与18°)的1/10。
在一种实现中，还可以获取到画圈手势的画圈方向是顺时针或者逆时针。
具体的，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化，可以根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
在一种实现中，所述第一角度变化包括第一子角度变化以及第二子角度变化，所述第二角度变化包括第三子角度变化以及第四子角度变化，所述第一子角度变化与所述第三子角度变化为相同时间段内的角度变化，所述第二子角度变化与所述第四子角度变化为相同时间段内的角度变化，所述第三子角度变化为所述第二角度变化中由一个波峰到相邻波谷的角度变化，所述第四子角度变化为所述第二角度变化中由一个波谷到相邻波峰的角度变化，可以基于所述第一子角度变化先增大后减小以及所述第二子角度变化先减小后增大，确定所述目标手势的画圈方向为顺时针画圈；基于所述第一子角度变化先减小后增大以及所述第二子角度变化先增大后减小，确定所述目标手势的画圈方向为逆时针画圈，本事实例中，顺时针画圈对应特征为俯仰角波峰到波谷方位角先增大后减小，俯仰角波谷到波峰方位角先减小后增大；逆时针画圈对应特征为俯仰角波峰到波谷方位角先负后正，俯仰角波谷到波峰方位角先增大后减小。
在应用场景为应用界面的情况下，应用界面可以对一些周期性的手势进行识别，并基于周期性手势的类别以及一些运动特征进行应用操作，其中应用操作是与手势的运动特征有关的，例如视频播放界面可以对画圈手势进行识别，并进行音量调节的应用操作，其中，音量调节的大小与画圈手势的画圈的数量有关，且调节过程是连续平滑的，例如每画30度，则音量调节一个单位，在这种情况下，就需要获取到实时的手势数据(具体可以是包括手势运动的角度数据，例如可以是方位角与俯仰角)，进而才可以进行识别的平滑的应用操作。此时若依然采用用于进行手势识别的神经网络模型，仅能获取到手势类别，而不能实时获取到手势的运动数据。
在一种可选的实现中，在用户手势持续的运动过程中，终端设备将会连续性获得手势数据，可进入连续周期性手势的判定流程，具体的，可以获取所述目标应用场景下的第二手势数据；根据所述第二手势数据，确定第三手势的运动特征，所述运动特征包括所述第三手势在方位角或者俯仰角上随时间的角度变化；若满足预设条件，则确定所述第三手势的手势类型为画圈手势，所述第一波峰以及所述第二波峰为所述角度变化中相邻的波峰；所述预设条件包括所述角度变化中第一波峰和第二波峰对应的时间的差异大于目标时间阈值、以及所述第一波峰以及所述第二波峰对应的方位角或俯仰角大于目标角度阈值中的至少一种，以及所述角度变化与正弦波的差异在预设范围内。
接下来描述，如何判定所述角度变化与正弦波的差异在预设范围内、所述角度变化中第一波峰第二波峰对应的时间的差异大于目标时间阈值、以及所述第一波峰以及第二波峰对应的方位角或俯仰角大于目标角度阈值。
以目标时间阈值可以是5帧，目标角度阈值可以是5度为例，具体的，一个完整画圈手势的方位角或俯仰角随时间变化接近一个周期正弦波，因此可以进行正弦波周期性或失真度计算。示例性的，可以对方位角或俯仰角的1D时域特征做FFT，再对1D频域特征进行寻峰，将其最大峰值定义为基波峰值，其他峰值定义为谐波峰值，参考信号***中的“失真度”定义，将总谐波失真度定义为：
Figure BDA0002955308390000211
其中peakmax定义为基波峰值。若总谐波失真度越小，则特征越接近正弦波，即周期性越好。当方位角或俯仰角的总谐波失真度小于0.5时，可判定为类正弦波手势，结合如图18所示的方位角与俯仰角特征中是否存在两个峰宽大于阈值5帧、峰高大于阈值5°的峰，可判定是否为画圈手势。
本实施例中，不通过神经网络，而是直接通过对手势数据的运动特征进行分析处理，来判定是否是画圈的手势类别，可以大大降低所需的时间开销，进而对画圈手势类别做出快速的判定。
本实施例无需预训练用于识别画圈手势的手势识别模型，利用画圈手势的运动特征就可以实现画圈手势的有效识别。
以手上挥、手下挥、手左挥、手右挥、手前推、手顺时针画圈、手逆时针画圈7类手势的分场景分簇处理为实施例，将7类手势划分为2类连续周期性的画圈手势与5类非连续非周期性的非画圈手势。针对2类连续周期性的画圈手势，利用上述实施例给出的连续周期性画圈手势的分割，通过总谐波失真分析可以判断是否为有效画圈手势，若为画圈手势，通过时频特征寻峰分析判断顺逆时针。针对5类非连续非周期性的非画圈手势，在由雷达发射与接收组件决定的有效波束覆盖范围内，由多名手势对象分别在多个不同的位置做预定义手势，从接收的雷达回波中提取与目标运动相关的特征，分离与手势相关的运动特征，建立手势特征数据集，送入机器学习或深度学习分类器中训练得到的手势识别模型，当判断为非连续非周期性手势时调用手势识别模型进行手势识别。
参照图19和图20，从7类手势的不分簇与分簇手势识别对应混淆矩阵可以看出，通过手势分簇能够有效减少混淆，提升分类准确率。
本申请实施例提供了一种手势识别方法，应用于计算设备，所述计算设备应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述方法包括：获取目标应用场景；从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；获取所述目标应用场景下的手势数据；基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。本实施例针对于目标应用场景，单独训练了一个目标手势识别模型，该目标手势识别模型用于识别目标应用场景需要识别的手势类型，只需要正确的识别出目标应用场景需要识别的手势类型，而不需要识别出除目标应用场景需要识别的手势类型之外的手势类别，神经网络模型在更新参数时会较快收敛，并能降低手势识别的混淆性，提高手势识别的准确性。且，由于需要识别的手势类别数量较少，因此模型本身的参数量较小，训练过程需要花费的计算量和时间较少。此外，在出现一些新的应用场景时，只需要训练能识别出新的应用场景可以识别的手势类别的神经网络模型即可。
参照图21，图21为本申请提供的一种手势识别装置，所述手势识别装置服务于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述装置2100包括：
获取模块2101，用于获取目标应用场景；
所述获取模块2101还用于从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；
所述获取模块2101还用于获取所述目标应用场景下的第一手势数据；在一种可能的实现中，所述目标应用场景需要识别M种手势类型；所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
在一种可能的实现中，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
在一种可能的实现中，所述多个手势识别模型为神经网络模型。
在一种可能的实现中，所述目标手势识别模型的训练样本包括样本标签为M种手势类型的手势数据；所述第一手势识别模型的训练样本包括样本标签为N种手势类型的手势数据。
在一种可能的实现中，所述获取模块还用于获取所述目标应用场景下的手势数据，具体为：所述获取模块还用于获取所述目标应用场景下的雷达反射信息；所述获取模块还用于基于所述雷达反射信息，获取手势数据。
手势识别装置还包括：
手势识别模块2102，用于基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。
关于手势识别模块2102的具体描述可以参照步骤502的描述，这里不再赘述。
在一种可能的实现中，所述手势识别模块2102，用于：基于所述手势数据，确定目标手势的运动特征，所述运动特征包括所述目标手势在方位角或者俯仰角上随时间的角度变化；
所述获取模块2101，还用于获取所述角度变化中波峰和波谷的数量；
所述装置还包括：画圈次数确定模块，用于根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
在一种可能的实现中，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化；所述装置还包括：画圈方向确定模块，用于根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
本申请还提供了一种手势识别装置，包括雷达装置和处理器，所述处理器与所述雷达装置通信连接，所述雷达装置，用于发送雷达信号，接收所述雷达信号的反射信号，并将所述反射信号输送至所述处理器；应理解，在一种可能的实现中，还可以将所述反射信号进行预处理(例如模拟转数字的处理)，然后将处理后的反射信号输送至所述处理器。
所述处理器，用于获取目标应用场景；从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；获取所述目标应用场景下的手势数据；基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。
在一种可能的实现中，所述目标应用场景需要识别M种手势类型；
所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
在一种可能的实现中，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
在一种可能的实现中，所述多个手势识别模型为神经网络模型。
在一种可能的实现中，所述目标手势识别模型的训练样本包括样本标签为M种手势类型的手势数据；
所述第一手势识别模型的训练样本包括样本标签为N种手势类型的手势数据。
在一种可能的实现中，所述处理器，用于获取所述目标应用场景下的雷达反射信息；
基于所述雷达反射信息，获取手势数据。
在一种可能的实现中，所述目标手势类别为画圈手势，所述处理器，用于基于所述手势数据，确定目标手势的运动特征，所述运动特征包括所述目标手势在方位角或者俯仰角上随时间的角度变化；
获取所述角度变化中波峰和波谷的数量；
根据所述波峰和波谷的数量，确定所述画圈手势的画圈次数。
在一种可能的实现中，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化；
所述处理器，用于根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
在一种可能的实现中，根据所述处理器，用于所述手势数据，确定目标手势的运动特征，所述运动特征包括所述目标手势在方位角或俯仰角上随时间的角度变化；
若所述角度变化与正弦波的差异在预设范围内、所述角度变化中第一波峰第二波峰对应的时间的差异大于目标时间阈值、以及所述第一波峰以及第二波峰对应的方位角或俯仰角大于目标角度阈值，则确定所述目标手势的目标手势类型为画圈手势，所述第一波峰以及第二波峰为所述角度变化中相邻的波峰。
在一种可能的实现中，所述处理器，用于获取所述角度变化的M个波峰以及N个波谷；基于所述M个波峰以及N个波谷，确定所述画圈手势的画圈次数，其中，由一个波峰到之后且相邻的波峰对应于一次画圈，由一个波谷到之后且相邻的波谷对应于一次画圈；根据所述画圈次数，在所述目标应用界面上进行所述画圈手势对应的应用操作。
在一种可能的实现中，所述N个波谷包括第一波谷以及第二波谷，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波谷对应于所述目标时间窗内的最后一帧，且所述第二波谷与所述第一波谷之间的差异值小于预设角度；或，所述M个波峰包括第一波峰以及第二波峰，所述运动特征包括在目标时间窗内所述目标手势方位角或俯仰角上随时间的角度变化，所述第二波峰对应于所述目标时间窗内的最后一帧，且所述第二波峰与所述第一波峰之间的差异值小于预设角度。
在一种可能的实现中，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述目标手势在俯仰角上随时间的第二角度变化，所述第一角度变化包括第一子角度变化以及第二子角度变化，所述第二角度变化包括第三子角度变化以及第四子角度变化，所述第一子角度变化与所述第三子角度变化为相同时间段内的角度变化，所述第二子角度变化与所述第四子角度变化为相同时间段内的角度变化，所述第三子角度变化为所述第二角度变化中由一个波峰到相邻波谷的角度变化，所述第四子角度变化为所述第二角度变化中由一个波谷到相邻波峰的角度变化，所述处理器，用于基于所述第一子角度变化先增大后减小以及所述第二子角度变化先减小后增大，确定所述目标手势的画圈方向为顺时针画圈；基于所述第一子角度变化先减小后增大以及所述第二子角度变化先增大后减小，确定所述目标手势的画圈方向为逆时针画圈；根据所述画圈方向，在所述目标应用界面上进行所述画圈手势对应的应用操作。
在一种可能的实现中，所述目标手势类型包括上挥手势、下挥手势、左挥手势、右挥手势、前推手势或画圈手势。
接下来介绍本申请实施例提供的一种手势识别装置，请参阅图22，图22为本申请实施例提供的手势识别装置的一种结构示意图。具体的，手势识别装置2200包括：接收器2201、发射器2202、处理器2203和存储器2204(其中手势识别装置2200中的处理器2203的数量可以一个或多个，图22中以一个处理器为例)，其中，处理器2203可以包括应用处理器22031和通信处理器22032。在本申请的一些实施例中，接收器2201、发射器2202、处理器2203和存储器2204可通过总线或其它方式连接。
存储器2204可以包括只读存储器和随机存取存储器，并向处理器2203提供指令和数据。存储器2204的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器2204存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器2203控制雷达装置(包括天线、接收器2201以及发射器2202)的操作。具体的应用中，雷达装置的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线***。
上述本申请实施例揭示的方法可以应用于处理器2203中，或者由处理器2203实现。处理器2203可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2203可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2203可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2204，处理器2203读取存储器2204中的信息，结合其硬件完成上述实施例提供的手势识别方法的步骤。
接收器2201可用于接收输入的数字或字符信息，以及产生与雷达装置的相关设置以及功能控制有关的信号输入。发射器2202可用于通过第一接口输出数字或字符信息；发射器2202还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据。
应理解，可选的，手势识别装置还可以包括应用操作模块，用于在所述目标应用场景下，执行所述目标手势类型对应的应用操作。
本申请实施例还提供了一种服务器，请参阅图23，图23是本申请实施例提供的服务器的一种结构示意图，服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)2322(例如，一个或一个以上处理器)和存储器2332，一个或一个以上存储应用程序2342或数据2344的存储介质2330(例如一个或一个以上海量存储设备)。其中，存储器2332和存储介质2330可以是短暂存储或持久存储。存储在存储介质2330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器2322可以设置为与存储介质2330通信，在服务器2300上执行存储介质2330中的一系列指令操作。
服务器2300还可以包括一个或一个以上电源2326，一个或一个以上有线或无线网络接口2350，一个或一个以上输入输出接口2358，和/或，一个或一个以上操作***2341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器2322，用于执行上述实施例中描述的手势识别方法。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中描述的手势识别方法。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如上述实施例中描述的手势识别方法。
本申请实施例提供的手势识别装置具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的图像增强方法，或者，以使训练设备内的芯片执行上述实施例描述的图像增强方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图24，图24为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU240，NPU 240作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路2403，通过控制器2404控制运算电路2403提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路2403内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路2403是二维脉动阵列。运算电路2403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2403是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2402中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2401中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2408中。
统一存储器2406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)2405，DMAC被搬运到权重存储器2402中。输入数据也通过DMAC被搬运到统一存储器2406中。
BIU为Bus Interface Unit即，总线接口单元2410，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2409的交互。
总线接口单元2410(Bus Interface Unit，简称BIU)，用于取指存储器2409从外部存储器获取指令，还用于存储单元访问控制器2405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2406或将权重数据搬运到权重存储器2402中或将输入数据数据搬运到输入存储器2401中。
向量计算单元2407包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元2407能将经处理的输出的向量存储到统一存储器2406。例如，向量计算单元2407可以将线性函数和/或非线性函数应用到运算电路2403的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2407生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2403的激活输入，例如用于在神经网络中的后续层中的使用。
控制器2404连接的取指存储器(instruction fetch buffer)2409，用于存储控制器2404使用的指令；
统一存储器2406，输入存储器2401，权重存储器2402以及取指存储器2409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述实施例中描述的手势识别方法相关步骤的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (17)

1.一种手势识别方法，其特征在于，应用于计算设备，所述计算设备应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述方法包括：
获取目标应用场景；
从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；
获取所述目标应用场景下的手势数据；
基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。
2.根据权利要求1所述的方法，其特征在于，
所述目标应用场景需要识别M种手势类型；
所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
3.根据权利要求2所述的方法，其特征在于，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
4.根据权利要求1至3任一所述的方法，其特征在于，所述多个手势识别模型为神经网络模型。
5.根据权利要求2至4任一所述的方法，其特征在于，
所述目标手势识别模型的训练样本包括样本标签为M种手势类型的手势数据；
所述第一手势识别模型的训练样本包括样本标签为N种手势类型的手势数据。
6.根据权利要求1至5任一所述的方法，其特征在于，所述获取所述目标应用场景下的手势数据，具体为：
获取所述目标应用场景下的雷达反射信息；
基于所述雷达反射信息，获取手势数据。
7.根据权利要求1至6任一所述的方法，其特征在于，所述目标手势类型为画圈手势，所述方法还包括：基于所述手势数据，确定所述画圈手势的运动特征，所述运动特征包括所述画圈手势在方位角或者俯仰角上随时间的角度变化；
获取所述角度变化中波峰和波谷的数量；
根据所述波峰或者波谷的数量，确定所述画圈手势的画圈次数。
8.根据权利要求7所述的方法，其特征在于，所述在方位角或者俯仰角上随时间的角度变化包括所述画圈手势在方位角上随时间的第一角度变化，以及所述画圈手势在俯仰角上随时间的第二角度变化；
所述方法还包括：
根据所述第一角度变化以及所述第二角度变化，确定所述画圈手势的画圈方向。
9.一种手势识别装置，其特征在于，所述手势识别装置应用于多个手势控制的应用场景，所述多个手势控制的应用场景需要识别的手势类型不完全相同，所述装置包括：
获取模块，用于获取目标应用场景；
所述获取模块还用于从多个手势识别模型中获取所述目标应用场景对应的目标手势识别模型，其中，所述多个手势识别模型中的每个手势识别模型对应于一类应用场景，所述每个手势识别模型用于识别对应的一类应用场景中需要识别的手势类型；
所述获取模块还用于获取所述目标应用场景下的手势数据；
手势识别模块，用于基于所述目标手势识别模型识别所述手势数据对应的目标手势类型。
10.根据权利要求9所述的装置，其特征在于，所述目标应用场景需要识别M种手势类型；
所述多个手势识别模型中还包括第一手势识别模型，所述第一手势识别模型对应于第一应用场景，所述第一应用场景需要识别N种手势类型；
所述M种手势类型与所述N种手势类型不完全相同。
11.根据权利要求10所述的装置，其特征在于，所述N种手势类型包括第一手势和第二手势，所述第一手势和所述第二手势的相似度大于预设值，所述M种手势类型包括所述第一手势且不包括所述第二手势。
12.根据权利要求11所述的装置，其特征在于，所述获取模块还用于获取所述目标应用场景下的手势数据，具体为：
所述获取模块还用于获取所述目标应用场景下的雷达反射信息；
所述获取模块还用于基于所述雷达反射信息，获取手势数据。
13.一种手势识别设备，其特征在于，包括：一个或多个处理器和存储器；其中，所述存储器中存储有计算机可读指令；
所述一个或多个处理器读取所述计算机可读指令，以使所述计算机设备实现如权利要求1至8任一所述的方法。
14.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行权利要求1至8任一项所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1至8任一所述的方法。
16.一种手势识别装置，其特征在于，包括：
雷达装置，用于发射雷达信号，并接收所述雷达信号的反射信号，所述反射信号用于获取目标应用场景下的手势数据；
存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至8任一所述的方法，以得到目标手势类型。
17.一种终端设备，其特征在于，包括：
雷达装置，用于发射雷达信号，并接收所述雷达信号的反射信号，所述反射信号用于获取目标应用场景下的手势数据；
存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至8任一所述的方法，以得到目标手势类型；
应用模块，用于在所述目标应用场景下，执行所述目标手势类型对应的应用操作。
CN202110221938.6A 2021-02-27 2021-02-27 一种手势识别方法以及相关装置 Pending CN113064483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110221938.6A CN113064483A (zh) 2021-02-27 2021-02-27 一种手势识别方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110221938.6A CN113064483A (zh) 2021-02-27 2021-02-27 一种手势识别方法以及相关装置

Publications (1)

Publication Number Publication Date
CN113064483A true CN113064483A (zh) 2021-07-02

Family

ID=76559195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110221938.6A Pending CN113064483A (zh) 2021-02-27 2021-02-27 一种手势识别方法以及相关装置

Country Status (1)

Country Link
CN (1) CN113064483A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918019A (zh) * 2021-10-19 2022-01-11 亿慧云智能科技（深圳）股份有限公司 终端设备的手势识别控制方法、装置、终端设备及介质
CN113934307A (zh) * 2021-12-16 2022-01-14 佛山市霖云艾思科技有限公司 一种根据手势和场景开启电子设备的方法
CN114970618A (zh) * 2022-05-17 2022-08-30 西北大学 基于毫米波雷达的环境鲁棒的手语识别方法及***
WO2024141039A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种目标识别方法以及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023788A (zh) * 2009-09-15 2011-04-20 宏碁股份有限公司 触控屏幕显示画面控制方法
CN103647865A (zh) * 2013-11-27 2014-03-19 上海斐讯数据通信技术有限公司 基于手势的来电管理方法及***
US20150002384A1 (en) * 2013-07-01 2015-01-01 Research In Motion Limited Display navigation using touch-less gestures
CN104813269A (zh) * 2012-11-05 2015-07-29 Id8集团R2工作室公司 符号姿势控制
CN105027054A (zh) * 2013-11-30 2015-11-04 华为技术有限公司 一种手势操作的转换方法和装置
CN105094659A (zh) * 2014-05-19 2015-11-25 中兴通讯股份有限公司 一种基于手势对应用程序进行操作的方法及终端
CN105929940A (zh) * 2016-04-13 2016-09-07 哈尔滨工业大学深圳研究生院 基于细分特征值法的快速三维动态手势识别方法及***
CN107885317A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023788A (zh) * 2009-09-15 2011-04-20 宏碁股份有限公司 触控屏幕显示画面控制方法
CN104813269A (zh) * 2012-11-05 2015-07-29 Id8集团R2工作室公司 符号姿势控制
US20150002384A1 (en) * 2013-07-01 2015-01-01 Research In Motion Limited Display navigation using touch-less gestures
CN103647865A (zh) * 2013-11-27 2014-03-19 上海斐讯数据通信技术有限公司 基于手势的来电管理方法及***
CN105027054A (zh) * 2013-11-30 2015-11-04 华为技术有限公司 一种手势操作的转换方法和装置
CN105094659A (zh) * 2014-05-19 2015-11-25 中兴通讯股份有限公司 一种基于手势对应用程序进行操作的方法及终端
CN105929940A (zh) * 2016-04-13 2016-09-07 哈尔滨工业大学深圳研究生院 基于细分特征值法的快速三维动态手势识别方法及***
CN107885317A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918019A (zh) * 2021-10-19 2022-01-11 亿慧云智能科技（深圳）股份有限公司 终端设备的手势识别控制方法、装置、终端设备及介质
CN113934307A (zh) * 2021-12-16 2022-01-14 佛山市霖云艾思科技有限公司 一种根据手势和场景开启电子设备的方法
CN113934307B (zh) * 2021-12-16 2022-03-18 佛山市霖云艾思科技有限公司 一种根据手势和场景开启电子设备的方法
CN114970618A (zh) * 2022-05-17 2022-08-30 西北大学 基于毫米波雷达的环境鲁棒的手语识别方法及***
CN114970618B (zh) * 2022-05-17 2024-03-19 西北大学 基于毫米波雷达的环境鲁棒的手语识别方法及***
WO2024141039A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种目标识别方法以及相关装置

Similar Documents

Publication Publication Date Title
CN111695420B (zh) 一种手势识别方法以及相关装置
Liu et al. Real-time arm gesture recognition in smart home scenarios via millimeter wave sensing
US11061115B2 (en) Method for gesture recognition, terminal, and storage medium
US10509479B2 (en) Multi-sensor based user interface
Liu et al. M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar
Sang et al. Micro hand gesture recognition system using ultrasonic active sensing
CN113064483A (zh) 一种手势识别方法以及相关装置
Wang et al. A gesture air-writing tracking method that uses 24 GHz SIMO radar SoC
CN110741385B (zh) 手势识别的方法和设备、定位追踪的方法和设备
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
CN111722706A (zh) 基于雷达网络的空中书写字符识别的方法和***
Ahmed et al. Radar-based air-writing gesture recognition using a novel multistream CNN approach
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
Liu et al. Spectrum-based hand gesture recognition using millimeter-wave radar parameter measurements
CN113837131A (zh) 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法
Jiang et al. Recognition of dynamic hand gesture based on mm-wave FMCW radar micro-Doppler signatures
CN113050797A (zh) 一种通过毫米波雷达实现手势识别的方法
CN114661142A (zh) 一种手势识别方法以及装置
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Gan et al. Gesture recognition system using 24 GHz FMCW radar sensor realized on real-time edge computing platform
CN114972416A (zh) 使用神经网络的基于雷达的对象跟踪
Zhang et al. Temporal-range-doppler features interpretation and recognition of hand gestures using MmW FMCW radar sensors
Wang et al. A survey of hand gesture recognition based on FMCW radar
CN115792897A (zh) 一种基于fmcw雷达的低复杂度多手势识别方法及***
Xie et al. Lightweight midrange arm-gesture recognition system from mmwave radar point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702