CN117130469A - 一种隔空手势识别方法、电子设备及芯片*** - Google Patents

一种隔空手势识别方法、电子设备及芯片*** Download PDF

Info

Publication number
CN117130469A
CN117130469A CN202310231441.1A CN202310231441A CN117130469A CN 117130469 A CN117130469 A CN 117130469A CN 202310231441 A CN202310231441 A CN 202310231441A CN 117130469 A CN117130469 A CN 117130469A
Authority
CN
China
Prior art keywords
gesture
image
hand
initial
hand position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310231441.1A
Other languages
English (en)
Inventor
张涛
杜远超
张飞洋
朱世宇
王文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310231441.1A priority Critical patent/CN117130469A/zh
Publication of CN117130469A publication Critical patent/CN117130469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种隔空手势识别方法、电子设备及芯片***，涉及手势识别技术领域，该方法可以在检测到隔空手势操作后，获取摄像头采集的两个图像，根据两个图像的手部姿态确定是否满足特定手势的起始姿态和结束姿态，根据两个图像的手部位置确定当前用户做出的手势的方向和特定手势的运动方向是否一致；通过这种从动态手势的起始姿态、结束姿态和运动方向三个角度确定动态手势的方式，可以通过两张图像准确的识别到隔空动态手势。

Description

一种隔空手势识别方法、电子设备及芯片***
技术领域
本申请实施例涉及手势识别技术领域，尤其涉及一种隔空手势识别方法、电子设备及芯片***。
背景技术
电子设备可以提供隔空手势识别功能，用户在电子设备的摄像头的视角范围内做出特定手势，电子设备通过摄像头采集图像，电子设备在采集的图像中检测到特定手势后，做出与该特定手势相应的响应。
当特定手势为动态手势时，常采用根据连续多帧图像中每个图像上的手部的位置确定出手部的运动轨迹，然后将运动轨迹和各个手势的运动轨迹对比，从而确定出动态手势，然后，这种方式只能应用于较为简单的动态手势识别中，例如，手部动作不变进行上下左右平移的动态手势识别中，应用在较为复杂的动态手势识别中时识别准确度较差。
发明内容
本申请实施例提供一种隔空手势识别方法、电子设备及芯片***，可以准确的识别动态的隔空手势。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供一种隔空手势识别方法，包括：
对用户的隔空手势操作进行检测；
响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件时，确定用户的隔空手势操作为第一手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第一预设条件包括：所述第一手部姿态和所述第一手势的起始姿态一致、所述第二手部姿态和所述第一手势的结束姿态一致、且从所述第一手部位置到所述第二手部位置的方向和所述第一手势的运动方向一致，所述第一手势的起始姿态和结束姿态不同，所述第一手势为上滑手势或下滑手势。
本申请中，通过比较采集时间较早的图像与采集时间较晚的图像之间的起始姿态，结束姿态以及手势的运动方向，可以用较少的手势图像就能够实现对上滑和下滑手势的识别。
具体来说，在检测到隔空手势操作可以为检测到用户的手势的姿态为任一手势的起始姿态。在检测到隔空手势操作后，可以获取摄像头采集的两个图像，将采集时间较早的图像中的手部姿态和手势库中的手势的起始姿态进行比较，将采集时间较晚的图像中的手部姿态和手势库中的手势的结束姿态进行比较，根据采集时间较早的图像中的手部位置和采集时间较晚的图像中的手部位置确定手部的运动方向，比较确定的运动方向和手势库中的手势的运动方向，从而确定是否满足手势库中的手势对应的条件，通过这种方式可以从手势的起始姿态、结束姿态和运动方向三个角度判断当前采集的图像中是否识别到某个手势，可以实现准确的上滑手势和下滑手势的识别。
当然，实际应用中，在检测到起始姿态后，表示有隔空手势操作，该隔空手势操作有后续的动作的情况下，第一图像和第二图像才可能满足某个手势对应的条件，所以，可以理解在两个图像对应的特征信息满足某个手势对应的条件的情况下，确定该隔空手势操作(包括后续的手部动作)对应的手势为第一手势。
在第一方面的另一实现方式中，响应于所述第一手势，对电子设备当前显示的内容进行滑动。
本申请中，当第一手势为上滑手势时，电子设备当前显示的内容上滑或者翻到下一页，当第一手势为下滑手势，电子设备当前显示的内容下滑或者翻到上一页。
在第一方面的另一实现方式中，所述第一手势的起始姿态与手类别和手指朝向相关；所述第一手势的结束姿态与手类别和手指朝向相关；所述第一手部位置包括所述第一图像中手部检测框在所述第一图像上的位置；所述第二手部位置包括所述第二图像中手部检测框在所述第二图像上的位置。
本申请中，针对上滑和下滑手势，可以从手类别和手指朝向的角度对比起始手势，从手类别和手指朝向的角度对比结束手势，通过手类别和手指指向两个角度可以更精确的确定和手势库中的手势的起始姿态(或结束姿态)是否一致；目前的手类别检测模型在输出手类别的同时，通常会输出手部检测框，所以，利用同一模型输出的手部检测框避免单独检测手部位置可以减少流程，提高效率。
在第一方面的另一实现方式中，所述第一手势为下滑手势，所述第一手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为手背且手指朝下；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向下。
本申请中，第一手势的起始姿态为手掌且手指朝上，结束姿态为手背且手指朝下，可以理解，第一手势中起始姿态和结束姿态均为手部张开的动作，在手部张开的情况下，手部检测框的中心点比较能够准确的表达手部的位置，所以，采用手部检测框的中心点作为手部位置的一个参数。
在第一方面的另一实现方式中，所述第一手势为上滑手势，所述第一手势的起始姿态为手掌且手指朝下，所述第一手势的结束姿态为手背且手指朝上；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
在第一方面的另一实现方式中，所述第一手势为上滑手势，所述第一手势的起始姿态为手背且手指朝下，所述第一手势的结束姿态为手掌且手指朝上；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
本申请中，上滑手势中的参数的选择原因可以参照下滑手势参数的选择原因。
在第一方面的另一实现方式中，所述第一预设条件还包括：
从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件。
本申请中，在通过起始姿态、结束姿态和运动方向三个角度识别上滑手势和下滑手势的基础上，还可以增加运动距离以更准确的识别到上滑手势和下滑手势，在判断条件中增加运动距离可以避免将用户在使用电子设备时在屏幕前方做出的一些非手势的手部动作识别为上滑手势或下滑手势，从而提高手势识别的准确度。
在第一方面的另一实现方式中，所述第一手部位置包括：所述第一图像中指尖在所述第一图像上的位置，所述第二手部位置包括：所述第二图像中指尖在所述第二图像上的位置。
本申请中，因为上滑手势和下滑手势的起始姿态和结束姿态中指尖的运动距离是变化最大，所以，可以将指尖的位置作为手部位置的一个参数，从而能够准确的识别到手部的运动距离。
在第一方面的另一实现方式中，从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件包括：
从所述第一图像中指尖的位置到所述第二图像中指尖的位置的距离和所述第二图像中手部宽度的比值在第一区间内。
本申请中，在图像中确定的手部的运动距离和手部距离摄像头的远近相关；为了获得准确的距离参数，可以将人们比较接近的手部宽度作为参照，将图像中指尖的距离和图像中手部宽度的比值作为运动距离条件中的参数。
在第一方面的另一实现方式中，在获取第一图像和第二图像之后，所述方法还包括：
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第二预设条件时，确定用户的隔空手势操作为第二手势，所述第二手势为手势库中除所述第一手势之外的手势，所述第二预设条件包括：所述第一手部姿态和所述第二手势的起始姿态一致、所述第二手部姿态和所述第二手势的结束姿态一致、所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件，所述第二手势为抓握手势。
本申请中，手势库中还可以包括抓握手势，用户在做出抓握手势时，通常结束姿态的位置在起始姿态中除去手指位置的区域比较接近，所以，为了更准确的识别到抓握手势，除了判断起始姿态和结束姿态是否一致，还可以增加采集时间较早的图像中的手部位置和采集时间较晚的图像中的手部位置的重合面积是否满足抓握手势中起始手部位置之和结束手部位置的重合面对条件。
在第一方面的另一实现方式中，所述第二手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为握拳；
所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：
所述第一图像中手部检测框和所述第二图像中手部检测框的交并比大于第一阈值。
本申请中，图像中两个手部位置的重合面积和手部距离摄像头的远近相关，所以，为了准确的衡量两个图像中手部重合面积，需要在图像中确定另一对比参数从而确定两个手部位置的重合面积，可以计算两个手部位置的交并比，即两个手部位置相交的区域占据两个手部位置的并集的比例。当前，可以通过手部检测框作作为手部位置的参数，计算两个图像中手部检测框的交并比。
在第一方面的另一实现方式中，所述第二预设条件还包括：
所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件。
本申请中，为了准确的确定结束姿态是否为拳头，可以增加结束姿态的判断，抓握手势中结束姿态为拳头，拳头中，指尖和指根的位置关系较为特殊，所以，可以将采集时间较晚的第二图像中指尖和指根的位置关系确定是否满足拳头中指尖和指根的位置关系。
在第一方面的另一实现方式中，所述第二图像中指尖和指根的位置关系满足所述第二手势中指尖和指根的位置关系条件包括：
所述第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。
本申请中，为了避免手部与距离相关的参数容易受到手部和摄像头指尖的距离的影响，可以将手腕作为基准，计算第二图像中指尖到手腕的距离和指根到手腕的距离的比值，基于该比值确定是否满足第二手势中指尖和指根的位置关系。
在第一方面的另一实现方式中，所述第一图像和第二图像为摄像头采集的连续的多个图像中的两个图像，在所述第一图像和所述第二图像中间还存在其他图像；
在确定所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件之前，所述方法还包括：
确定图像集中有手的图像的数量大于或等于第一数量，所述图像集包括第一图像、第二图像和所述摄像头采集的位于第一图像和第二图像中间的图像。
本申请中，在进行动态手势识别时，需要有一定的图像数量限制，例如，最少存在起始姿态的图像和结束姿态的图像；另外，用户做出的动态手势需要一定时长，摄像头按照一定帧率采集视角范围内的图像，所以，摄像头前期采集的图像并不能识别到结束姿态，为了降低功耗，可以设置从第一图像开始，最少采集到多少有手的图像后再开始进行手势判断。
在第一方面的另一实现方式中，所述方法还包括：
在所述第一特征信息和所述第二特征信息不满足所述手势库中的每一个手势对应的条件的情况下，确定图像集中有手的图像的数量是否大于或等于第二数量；
若所述图像集中有手的图像的数量大于或等于所述第二数量，则输出其他手势；
若所述图像集中有手的图像的数量小于所述第二数量，则获取摄像头采集的第三图像，判断所述第一特征信息和所述第三图像的第三特征信息是否满足手势库中的任一手势对应的条件，所述第三图像为摄像头采集的第二图像之后的图像。
本申请中，用户在摄像头的视角范围内做出的手势可能并不属于手势库中的任一手势，为了避免无限的进行手势判断，可以设置在右手的图像数量超过一定数量后，就输出其他手势。
在第一方面的另一实现方式中，在确定所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件之前，所述方法还包括：
确定手部未悬停。
本申请实施例还可以提供一种功能，当用户手部保持同一起始姿态的情况下，暂时不进行手势对应的条件判断，但是手部未保持同一起始姿态的情况下，再开始进行手势对应的条件的判断，这样避免用户的手部在悬停状态时，进行手势判断导致功耗较高。
在第一方面的另一实现方式中，所述确定手部未悬停包括：
获取第四图像的第四特征信息，所述第四特征信息包括：手类别、手指朝向和手部检测框在所述第四图像上的位置，所述第一图像为识别到第一起始姿态的图像或识别到所述第一起始姿态之后的图像，所述第一起始姿态为所述手势库中任一手势的起始姿态，所述第四图像的采集时间晚于所述第一图像、且早于所述第二图像；
在所述第一特征信息和所述第四特征信息满足悬停条件中任一条件时，确定手部未悬停，所述悬停条件包括：所述第一特征信息中的手类别和所述第四特征信息中的手类别不一致，所述第一特征信息中的手指朝向和所述第四特征信息中的手指朝向不一致，所述第一特征信息中的手部检测框和所述第二特征信息中的手部检测框的比在第三区间之外，所述第一特征信息中的手部检测框和所述第二特征信息中的手部检测框的交并比小于第二阈值、所述第二阈值大于第一阈值。
本申请中，可以通过两个图像中手类别、手指朝向和手部检测框的面积比和交并比等多个方面确定两个图像中手部姿态和位置是否发生变化，可以准确地确定手部是否悬停。
第二方面，本申请实施例提供另一种隔空手势识别方法，包括：
对用户的隔空手势操作进行检测；
响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第二预设条件时，确定用户的隔空手势操作为第二手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第二预设条件包括：所述第一手部姿态和所述第二手势的起始姿态一致、所述第二手部姿态和所述第二手势的结束姿态一致、且所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件，所述第二手势为抓握手势。
在第二方面的一种实现方式中，所述第二手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为握拳；
所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：
所述第一图像中手部检测框和所述第二图像中手部检测框的交并比大于第一阈值。
在第二方面的一种实现方式中，所述第二预设条件还包括：
所述第二图像中指尖和指根的位置关系满足所述第二手势中指尖和指根的位置关系条件。
在第二方面的一种实现方式中，所述第二图像中指尖和指根的位置关系满足所述第二手势中指尖和指根的位置关系条件包括：
所述第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。
第三方面，提供一种电子设备，包括处理器，处理器用于运行存储器中存储的计算机程序，实现本申请第一方面任一项的方法。
第四方面，提供一种芯片***，包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现本申请第一方面任一项的方法。
第五方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被一个或多个处理器执行时实现本申请第一方面任一项的方法。
第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在设备上运行时，使得设备执行本申请第一方面任一项的方法。
可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的隔空手势识别方法应用的电子设备的一种硬件结构示意图；
图2为本申请实施例提供的一种隔空手势识别方法的应用场景示意图；
图3为本申请实施例提供的一种上滑手势的应用场景示意图；
图4为本申请实施例提供的一种下滑手势的应用场景示意图；
图5为本申请实施例提供的一种抓握手势的应用场景示意图；
图6为本申请实施例提供的一种隔空手势识别方法的流程示意图；
图7为本申请实施例提供的一种屏幕状态检测和起始手势识别阶段的流程示意图；
图8为本申请实施例提供的一种起始手势识别阶段和动态手势识别阶段的模型输出结果对比图；
图9为本申请实施例提供的一种动态手势识别阶段的流程示意图；
图10为本申请实施例提供的另一种动态手势识别阶段的流程示意图；
图11为本申请实施例提供的另一种动态手势识别阶段的流程示意图；
图12为本申请实施例提供的一种悬停判断流程示意图；
图13为本申请实施例提供的一种抓握手势判断流程示意图；
图14为本申请实施例提供的一种抓握手势判断规则中手部示意图；
图15为本申请实施例提供的上滑手势判断流程示意图；
图16为本申请实施例提供的下滑手势判断流程示意图；
图17为本申请实施例提供的下滑手势判断规则中手部示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的一种隔空手势识别方法，可以适用于以下电子设备中。该电子设备可以为具有前置摄像头的平板电脑、手机、可穿戴设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备。本申请实施例对电子设备的具体类型不作限定。
图1示出了一种电子设备的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。其中，传感器模块180可以包括压力传感器180A，触摸传感器180K，环境光传感器180L等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，协处理器(sensor coprocessor，SCP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器110用于执行本申请实施例中的隔空手势识别方法。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)。
此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信号转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了监听语音信息，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时***多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。
本申请实施例并未特别限定一种隔空手势识别方法的执行主体的具体结构，只要可以通过运行记录有本申请实施例的一种隔空手势识别方法的代码，以根据本申请实施例提供的一种隔空手势识别方法进行通信即可。例如，本申请实施例提供的一种隔空手势识别方法的执行主体可以是电子设备中能够调用程序并执行程序的功能模块，或者为应用于电子设备中的通信装置，例如，芯片。
目前，一些电子设备可以提供隔空手势识别功能，参见图2，为一种隔空手势的应用场景。用户在电子设备的前置摄像头的视角范围内做出隔空手势，例如，图2中的五指张开的手势；电子设备的摄像头采集包含用户手势的图像，电子设备根据采集到的图像确定检测到隔空手势后，做出与该隔空手势相应的响应，例如，解锁、暂停等。
该隔空手势可能为静态手势也可能为动态手势，以图2中的五指张开的静态手势为例，用户的静态手势在前置摄像头的视角范围内保持一定时长，电子设备比较容易采集到清晰的包含静态手势的图像，也比较容易准确的识别到该静态手势。
若隔空手势为动态手势，例如，抓握手势：手部从五指张开的状态变成握拳的状态。动态手势为手部的动态变化过程，电子设备的摄像头采集的图像比较容易出现不清晰的情况；电子设备识别该动态手势的过程也较出现识别不准确的情况；这就导致电子设备较常出现误响应或不响应的现象，用户的体验较差。
本申请实施例提供了一种隔空手势识别方法，该隔空手势识别方法可以准确的识别到上滑手势、下滑手势和抓握手势。
参照图3，为本申请实施例提供的上滑手势的应用场景示意图。
本申请实施例中的上滑手势为：手背(五指朝下)面对电子设备屏幕，待上方出现手型图标后，向上挥动手腕，使得手掌(五指朝上)面对电子设备屏幕。该上滑手势可以应用在具有向上翻页(例如，显示下一页)、向上滑动(例如，内容向上滑动)的应用中。
参照图3中的(a)所示，用户的手背(五指朝下)面向电子设备屏幕、且处于电子设备的摄像头的视角范围内。
参照图3中的(b)所示，电子设备检测到用户的手背且五指朝下后，在屏幕上显示手型图标；用户可以在电子设备的屏幕显示手型图标后，向上挥动手腕。
参照图3中的(c)所示，用户挥动手腕后，用户的手掌(五指朝上)面向电子设备屏幕，电子设备识别到用户的上滑手势后，上报给当前在前台运行的应用，该应用显示的内容将向上滑动或向上翻页。
作为本申请实施例提供的另一种上滑手势，也可以为：手掌(五指朝下)面对电子设备屏幕，待上方出现手型图标后，向上挥动手腕，使得手背(五指朝上)面对电子设备屏幕。该上滑手势可以应用在具有向上翻页、向上滑动的应用中。
参照图4，为本申请实施例提供的下滑手势的应用场景示意图。
本申请实施例中的下滑手势为：手掌(五指朝上)面对电子设备屏幕，待上方出现手型图标后，向下挥动手腕，使得手背(五指朝下)面对电子设备屏幕。该下滑手势可以应用在具有向下翻页(例如，显示下一页)、向下滑动(例如，内容向下滑动)的应用中。
参照图4中的(a)所示，用户的手掌(五指朝上)面向电子设备屏幕、且处于电子设备的摄像头的视角范围内。
参照图4中的(b)所示，电子设备检测到用户的手掌且五指朝上后，在屏幕上显示手型图标；用户可以在电子设备的屏幕显示手型图标后，向下挥动手腕。
参照图4中的(c)所示，用户挥动手腕后，用户的手背(五指朝下)面向电子设备屏幕，电子设备识别到用户的下滑手势后，上报给当前在前台运行的应用，该应用显示的内容将向下滑动或向下翻页。
参照图5，为本申请实施例提供的抓握手势的应用场景示意图。
本申请实施例中的抓握手势为：手掌(五指朝上)面对电子设备屏幕，待上方出现手型图标后握拳。该抓握手势用于实现隔空截屏功能。
参照图5中的(a)所示，用户的手掌(五指朝上)面向电子设备屏幕、且处于电子设备的摄像头的视角范围内。
参照图5中的(b)所示，电子设备检测到用户的手掌(五指朝上)后，在屏幕上显示手型图标；用户可以在电子设备的屏幕显示手型图标后握拳。
参照图5中的(c)所示，用户握拳后，用户的手变成拳头形状，电子设备识别到用户的抓握手势后，上报给上层应用(实现截屏的应用)，上层应用可以将电子设备的屏幕当前显示的内容生成截屏图像并在屏幕上显示一段时间。在实际应用中，生成的截屏图像是否在屏幕上缩小显示一段时间与电子设备本身的功能相关，本申请实施例并不限制截屏图像是否必须在屏幕上缩小显示一段时间。
为实现上述场景中准确识别隔空动态手势的功能，本申请实施例提供的识别隔空动态手势的过程包括三个阶段：开启条件检测阶段、起始手势识别阶段和动态手势识别阶段。
开启条件检测阶段：
本申请实施例中，通常在电子设备亮屏状态下，才可能使用隔空手势实现上滑、下滑或截屏的功能；所以，为了降低功耗，可以将电子设备的屏幕的亮屏状态作为起始手势识别功能的开启条件。例如，在检测到屏幕亮屏状态时，起始手势识别功能开启；在检测到屏幕灭屏状态时，起始手势识别功能关闭。
确定屏幕为亮屏状态还是灭屏状态的方式可以有多种。例如，可以通过电子设备上设置的环境光传感器采集的环境光的变化情况(屏幕亮屏或灭屏将会影响周围的环境光强度)确定电子设备的屏幕的状态。
当然，若将上滑、下滑和截屏功能应用在特定应用中时，还可以设置该特定应用在前台运行作为起始手势识别功能的开启条件。例如，在检测到特定应用在前台运行时，开启起始手势识别功能；在检测到特定应用切换到后台运行或者关闭后，关闭起始手势识别功能。
通过上述示例可以理解，起始手势识别功能的开启条件可以根据应用场景的不同而不同，本申请对起始手势识别功能的开启条件不做限制。后续以屏幕亮屏状态作为开启起始手势识别功能的开启条件进行详细说明。
起始手势识别阶段：
本申请实施例中，在起始手势识别功能开启后，将进入起始手势识别阶段。上滑手势中手部的初始状态为：用户的手背面向电子设备的屏幕；下滑手势中手部的初始状态为：用户的手掌面向电子设备的屏幕；抓握手势中手部的初始状态为：用户的手掌面向电子设备的屏幕。所以，本申请实施例可以设置起始手势为：手掌和手背。可以将起始手势以外的其他手势均记为非起始手势，例如，握拳、剪刀手等手势均记为非起始手势。在识别到起始手势(手掌或手背)后，将开启动态手势识别功能。
动态手势识别阶段：
本申请实施例中，在动态手势识别功能开启后，将进入动态手势识别阶段。不同动态手势的识别规则不同，可以针对上滑手势、下滑手势和抓握手势分别设置不同的识别规则。在满足上述上滑手势、下滑手势和抓握手势中的任一手势的识别规则的情况下，动态手势识别成功，可以将识别到的动态手势上报给上层应用，上层应用基于该识别到的动态手势进行响应。
下面将详细描述上述三个阶段之间的衔接流程。参照图6，为本申请实施例提供的隔空手势识别方法的流程示意图。
S101，屏幕状态检测。
本申请实施例中，可以将电子设备的屏幕亮屏状态作为开启起始手势识别功能的条件，因此，需要检测屏幕的状态。
S102，根据屏幕状态检测结果确定屏幕是否为亮屏状态。
在屏幕未亮屏的情况下，返回步骤S101继续执行屏幕状态检测。
在屏幕亮屏的情况下，开启起始手势识别功能；开启起始手势识别后，将执行步骤S103。
S103，查看动态手势识别功能是否开启。
由于起始手势识别阶段和动态手势识别阶段均需要对摄像头采集的图像进行手势检测，所以，可以设置动态手势识别功能默认为关闭状态；在开启动态手势识别功能之前，摄像头采集的图像均进行起始手势识别；在识别到起始手势后，再开启动态手势识别功能；在开启动态手势识别功能后，摄像头采集的图像不再进行起始手势识别，而是进行第三阶段的动态手势识别。
基于上述理解，若动态手势识别功能还未开启，则执行步骤S105进行起始手势识别；若动态手势识别功能已开启，则执行步骤S109进行动态手势识别。
另外，可以设置在起始手势识别阶段，摄像头以一定的帧率(例如，以可支持的最小帧率)采集图像，起始手势识别阶段对摄像头采集的图像进行起始手势识别；可以设置在动态手势识别阶段，摄像头以一定的帧率(可以大于起始手势识别阶段摄像头采集图像的帧率)采集图像，动态手势识别阶段对摄像头采集的图像进行动态手势识别。
S104，对图像进行起始手势识别。
本申请实施例中，可以设置起始手势识别的规则，例如，在当前图像检测到预先设置的起始手势，就认为识别到起始手势。也可以设置在获取的连续两个图像上均检测到起始手势，才认为识别到起始手势。本申请实施例对识别到起始手势的规则不做限制，关于起始手势识别的详细过程可参照后续图7所示起始手势识别的流程示意图对应的描述。
S105，判断步骤S104是否识别到起始手势。
本申请实施例中，若识别到起始手势，则可以执行步骤S106开启动态手势识别功能。若未识别到起始手势，则可以执行步骤S107判断起始手势识别过程是否超时。
S106，输出指令，该指令用于开启动态手势识别功能。
在本申请实施例中，识别到起始手势作为动态手势识别功能的开启条件，在开启动态手势识别功能后，将继续执行步骤S103在确定动态手势识别开启后，进入动态手势识别阶段。
作为本申请另一实施例，也可以将识别到起始手势的当前图像用于动态手势识别，即在步骤S106之后，执行步骤S108，将当前图像继续用于动态手势识别。
S107，查看起始手势阶段是否超时。
本申请实施例中，起始手势识别功能需要对图像进行识别，比较占用内存；另外，电子设备的屏幕熄屏后可能仍然执行起始手势识别，将导致功耗过高所以，可以设置起始手势识别功能开启后的执行时长，在超过执行时长的情况下，返回步骤S101执行屏幕状态检测，以确定电子设备的屏幕当前是否还处于亮屏状态，避免已经灭屏还在执行起始手势识别。
当然，在未超过执行时长的情况下，执行步骤S103判断结果为否，将继续基于新获取的图像执行起始手势识别。
如步骤S105至步骤S106所描述，若识别到起始手势，则开启动态手势识别功能，在开启动态手势识别功能后，执行步骤S103；当执行步骤S103时，判断结果将为是，则执行步骤S108。
S108，对图像进行动态手势识别。
本申请实施例中，也设置了动态手势识别的流程，动态手势识别流程可参照后续图9所示实施例的详细描述。
S109，判断步骤S108是否识别到动态手势。
在识别到动态手势的情况下，执行步骤S110，将动态手势上报给上层应用。
在未识别到动态手势的情况下，执行步骤S111，判断动态手势识别阶段是否超时。
S110，将识别到的动态手势上报给上层应用。
本申请实施例中，若识别到的动态手势已经上报给上层应用，需要关闭动态手势识别功能(恢复为默认状态)，以在下次手势识别时首先执行起始手势识别。
S111，判断动态手势识别阶段是否超时。
本申请实施例中，起始手势识别阶段的执行时长和动态手势识别阶段的执行时长可以设置为相同的时长，也可以设置也不同的时长，当然，实际应用中，也可以以其他规则作为是否超时的判定因素，例如，图像的数量等，本申请实施例对此不做限制。
若动态手势识别阶段还未超时，则返回执行S103以进行动态手势识别。
若动态手势识别阶段已经超时，则执行步骤S112关闭动态手势识别功能后，返回步骤S103重新进行起始手势识别。
动态手势识别阶段未识别到动态手势的原因可能为：用户无意使用隔空手势功能，只是手部经过摄像头视角范围内，导致误识别到起始手势，则在步骤S112之后再次进入起始手势识别阶段后，将无法识别到起始手势识别，也会执行到起始手势识别超时，会返回屏幕状态检测。
动态手势识别阶段未识别到动态手势的原因还可能为：用户做出的隔空手势不规范，用户在确定电子设备未按照隔空手势进行响应后会再次做出隔空手势，这种情况下，电子设备在步骤S112之后再次进入起始手势识别阶段后，会识别到起始手势，不影响隔空手势功能。
S112，关闭动态手势识别功能。
本申请实施例中，在将识别到的动态手势上报给上层应用或者动态手势识别阶段超时后，需要将动态手势识别功能关闭，以将动态手势识别功能恢复为初始的关闭状态，便于下次进行手势识别时，对获取的图像首先进行起始手势识别。
在关闭动态手势识别功能后，需要返回步骤S103重新进入起始手势识别阶段，开始新一轮的隔空手势识别。
本申请实施例中，无论是已经识别到动态手势上报给上层应用，还是动态手势识别阶段已经超时，均会导致关闭动态手势识别功能，重新回到起始手势识别阶段。
在实际应用中，还可能存在一种场景，用户在使用电子设备过程中，手部靠近电子设备关闭电子设备屏幕，这种场景中，在起始手势识别阶段电子设备可能识别到起始手势，然而在动态手势识别阶段，电子设备可能识别不到动态手势，所以，也可以设置在关闭动态手势功能后，重新回到屏幕状态检测阶段，即步骤S112之后执行步骤S101。
当然，按照图6所示实施例的流程，在关闭动态手势识别功能后，重新回到起始手势识别阶段，也将无法识别到起始手势，也将会回到屏幕状态检测阶段，所以，也不会造成过多的功耗。
图6所示实施例简单描述了开启条件检测阶段、起始手势识别阶段和动态手势识别阶段之间的衔接，下面将详细描述起始手势识别的过程和动态手势识别的过程。
基于图3至图5所示的场景示意图可以理解，本申请实施例中的手势的起始手势(记为正样本)包括手掌和手背，除了起始手势以外的其他手势均为非起始手势(记为负样本)，例如握拳、剪刀手等。
参照图7，为本申请实施例提供的起始手势识别阶段的流程图。
S201，获取摄像头采集的图像。
本申请实施例中，在起始手势识别功能开启后，需要获取摄像头采集的图像，以进行起始手势识别。
由于在亮屏阶段，需要频繁进行起始手势识别，所以，为了降低功耗，可以在起始手势识别阶段，设置摄像头以较低的分辨率采集图像进行起始手势识别；当然，在识别到起始手势，开启动态手势识别功能后，可以以较高的分辨率采集图像进行后续的动态手势识别。
另外，在起始手势识别阶段，也可以设置摄像头以较低的帧率采集图像，在动态手势识别阶段，可以设置摄像头以较高的帧率采集图像。
S202，对图像进行预处理。
本申请实施例中，起始手势识别阶段可以采用起始手势检测模型进行检测，以确定当前图像中是否包含有正样本。通常，检测模型对输入图像有要求，所以，为了利于准确检测到起始手势，可以将图像预处理为与起始手势检测模型匹配的格式。作为示例，预处理可以包括但不限于灰度处理、滤波去噪处理等。
S203，对预处理后的图像进行分类检测，得到分类结果。
本申请实施例，可以通过预置的起始手势检测模型进行分类检测，该分类检测用于确定输入的图像中的手势为正样本还是负样本。因此，分类结果包括正样本或负样本。
当然，实际应用中，还可以输出正样本中具体的手掌或手背。
S204，将分类结果压入结果队列中。
本申请实施例中，可以设置结果队列，用于存储每次检测得到的分类结果，以通过至少两个分类结果判断是否识别到起始手势。
S205，判断连续两次或者最近三次分类结果中有两次为正样本。
本申请实施例中，在电子设备的屏幕亮屏状态下，起始手势功能识别开启，用户手势在电子设备的摄像头的视野范围内的动作可能会被识别为起始手势。为了避免误判，可以设置连续两次获取的图像均检测到正样本，或者连续三次获取的图像中有两次检测到正样本作为开启动态手势识别的开关。
作为本申请另一实施例，还可以设置连续两次获取的图像均检测到相同的正样本(例如，均为手掌或均为手背)，或者连续三次获取的图像中有两次检测到相同的正样本作为开启动态手势识别的条件。
若连续两次或者最近三次分类结果中有两次为正样本，则执行步骤S206开启动态识别手势开关；
若连续两次分类结果中有任意一次不为正样本，并且最近三次分类结果中只有一次为正样本，则执行步骤S207判断是否超时。
S206，开启动态识别手势开关。
S207，判断是否超时。
若起始手势识别阶段未超时，则继续执行步骤S201获取下一个图像进行起始手势识别。
若已超时，则返回开启条件检测阶段(步骤S101)执行屏幕状态检测。
本申请实施例中，起始手势识别阶段结束之后，要么开启动态手势识别功能执行动态手势识别，要么返回开启条件检测阶段执行屏幕状态检测，否则在起始手势识别阶段内部循环，当然，上述描述仅为一个示例，在实际应用中，也可以设置其他结果。
参照图8所示，在起始手势识别阶段，主要进行手类别检测，输出结果包括正样本(手背和手掌)和负样本(其他手势)。
在动态手势识别阶段，主要包括三个模块：目标检测模块、关键点检测模块和手势判断模块。当然，实际应用中，还可以增加悬停判断模块，悬停判断模块可以作为独立的模块设置在关键点检测模块和手势判断模块之间，也可以将执行的流程设置在手势判断模块内部，本申请实施例对此不做限制，后续以悬停判断模块设置手势判断模块内部为例。
目标检测模块用于对图像进行手的类别检测，在输出手类别时可以输出手部检测框。
目标检测模块的输出包括以下几类：手掌和手背，拳头，其他类别(除了手掌、手背和拳头以外的其他手势)和背景(无任何手势)。可以理解，起始手势识别阶段的手类别输出结果和动态手势识别阶段手类别的输出结果不同。
关键点检测模块用于对目标检测模块检测到手部进行关键点检测，并基于关键点信息得到手的朝向：朝上、朝下和朝向未知。
手势判断模块用于根据目标检测模块和关键点检测模块检测到的信息确定是否为预先设置的动态手势。输出的结果包括：抓握、下滑、上滑、其他手势和超时失败。其中，其他手势为识别到多帧图像中有手，但是不属于抓握、上滑和下滑手势中的任一手势，具体可参照后续动态手势识别过程中的描述。
下面将详细描述动态手势识别过程，参照图9，为本申请实施例提供的动态手势识别过程的流程示意图。
S301，获取摄像头采集的图像。
如前所述，在动态手势识别阶段，可以提高摄像头采集图像的帧率，也可以提高摄像头采集图像的分辨率。
S302，对图像进行手类别检测，得到检测结果。
本申请实施例中，动态手势识别阶段中的手类别和起始手势识别中的手类别不同，动态手势识别阶段中的手类别需要识别出手背、手掌、拳头或者其他的手势(有手但是不属于手背、手掌和拳头)，输出结果包括：手掌、手背、拳头、其他或背景，当然，在识别到手部的情况下，还需要输出手部检测框。
S303，根据检测结果确定图像是否有手。
本申请实施例中，上一步的输出结果可能存在几种情况：手掌、手背、拳头、其他或者背景。
若检测结果为手掌、手背、拳头和其他，确定图像有手；若检测结果为背景，则确定图像无手。
在确定图像无手的情况下，不再进行关键点检测，可以进行超时判断，在动态手势识别阶段超时的情况下，可以回到起始手势识别阶段或者屏幕状态检测阶段；在动态手势识别阶段未超时的情况下，可以返回步骤S301继续获取摄像头采集的图像以进行动态手势识别阶段的下一个循环过程。
在确定图像有手的情况下，可以执行步骤S304继续进行关键点检测。
S304，进行关键点检测，得到手部关键点信息以及朝向。
本申请实施例中，若检测结果为手掌、手背、拳头或其他，则继续进行关键点检测，输出关键点信息以及朝向。在具体实现时，可以裁剪目标检测模块输出的手部检测框内的手部图像进行关键点检测。
在实际应用中，目标检测模块、关键点检测模块和手势判断模块可以作为三个独立的模块。三个独立的模块不仅可以应用在图3至图5所示的场景中，也可以应用在其他应用场景中；因此，作为独立的关键点检测模块，需要在进行关键点检测之前，首先确定是否有手；同理，作为独立的手势判断模块，也需要在进行手势判断之前，增加确定图像是否有手的步骤。
当然，实际应用中，也可以在步骤S303中的判断结果为否(图像中无手)的情况下，执行步骤S306，判断是否连续n次图像均无手，具体可参照图10所示流程示意图。
或者，整个动态手势识别阶段，也可以仅执行一次确定图像是否有手的判断的逻辑，取消步骤S305中再次判断是否有手的步骤；相应的，在步骤S303中，确定无手之后，执行步骤S306，判断是否超时(是否已经n次都无手)。在步骤S304检测到关键点信息之后，执行步骤S308判断是否悬停，具体可以参照图11所示实施例中的描述。
后续以图9所示流程示意图为例进行描述。
在步骤S304之后，将进入手势判断模块执行的流程，在有悬停判断模块的情况下，先进入悬停判断模块执行的流程，再进入手势判断模块执行的流程。
S305，确定当前图像是否有手。
若图像中无手，需要判断整个动态手势识别阶段是否超时，本申请实施例可以设置超时的判断逻辑包括连续n次图像均无手。连续n次图像均无手是本次进入起始手势识别阶段后获取的图像中是否连续n次图像均无手。
在图像中无手的情况下，执行步骤S306判断是否连续n次图像的检测结果均无手。
在图像中有手的情况下，进行动态手势识别中后续的步骤。
S306，判断是否连续n次图像均无手。
若连续n次图像中有任意一次有手，则动态手势识别阶段还未超时，回到步骤S301获取摄像头采集的下一个图像，继续执行动态手势识别阶段的步骤。
若连续n次图像均无手，则确定已经超时，执行步骤S307输出超时，当然，在输出超时后，可以回到起始手势识别阶段，也可以回到屏幕状态检测阶段。
S307，输出超时。
如前所述，在步骤S305中，在确定当前检测的图像中有手的情况下，可以进行动态手势识别中后续的步骤。可以执行步骤S309确定有手的数量是否达到手势判断模块要求的图像数量M。本申请实施例中，M的设置是能够确保当前有手的数量能够进行手势识别，因此可以设置有手数量达到M的逻辑规则中是输入动态手势识别阶段中的目标检测模型的第一个图像(或者后续实施例中的基准图像)到当前图像中有手数量达到M。当然，也可以设置其他逻辑规则，相应的，设置有手数量达到其他数值。
作为本申请另一实施例，还可以增加悬停判断模块(可以设置在手势判断模块内部)，即在动态手势阶段，若用户的手势保持起始手势的情况下，保持动态手势识别功能的唤醒。所以，需要在步骤S309之前增加步骤S308判断手是否悬停。
S308，在步骤S305的判断结果为图像有手的情况下，判断手是否悬停。
在手悬停的情况下，无需手势判断模块识别手势，而是返回步骤S301继续获取摄像头采集的下个图像。
在手未悬停的情况下，可以执行步骤S309确定有手的数量是否达到手势判断模块要求的图像数量M。
S309，确定有手的图像数量是否达到了M。
在确定有手的图像数量还未达到M的情况下，需要返回步骤S301获取摄像头采集的下一个图像以继续执行动态手势识别阶段中的循环步骤，在有手数量达到M后再进行手势判断。
在确定有手的图像数量已经达到M的情况下，需要逐个判断是否为上述列举的三个手势(抓握、上滑、下滑)。在实际应用中，三个手势的判断顺序不分先后，可以根据实际情况调整三个手势的判断顺序。
本申请实施例以先判断是否抓握手势，不是抓握手势的情况下，再判断是否为上滑手势，不是上滑手势的情况下，在判断是否为下滑手势。
S310，判断是否为抓握手势。
抓握手势的判断规则可以参照后续实施例中的描述。
若为抓握手势，则可以执行步骤S311输出抓握手势上报给上层应用。
若不为抓握手势，则执行步骤S312，继续判断是否为上滑手势。
S311，输出抓握手势。
S312，判断是否为上滑手势。
上滑手势的判断规则可以参照后续实施例中的描述。
若为上滑手势，则可以执行步骤S313输出上滑手势上报给上层应用。
若不为上滑手势，则执行步骤S314，继续判断是否为下滑手势。
S313，输出上滑手势。
S314，判断是否为下滑手势。
下滑手势的判断规则可以参照后续实施例中的描述。
若为下滑手势，则可以执行步骤S315输出下滑手势上报给上层应用。
若不为下滑手势，则判断是否超时，判断是否超时的逻辑可以为连续有手的图像的数量应达到Q，具体可参照步骤S316。有手图像数量达到Q的逻辑规则中是输入动态手势识别阶段中的目标检测模型的第一个图像(或者后续实施例中的基准图像)到当前图像中有手数量达到Q。
S315，输出下滑手势。
S316，判断有手的图像数量是否达到Q(Q大于M)。
若还未达到Q，则可以执行步骤S301，继续获取摄像头采集的下个图像以进行动态手势识别阶段的循环步骤。
若达到Q，表示不属于抓握、上滑和下滑手势中的任一手势，可能为其他手势，可以执行步骤S317输出其他手势。
本申请实施例中，动态手势识别阶段结束之后，要么输出相应的手势上报给上层应用，要么输出超时。无论哪种情况均需要关闭动态手势识别功能，并回到起始手势识别阶段或开启条件检测阶段，否则在动态手势识别阶段内部循环，当然，上述描述仅为一个示例，在实际应用中，也可以设置其他结果。
如前所述，可以在动态手势识别阶段中的手势判断模块内部设置悬停判断模块，即开启动态手势识别功能后，若手为起始手势且保持不动，则可以持续唤醒动态手势识别功能。
在实际应用中，用户的手不可能保持绝对意义上的不动，因此，可以设置一些规则条件，在电子设备检测到图像中用户的手满足该规则条件时，确定用户的手保持不动，可以持续唤醒动态手势识别功能。
参照图12，为本申请实施例提供的一种悬停判断模块判断手势是否悬停的流程示意图。
S401，接收到目标检测模块和关键点检测模块的输出结果。
该步骤中，输出结果可以包括手类别、检测框位置、关键点信息和手朝向。
S402，查看接收到的信息是否为本次动态手势识别阶段中的第一个图像的信息。
本申请实施例中，可以设置动态手势识别阶段中的第一个图像中的手部信息为基准信息，若后续获取的图像和第一个图像中的手部信息差异较小，则认为手部悬停；若后续获取的图像和第一个图像中的手部信息差异较大，则认为手部未悬停。
本次动态手势识别阶段中的第一个图像可以为识别到起始手势时的图像，以图7所示流程示意图为例，在识别到起始手势后，将当前图像输入动态手势识别阶段，所以，识别到起始手势的图像就为本次动态手势识别阶段中的第一个图像。
本次动态手势识别阶段中的第一个图像也可以为识别到起始手势时的图像的下一个图像，以图6所示流程示意图为例，在识别到起始手势后，返回步骤S103获取下一个图像，则下一个图像可以作为本次动态手势识别阶段中的第一个图像。
由于本次动态手势识别阶段中的第一个图像用于作为手势判断的基准信息，因此，可以将动态手势识别阶段中目标检测模块和关键点检测模块能够输出第一个完整手部信息(例如，手类别为手掌或手背、具有检测框信息，具有关键点信息，手朝向为朝上或朝下)的图像作为动态手势识别阶段中的第一个图像，即基准图像。
当然，在动态手势识别阶段摄像头采集图像的帧率较快，所以，将动态手势识别阶段中目标检测模块和关键点检测模块能够输出第2个完整手部信息(例如，手类别为手掌或手背、具有检测框信息，具有关键点信息，手朝向为朝上或朝下)的图像作为动态手势识别阶段中的基准图像也可以。具体选择哪个图像对应的信息作为基准信息，可以根据动态手势识别阶段的帧率相关。
若当前接收到的信息为本次动态手势识别阶段的第一个图像的信息，执行步骤S403记录第一张图像的信息。
若当前接收到的信息不为本次动态手势识别阶段的第一个图像的信息，则需要对比当前接收到的信息和第一个图像的信息。
S403，记录第一张图像的信息。
本申请实施例中，第一张图像的信息中，手类别可以记为handclass1，手检测框坐标信息可以记为手朝向为handdirect1。
本申请实施例中，在确定当前图像和第一张图像中的手部信息差异较大的情况下，认为手部非悬停，需要后续的手势判断模块识别动态手势。当然，后续接收到图像信息后，不再执行悬停判断过程，而是直接通过手势判断模块识别动态手势。所以，在实际应用中，悬停判断模块存在两个支路：判断当前接收到的图像的信息中的手势是否为悬停状态或者直接送入手势判断模块识别动态手势。
为了实现上述两个支路，可以初始化悬停条件为真，即默认为手部悬停，在确定当前图像中的手势和第一张图像的手势发生变化后，再将悬停条件设置为假，后续在悬停条件为假的情况下将不再执行悬停判断的过程。在具体实现时，可以在步骤S402之后，增加步骤404判断悬停条件是否为真。
S404，若步骤S402的判断结果不为第一张图像，则查看悬停条件是否为真。
在悬停条件为真的情况下，判断当前图像中的手部信息和第一张图像中的手部信息是不是变化较大(即步骤S405至步骤S408)。
在悬停条件为假的情况下，执行步骤S410进入手势判断模块进行手势判断。
S405，判断当前接收到的图像和第一张图像的手类别是否发生变化。
本申请实施例中，当前图像的手类别可以记为handclass2，手检测框坐标信息可以记为手朝向为handdirect2。
该步骤中可以查看handclass1和handclass2是否相同，相同表示手类别未发生变化，不相同表示手类别发生变化。
若手的类别发生变化，则执行步骤S409设置悬停条件为假。
若手类别未发生变化，则执行步骤S406判断手的朝向是否发生变化。
S406，判断当前接收到的图像和第一张图像的手的朝向是否发生变化。
该步骤中可以查看handdirect1和handdirect2是否相同，相同表示手朝向未发生变化，不相同表示手朝向发生变化。
若手的朝向发生变化，则执行步骤S409设置悬停条件为假。
若手的朝向未发生变化，则执行步骤S407判断检测框面积比是否在范围内。
S407，判断当前接收到的图像和第一张图像的检测框面积比是否在范围外。
计算第一张图像的检测框的面积
计算当前图像的检测框的面积
计算或者/>判断r1或r2是否在预先设置的数值范围外，若在预先设置的数值范围外，表示手部面积发生较大变化；在预先设置的数值范围内，表示手部面积未发生较大变化。
若检测框面积比在范围以外，则执行步骤S409设置悬停条件为假。
若检测框面积比在范围以内，则执行步骤S408判断交并比是否小于阈值。
S408，判断第一张图像和当前图像中检测框的交并比(Intersection overUnion,IOU)是否小于阈值A。
计算两个图像的检测框中，x方向上的最小坐标中的最大值；x方向上的最大坐标中的最小值；y方向上的最小坐标中的最大值；y方向上的最大坐标中的最小值；从而确定出二者交叠的区域的比例。
x方向上的最小坐标中的最大值
y方向上的最小坐标中的最大值
x方向上的最大坐标中的最小值
y方向上的最大坐标中的最小值
两个检测框交叠区域的面积area＝max(0,xmax-xmin)×max(0,ymax-ymin)。
计算交叠区域的面积占据两个检测框一起的面积的比例
通常，两个检测框的交叠区域的比例越大，越说明手部范围变化较小处于悬停状态；两个检测框的交叠区域的比例越小，越说明手部范围变化较大可能处于非悬停状态，所以，IOU小于阈值A的情况下，就认为两个图像中手部交叠区域较小，用户可能正在进行手部动作或者移出手势，因此，需要结束悬停状态。
当然，IOU大于阈值A的情况下，认为两个图像中手部交叠区域较大，仍然处于悬停状态，则可以返回到步骤S301，即获取摄像头采集的下一个图像，循环执行动态手势识别过程。
S409，若步骤S405至步骤S408中任一判断结果为是，则设置悬停条件为假。
步骤S405至步骤S408中任一判断结果为是，则表示不为悬停，则可以进行手势判断，当然，下一次循环时采集的下一张图像无需进行悬停判断，而是直接进行手势判断，所以，需要设置悬停条件为假。
在设置悬停条件为假后，可以将动态手势识别阶段的第一张图像的手部信息和当前采集到的图像对应的手部信息作为手势判断的信息输入手势判断模块中进行手势判断。
即在步骤S409之后，可以执行步骤S410进行手势判断，参照图12中的方式一。
另外，由于进行手势判断是需要数量限制的(大于M)，所以，首次判断不满足悬停条件的图像可能还不足以识别到动态手势，因此，也可以设置在步骤S409之后，返回到步骤S301，即获取摄像头采集的下一个图像，循环执行动态手势识别过程，参照图12中的方式二。
在手势判断模块识别动态手势时，可以依次判断是否满足三个手势对应的规则，在满足任一手势对应的规则的情况下，输出该手势；在不满足任一手势对应的规则的情况下，判断是否超时。
参照图13，为本申请实施例提供的判断是否满足抓握手势的过程对应的流程示意图。
S501，接收当前图像的信息。
当前图像的信息包括手类别、关键点、朝向、检测框坐标等。当然，实际应用中，也可以根据不同手势的判断规则所需要的信息选择部分输出结果输入对应的手势判断模型中。相对于的，不同的手势判断过程接收到的当前图像的信息也为部分输出结果中的信息。
S502，判断第一个图像的手类别是否为手掌、且当前图像的手类别为拳头。
本申请实施例中，抓握手势的起始状态可以为手掌面对屏幕，所以，第一个图像(可以为识别到起始手势的图像)的手类别为手掌，抓握手势中手部最后的状态为握拳，所以，当前图像的手类别为拳头。
需要说明，手掌面的屏幕并不表示手掌和屏幕必须平行面对，而是，允许一定程度的倾斜的面对。
S503，在步骤S502的判断结果为是的情况下，判断第一个图像和当前图像的检测框的IOU是否大于阈值B。
本申请实施例中，参照图14，第一图像和第二图像为摄像头采集的两个图像，用于进行手势判断，抓握手势中手部开始状态为手掌，最后状态为握拳。通常，手部位置基本不变，所以，理论上当前图像的手部检测框在第一图像的手部检测框的范围内或者具有一定的重合范围。
在实际应用中，用于判断悬停(两个图像中手部的位置和形态基本保持不变)的阈值A(例如，90％)可以设置的相对较大，用于手势判断的阈值B(例如，30％)可以设置的相对较小。即在一个图像由于IOU小于阈值A(手部发生变化)进入手势判断模块后，不会因为小于阈值B而手势识别失败。
S504，在步骤S503的判断结果为是的情况下，判断第一个图像的手的朝向是否为上。
本申请实施例中，抓握手势中手部开始状态的手指朝向上(上的定义为电子设备的顶部相对于底部的方向，下的定义为电子设备的底部相对于顶部的方向)，当然，上和下并不是绝对意义上的直上直下，而是，根据判断规则确定的上和下。
S505，在步骤S504的判断结果为是的情况下，判断当前图像指尖与手腕的距离和指根到手腕的距离的比位于预先设置某个区间范围之内。
本申请实施例中，参照图14，握拳后，抓握手势在握拳后指尖与手腕的距离和指根到手腕的距离应该在一定数值范围内，所以，可以通过设置该参数为抓握手势的判断规则。
在实际应用中，可以选择5个手指的指尖的坐标的平均值作为指尖坐标计算指尖到手腕的距离；也可以选择除了拇指之外的4个手指的指尖的坐标的平均值作为指尖坐标计算指尖到手腕的距离；当然，也可以选择最高或者最低的指尖的坐标作为指尖坐标计算指尖到手腕的距离。在实际应用中，根据指尖坐标的确定方式不同，可以设置不同的区间范围。
同理，指根的坐标的确定方式可以参照指尖的坐标的确定方式。
在步骤S505的判断结果为是的情况下，输出抓握手势。
当然，在步骤S502至步骤S505的步骤中，若任一步骤的判断结果为否，则确定抓握手势判断失败。
需要说明，本申请并不限定上述几个判断过程的先后顺序，在实际应用中，可以根据实际情况调整上述4个判断过程的先后顺序。
参照图15，为本申请实施例提供的判断是否满足上滑手势的过程对应的流程示意图。
S601，接收当前图像的信息。
本申请实施例中，当前图像的信息包括手类别、关键点、朝向、检测框坐标等中的部分或全部。
S602，判断第一个图像的手类别是否为手背，且朝下，且当前图像的手类别为手掌、且朝上。
在实际应用中，为了使用不同用户的上滑手势的习惯，可以手掌面对屏幕向上挥动手腕，也可以手背面向屏幕向上挥动手腕。所以，可以设置上滑手势1(对应于图3所示的上滑手势)的判断规则，还可以设置上滑手势2的判断规则。将上滑手势1和上滑手势2作为不同的手势，在不满足上滑手势1的判断规则时，判断是否满足上滑手势2的判断规则。
若步骤S602为上滑手势1的一个判断规则，则判断第一个图像的手类别是否为手掌，且朝下，且当前图像的手类别为手背、且朝上作为上滑手势2的一个判断规则。
S603，在步骤S602的判断结果为是的情况下，判断从第一个图像的检测框中心点到当前图像的检测框中心点的连线方向是否朝上。
在上滑手势中挥动手腕后，手势会从下部转移到上部，所以第一个图像的检测框中心点到当前图像的检测框中心点的连线方向应该朝上。
S604，在步骤S603的判断结果为是的情况下，判断第一个图像指尖到当前图像指尖的距离和当前图像手宽度的比位于特定区间内。
在上滑手势中挥动手腕后，通常，手腕的位置通常变化不大，手以手腕为中心(并不是绝对意义上的中心)会从下部转移到上部，指尖的移动距离会变大，但是不会变的特别大(例如，不会大到即将滑出视角范围)。所以，需要确定数值范围区间，确定是否为上滑手势。该数值范围可以根据实际场景测试得到。
在步骤S604的判断结果为是的情况下，输出上滑手势。
在步骤S602至步骤S604中任意一个步骤判断结果为否的情况下，上滑手势判断失败。
需要说明，本申请并不限定上述几个判断过程的先后顺序，在实际应用中，可以根据实际情况调整上述3个判断过程的先后顺序。
参照图16，为本申请实施例提供的判断是否满足下滑手势的过程对应的流程示意图。
S701，接收当前图像的信息。
本申请实施例中，当前图像的信息包括手类别、关键点、朝向、检测框坐标等中的全部或部分。
S702，判断第一个图像的手类别是否为手掌，且朝上，且当前图像的手类别为手背、且朝下。
本申请实施例中，可以根据第一图像中手势的起始状态和结束状态确定是否和下滑手势的起始状态和结束状态一致作为一个判断规则。
S703，在步骤S702的判断结果为是的情况下，判断从第一个图像的检测框中心点到当前图像的检测框中心点的连线方向是否朝下。
在下滑手势中挥动手腕后，手势会从上部转移到下部，所以第一个图像的检测框中心点到当前图像的检测框中心点的连线方向应该朝下，相当于确定的手部运动方向是否和下滑手势中手部的运动方向(向下)一致。
S704，在步骤S703的判断结果为是的情况下，判断第一个图像指尖到当前图像指尖的距离和当前图像手宽度的比位于特定区间内。
参照图17，第一图像和第二图像为摄像头采集的两个图像，用于进行手势判断。在下滑手势中挥动手腕后，通常，手腕的位置通常变化不大，手势以手腕为中心(并不是绝对意义上的中心)会从上部转移到下部，指尖的距离会变大，但是不会变的特别大(例如，不会大到即将滑出视角范围)。所以，需要确定数值范围区间，确定是否为下滑手势。该数值范围可以根据实际场景测试得到。不同手势中的数值范围区间可以不同。
另外，图像中的坐标确定的指尖的距离和现实中的距离换算比较复杂，那么人的手部宽度基本变化不大，所以，可以将手部宽度作为一个参照，就是两个图像中指尖的坐标距离除以手掌宽度在某个数值区间内就可以表达出指尖的运动距离满足第一手势中的运动距离条件。
当然，需要说明，本申请实施例中进行对比的两个图像中的位置坐标均以相同的坐标原点进行运算，例如，均以采集的图像中的左上角的点为原点坐标，也可以以其他位置的点作为原点坐标。
指尖的坐标可以参照上述实施例中的确定方式，本申请实施例对此不做限制。
在步骤S704的判断结果为是的情况下，输出下滑手势。
在步骤S702至步骤S704中任意一个步骤判断结果为否的情况下，下滑手势判断失败。
需要说明，本申请并不限定上述几个判断过程的先后顺序，在实际应用中，可以根据实际情况调整上述3个判断过程的先后顺序。
作为本申请另一实施例，本申请实施例提供的隔空手势识别方法包括：
对用户的隔空手势操作进行检测；
响应于检测到用户的隔空手势操作，获取第一图像和第二图像，第二图像的采集时间晚于第一图像的采集时间；
在第一图像的第一特征信息和第二图像的第二特征信息满足第一预设条件时，确定所述用户的隔空手势操作为第一手势，第一特征信息包括第一手部姿态和第一手部位置，第二特征信息包括第二手部姿态和第二手部位置，第一预设条件包括：第一手部姿态和第一手势的起始姿态一致、第二手部姿态和第一手势的结束姿态一致、且从第一手部位置到第二手部位置的方向和第一手势的运动方向一致，第一手势的起始姿态和结束姿态不同，第一手势为上滑手势或下滑手势。
其中，隔空手势操作可以为手势库中手势的起始姿态，例如，手掌面对屏幕，五指朝上的姿态。第一图像可以为上述实施例中的基准图像，第二图像可以是摄像头采集的基准图像之后采集的图像。
在第一图像和第二图像满足某个手势对应的规则的情况下，可以认为该隔空手势操作对应的手势(包括从该隔空手势操作中用户的手部一直变化到第二图像中用户的手部这整个过程中的手部动作)为该规则对应的手势。
作为本申请另一实施例，第一手势的起始姿态与手类别(参照图8所示的动态手势中的手类别)和手指朝向相关；第一手势的结束姿态与手类别和手指朝向相关；第一手部位置包括第一图像中手部检测框在第一图像上的位置；第二手部位置包括第二图像中手部检测框在第二图像上的位置。
作为本申请另一实施例，第一手势为下滑手势，第一手势的起始姿态为手掌且手指朝上，第一手势的结束姿态为手背且手指朝下；
第一手部位置到第二手部位置的方向为第一图像中手部检测框的中心点到第二图像中手部检测框的中心点的方向，第一手势的运动方向为向下。
作为本申请另一实施例，第一手势为上滑手势，第一手势的起始姿态为手掌且手指朝下，第一手势的结束姿态为手背且手指朝上；
第一手部位置到第二手部位置的方向为第一图像中手部检测框的中心点到第二图像中手部检测框的中心点的方向，第一手势的运动方向为向上。
作为本申请另一实施例，第一手势为上滑手势，第一手势的起始姿态为手背且手指朝下，第一手势的结束姿态为手掌且手指朝上；
第一手部位置到第二手部位置的方向为第一图像中手部检测框的中心点到第二图像中手部检测框的中心点的方向，第一手势的运动方向为向上。
作为本申请另一实施例，第一预设条件还包括：
从第一手部位置到第二手部位置的距离满足第一手势的运动距离条件。
作为本申请另一实施例，第一手部位置包括：第一图像中指尖在第一图像上的位置，第二手部位置包括：第二图像中指尖在第二图像上的位置。
作为本申请另一实施例，从第一手部位置到第二手部位置的距离满足第一手势的运动距离条件包括：
从第一图像中指尖的位置到第二图像中指尖的位置的距离和第二图像中手部宽度的比值在第一区间内。
作为本申请另一实施例，在获取第一图像和第二图像之后，方法还包括：
在第一图像的第一特征信息和第二图像的第二特征信息满足第二预设条件时，确定所述用户的隔空手势操作为第二手势，第二手势为手势库中除第一手势之外的手势，第二预设条件包括：第一手部姿态和第二手势的起始姿态一致、第二手部姿态和第二手势的结束姿态一致、第一手部位置和第二手部位置之间的重合面积满足第二手势中起始手部位置和结束手部位置之间的重合面积条件，第二手势为抓握手势。
作为本申请另一实施例，第二手势的起始姿态为手掌且手指朝上，第一手势的结束姿态为握拳；
第一手部位置和第二手部位置之间的重合面积满足第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：
第一图像中手部检测框和第二图像中手部检测框的交并比大于第一阈值(例如，上述实施例中的阈值B)。
作为本申请另一实施例，第二预设条件还包括：第二图像中指尖和指根的位置关系满足第二手势的结束姿态中指尖和指根的位置关系条件。
作为本申请另一实施例，第二图像中指尖和指根的位置关系满足第二手势中指尖和指根的位置关系条件包括：第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。
作为本申请另一实施例，第一图像和第二图像为摄像头采集的连续的多个图像中的两个图像，在第一图像和第二图像中间还存在其他图像；
在确定第一图像的第一特征信息和第二图像的第二特征信息满足第一预设条件之前，方法还包括：
确定图像集中有手的图像的数量大于或等于第一数量(例如，上述实施例中的数量M)，图像集为从摄像头采集的第一图像到摄像头采集的第二图像。
作为本申请另一实施例，该方法还包括：
在第一特征信息和第二特征信息不满足手势库中的每一个手势对应的条件的情况下，确定图像集中有手的图像的数量是否大于或等于第二数量(例如，上述实施例中的数量Q)，图像集为从摄像头采集的第一图像到摄像头采集的第二图像；
若图像集中有手的图像的数量大于或等于第二数量，则输出其他手势；
若图像集中有手的图像的数量小于第二数量，则获取摄像头采集的第三图像，判断第一特征信息和第三图像的第三特征信息是否满足手势库中的任一手势对应的条件，第三图像为摄像头采集的第二图像之后的图像。
作为本申请另一实施例，在确定第一图像的第一特征信息和第二图像的第二特征信息满足第一预设条件之前，该方法还包括：确定手部未悬停。
作为本申请另一实施例，该方法还包括：
获取第四图像的第四特征信息，第四特征信息包括：手类别、手指朝向和手部检测框在第四图像上的位置，第一图像为识别到第一起始姿态的图像或识别到第一起始姿态之后的图像，第一起始姿态为手势库中任一手势的起始姿态，第四图像的采集时间晚于第一图像、且早于第二图像；
在第一特征信息和第四特征信息满足悬停条件中任一条件时，确定手部为悬停，悬停条件包括：第一特征信息中的手类别和第四特征信息中的手类别不一致，第一特征信息中的手指朝向和第四特征信息中的手指朝向不一致，第一特征信息中的手部检测框和第二特征信息中的手部检测框的面积比在第三区间之外，第一特征信息中的手部检测框和第二特征信息中的手部检测框的交并比小于第二阈值(例如，上述实施例中的阈值A)、第二阈值大于第一阈值。
上述实施例以先进行上滑手势(或下滑手势)判断再进行抓握手势判断为例，在实际应用中，也可以先进行抓握手势判断再进行上滑手势(或下滑手势)判断。本申请是对手势库中的手势的判断顺序不做限定。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例还提供了一种计算机程序产品，当计算机程序产品在第一设备上运行时，使得第一设备可实现上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到第一设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实施例还提供了一种芯片***，芯片***包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现本申请任一方法实施例的步骤。芯片***可以为单个芯片，或者多个芯片组成的芯片模组。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (23)

1.一种隔空手势识别方法，其特征在于，包括：
对用户的隔空手势操作进行检测；
响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件时，确定所述用户的隔空手势操作为第一手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第一预设条件包括：所述第一手部姿态和所述第一手势的起始姿态一致、所述第二手部姿态和所述第一手势的结束姿态一致、且从所述第一手部位置到所述第二手部位置的方向和所述第一手势的运动方向一致，所述第一手势的起始姿态和结束姿态不同，所述第一手势为上滑手势或下滑手势。
2.如权利要求1所述的方法，其特征在于，所述第一手势的起始姿态与手类别和手指朝向相关；所述第一手势的结束姿态与手类别和手指朝向相关；所述第一手部位置包括所述第一图像中手部检测框在所述第一图像上的位置；所述第二手部位置包括所述第二图像中手部检测框在所述第二图像上的位置。
3.如权利要求2所述的方法，其特征在于，所述第一手势为下滑手势，所述第一手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为手背且手指朝下；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向下。
4.如权利要求2所述的方法，其特征在于，所述第一手势为上滑手势，所述第一手势的起始姿态为手掌且手指朝下，所述第一手势的结束姿态为手背且手指朝上；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
5.如权利要求2所述的方法，其特征在于，所述第一手势为上滑手势，所述第一手势的起始姿态为手背且手指朝下，所述第一手势的结束姿态为手掌且手指朝上；
从所述第一手部位置到所述第二手部位置的方向为从所述第一图像中手部检测框的中心点到所述第二图像中手部检测框的中心点的方向，所述第一手势的运动方向为向上。
6.如权利要求1至5任一项所述的方法，其特征在于，所述第一预设条件还包括：
从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件。
7.如权利要求6所述的方法，其特征在于，所述第一手部位置包括：所述第一图像中指尖在所述第一图像上的位置，所述第二手部位置包括：所述第二图像中指尖在所述第二图像上的位置。
8.如权利要求7所述的方法，其特征在于，从所述第一手部位置到所述第二手部位置的距离满足所述第一手势的运动距离条件包括：
从所述第一图像中指尖的位置到所述第二图像中指尖的位置的距离和所述第二图像中手部宽度的比值在第一区间内。
9.如权利要求1至8任一项所述的方法，其特征在于，在获取第一图像和第二图像之后，所述方法还包括：
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第二预设条件时，确定所述用户的隔空手势操作为第二手势，所述第二手势为手势库中除所述第一手势之外的手势，所述第二预设条件包括：所述第一手部姿态和所述第二手势的起始姿态一致、所述第二手部姿态和所述第二手势的结束姿态一致、所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件，所述第二手势为抓握手势。
10.如权利要求9所述的方法，其特征在于，所述第二手势的起始姿态为手掌且手指朝上，所述第一手势的结束姿态为握拳；
所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：
所述第一图像中手部检测框和所述第二图像中手部检测框的交并比大于第一阈值。
11.如权利要求9或10所述的方法，其特征在于，所述第二预设条件还包括：
所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件。
12.如权利要求11所述的方法，其特征在于，所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件包括：
所述第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。
13.如权利要求1至12任一项所述的方法，其特征在于，所述第一图像和第二图像为同一摄像头采集的连续的多个图像中的两个图像，在所述第一图像和所述第二图像中间还存在其他图像；
在确定所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件之前，所述方法还包括：
确定图像集中有手的图像的数量大于或等于第一数量，所述图像集包括第一图像、第二图像和所述摄像头采集的位于第一图像和第二图像中间的图像。
14.如权利要求13所述的方法，其特征在于，所述方法还包括：
在所述第一特征信息和所述第二特征信息不满足所述手势库中的每一个手势对应的条件的情况下，确定所述图像集中有手的图像的数量是否大于或等于第二数量；
若所述图像集中有手的图像的数量大于或等于所述第二数量，则输出其他手势；
若所述图像集中有手的图像的数量小于所述第二数量，则获取摄像头采集的第三图像，判断所述第一特征信息和所述第三图像的第三特征信息是否满足手势库中的任一手势对应的条件，所述第三图像为摄像头采集的第二图像之后的图像。
15.如权利要求1至14任一项所述的方法，其特征在于，在确定所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第一预设条件之前，所述方法还包括：
确定手部未悬停。
16.如权利要求15所述的方法，其特征在于，所述确定手部未悬停包括：
获取第四图像的第四特征信息，所述第四特征信息包括：手类别、手指朝向和手部检测框在所述第四图像上的位置，所述第一图像为识别到第一起始姿态的图像或识别到所述第一起始姿态之后的图像，所述第一起始姿态为所述手势库中任一手势的起始姿态，所述第四图像的采集时间晚于所述第一图像、且早于所述第二图像；
在所述第一特征信息和所述第四特征信息满足悬停条件中任一条件时，确定手部未悬停，所述悬停条件包括：所述第一特征信息中的手类别和所述第四特征信息中的手类别不一致，所述第一特征信息中的手指朝向和所述第四特征信息中的手指朝向不一致，所述第一特征信息中的手部检测框和所述第二特征信息中的手部检测框的面积比在第三区间之外，所述第一特征信息中的手部检测框和所述第二特征信息中的手部检测框的交并比小于第二阈值。
17.如权利要求16所述的方法，其特征在于，所述检测到用户的隔空手势操作包括：
检测到用户的手势的姿态为所述第一起始姿态。
18.一种隔空手势识别方法，其特征在于，包括：
对用户的隔空手势操作进行检测；
响应于检测到用户的隔空手势操作，获取第一图像和第二图像，所述第二图像的采集时间晚于所述第一图像的采集时间；
在所述第一图像的第一特征信息和所述第二图像的第二特征信息满足第二预设条件时，确定所述用户的隔空手势操作为第二手势，所述第一特征信息包括第一手部姿态和第一手部位置，所述第二特征信息包括第二手部姿态和第二手部位置，所述第二预设条件包括：所述第一手部姿态和所述第二手势的起始姿态一致、所述第二手部姿态和所述第二手势的结束姿态一致、且所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件，所述第二手势为抓握手势。
19.如权利要求18所述的方法，其特征在于，所述第二手势的起始姿态为手掌且手指朝上，所述第二手势的结束姿态为握拳；
所述第一手部位置和所述第二手部位置之间的重合面积满足所述第二手势中起始手部位置和结束手部位置之间的重合面积条件包括：
所述第一图像中手部检测框和所述第二图像中手部检测框的交并比大于第一阈值。
20.如权利要求18所述的方法，其特征在于，所述第二预设条件还包括：
所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件。
21.如权利要求20所述的方法，其特征在于，所述第二图像中指尖和指根的位置关系满足所述第二手势的结束姿态中指尖和指根的位置关系条件包括：
所述第二图像中指尖到手腕的距离与指根到手腕的距离的比值在第二区间内。
22.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于运行存储器中存储的计算机程序，以使得所述电子设备实现如权利要求1至21任一项所述的方法。
23.一种芯片***，其特征在于，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现如权利要求1至21任一项所述的方法。
CN202310231441.1A 2023-02-27 2023-02-27 一种隔空手势识别方法、电子设备及芯片*** Pending CN117130469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310231441.1A CN117130469A (zh) 2023-02-27 2023-02-27 一种隔空手势识别方法、电子设备及芯片***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310231441.1A CN117130469A (zh) 2023-02-27 2023-02-27 一种隔空手势识别方法、电子设备及芯片***

Publications (1)

Publication Number Publication Date
CN117130469A true CN117130469A (zh) 2023-11-28

Family

ID=88849706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310231441.1A Pending CN117130469A (zh) 2023-02-27 2023-02-27 一种隔空手势识别方法、电子设备及芯片***

Country Status (1)

Country Link
CN (1) CN117130469A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373135A (zh) * 2023-12-07 2024-01-09 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、***及相关设备
CN117615440A (zh) * 2024-01-24 2024-02-27 荣耀终端有限公司 模式切换方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192090A (ja) * 2010-03-15 2011-09-29 Omron Corp ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US20130057469A1 (en) * 2010-05-11 2013-03-07 Nippon Systemware Co Ltd Gesture recognition device, method, program, and computer-readable medium upon which program is stored
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US20180307319A1 (en) * 2017-04-20 2018-10-25 Microsoft Technology Licensing, Llc Gesture recognition
WO2021170062A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 隔空手势的调节方法及终端
CN113407023A (zh) * 2021-03-05 2021-09-17 深圳市尊特数码有限公司 一种蓝牙音箱控制方法、***及设备
CN115643485A (zh) * 2021-11-25 2023-01-24 荣耀终端有限公司 拍摄的方法和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192090A (ja) * 2010-03-15 2011-09-29 Omron Corp ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US20130057469A1 (en) * 2010-05-11 2013-03-07 Nippon Systemware Co Ltd Gesture recognition device, method, program, and computer-readable medium upon which program is stored
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US20180307319A1 (en) * 2017-04-20 2018-10-25 Microsoft Technology Licensing, Llc Gesture recognition
WO2021170062A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 隔空手势的调节方法及终端
CN113407023A (zh) * 2021-03-05 2021-09-17 深圳市尊特数码有限公司 一种蓝牙音箱控制方法、***及设备
CN115643485A (zh) * 2021-11-25 2023-01-24 荣耀终端有限公司 拍摄的方法和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373135A (zh) * 2023-12-07 2024-01-09 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、***及相关设备
CN117373135B (zh) * 2023-12-07 2024-03-15 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、***及相关设备
CN117615440A (zh) * 2024-01-24 2024-02-27 荣耀终端有限公司 模式切换方法及相关装置
CN117615440B (zh) * 2024-01-24 2024-05-24 荣耀终端有限公司 模式切换方法及相关装置

Similar Documents

Publication Publication Date Title
CN109981839B9 (zh) 一种具有柔性屏幕的电子设备的显示方法及电子设备
US11429248B2 (en) Unread message prompt method and mobile terminal
US20220206741A1 (en) Volume adjustment method and electronic device
CN109151180B (zh) 一种对象识别方法及移动终端
CN117130469A (zh) 一种隔空手势识别方法、电子设备及芯片***
CN110851067A (zh) 屏幕显示模式的切换方法、装置及电子设备
CN108259758B (zh) 图像处理方法、装置、存储介质和电子设备
CN112527230B (zh) 一种参数的调整方法及电子设备
JP2022546453A (ja) フィットネス支援方法および電子装置
CN112751954B (zh) 一种操作提示的方法和电子设备
CN112446255A (zh) 一种视频图像处理方法及装置
CN112947755A (zh) 手势控制方法与装置、电子设备及存储介质
CN112334860A (zh) 一种可穿戴设备的触控方法、可穿戴设备及***
EP4170440A1 (en) Home device control method, terminal device, and computer-readable storage medium
CN113325948B (zh) 隔空手势的调节方法及终端
WO2019024718A1 (zh) 防伪处理方法、防伪处理装置及电子设备
CN113971271A (zh) 一种指纹解锁的方法、装置、终端以及存储介质
CN110691165A (zh) 一种导航操作方法及电子设备
CN111163213A (zh) 终端控制方法、装置及终端设备
CN106469003A (zh) 解锁方法和装置
CN112540703B (zh) 一种触控屏控制方法和电子设备
CN109819331B (zh) 一种视频通话方法、装置、移动终端
CN114089902A (zh) 手势交互方法、装置及终端设备
CN108108608B (zh) 一种移动终端的控制方法及移动终端
CN115546248A (zh) 事件数据处理方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination