CN118118778A - 手势感知方法、设备及存储介质 - Google Patents

Abstract

本申请提供一种手势感知方法、设备及存储介质，涉及终端技术领域以及人工智能领域，还涉及智能感知、智能控制等技术领域。该方法包括：电子设备在开启手势感知功能后，摄像头以第一模式运行。电子设备检测到摄像头范围内有手势时，控制摄像头以第二模式运行。电子设备获取第二模式下摄像头采集的图像，识别图像中手势的具体类别，进而执行与手势类别对应的预设操作，例如截屏、暂停或播放视频、播放下一条或上一条短视频等等，实现智能感知手势的功能，提升用户的用机体验。

Description

手势感知方法、设备及存储介质

技术领域

本申请涉及终端技术领域，尤其涉及手势感知方法、设备及存储介质。

背景技术

传统的接触式人机交互方式，是指用户通过触控键盘、鼠标、手写板、触摸屏或物理按键等实现人机交互功能。随着智能终端人机交互技术的发展，用户可以通过隔空手势操作控制智能终端，即非接触式人机交互方式。

相关技术中，用户开启相机应用，可通过隔空手势操作来控制摄像头拍摄照片，实现该功能需要终端持续进行手势识别，这对摄像器件和处理器有较高的要求。此外，用户在更多不方便触控终端屏幕的场景，例如驾驶车辆、手指不干净等，也有隔空操作需求。

为此，亟需一种手势感知方案，在满足用户更多需求的同时，降低设备功耗。

发明内容

本申请实施例提供一种手势感知方法、设备及存储介质，实现智能感知隔空手势并控制设备的同时，降低设备功耗。

第一方面，本申请实施例提出一种手势感知方法，应用于电子设备，该方法中，电子设备的摄像头以第一模式运行；电子设备获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有手势；电子设备在第一图像中检测到手势，控制摄像头由第一模式切换至第二模式；电子设备获取摄像头在第二模式下采集的第二图像，并识别第二图像中手势的类别；电子设备识别到第二图像中的手势为目标手势，控制执行与目标手势对应的预设操作。

作为一种示例，第一图像的分辨率小于第二图像的分辨率，和/或，第一图像的帧率小于第二图像的帧率。

该方案中，摄像头在第一模式持续采集第一图像，若检测到第一图像中有手势，则切换至第二模式，在第二模式持续采集第二图像，并识别第二图像中手势类别，从而控制执行与手势类别对应的操作，实现智能感知隔空手势、控制设备的功能，在用户不方便触控设备时，提供便利。此外，通过获取第一模式下摄像头采集的第一图像，检测手势有无，再经摄像头模式的切换，获取第二模式下摄像头采集的第二图像，识别手势的具体类别，可在一定程度上降低设备功耗。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行之前，该方法还包括：电子设备响应于开启手势感知功能的第一操作。

该方案中，限定了设备开启摄像头的条件，若满足条件触发设备执行手势感知的方案。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行之前，该方法还包括：检测到电子设备的状态满足第一条件；第一条件包括以下至少一项：电子设备的屏幕状态为亮屏状态；电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的环境光传感器的检测数据大于第三阈值；电子设备的屏幕朝向预设方向；电子设备运行预设应用。

该方案中，进一步限定了设备开启摄像头的条件，除了用户开启手势感知功能外，通过增设第一条件，以避免摄像头在非必要时持续采集第一图像，降低设备功耗。非必要时可以理解为摄像头不可能采集到手势的任意一种场景。

在第一方面的一个可选实施例中，电子设备为可折叠设备，可折叠设备包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头；电子设备的摄像头以第一模式运行，包括：检测到电子设备的外屏为亮屏状态，且电子设备处于折叠状态，控制第二摄像头以第一模式运行；或者，检测到电子设备的内屏为亮屏状态，且电子设备处于展开状态，控制第一摄像头以第一模式运行。

该方案可应用于可折叠设备，若设备在折叠状态或展开状态下，有相应的屏幕(内屏或外屏)处于亮屏状态，可控制开启处于亮屏状态的屏幕上的摄像头，以检测摄像头范围内是否有手势，实现手势感知。

在第一方面的一个可选实施例中，在控制第一摄像头以第一模式运行，或者控制第二摄像头以第一模式运行之前，该方法还包括：检测到电子设备的状态满足第二条件；第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的环境光传感器的检测数据大于第三阈值；电子设备的内屏或外屏朝向预设方向；电子设备运行预设应用。

该方案中，进一步限定了可折叠设备开启摄像头的条件，除了用户开启手势感知功能、电子设备屏幕处于折叠状态或展开状态时，有相应屏幕点亮外，通过增设第二条件，以避免摄像头在非必要时持续采集第一图像，降低设备功耗。

在第一方面的一个可选实施例中，该方法还包括：当第二摄像头以第一模式运行时，若检测到电子设备由折叠状态至展开状态时，电子设备控制第一摄像头以第一模式运行，并关闭第二摄像头；当第一摄像头以第一模式运行时，若检测到电子设备由展开状态至折叠状态时，电子设备控制第一摄像头关闭，并控制第二摄像头以第一模式运行。

该方案中，在其他条件不变时，若用户改变设备屏幕的物理状态，如由折叠状态至展开状态，或者由展开状态至折叠状态，可通过切换摄像头，持续采集第一图像，以便设备屏幕在新的物理状态下，还能够实现智能感知隔空手势、控制设备的功能。

在第一方面的一个可选实施例中，目标手势包括第一手势和第二手势，第一手势为目标手势的起始手势，第二手势为目标手势的终止手势；电子设备识别到第二图像中的手势为第一手势，电子设备控制执行与目标手势对应的预设操作，包括：电子设备识别到第二图像中的手势为第一手势，控制摄像头由第二模式切换至第三模式；电子设备获取摄像头在第三模式下采集的第三图像，并识别第三图像中手势的类别；电子设备识别到第三图像中的手势为第二手势，电子设备控制执行与目标手势对应的预设操作。

作为一种示例，第二图像的分辨率小于或等于第三图像的分辨率，和/或，第二图像的帧率小于第三图像的帧率。

该方案中，目标手势包括起始手势和终止手势，若依次识别到起始手势、终止手势，可控制执行与该目标手势对应的预设操作，如截屏、控制音视频播放等等。

在第一方面的一个可选实施例中，电子设备的摄像头以第一模式运行，包括：电子设备的感知模块向电子设备的第二处理模块发送第一指示，第一指示用于指示第二处理模块检测摄像头范围内是否有手势；第二处理模块向摄像头发送第一拍摄指令；摄像头响应于第一拍摄指令，以第一模式运行。

在第一方面的一个可选实施例中，电子设备获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有手势，包括：电子设备的第二处理模块获取摄像头在第一模式下采集的第一图像，检测第一图像中是否有手势。

在第一方面的一个可选实施例中，电子设备在第一图像中检测到手势，控制摄像头由第一模式切换至第二模式，包括：电子设备的第二处理模块检测到第一图像中有手势，第二处理模块向电子设备的感知模块发送第一消息，第一消息用于通知感知模块摄像头范围内有手势；感知模块向电子设备的第一处理模块发送第二指示，第二指示用于指示第一处理模块识别第二图像中手势的类别；第一处理模块响应于第二指示，向摄像头发送第二拍摄指令，第二拍摄指令用于指示摄像头以第二模式运行。

在第一方面的一个可选实施例中，电子设备获取摄像头在第二模式下采集的第二图像，并识别第二图像中手势的类别，包括：电子设备的第一处理模块获取摄像头在第二模式下采集的第二图像，并识别第二图像中手势的类别。

在第一方面的一个可选实施例中，电子设备识别到第二图像中的手势为目标手势，控制执行与目标手势对应的预设操作，包括：电子设备的第一处理模块识别到第二图像中的手势为目标手势，第一处理模块向电子设备的感知模块发送第二消息，第二消息用于指示第二图像中识别到目标手势；感知模块向电子设备的目标应用发送第三指示，第三指示用于指示目标手势；目标应用控制执行与目标手势对应的预设操作。

在第一方面的一个可选实施例中，电子设备的第二处理模块检测电子设备的状态。

在第一方面的一个可选实施例中，电子设备控制摄像头由第二模式切换至第三模式，包括：电子设备的第一处理模块控制摄像头由第二模式切换至第三模式；电子设备获取摄像头在第三模式下采集的第三图像，并识别第三图像中手势的类别，包括：第一处理模块获取摄像头在第三模式下采集的第三图像，并识别第三图像中手势的类别；若第三图像中的手势为第二手势，电子设备控制执行与目标手势对应的预设操作，包括：若第三图像中的手势为第二手势，第一处理模块向电子设备的感知模块发送第三消息，第三消息用于指示识别到目标手势；感知模块向电子设备的目标应用发送第四指示，第四指示用于指示目标手势；目标应用控制执行与目标手势对应的预设操作。

上述几个可选实施例示出了电子设备底层模块之间的交互过程，以实现设备感知隔空手势并控制执行相应操作的功能，提升用户用机体验。

第二方面，本申请实施例提供了一种电子设备，电子设备包括：摄像头，存储器和处理器；摄像头用于采集不同帧率和/或分辨率的图像，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项所述的手势感知方法。

在第二方面的一个可选实施例中，处理器包括第一处理模块和第二处理模块，第一处理模块的功耗高于第二处理模块的功耗；第二处理模块用于检测摄像头范围内是否有手势；第一处理模块用于识别摄像头范围内手势的类别。

第三方面，本申请实施例提供一种电子设备，电子设备包括用于执行如第一方面任一项所述的方法的单元、模块或电路。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面任一项所述的方法。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项所述的方法。

第六方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面任一项所述的方法。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种手势感知方法的示意图；

图2至图4为本申请实施例提供的目标手势的示意图；

图5为本申请实施例提供的一种界面示意图；

图6为本申请实施例提供的一种手势感知方法的示意图；

图7为本申请实施例提供的一种动态调帧的示意图；

图8为本申请实施例提供的一种电子设备的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图；

图10为本申请实施例提供的一种SoC的结构示意图；

图11为本申请实施例提供的一种电子设备的结构示意图；

图12为本申请实施例提供的一种手势感知方法的流程示意图；

图13为本申请实施例提供的手部节点的示意图；

图14为本申请实施例提供的一种手势感知方法的流程示意图；

图15为本申请实施例提供的一种手势感知方法的流程示意图；

图16为本申请实施例提供的一种电子设备的结构示意图；

图17为本申请实施例提供的一种芯片的结构示意图；

图18a为本申请实施例提供的一种手机界面的变化示意图；

图18b为本申请实施例提供的一种手机界面的变化示意图；

图18c为本申请实施例提供的一种手机界面的变化示意图；

图19为本申请实施例提供的一种折叠屏手机的结构示意图；

图20为本申请实施例提供的一种手势感知方法的流程示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一图像和第二图像仅仅是为了区分不同帧率和/或分辨的图像，并不对其先后顺序进行限定。又例如，第一指示和第二指示仅仅是为了区分不同的指示。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(种/个)”或其类似表达，是指的这些项中的任意组合，包括单项(种/个)或复数项(种/个)的任意组合。例如，a，b或c中的至少一项(种/个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

下面对本申请中涉及的部分用语进行解释说明，以便于本领域技术人员理解。

帧率(frame rate)，是指摄像头在一秒钟采集或传输图像的张数，通常用fps(即帧每秒)表示。本申请实施例中，摄像头在第一模式下采用第一帧率采集图像，在第二模式下采用第二帧率采集图像，第一帧率小于第二帧率。在一些实施例中，摄像头在第三模式下采用第三帧率采集图像，第三帧率大于第二帧率。

分辨率，即图像分辨率，是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位有：dpi(点每英寸)、ppi(像素每英寸)等。

轻量级神经网络，是一个较轻的模型，其拥有不差于较重模型的性能，从而实现硬件友好型的神经网络。这里的轻重通常指模型的规模或参数量。常用的轻量级神经网络的技术有：蒸馏、剪枝、量化、权重共享、低秩分解、注意力模块轻量化、动态网络架构/训练方式、更轻的网络架构设计等等，对此本申请实施例不做限制。

背景减法(background subtraction)是运动目标检测技术中应用较为广泛的一类方法，它的基本思想和帧间差分法相类似，都是利用不同图像的差分运算提取目标区域。与帧间差分法不同的是，背景减法不是将当前帧图像与相邻帧图像相减，而是将当前帧图像与一个不断更新的背景模型相减，在差分图像中提取运动目标。在本申请实施例中，运动目标可以是用户手部，基于背景减法的运算，检测连续图像帧中用户手势的变化，确定手势类别。

相对于传统的接触式人机交互方式，隔空手持能够使用户以徒手方式进行操作，是一种不给用户手势交互带来任何不便的非接触式的人机交互方式。隔空手势包括指、挥手、握拳、手掌转动等，用户可以自然地利用手指、手腕和手臂动作隔空表达其交互意图，具有广阔的交互空间、更高的灵活度和更好的交互体验等特点。

相关技术中，在一些场景中，用户开启相机应用后，可通过隔空手势操作，例如手掌展开，来控制摄像头拍摄照片或录制视频等。然而，随着用户需求的不断增加，使用隔空手势的场景越来越多：在一种可能的场景，用户佩戴手套或手指不干净不想触摸手机屏幕，但是又有操控手机的需求，例如用户在吃小龙虾时，有刷短视频的需求；在另一种可能的场景，用户驾驶车辆时，距离手机屏幕稍远，有调取其他应用的需求，例如用户开车至办公场所附近，有上班打卡的需求。为了实现用户在不同场景下隔空操作的需求，需要设备持续进行手势识别，这对设备的摄像器件和处理器提出较高的要求。

为此，亟需一种手势感知方案，在满足用户更多需求的同时，降低设备功耗。本申请实施例提出一种手势感知方法、设备及存储介质，本申请实施例提供的电子设备，可以通过调节摄像头的工作模式，获取不同帧率和/或分辨率的图像，以逐级检测图像中是否有手势、识别手势是否为目标手势等。不同工作模式下摄像头采集的图像的帧率和/或分辨率不同。上述方案中，通过对摄像头设置多种工作模式，实现在不同检测阶段自动切换摄像头的工作模式，以满足不同检测阶段对图像质量的要求，可降低设备功耗。此外，还可以通过改进设备的处理模块，使得不同处理模块执行不同图像检测任务，如检测图像是否有手势、识别手势等，以进一步降低设备功耗。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

需要说明的是，下面以电子设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

图1为本申请实施例提供的一种手势感知方法的示意图。如图1所示，若满足开启摄像头的条件，例如用户已开启手势感知功能，则触发手机的摄像头工作在第一模式下，第一模式下摄像头以第一帧率持续采集第一分辨率的第一图像。同时，手机可以自动识别第一图像中是否存在手势(即第一图像中是否有手)，若识别到第一图像中存在手势，则触发摄像头工作在第二模式下，第二模式下摄像头以第二帧率持续采集第二分辨率的第二图像，识别第二图像中的手势，以确定该手势是否为目标手势。若识别到手势为目标手势，手机可以运行该目标手势对应的预设操作，例如上滑或下滑界面，调节屏幕亮度、音量大小或震动强度，调取应用等。第一图像的第一帧率小于第二图像的第二帧率，第一图像的第一分辨率小于第二图像的第二分辨率。

本申请实施例中，如没有特别说明，摄像头均指手机的前置摄像头。

本实施例示出的手势感知方法，摄像头可以较低功耗持续采集图像，以检测摄像头范围内是否有手，若检测到手，摄像头切换拍摄模式，采集较高分辨率和/或帧率的图像，以识别手势，若该手势为目标手势，运行该手势对应的预设操作，从而实现设备手势感知功能，满足用户隔空操作需求。通过调节摄像头工作模式，以降低设备功耗。

本申请实施例中，目标手势包括至少一个手势动作。相应的，手机识别目标手势包括识别至少一个手势动作。示例性的，图2至图4为本申请实施例提供的目标手势的示意图。下面结合附图对目标手势及其应用场景进行详细说明。

在一种可能的实施方式中，目标手势为第一手势，即目标手势的数量为一个。

示例性的，图2中(a)所示的手势动作为伸出食指。例如，如果手机的当前界面为短视频界面，手机识别到该手势后，则点赞或收藏该条短视频。又例如，如果手机的当前界面为自拍界面，手机识别到该手势后，则开启倒计时3秒拍摄。

示例性的，图2中(b)所示的手势为五指张开。例如，如果当前手机的屏幕状态为亮屏状态，界面为任意界面，手机识别到该手势后，则截取当前界面。又例如，如果手机的当前界面为自拍界面，手机识别到用户作出五指张开的动作后，可控制手机前置摄像头拍摄图像，或开启/暂停视频录制。再例如，如果当前手机的屏幕状态为黑屏，手机识别到该手势后，则点亮屏幕查看时间/消息，或者开启办公应用并执行上班打卡任务。再例如，如果当前界面为导航界面，手机识别到该手势后，可自动播报实时路况。

在一种可能的实施方式中，目标手势包括第一手势和第二手势，第一手势为手势变化的起始手势，第二手势为手势变化的终止手势。

示例性的，图3中(a)所示的手势动作为抓握动作，手势从五指张开变成五指抓握成拳，也即起始手势为手心对着手机前置摄像头，终止手势为握拳。例如，如果手机的屏幕状态为亮屏状态，界面为任意界面，手机识别到该手势后，则截取当前界面。

示例性的，图3中(b)所示的手势动作为按压动作，该手势做一个靠近手机的动作，起始手势和终止手势均为手心对着手机前置摄像头，且终止手势距离屏幕更近，该手势动作对应的预设操作可以为暂停或继续播放。例如，如果手机的当前界面是视频/音乐播放界面，且当前处于播放状态，手机识别到该手势后则暂停播放视频/音乐，如图18a所示，用户在手机前置摄像头范围内使用隔空按压手势，可暂停当前视频画面；如果手机的当前界面是视频/音乐播放界面，且当前处于暂停状态，手机识别到该手势后则继续播放视频/音乐。

示例性的，图3中(c)所示的手势动作为双指(拇指和食指)放大，即起始手势中拇指和食指的距离小于终止手势中拇指和食指的距离。例如，如果当前手机界面显示图片，手机识别到双指放大的手势动作后则放大该图片，如图18b所示，用户在手机前置摄像头范围内使用隔空双指放大手势，可放大显示界面上的图片。

示例性的，图3中(d)所示的手势动作为双指(拇指和食指)缩小，即起始手势中拇指和食指的距离大于终止手势中拇指和食指的距离。例如，如果当前手机界面显示图片，手机识别到双指缩小的手势动作后则缩小该图片。

在一种可能的实施方式中，目标手势包括第一手势、第二手势和第三手势，第一手势为手势变化的起始手势，第二手势为手势变化的中间手势，第三手势为手势变化的终止手势。

示例性的，图4中(a)所示的手势动作为上滑动作，该手势动作的起始手势为手背对着手机前置摄像头，中间手势为手掌展平，终止手势为手心对着手机前置摄像头，即手势从向下弯折到手掌展平再到手心翻转面向摄像头。例如，如果手机当前显示数据流界面，手机识别到该手势后，则向下滚动固定的长度。又例如，如果手机当前显示页面，手机识别到该手势后则下翻一页。再例如，如果手机当前播放视频，手机识别到该手势后，则调高音量或亮度。再例如，如果手机当前界面为短视频界面，手机识别到该手势后，则播放下一条短视频，如图18c所示，用户在手机前置摄像头范围内使用隔空上滑手势，可控制播放下一条短视频。

示例性的，图4中(b)所示的手势动作为下滑动作，该手势动作的起始手势为手心对着手机前置摄像头，中间手势为手掌展平，终止手势为手背对着手机前置摄像头，即手势从手心面向手机前置摄像头到手掌下扣垂直于手机屏幕，再到手掌弯折手背面向前置摄像头。例如，如果手机当前显示数据流界面，手机识别到该手势后则向上滚动固定的长度。又例如，如果手机当前显示页面，手机识别到该手势后则上翻一页。再例如，如果手机当前播放视频，手机识别到该手势后，则调低音量或亮度。再例如，如果手机当前界面为短视频界面，手机识别到该手势后，则播放上一条短视频。

基于上述实施例可知，在不同的应用场景下，用户可通过预设的隔空手势实现对手机的多样化控制。其中应用场景包括例如手机黑屏状态、用户观看视频或短视频、用户浏览网页或相册、用户驾车导航、用户拍摄图像或录制视频等。

需要说明的是，本申请实施例对手势感知方法的应用场景不作限定，除了上述实施例描述的应用场景外，还可以应用于任意可通过隔空手势操作控制手机的其他场景。

上述实施例中，开启摄像头的条件包括手势感知功能已开启。在一些实施例中，响应于开启手势感知功能的第一操作，手机的摄像头以第一模式运行(后台运行，例如手机当前开启某第三方应用，摄像头在后台运行)，采集上述的第一图像。

其中，第一操作可以是用户在***设置界面的点击操作，第一操作还可以是语音操作，对此本申请实施例不作限定。

示例性的，图5为本申请实施例提供的一种界面示意图。如图5的(a)和(b)所示，用户可以在***应用的设置界面中选择开启或关闭手势感知功能，若用户选择开启该手势感知功能，手机摄像头工作在低功耗拍摄模式下，持续采集低分辨率的图像，以检测图像中是否有手。

在一些实施例中，用户还可以在设置界面选择感知一种或多种手势，每一种手势预设对应的操作，例如手势A用于下滑界面/下翻页面，手势B用于上滑界面/上翻页面，手势C用于屏幕截图，手势D用于暂停/继续播放。

示例性的，如图5的(c)和(d)所示，用户可以选择开启感知手势A，若手机识别到手势A，则执行手势A对应的操作：下滑界面/下翻页面；用户还可以选择开启感知手势E，若手机识别到手势E，则执行手势E对应的操作：调取预设的应用。

在一些实施例中，用户可以自定义手势E对应的应用，如图5的(d)、(e)和(f)所示，用户在手势E的设置界面选择手势E用于调取应用A。例如，手势E为五指张开，应用A为办公应用的打卡小程序，当用户驾车到达办公场所附近，可通过隔空手势E，快速启动办公应用的打卡小程序，完成上班打卡，实现手势感知，提升用户的用机体验。

在一些实施例中，开启摄像头的条件还包括第一条件，第一条件包括以下至少一项：手机的屏幕状态为亮屏状态；手机已解锁；手机的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；手机的环境光传感器的检测数据大于第三阈值；手机的屏幕朝向预设方向；手机运行预设应用。

本实施例中，若手机已开启手势感知功能，且满足上述的第一条件，则触发手机的摄像头持续采集第一图像。通过增设第一条件，以避免手机摄像头在非必要时持续采集第一图像，进一步降低设备功耗。

基于前述实施例，下面对触发摄像头采集第一图像的各种可能的实施方式进行详细说明。

在一种可能的实施方式中，若手机已开启手势感知功能，触发手机摄像头持续采集第一图像。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机的屏幕状态，若手机的屏幕状态为亮屏状态，触发手机摄像头持续采集第一图像。手机亮屏状态显示的界面包括例如锁屏界面、主界面、第三方应用界面等。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机是否已解锁，若手机已解锁，触发手机摄像头持续采集第一图像。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机的接近光传感器发射的光信号是否被遮挡，若确定接近光传感器发射的光信号未被遮挡，触发手机摄像头持续采集第一图像。

作为一种示例，若手机的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接近光传感器未接收到反射信号，则可以确定接近光传感器发射的光信号未被遮挡。

可以理解的是，若用户通过听筒拨打或接听电话，或者，手机屏幕倒扣，或者，手机位于手提包或口袋时，手机接近光传感器发射的光信号会被遮挡，前置摄像头采集的图像无法检测到手势，此时可停止摄像头持续采图，以降低设备功耗。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机的环境光传感器的检测数据是否大于第三阈值，若确定环境光传感器的检测数据大于第三阈值，触发手机摄像头采集第一图像。其中，检测数据主要是指环境光亮度。应理解，若手机的环境光传感器的检测数据大于第三阈值，说明电子设备并不处于暗环境，如手机在口袋里，或者当前是夜晚时段。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机的屏幕朝向，若手机的屏幕朝向预设方向，触发手机摄像头持续采集第一图像。本实施方式中，预设方向包括用户握持手机浏览界面内容的方向、将手机放置在桌面上浏览界面内容的方向等，该方向可通过检测手机的姿态数据确定，其中姿态数据包括俯仰角、偏航角和滚动角。

在一种可能的实施方式中，若手机已开启手势感知功能，检测手机是否运行预设应用，若确定手机运行预设应用，触发手机摄像头持续采集第一图像。例如，预设应用为短视频应用，若手机检测到用户正在观看短视频，则触发手机摄像头持续采集第一图像，以检测用户是否使用预设的隔空手势，满足用户隔空浏览短视频的需求。又例如，预设应用为导航应用，若手机检测用户正在使用导航应用的驾车导航，则触发手机摄像头持续采集第一图像，以检测用户是否使用预设的隔空手势，满足用户隔空收听路况播报的需求。本申请实施例对于预设应用不作限制。另外，需要说明的是，手机运行预设应用包括当前手机屏幕上显示预设应用的界面，或者，预设应用在后台运行。

在一种可能的实施方式中，若手机已开启手势感知功能，且确定满足以下至少两项：手机的屏幕状态为亮屏状态，手机已解锁，手机的接近光传感器发射的光信号未被遮挡，手机运行预设应用，则触发手机摄像头持续采集第一图像。

上述实施例示出了一种手势感知方法，若满足开启摄像头的条件，则触发手机摄像头以第一模式常驻扫描，持续采集较低分辨率的第一图像，其中自开启摄像头的条件至少包括手势感知功能已开启。若检测到第一图像有手势，则触发摄像头以第二模式采集较高分辨率的第二图像，若识别到第二图像中的手势为目标手势，则执行与目标手势对应的预设操作。上述方法通过对摄像头设置两种模式，实现在不同检测阶段自动切换摄像头模式，以满足不同检测阶段对图像质量的要求，可降低设备功耗。

在另一种实施例中，若手机已开启手势感知功能，且检测到手机处于移动状态，可触发手机摄像头采集上述的第一图像。相反，若手机已开启手势感知功能，且检测到手机处于静止状态，可控制关闭摄像头，以降低设备功耗。其中，手机处于移动状态包括例如以下场景：用户在驾驶车辆时使用手机导航，用户在骑行过程中使用手机导航。

在另一种实施例中，若手机已开启手势感知功能，且检测到手机处于静止状态，可触发手势摄像头采集上述的第一图像，以随时感知用户可能的隔空控制需求。其中，手机处于静止状态包括例如手机放置在桌面上。

在一些实施例中，若手机为折叠屏手机，折叠屏手机包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头，例如，第一摄像头为图19中的摄像头3，第二摄像头为图19中的摄像头1。

作为一种示例，若检测到手机的外屏为亮屏状态，且手机处于折叠状态，控制第二摄像头以第一模式运行。作为一种示例，若检测到手机的外屏为亮屏状态，且手机处于展开状态，控制第二摄像头以第一模式运行。基于该两种示例，在一些实施例中，在控制第二摄像头以第一模式运行之前，还包括：检测到手机的状态满足以下至少一项：手机已解锁；手机的接近光传感器(外屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；手机的环境光传感器的检测数据大于第三阈值；手机的外屏朝向预设方向；手机运行预设应用。

作为一种示例，若检测到手机的内屏为亮屏状态，且手机处于展开状态，控制第一摄像头以第一模式运行。在控制第一摄像头以第一模式运行之前，还包括：检测到手机的状态满足以下至少一项：手机已解锁；手机的接近光传感器(内屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；手机的环境光传感器的检测数据大于第三阈值；手机的内屏朝向预设方向；手机运行预设应用。

基于上述几个示例，在控制第一摄像头以第一模式运行，或者控制第二摄像头以第一模式运行之前，还包括：检测到电子设备的状态满足第二条件；第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的环境光传感器的检测数据大于第三阈值；电子设备的内屏或外屏朝向预设方向；电子设备运行预设应用。

作为一种示例，当第二摄像头以第一模式运行时，若检测到电子设备由折叠状态至展开状态时，电子设备控制第一摄像头以第一模式运行，并关闭第二摄像头。

作为一种示例，当第一摄像头以第一模式运行时，若检测到电子设备由展开状态至折叠状态时，电子设备控制第一摄像头关闭，并控制第二摄像头以第一模式运行；或者，电子设备控制第一摄像头关闭。

下面结合附图19对折叠屏手机执行手势感知方法进行详细说明。

示例性的，图19为本申请实施例提供的一种折叠屏手机的结构示意图。如图19所示，折叠屏手机的屏幕包括第一屏、第二屏和第三屏，第一屏为折叠屏手机的外屏，第二屏和第三屏为折叠屏手机的内屏，折叠屏包括第二屏和第三屏，折叠屏按照图19中(4)所示的折叠边折叠，形成第二屏和第三屏。折叠屏所在的虚拟轴线为公共轴。其中，内屏指的是折叠屏处于折叠状态时位于内部的屏，外屏指的是折叠屏处于闭合状态时位于外部的屏。第二屏和第三屏之间的夹角β为折叠屏手机的合页角度，确定合页角度即可确定折叠屏的物理状态。物理状态包括如图19中(3)所示的折叠状态、图19中(4)所示的展开状态、或图19中(2)所示的支架状态。图19所示的折叠屏手机包括3组摄像头，分别记为摄像头1、摄像头2和摄像头3。图19中(1)所示，摄像头1设置在第一屏上部的中间位置，摄像头2设置在背板上，图19中(4)所示，摄像头3设置在第三屏上部的中间位置。折叠屏手机在折叠状态下，摄像头1可看作是前置摄像头，摄像头2可看作是后置摄像头，如图19中(3)所示。折叠屏手机在展开状态下，摄像头3可看作是前置摄像头，摄像头1和2可看作是后置摄像头。

下面以图19所示的折叠屏手机为例，对折叠屏手机在何种情况下开启摄像头以及开启哪些摄像头进行举例说明。

在一种可能的实施方式中，若折叠屏手机已开启手势感知功能，当检测到手机为折叠状态，且外屏(如图19中的第一屏)为亮屏状态，触发折叠屏手机的摄像头1持续采集第一图像，以检测摄像头范围是否有手势。

在一种可能的实施方式中，若折叠屏手机已开启手势感知功能，当检测到手机为折叠状态，且外屏为亮屏状态，且满足上述第二条件的至少一项时，触发折叠屏手机的摄像头1持续采集第一图像，以检测摄像头范围是否有手势。

在一种可能的实施方式中，若折叠屏手机已开启手势感知功能，当检测到手机为展开状态，且内屏(如图19中的第二屏和第三屏)为亮屏状态，触发折叠屏手机的摄像头3，持续采集第一图像，以检测摄像头范围是否有手势。

在一种可能的实施方式中，若折叠屏手机已开启手势感知功能，当检测到手机为展开状态，且内屏为亮屏状态，且满足上述第二条件的至少一项时，触发折叠屏手机的摄像头3，持续采集第一图像，以检测摄像头范围是否有手势。

在一种可能的实施方式中，若折叠屏手机已满足开启摄像头的条件，当前手机为折叠状态且已开启摄像头1。当检测到手机由折叠状态至展开状态，且开启摄像头的其他条件不变时，可关闭摄像头1，并开启摄像头3，以检测摄像头3范围内是否有手势。

在一种可能的实施方式中，若折叠屏手机已满足开启摄像头的条件，当前手机为展开状态，且已开启摄像头3。当检测到手机由展开状态切换至折叠状态，且开启摄像头的其他条件不变时，可关闭摄像头3，并开启摄像头1，以检测摄像头1范围内是否有手势。

需要说明的是，其他形态的折叠屏手机执行手势感知方法，可参照图19所示的折叠屏手机，其实现原理和技术效果类似，本申请实施例对折叠屏手机的结构样式不作任何限制。

图6为本申请实施例提供的一种手势感知方法的示意图。如图6所示，一种可能的实施方式中，目标手势包括第一手势和第二手势，若满足启动摄像头的条件，触发手机摄像头工作在第一模式下，第一模式下摄像头以第一帧率持续采集第一分辨率的第一图像。若手机识别到第一图像中存在手势，则触发摄像头工作在第二模式下(由第一模式切换至第二模式)，第二模式下摄像头以第二帧率持续采集第二分辨率的第二图像。若识别到第二图像中的手势为第一手势(即目标手势的起始手势)，则触发摄像头工作在第三模式下(由第二模式切换至第三模式)，第三模式下摄像头以第三帧率持续采集第三分辨率的第三图像。若识别到第三图像中的手势为第二手势(即目标手势的终止手势)，手机运行目标手势对应的预设操作。另一种可能的实施方式中，目标手势包括第一手势、第二手势和第三手势，与前一种实施方式不同的是，若识别到第三图像中手势依次为第二手势、第三手势(即目标手势的中间手势)，手机运行目标手势对应的预设操作。

本实施例中，第一图像的第一帧率小于第二图像的第二帧率，第二图像的第二帧率小于第三图像的第三帧率。示例性的，第一帧率可以设置为2fps，第二帧率可以设置为5fps，第三帧率可以在[10fps,30fps]区间内选取，例如第三帧率为10fps。

本实施例中，第一图像的第一分辨率小于第二图像的第二分辨率，第二图像的第二分辨率小于或等于第三图像的第三分辨率。示例性的，第一分辨率可以设置为120×180或者640×480。第二分辨率和第三分辨率可以设置为相同，如1920×1080。

本实施例示出的手势感知方法，摄像头可在三种模式下切换，在第一模式下采集第一图像，检测摄像头范围内是否有手势，在第二模式下采集第二图像，检测手势是否为目标手势的起始手势，在第三模式下采集第三图像，检测手势变化情况，即检测手势变化是否包括目标手势的中间手势和终止手势。通过逐级调整摄像头的工作模式，提高采集的图像的分辨率和/或帧率，在尽量降低设备功耗的同时，提升手势识别的准确率。

上述实施例均涉及摄像头工作模式的切换，摄像头工作模式的切换与图像帧率密切相关，下面对如何调整摄像头采集图像的帧率的方案进行说明。

示例性的，图7为本申请实施例提供的一种动态调帧的示意图。如图7的(a)所示，一种可能的调帧方案中，通过调节时钟频率，调节摄像头采集/传输图像的帧率。具体来说，数据传输是基于时钟的变化进行的，通常会在时钟上升沿或者下降沿采集/传输数据。如果需要将摄像头采集图像的帧率提高一倍，可将时钟频率提高一倍，相应的数据传输速度也将提高一倍；如果需要将摄像头采集图像的帧率降低一倍，可将时钟频率降低一倍，相应的数据传输速度也将降低一倍。如图7的(b)所示，一种可能的调帧方案中，通过调节数据的有效区/消隐区的比例，调节摄像头采集/传输图像的帧率。具体来说，可通过调节消隐区长度的配置，实现对帧率的调节。增加消隐区的长度可以降低帧率，相反，减小消隐区的长度可以增加帧率。

需要说明的是，由于上述的第一种调帧方案修改时钟频率需要关断时钟，重新上电，无法做到帧间动态调整，因此，本申请实施例采用上述的第二种调帧方案，以达到动态调帧的目的。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍。示例性的，图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，显示处理单元(displayprocess unit，DPU)，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备100也可以包括一个或多个处理器110。

在一些实施例中，处理器110可以包括一个或多个接口。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)，蓝牙，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行各种功能应用以及数据处理等。

传感器180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景等。

磁传感器180D用于检测磁铁的磁场强度，得到磁力数据，通过磁力数据检测电子设备100的折叠屏的物理状态。磁铁用于产生磁场。在本申请实施例中，磁传感器180D可以设置于例如图19中(1)所示的背板对应的机体中，磁铁可以设置于例如图19中(1)所示的第一屏对应的机体中，磁铁可以让磁传感器180D检测到磁力数据，随着折叠屏开合状态的变化，磁传感器180D与磁铁之间的距离相应发生变化，磁传感器180D检测到的磁铁的磁场强度也会发生变化，进而智能传感集线器可以根据磁传感器180D在磁铁的磁场作用下所获取到的磁力数据，判断折叠屏的物理状态，物理状态包括如展开状态、支架状态、或折叠状态(闭合状态)。在一些实施例中，传感器180还可以包括霍尔传感器，霍尔传感器同样可用于检测磁铁的磁场强度，输出高/低电平，通过高/低电平确定电子设备100的折叠屏的物理状态。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

上述电子设备也可以称为终端设备(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。电子设备可以为拥有触摸屏的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。

在本申请实施例中，为了实现电子设备手势感知功能，需要对电子设备的摄像头和处理器做硬件和软件上的改进。下面首先对电子设备的硬件改进进行说明。

示例性的，图9为本申请实施例提供的一种电子设备的结构示意图。如图9所示，电子设备可以包括改进的摄像头901和改进的处理器902。改进的摄像头901是指在现有的摄像头模组中增设控制电路和新增拍摄模式所对应的工作电路，实现低功耗配置。例如，现有的摄像头模组的拍摄模式为模式1，摄像头模组中包括模式1对应的工作电路。若拍摄模式增加模式2，相应的，还涉及模式1和模式2之间的切换，对此，改进的摄像头模组除了包括模式1对应的工作电路，还包括新增的模式2对应的工作电路，以及两种模式切换对应的控制电路。应理解，根据实际应用需求，可以设置两个以上拍摄模式，对此本申请实施例不作任何限制。

一种可能的实施方式中，改进的摄像头901包括两种工作模式：第一模式和第二模式。摄像头901在第一模式下采集的图像的分辨率小于在第二模式下采集的图像的分辨率，摄像头901在第一模式下采集的图像的帧率小于在第二模式下采集的图像的帧率。摄像头901可在这两种模式间切换。

示例性的，在手势感知场景中，若满足启动摄像头的条件，摄像头901工作在第一模式下，以第一帧率持续采集第一分辨率的第一图像(即摄像头常驻扫描)，以检测摄像头901范围内是否存在手势，即检测第一图像是否存在手势；若检测到摄像头901范围内存在手势，摄像头901由第一模式切换至第二模式，以第二帧率持续采集第二分辨率的第二图像，识别第二图像中的手势是否为目标手势。本示例中，第一帧率小于第二帧率，第一分辨率小于第二分辨率。

一种可能的实施方式中，改进的摄像头901包括三种工作模式：第一模式、第二模式和第三模式。摄像头901在第一模式下采集的图像的分辨率小于在第二模式下采集的图像的分辨率，在第二模式下采集的图像的分辨率小于或等于在第三模式下采集的图像的分辨率。摄像头901在第一模式下采集的图像的帧率小于在第二模式下采集的图像的帧率，在第二模式下采集的图像的帧率小于在第三模式下采集的图像的帧率。

示例性的，在手势感知场景中，若满足启动摄像头的条件，摄像头901工作在第一模式下，以第一帧率持续采集第一分辨率的第一图像，以检测摄像头901范围内是否存在手势，即检测第一图像是否存在手势；若检测到摄像头901范围内存在手势，摄像头901由第一模式切换至第二模式，以第二帧率持续采集第二分辨率的第二图像，识别第二图像中的手势是否为目标手势的起始手势；若识别到第二图像中的手势为起始手势，摄像头901由第二模式切换至第三模式，以第三帧率持续采集第三分辨率的第三图像，识别第三图像中的手势是否为目标手势的终止手势，或者，识别第三图像中的手势是否依次为目标手势的中间手势和终止手势。本示例中，第一帧率小于第二帧率，第二帧率小于第三帧率，第一分辨率小于第二分辨率，第二分辨率小于或等于第三分辨率。

基于上述几个示例，摄像头901可以动态调节采集图像的帧率和分辨率，以适应不同的检测需求，例如，摄像头901以较低的帧率和分辨率采集图像，以检测摄像头901范围内是否有手势，摄像头901以较高的帧率和分辨率采集图像，以识别图像中手势的具体类别。示例性的，摄像头901的最低帧率可以为1fps，最高帧率可以为30fps。摄像头901的最低分辨率可以为120×180，最高分辨率可以为480×640。在另一些示例中，最高帧率还可以为240fps，最高分辨率还可以为2736×3648。

需要说明的是，本申请实施例对摄像头采集图像的帧率范围、分辨率范围不作具体限定，即可以不限制摄像头采集图像的最低帧率和最高帧率，也不限制摄像头采集图像的最低分辨率和最高分辨率。在实际应用中，可以根据需求对帧率范围和分辨率范围作出合理设置。

需要说明的是，摄像头901可以是电子设备的前置摄像头，也可以是电子设备的后置摄像头，对此本实施例不作限制。

改进的处理器902可以是片上***(System on Chip，SoC)。在本申请实施例中，当电子设备触发摄像头901常驻扫描，获取当前场景下的图像，摄像头901可将图像发送至SoC进行图像分析，以检测图像中是否存在手势，以及手势的类别等。

为了实现低功耗的目的，SoC可以支持低功耗AON ISP(Always On ISP)，参考附图10，摄像头901将图像传输至AON ISP，AON ISP除了对图像作格式转换外，不作任何图像效果的处理，随后将格式转换后的图像存储至片上静态随机存取存储器(on-chip StaticRandom-Access Memory，on-chip SRAM)。SoC还可以支持极低功耗核心，计算、算法运行、图像存储都工作在低功耗模式。并且，SoC还可以支持低功耗嵌入式神经网络处理器eNPU(emdedded NPU)。

下面对于本申请实施例涉及的SoC进行详细说明。

示例性的，图10为本申请实施例提供的一种SoC的结构示意图。如图10所示，SoC包括第一处理单元和第二处理单元。其中，第一处理单元包括图像信号处理ISP、神经网络处理器NPU和中央处理器CPU，第二处理单元包括I2C总线接口、AON ISP、on-chip SRAM、数字信号处理器DSP和eNPU。在Soc中，第二处理单元的功耗低于第一处理单元的功耗，具体来说，第二处理单元中eNPU的功耗低于第一处理单元中NPU的功耗，第二处理单元中AON ISP的功耗低于第一处理单元中ISP的功耗。

作为一种示例，第一处理单元可用于处理摄像头901采集的上述的第二分辨率的第二图像。示例性的，在常规拍摄模式下，摄像头901采集第二分辨率的第二图像，经IPS处理后，由NPU对处理后的第二分辨率的第二图像进行识别，例如识别第二图像中手势的类别。第一处理单元将数据(如图像数据)发送至存储器前，可以进行安全处理(例如加密处理)，将安全处理后的数据存储在存储器的安全缓冲器(buffer)中。

作为一种示例，第二处理单元可用于处理摄像头901采集的上述的第一分辨率的第一图像。示例性的，在低功耗拍摄模式下，摄像头901采集第一分辨率的第一图像，AONISP通过I2C总线接口获取第一分辨率的第一图像，经AON ISP处理后，由eNPU对处理后的第一分辨率的第一图像进行检测，例如检测第一图像中是否存在手势。第二处理单元中的on-chip SRAM可用于存储处理后的第一分辨率的第一图像，DSP可用于通知eNPU进行图像检测、接收eNPU上报的检测结果，并将检测结果上报至上层应用。第二处理单元采用低功耗配置，以降低电子设备的功耗。

需要说明的是，本申请实施例对于第一处理单元或第二处理单元与摄像头之间传输的图像数据的格式不作限制。示例性的，图像数据可以为摄像串行接口(camera serialinterface，CSI)移动产业处理器接口(mobile industry processor interface，MIPI)数据。

电子设备的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的软件***为Android***为例，示例性说明电子设备的软件结构。图11为本申请实施例提供的一种电子设备的结构示意图。分层架构将电子设备的软件***分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。

参照图11，本申请实施例的电子设备包括应用程序层(Applications)、应用程序框架层(Application Framework)、硬件抽象层(Hardware Abstraction Layer，HAL)，内核层(Kernel)，传感器控制中心(Sensorhub)以及硬件层。

应用程序层可以包括一系列应用程序，应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface，API)运行应用程序。

本申请实施例中，应用程序层可以包括手势感知应用和感知模块，手势感知应用与感知模块连接，手势感知应用在感知模块中注册，由感知模块作状态管理下发和数据传输，例如，感知模块从Sensorhub中的第二处理模块获知摄像头范围内有手势时，感知模块通知HAL中的第一处理模块，以便第一处理模块识别手势的类别，最终由感知模块向手势感知应用上报识别结果。

在一些实施例中，应用程序层还包括其他应用(图11未示出)，例如注视不息屏应用，注视常亮显示(always on display，AOD)应用。一种可能的情况，多个应用对应同一算法，例如，注视不息屏应用和注视AOD应用对应注视检测算法，感知模块可用于对注视检测算法作统一的调度和管理。另一种可能的情况，不同应用对应不同的算法，例如，手势感知应用对应手势识别算法(包括识别手势有无，以及识别手势类别两种算法)，注视不息屏应用对应注视检测算法，这两个算法均涉及从底层的摄像头获取图像数据，感知模块可用于对多个算法间的优先级的调度和管理。存在一种可能，手势识别算法和注视检测算法的优先级相同，感知模块可通知底层的摄像头将图像数据同时上报给手势感知应用和注视不息屏应用。本实施例中，识别手势有无的算法部署在第二处理模块中，识别手势类别的算法部署在第一处理模块中。本实施例示出的算法仅为示例。

在一些实施例中，若电子设备包括折叠屏，应用程序层还包括第三处理模块，第三处理模块用于获取第二处理模块上报的折叠屏物理状态，以及内外屏摄像头的状态(开启或关闭)。此外，第三处理模块还用于将内外屏摄像头的状态通知给第一处理模块。

在一些实施例中，应用程序还可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序，可以是***应用，也可以是第三方应用，本申请实施例对此不做限制。

应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图11所示，应用程序框架层可以包括摄像头服务(CameraService)，摄像头服务用于对所有需要使用摄像头的应用的优先级调度和管理。

在一些实施例中，应用程序框架层还可以包括例如窗口管理器，内容提供器，资源管理器，通知管理器，视图***等，本申请实施例对此不做限制。

硬件抽象层可以包括AO(always on)服务和第一处理模块。AO服务可用于控制第一处理模块中的识别手势类别的算法的开启或关闭，以及控制第二处理模块中的识别手势有无的算法的开启或关闭，以及上下层数据传输。第一处理模块可用于处理较高分辨率和/或较高帧率的图像，如上述的第二图像，以检测第二图像中手势的类别。第一处理模块还用于摄像头模式切换，例如第一处理模块接收来自感知模块的第二指示，控制摄像头由第一模式切换至第二模式，又例如第一处理模块检测到手势为目标手势的起始手势，控制摄像头由第二模式切换至第三模式。

内核层是硬件和软件之间的层。内核层用于驱动硬件，使得硬件工作。在本申请实施例中，内核层可以包括摄像头驱动，摄像头驱动用于驱动电子设备中摄像头工作在第一模式或第二模式下，以采集不同帧率和/或分辨率的图像。

此外，内核层还可以包括显示驱动音频驱动，传感器驱动，马达驱动等，本申请实施例对此不做限制。其中，传感器驱动可以驱动例如接近光传感器发射光信号，以检测用户当前是否手持电子设备贴近耳朵通话等，传感器驱动还可以驱动例如陀螺仪传感器，以检测电子设备的姿态数据；传感器驱动还可以驱动例如环境光传感器检测环境光亮度，以检测电子设备是否处于暗环境，暗环境包括例如手机在口袋里等。

Sensorhub用于实现对传感器的集中控制，以减小CPU的负荷。Sensorhub相当于微程序控制器(Microprogrammed Control Unit，MCU)，该MCU上可以运行用于驱动多个传感器工作的程序，也就是说Sensorhub中可以支持挂载多个传感器的能力，其可以作为一个独立的芯片，放置在CPU与各类传感器之间，也可以集成在CPU中的应用处理器(applicationprocessor，AP)中。

在本申请实施例中，Sensorhub可以包括第二处理模块，第二处理模块可用于处理较低分辨率和/或较低帧率的的图像，如上述的第一图像，以检测第一图像中是否有手势。相较于第一处理模块，第二处理模块为低功耗处理模块，第二处理模块常驻运行或以低功耗形式运行。作为一种示例，在手势感知功能开启时，第二处理模块还用于获取各类传感器上报的数据，基于各类传感器数据确定电子设备的各项状态，如屏幕状态、解锁状态、使用状态等，若设备状态满足第一条件，第二处理模块可向摄像头发送第一拍摄指令，指示摄像头在低功耗拍摄模式(如第一模式)下常驻扫图，以检测摄像头范围内是否有手势。作为一种示例，对于可折叠设备，第二处理模块可通过检测折叠屏物理状态、屏幕状态以及设备状态是否满足第二条件，确定是否向摄像头(内屏或外屏上的摄像头)发送第一拍摄指令。作为一种示例，第二处理模块在检测到折叠屏手机的屏幕的物理状态发生改变时，如由折叠状态至展开状态，或者由展开状态至折叠状态，第二处理模块可控制折叠屏手机的摄像头(如手机外屏的摄像头，和/或，手机内屏的摄像头)开启或关闭。

硬件层可以包括例如摄像头、各类传感器和AON ISP等。

可以理解的是，图11示出的层级结构中的层以及各层中包含的模块或部件，并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。图11所示的各分层中包括的模块为本申请实施例中涉及到的模块，各分层中包括的模块并不构成对电子设备的结构和模块部署的层级(示例说明)的限定。在一些实施例中，图11中所示的模块可以单独部署，或者几个模块可以部署在一起，图11中对模块的划分为一种示例。在一些实施例中，图11中所示的模块的名称为示例说明。

在上述所示的电子设备的结构的基础上，下面结合具体的实施例对本申请实施例提供的手势感知方法进行说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图12为本申请实施例提供的一种手势感知方法的流程示意图。如图12所示，本实施例提供的手势感知方法，包括：

步骤1201、目标应用在感知模块注册手势感知功能。

本实施例中，目标应用即应用程序层的手势感知应用。在一些实施例中，目标应用从服务器(或称为云端)获取手势感知功能的信息，在获取手势感知功能的信息后，目标应用可在感知模块注册手势感知功能，以便感知模块常驻运行和执行与手势感知相关的事项。手势感知功能的信息包括实现手势感知功能的代码信息，还可以包括不同隔空手势操作对应的预设操作等信息

步骤1202、感知模块确定是否启动手势感知功能。

若感知模块确定启动手势感知功能，则执行步骤1203。

示例性的，参照图5中(a)和(b)，若用户在***应用的设置界面选择开启手势感知功能，***应用可向感知模块发送通知，以使感知模块获知手机已开启手势感知功能。

步骤1203、感知模块向第二处理模块发送第一指示。

第一指示用于指示第二处理模块检测电子设备的摄像头范围内是否有可识别码。感知模块发送第一指示，可控制启动第二处理模块，包括模块上电、工作场景下发、资源准备等。

步骤1204、第二处理模块响应于第一指示，向摄像头发送第一拍摄指令，第一拍摄指令用于指示摄像头工作在第一模式。

第二处理模块发送第一拍摄指令，以控制启动摄像头，包括摄像头上电、模式切换、出图分辨率和帧率设置等。第一模式即低功耗拍摄模式，摄像头在第一模式下以较低的帧率和/或分辨率持续采集图像，即第一图像。

步骤1205、摄像头向第二处理模块发送第一图像。

摄像头响应于第一拍摄指令，在第一模式下以第一帧率采集第一分辨率的第一图像。示例性的，第一帧率可设置为5fps，第一分辨率可设置为120×180或者640×480。

步骤1206、第二处理模块识别第一图像是否有手势。

若第二处理模块在第一图像中识别到手势，则执行步骤1207。否则，第二处理模块继续执行步骤1206，除非摄像头被控制关闭。

在一些实施例中，第二处理模块预置有第一手势识别模型，第二处理模块通过第一手势识别模型对第一图像进行识别，根据第一手势识别模型输出的识别结果，确定第一图像中是否有手势。

在一些实施例中，第一手势识别模型可以是采用轻量级神经网络模型训练得到的，用于识别图像中是否有手势。第一手势识别模型可部署在第二处理模块的eNPU上，具有良好的实时性。

作为一种示例，第一手势识别模型的训练过程可以包括：

步骤a、构建第一手势识别模型的训练集和测试集，训练集或测试集中均包括样本图像和样本图像对应的标注结果(即样本图像中手势的有无)，训练集和测试集中的样本图像不同。

步骤b、基于初始的第一手势识别模型和训练集，对第一手势识别模型进行训练。具体的，将训练集的样本图像作为初始的第一手势识别模型的输入，将训练集的样本图像对应的标注结果作为初始的第一手势识别模型的输出，对第一手势识别模型进行训练。

步骤c、基于步骤b训练的第一手势识别模型和测试集，对第一手势识别模型的预测结果进行验证，当模型损失函数收敛时，停止对第一手势识别模型的训练。

步骤1207、第二处理模块向感知模块发送第一消息，第一消息用于通知感知模块电子设备的摄像头范围内存在手势。

步骤1208、感知模块向第一处理模块发送第二指示。

第二指示用于指示第一处理模块识别摄像头范围内的手势的类别。第二处理模块发送第二指示，可控制启动第一处理模块，包括模块上电、工作场景下发、资源准备等。本实施例中，第二处理模块识别到摄像头范围内有手势后，由第一处理模块识别手势是否为目标手势，目标手势包括例如目标手势的起始手势、中间手势、终止手势。

步骤1209、第一处理模块响应于第二指示，向摄像头发送第二拍摄指令，第二拍摄指令用于指示摄像头工作在第二模式。

第一处理模块发送第二拍摄指令，以控制摄像头进行模式切换，即由第一模式切换至第二模式。摄像头在第二模式下以较高的帧率和/或分辨率持续采集图像，即第二图像。

步骤1210、摄像头向第一处理模块发送第二图像。

摄像头响应于第二拍摄指令，在第二模式下以第二帧率采集第二分辨率的第二图像，并向第一处理模块发送第二图像。本实施例中，第二图像包括多张图像。示例性的，第二帧率可设置为30fps，第二分辨率可设置为1920×1080。

步骤1211、第一处理模块确定第二图像中是否有手。

若确定第二图像中有手，执行步骤1213；若确定第二图像中没有手，执行步骤1212。

步骤1212、第一处理模块向感知模块发送第四消息，第四消息用于通知感知模块摄像头范围内没有手。

步骤1213、第一处理模块识别第二图像中的手势。

步骤1214、第一处理模块确定手势是否为目标手势。

若确定手势为目标手势，则执行步骤1215；

若确定手势不为目标手势，则跳转回步骤1211。

在一些实施例中，第一处理模块预设有第二手势识别模型，第一处理模块通过第二手势识别模型对第二图像中的手势进行识别，根据第二手势识别模型输出的识别结果，确定第二图像中手势是否为目标手势。

作为一种示例，第二手势识别模型可以是基于深度学习方法，采用轻量级神经网络模型训练得到的，用于识别图像中手势的类别。作为一种示例，第二手势识别模型可以包括第一模型、第二模型和第三模型，其中第一模型用于识别手的整体框架和方向，第二模型用于识别立体手部节点，第三模型用于对识别到的手部节点分类，确定手势的具体类别。

其中，第一模型可以是一个可识别单帧图像的模型，主要为第二模型提供准确裁剪的手掌图像，此外还可识别多种不同手掌大小，识别手部遮挡，且能通过对手臂、躯干或个人特征等的识别来准确定位手部。第二模型可以是Landmark模型，该模型可识别21个手部节点以及这些节点之间的位置遮挡情况。示例性的，图13示出了手部节点的示意图，第二模型可识别手部21个节点的坐标。第三模型可根据第二模型提取的手部节点的数据，推断每根手指伸直或弯曲等动作，将这些动作与预设手势进行匹配，以预测手势的类别。

作为一种示例，第二手势识别模型可部署在第一处理模块的NPU上，具有良好的实时性。

在一些实施例中，第一处理模块识别第二图像中的手势，可以包括：从第二图像中识别出手部区域，以去除第二图像中非手部区域；对识别出的手部区域进行手势分析，如将识别出的手部区域的图像输入上述的第二手势识别模型，确定图像中手势的类别。

在一些实施例中，第一处理模块可采用背景减法将第二图像中的前景(即手部区域)和背景(即非手部区域)分开。

步骤1215、第一处理模块向感知模块发送第二消息，第二消息用于指示第二图像中识别到目标手势。

作为一种示例，第二消息包括目标手势对应的标识。

步骤1216、感知模块向目标应用发送第三指示，第三指示用于指示第二图像中识别到目标手势。

作为一种示例，第三指示包括目标手势对应的标识。

步骤1217、目标应用控制执行与目标手势对应的预设操作。

目标应用存储有目标手势与预设操作的对应关系(具体可参照上文实施例的举例)，响应于第三指示，目标应用执行与目标手势对应的预设操作。

上述实施例中，若电子设备已注册手势感知功能，且已开启该手势感知功能，感知模块可通过第二处理模块(低功耗处理模块)向摄像头发送第一拍摄指令，以使摄像头以较低的帧率和/或分辨率采集第一图像。若第二处理模块识别到第一图像有手势，可通知第一处理模块，以便第一处理模块向摄像头发送第二拍摄指令，以使摄像头以较高的帧率和/或分辨率采集第二图像。第一处理模块识别到第二图像中手势类别，若第二图像中的手势为目标手势，则通知应用执行与该目标手势对应的预设操作。

上述方案在用户开启手势感知功能后，电子设备以较低功耗进行隔空手势的自动检测，即检测手势的有无。在检测到手势后，通过采集较高分辨率的图像，基于该较高分辨率的图像检测手势的类别。若手势为目标手势，则执行该目标手势对应的预设操作，实现设备自动感知和识别手势，以满足用户隔空操控设备的需求。由于摄像头和第二处理模块均采用低功耗配置，执行该方案的功耗极低。

图14为本申请实施例提供的一种手势感知方法的流程示意图。在图12所示实施例的基础上，如图14所示，本实施例提供的手势感知方法，包括：

步骤1401、目标应用在感知模块注册手势感知功能。

步骤1402、感知模块确定是否启动手势感知功能。

若感知模块确定启动手势感知功能，则执行步骤1403。

步骤1403、感知模块向第二处理模块发送第一指示，第一指示用于指示第二处理模块检测电子设备的摄像头范围内是否有手势。

步骤1404、第二处理模块确定是否满足第一条件。

若第二处理模块确定满足第一条件，则执行步骤1405。否则，第二处理模块持续低功耗检测，以确定是否满足第一条件。

本实施例中，第一条件包括以下至少一项：

电子设备的屏幕状态为亮屏状态；

电子设备已解锁；

电子设备的接近光传感器发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；

电子设备的环境光传感器的检测数据大于第三阈值；

电子设备的屏幕朝向预设方向；

电子设备运行目标应用。

本实施例中，若电子设备已开启手势感知功能，且满足上述的第一条件，则触发电子设备的摄像头持续采集第一图像。通过增设第一条件，以避免电子设备在非必要时持续采集第一图像，进一步降低设备功耗。

步骤1405、第二处理模块向摄像头发送第一拍摄指令，第一拍摄指令用于指示摄像头工作在第一模式。

在一些实施例中，若电子设备为可折叠设备，可折叠设备包括内屏和外屏，内屏对应设置有第一摄像头，外屏对应设置有第二摄像头。

一种可能的情况，步骤1404可以替换为：第二处理模块检测到电子设备的内屏为亮屏状态，且电子设备处于展开状态。相应的，步骤1405可以是：第二处理模块向第一摄像头发送第一拍摄指令。在一些实施例中，第二处理模块向第一摄像头发送第一拍摄指令之前，还包括：检测到电子设备的状态满足第二条件，第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器(内屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的环境光传感器的检测数据大于第三阈值；电子设备的内屏朝向预设方向；电子设备运行预设应用。

一种可能的情况，步骤1404可以替换为：第二处理模块检测到电子设备的外屏为亮屏状态，且电子设备处于折叠状态。相应的，步骤1405可以是：第二处理模块向第二摄像头发送第一拍摄指令。在一些实施例中，第二处理模块向第二摄像头发送第一拍摄指令之前，还包括：检测到电子设备的状态满足第二条件，第二条件包括以下至少一项：电子设备已解锁；电子设备的接近光传感器(外屏上)发射的光信号与光信号的反射信号的时间差大于第一阈值，和/或，反射信号的信号强度小于第二阈值，和/或，接收光传感器未接收到反射信号；电子设备的环境光传感器的检测数据大于第三阈值；电子设备的外屏朝向预设方向；电子设备运行预设应用。

步骤1406、摄像头向第二处理模块发送第一图像。

步骤1407、第二处理模块识别第一图像是否有手势。

若第二处理模块在第一图像中识别到手势，则执行步骤1408；

若第二处理模块在第一图像中未识别到手势，则跳转回步骤1404。

步骤1408、第二处理模块向感知模块发送第一消息，第一消息用于通知感知模块电子设备的摄像头范围内存在手势。

步骤1409、感知模块向第一处理模块发送第二指示，第二指示用于指示第一处理模块识别摄像头范围内手势的类别。

步骤1410、第一处理模块响应于第二指示，向摄像头发送第二拍摄指令，第二拍摄指令用于指示摄像头工作在第二模式。

步骤1411、摄像头向第一处理模块发送第二图像。

步骤1412、第一处理模块确定第二图像中是否有手。

若确定第二图像中有手，执行步骤1414；若确定第二图像中没有手，步骤步骤1413。

步骤1413、第一处理模块向感知模块发送第四消息，第四消息用于通知感知模块摄像头范围内没有手。

步骤1414、第一处理模块识别第二图像中的手势。

步骤1415、第一处理模块确定手势是否为目标手势。

若确定手势为目标手势，则执行步骤1416；

若确定手势不为目标手势，则跳转回步骤1412。

步骤1416、第一处理模块向感知模块发送第二消息，第二消息用于指示第二图像中识别到目标手势。

步骤1417、感知模块向目标应用发送第三指示，第三指示用于指示第二图像中识别到目标手势。

步骤1418、目标应用控制执行与目标手势对应的预设操作。

上述实施例中，若电子设备已开启手势感知功能，且满足上述的第一条件，感知模块可通过第二处理模块向摄像头发送第一拍摄指令，使得摄像头以较低的帧率和/或分辨率采集第一图像。若第二处理模块识别到第一图像中有手势，可通知第一处理模块，由第一处理模块向摄像头发送第二拍摄指令，使得摄像头以较高的帧率和/或分辨率采集第二图像。第一处理模块识别第二图像中手势是否为目标手势，若为目标手势，则执行该目标手势对应的预设操作，实现设备自动感知和识别手势，以满足用户隔空操作设备的功能。一方面，由于摄像头和第二处理模块均采用低功耗配置，执行上述方案的功耗极低。另一方面，设置第一条件可避免电子设备进行非必要的手势检测，从而进一步降低设备功耗。

在一些实施例中，目标手势包括第一手势和第二手势，第一手势为目标手势的起始手势，第二手势为目标手势的终止手势。若第一处理模块识别到第二图像中的手势为第一手势，第一处理模块向摄像头发送第三拍摄指令，第三拍摄指令用于指示摄像头以第三模式运行，即第一处理模块控制摄像头由第二模式切换至第三模式。第一处理模块获取摄像头在第三模式下采集的第三图像，并识别第三图像中手势的类别，该识别过程与前文识别第二图像的过程一致，此处不再赘述。若第一处理模块识别到第三图像中的手势为第二手势，第一处理模块向感知模块发送第三消息，以便感知模块在接收第三消息后，向目标应用发送第四指示，指示目标应用控制执行与目标手势对应的预设操作。本实施例中，第三消息用于指示识别到目标手势，第四指示用于指示目标手势(目标手势对应的标识)。对于目标手势包括三个手势的情况，与本实施例类似，可参照两个手势的执行原理。

本申请实施例还提供一种手势感知方法，下面结合附图15对该手势感知方法进行说明。

图15为本申请实施例提供的一种手势感知方法的流程示意图，如图15所示，电子设备判断是否开启手势感知功能，若电子设备已开启手势感知功能，判断是否满足预设条件。其中预设条件包括：电子设备亮屏、解锁，接近光未遮挡，环境光亮度大于第三阈值，屏幕朝向预设方向。本实施例中，接近光未遮挡可通过检测接近光传感器发射的光信号来确定，具体可参照前文实施例，此处不再展开。预设方向包括用户握持手机浏览界面内容的方向、将手机放置在桌面上浏览界面内容的方向等。若电子设备确定已开启手势感知功能且满足上述预设条件，则控制摄像头采集第一图像，检测第一图像中是否有手势，其中第一图像的帧率可以是2fps。若检测到第一图像有手势，控制摄像头采集第二图像，检测第二图像中是否有预设的起始手势，其中第二图像的帧率可以是5fps，否则跳转至是否满足预设条件的步骤。若检测到第二图像中有预设的起始手势，控制摄像头采集第三图像，其中第三图像的帧率可以是10-30fps的任一值，否则跳转至是否满足预设条件的步骤。若检测到第三图像中有预设的目标手势，则响应目标手势对应的预设操作，否则跳转至是否满足预设条件的步骤。本实施例中的目标手势包括上述起始手势，还可以包括中间手势和终止手势，也即目标手势对应一手势变化。本实施例中的预设操作可以是上文实施例描述的某一项操作。

基于上述方案，用户在开启上述手势感知功能后，在满足一定条件下，可直接在手机摄像头范围内使用隔空手势动作，实现隔空控制手机的效果，满足用户在各种场景下隔空操作的需求，改善用户的用机体验。

本申请实施例还提供一种手势感知方法，该方法应用于具有柔性屏幕的电子设备，下面以折叠屏手机为例进行方案说明，折叠屏手机的内屏和外屏上分别设置一组摄像头，用于采集图像数据。本实施例的手势感知方法涉及折叠屏状态变化时，设备底层模块的处理逻辑，下面结合附图20进行说明。

示例性的，图20为本申请实施例提供的一种手势感知方法的流程示意图。如图20所示，本实施例的手势感知方法，可以包括以下步骤：

步骤2010、第二处理模块获取传感器数据，以确定折叠屏的物理状态变化。

本实施例中，传感器数据包括例如磁传感器、霍尔传感器等，通过获取传感器数据确定折叠屏的物理状态是否发生变化。折叠屏的物理状态发生变化包括由折叠状态至展开状态，或者由展开状态至折叠状态。

步骤2020a、第二处理模块基于折叠屏的物理状态变化，控制开启或关闭内屏上的摄像头。

步骤2020b、第二处理模块基于折叠屏的物理状态变化，控制开启或关闭外屏上的摄像头。

在一种可能的实施方式中，若折叠屏的物理状态变化为由折叠状态至展开状态，第二处理模块可控制开启内屏上的摄像头。

在一种可能的实施方式中，外屏上的摄像头已开启，若折叠屏的物理状态变化为由折叠状态至展开状态，第二处理模块可控制关闭外屏上的摄像头，同时控制开启内屏上的摄像头。

在一种可能的实施方式中，内屏上的摄像头已开启，若折叠屏的物理状态变化为由展开状态至折叠状态，第二处理模块可控制关闭内屏上的摄像头，同时开启外屏上的摄像头。

示例性的，外屏上的摄像头可以是图19所示的摄像头1，内屏上的摄像头可以是图19所示的摄像头3。

步骤2020c、第二处理模块将折叠屏的物理状态以及内外屏摄像头的状态上报给第三处理模块。

需要指出的是，本实施例对步骤2020a至2020c的执行顺序不做任何限定。

步骤2030、第三处理模块向第一处理模块发送通知，通知内外屏摄像头的状态。

本实施例示出了折叠屏手机的屏幕的物理状态发生变化时，手机内部各个模块之间的交互过程，通过上述交互以实现对摄像头低功耗持续扫图功能的精确控制，使得用户在使用折叠屏手机时，手机能够识别用户的隔空手势操作，进而在不同使用场景下实现对手机的控制，如音视频播放控制、图片显示控制等，提升用户的用机体验。

图16为本申请实施例提供的一种电子设备的结构示意图，如图16所示，电子设备包括摄像头1606，处理器1601，通信线路1604以及至少一个通信接口(图16中示例性的以通信接口1603为例进行说明)。

摄像头1606可用于采集不同帧率和/或分辨率的图像，处理器1601可用于检测图像中手势有无、手势的具体类别。

处理器1601可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。在一些实施例中，处理器包括第一处理模块和第二处理模块，第一处理模块的功耗高于第二处理模块的功耗；第二处理模块用于检测摄像头范围内是否存在手势；第一处理模块用于识别摄像头范围内手势的类别。

通信线路1604可包括在上述组件之间传送信息的电路。

通信接口1603，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

在一些实施例中，电子设备还可以包括存储器1602。

存储器1602可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1604与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1602用于存储执行本申请方案的计算机执行指令，并由处理器1601来控制执行。处理器1601用于执行存储器1602中存储的计算机执行指令，从而实现本申请实施例所提供的手势感知方法。

在一些实施例中，电子设备还包括显示屏1607，显示屏1607可以是折叠屏。

本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

作为一种示例，处理器1601可以包括一个或多个CPU，例如图16中的CPU0和CPU1。

作为一种示例，电子设备可以包括多个处理器，例如图16中的处理器1601和处理器1605。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

图17为本申请实施例提供的一种芯片的结构示意图。如图17所示，芯片1700包括一个或两个以上(包括两个)处理器1720和通信接口1730。

在一些实施方式中，存储器1740存储了如下的元素：可执行模块或者数据结构，或者，可执行模块或者数据结构的子集，或者，可执行模块或者数据结构的扩展集。

本申请实施例中，存储器1740可以包括只读存储器和随机存取存储器，并向处理器1720提供指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器1740、通信接口1730以及存储器1740通过总线***1710耦合在一起。其中，总线***1710除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图17中将各种总线都标为总线***1710。

上述本申请实施例描述的方法可以应用于处理器1720中，或者由处理器1720实现。处理器1720可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1720中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1720可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1720可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括一个或多个计算机指令。在电子设备上加载和执行计算机程序指令时，使得电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

计算机可读存储介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。计算机可读存储介质可以包括：紧凑型光盘只读储存器CD-ROM、RAM、ROM、EEPROM或其它光盘存储器；计算机可读存储介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读存储介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

此外，需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种手势感知方法，其特征在于，应用于电子设备，所述方法包括：

所述电子设备的摄像头以第一模式运行；

所述电子设备获取所述摄像头在所述第一模式下采集的第一图像，检测所述第一图像中是否有手势；

所述电子设备在所述第一图像中检测到手势，控制所述摄像头由所述第一模式切换至第二模式；

所述电子设备获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中手势的类别；

所述电子设备识别到所述第二图像中的手势为目标手势，控制执行与所述目标手势对应的预设操作。

2.根据权利要求1所述的方法，其特征在于，所述电子设备的摄像头以第一模式运行之前，所述方法还包括：所述电子设备响应于开启手势感知功能的第一操作。

3.根据权利要求1或2所述的方法，其特征在于，

所述电子设备的摄像头以第一模式运行之前，所述方法还包括：

检测到所述电子设备的状态满足第一条件；所述第一条件包括以下至少一项：

所述电子设备的屏幕状态为亮屏状态；

所述电子设备已解锁；

所述电子设备的接近光传感器发射的光信号与所述光信号的反射信号的时间差大于第一阈值，和/或，所述反射信号的信号强度小于第二阈值，和/或，所述接收光传感器未接收到所述反射信号；

所述电子设备的环境光传感器的检测数据大于第三阈值；

所述电子设备的屏幕朝向预设方向；

所述电子设备运行预设应用。

4.根据权利要求1或2所述的方法，其特征在于，所述电子设备为可折叠设备，所述可折叠设备包括内屏和外屏，所述内屏对应设置有第一摄像头，所述外屏对应设置有第二摄像头；所述电子设备的摄像头以第一模式运行，包括：

检测到所述电子设备的外屏为亮屏状态，且所述电子设备处于折叠状态，控制所述第二摄像头以第一模式运行；或者

检测到所述电子设备的内屏为亮屏状态，且所述电子设备处于展开状态，控制所述第一摄像头以第一模式运行。

5.根据权利要求4所述的方法，其特征在于，在控制所述第一摄像头以第一模式运行，或者控制所述第二摄像头以第一模式运行之前，所述方法还包括：

检测到所述电子设备的状态满足第二条件；所述第二条件包括以下至少一项：

所述电子设备已解锁；

所述电子设备的接近光传感器发射的光信号与所述光信号的反射信号的时间差大于第一阈值，和/或，所述反射信号的信号强度小于第二阈值，和/或，所述接收光传感器未接收到所述反射信号；

所述电子设备的环境光传感器的检测数据大于第三阈值；

所述电子设备的内屏或外屏朝向预设方向；

所述电子设备运行预设应用。

6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：

当所述第二摄像头以所述第一模式运行时，若检测到所述电子设备由折叠状态至展开状态时，所述电子设备控制所述第一摄像头以所述第一模式运行，并关闭所述第二摄像头；

当所述第一摄像头以所述第一模式运行时，若检测到所述电子设备由展开状态至折叠状态时，所述电子设备控制所述第一摄像头关闭，并控制所述第二摄像头以所述第一模式运行。

7.根据权利要求1至6任一项所述的方法，其特征在于，

所述目标手势包括第一手势和第二手势，所述第一手势为所述目标手势的起始手势，所述第二手势为所述目标手势的终止手势；所述电子设备识别到所述第二图像中的手势为所述第一手势，所述电子设备控制执行与所述目标手势对应的预设操作，包括：

所述电子设备识别到所述第二图像中的手势为所述第一手势，控制所述摄像头由所述第二模式切换至第三模式；

所述电子设备获取所述摄像头在所述第三模式下采集的第三图像，并识别所述第三图像中手势的类别；

所述电子设备识别到所述第三图像中的手势为所述第二手势，控制执行与所述目标手势对应的预设操作。

8.根据权利要求1至7任一项所述的方法，其特征在于，

所述电子设备的摄像头以第一模式运行，包括：

所述电子设备的感知模块向所述电子设备的第二处理模块发送第一指示，所述第一指示用于指示所述第二处理模块检测所述摄像头范围内是否有手势；

所述第二处理模块向所述摄像头发送第一拍摄指令；

所述摄像头响应于所述第一拍摄指令，以所述第一模式运行。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述电子设备获取所述摄像头在所述第一模式下采集的第一图像，检测所述第一图像中是否有手势，包括：

所述电子设备的第二处理模块获取所述摄像头在所述第一模式下采集的所述第一图像，检测所述第一图像中是否有手势。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述电子设备在所述第一图像中检测到手势，控制所述摄像头由第一模式切换至第二模式，包括：

所述电子设备的第二处理模块检测到所述第一图像中有手势，所述第二处理模块向所述电子设备的感知模块发送第一消息，所述第一消息用于通知所述感知模块所述摄像头范围内有手势；

所述感知模块向所述电子设备的第一处理模块发送第二指示，所述第二指示用于指示所述第一处理模块识别所述第二图像中手势的类别；

所述第一处理模块响应于所述第二指示，向所述摄像头发送第二拍摄指令，所述第二拍摄指令用于指示所述摄像头以第二模式运行。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述电子设备获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中手势的类别，包括：

所述电子设备的第一处理模块获取所述摄像头在所述第二模式下采集的第二图像，并识别所述第二图像中手势的类别。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述电子设备识别到所述第二图像中的手势为目标手势，控制执行与所述目标手势对应的预设操作，包括：

所述电子设备的第一处理模块识别到所述第二图像中的手势为目标手势，所述第一处理模块向所述电子设备的感知模块发送第二消息，所述第二消息用于指示所述第二图像中识别到目标手势；

所述感知模块向所述电子设备的目标应用发送第三指示，所述第三指示用于指示所述目标手势；

所述目标应用控制执行与所述目标手势对应的预设操作。

13.根据权利要求3至6任一项所述的方法，其特征在于，所述电子设备的第二处理模块检测所述电子设备的状态。

14.根据权利要求7所述的方法，其特征在于，

所述电子设备控制所述摄像头由所述第二模式切换至第三模式，包括：所述电子设备的第一处理模块控制所述摄像头由所述第二模式切换至所述第三模式；

所述电子设备获取所述摄像头在所述第三模式下采集的第三图像，并识别所述第三图像中手势的类别，包括：所述第一处理模块获取所述摄像头在所述第三模式下采集的第三图像，并识别所述第三图像中手势的类别；

若所述第三图像中的手势为所述第二手势，所述电子设备控制执行与所述目标手势对应的预设操作，包括：若所述第三图像中的手势为所述第二手势，所述第一处理模块向所述电子设备的感知模块发送第三消息，所述第三消息用于指示识别到所述目标手势；所述感知模块向所述电子设备的目标应用发送第四指示，所述第四指示用于指示所述目标手势；所述目标应用控制执行与所述目标手势对应的预设操作。

15.一种电子设备，其特征在于，所述电子设备包括：摄像头，存储器和处理器；

所述摄像头用于采集不同帧率和/或分辨率的图像，所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1至14任一项所述的手势感知方法。

16.根据权利要求15所述的电子设备，其特征在于，所述处理器包括第一处理模块和第二处理模块，所述第一处理模块的功耗高于所述第二处理模块的功耗；

所述第二处理模块用于检测所述摄像头范围内是否有手势；

所述第一处理模块用于识别所述摄像头范围内手势的类别。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至14任一项所述的方法。

18.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于调用存储器中的计算机程序，以执行如权利要求1至14任一项所述的方法。