CN112328090B - 手势识别方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及一种手势识别方法及装置、电子设备和存储介质，所述方法包括：获取待识别的视频；对视频进行人体检测，得到视频包括的第一对象的数量；按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果。本公开实施例可提高多人场景的手势识别效果。

Description

手势识别方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种手势识别方法及装置、电子设备和存储介质。

背景技术

手势交互可以是利用计算机技术识别人的手势语言，并转化为命令来操控电子设备(例如智能电视、智能空调等)的人机交互方式。其中，手势识别技术是实现手势交互的关键技术。

在远程、非接触式的手势识别场景中会包含各种复杂情况，例如视频图像中存在多人多手的情况。然而，相关技术中对复杂情况下控制手势的识别准确度较低。

发明内容

本公开提出了一种手势识别技术方案。

根据本公开的一方面，提供了一种手势识别方法，包括：获取待识别的视频；对所述视频进行人体检测，得到所述视频包括的第一对象的数量；按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果。

在一种可能的实现方式中，所述第一对象的数量大于或等于两个，所述视频包括第一视频帧；所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，包括：在所述第一视频帧中，分别获取所述第一对象中每个对象的人体区域以及手部区域；基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定第二对象，所述每个对象的人体区域包括所述第二对象的第一人体区域，所述每个对象的手部区域包括所述第二对象的第一手部区域，所述第一人体区域位于所述第一预设区域中；在所述第一手部区域与所述第一人体区域之间的位置关系满足预设位置条件的情况下，对所述第一手部区域进行手势识别，得到第一手势识别结果。

在一种可能的实现方式中，所述第一手势识别结果包括有效手势识别结果和无效手势识别结果中的一项。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧；在所述第一手势识别结果包括无效手势识别结果的情况下，所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，还包括：在所述第二视频帧中，分别获取所述第二对象的第二人体区域及第二手部区域；在所述第二手部区域与所述第二人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第二手部区域进行手势识别，得到第二手势识别结果。

在一种可能的实现方式中，所述每个对象的人体区域包括第三对象的第三人体区域，所述每个对象的手部区域包括所述第三对象的第三手部区域；所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，还包括：在所述第一手部区域与所述第一人体区域之间的位置关系不满足所述预设位置条件的情况下，从所述第一对象中确定所述第三对象，所述第三人体区域位于第二预设区域中；在所述第三手部区域与所述第三人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第三手部区域进行手势识别，得到第三手势识别结果。

在一种可能的实现方式中，所述第二预设区域与所述第一预设区域部分重叠，或所述第二预设区域与所述第一预设区域相邻。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧，以及位于所述第二视频帧之后的第三视频帧；在所述得到第三手势识别结果之后，所述方法还包括：响应于在所述第三视频帧中，所述第二对象的第四手部区域与所述第二对象的第四人体区域之间的位置关系满足所述预设位置条件，对所述第四手部区域进行手势识别，得到第四手势识别结果。

在一种可能的实现方式中，所述第一预设区域包括所述视频的视频帧的中心区域；所述基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定所述第二对象，包括：在所述第一预设区域包括多个人体区域的情况下，将所述多个人体区域中与所述第一预设区域之间的距离最小的人体区域，确定为所述第一人体区域；将所述第一人体区域对应的对象确定为所述第二对象。

在一种可能的实现方式中，所述方法还包括：在所述第一手部区域包括两个，且预设手势为单手手势的情况下，将所述第一手部区域中的一个手部区域，确定为所述第一手部区域。

在一种可能的实现方式中，所述预设位置条件包括：目标对象的手部区域高度与胯部区域高度之间的第一高度差，大于或等于高度阈值，所述高度阈值与第二高度差正相关，所述第二高度差为所述目标对象的肩部区域高度与所述胯部区域高度之间的高度差，所述目标对象包括所述第二对象和第三对象中的至少一项。

在一种可能的实现方式中，所述方法还包括：在所述手势识别结果为有效手势识别结果的情况下，控制电子设备执行与所述有效手势识别结果对应的操作。

根据本公开的一方面，提供了一种手势识别装置，包括：获取模块，用于获取待识别的视频；检测模块，用于对所述视频进行人体检测，得到所述视频包括的第一对象的数量；识别模块，用于按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果。

在一种可能的实现方式中，所述第一对象的数量大于或等于两个，所述视频包括第一视频帧；所述识别模块，包括：第一获取子模块，用于在所述第一视频帧中，分别获取所述第一对象中每个对象的人体区域以及手部区域；第一确定子模块，用于基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定第二对象，所述每个对象的人体区域包括所述第二对象的第一人体区域，所述每个对象的手部区域包括所述第二对象的第一手部区域，所述第一人体区域位于所述第一预设区域中；第一识别子模块，用于在所述第一手部区域与所述第一人体区域之间的位置关系满足预设位置条件的情况下，对所述第一手部区域进行手势识别，得到第一手势识别结果。

在一种可能的实现方式中，所述第一手势识别结果包括有效手势识别结果和无效手势识别结果中的一项。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧；在所述第一手势识别结果包括无效手势识别结果的情况下，所述识别模块，还包括：第二获取子模块，用于在所述第二视频帧中，分别获取所述第二对象的第二人体区域及第二手部区域；第二识别子模块，用于在所述第二手部区域与所述第二人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第二手部区域进行手势识别，得到第二手势识别结果。

在一种可能的实现方式中，所述每个对象的人体区域包括第三对象的第三人体区域，所述每个对象的手部区域包括所述第三对象的第三手部区域；所述识别模块，还包括：第二确定子模块，用于在所述第一手部区域与所述第一人体区域之间的位置关系不满足所述预设位置条件的情况下，从所述第一对象中确定所述第三对象，所述第三人体区域位于第二预设区域中；第三识别子模块，用于在所述第三手部区域与所述第三人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第三手部区域进行手势识别，得到第三手势识别结果。

在一种可能的实现方式中，所述第二预设区域与所述第一预设区域部分重叠，或所述第二预设区域与所述第一预设区域相邻。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧，以及位于所述第二视频帧之后的第三视频帧；在所述得到第三手势识别结果之后，所述装置还包括：第四识别子模块，用于响应于在所述第三视频帧中，所述第二对象的第四手部区域与所述第二对象的第四人体区域之间的位置关系满足所述预设位置条件，对所述第四手部区域进行手势识别，得到第四手势识别结果。

在一种可能的实现方式中，所述第一预设区域包括所述视频的视频帧的中心区域；所述第一确定子模块，包括：人体区域确定单元，用于在所述第一预设区域包括多个人体区域的情况下，将所述多个人体区域中与所述第一预设区域之间的距离最小的人体区域，确定为所述第一人体区域；对象确定单元，用于将所述第一人体区域对应的对象确定为所述第二对象。

在一种可能的实现方式中，所述装置还包括：手部区域确定模块，用于在所述第一手部区域包括两个，且预设手势为单手手势的情况下，将所述第一手部区域中的一个手部区域，确定为所述第一手部区域。

在一种可能的实现方式中，所述预设位置条件包括：目标对象的手部区域高度与胯部区域高度之间的第一高度差，大于或等于高度阈值，所述高度阈值与第二高度差正相关，所述第二高度差为所述目标对象的肩部区域高度与所述胯部区域高度之间的高度差，所述目标对象包括所述第二对象和第三对象中的至少一项。

在一种可能的实现方式中，所述装置还包括：控制模块，用于在所述手势识别结果为有效手势识别结果的情况下，控制电子设备执行与所述有效手势识别结果对应的操作。

根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

在本公开实施例中，通过对视频进行人体检测，得到视频包括的第一对象的数量，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，能够根据视频中人物数量选择对应的手势识别方式进行手势识别。这样可以基于单人场景或是多人场景，采取更有针对性的手势识别方式。尤其是基于多人场景而言，能够提高手势识别的精准度，解决复杂情况下控制手势的识别准确度较低的技术问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的手势识别方法的流程图。

图2a示出根据本公开实施例的预设手势的示意图一。

图2b示出根据本公开实施例的预设手势的示意图二。

图2c示出根据本公开实施例的预设手势的示意图三。

图3示出根据本公开实施例的一种预设区域的示意图。

图4示出根据本公开实施例的一种人体关键点的示意图。

图5示出根据本公开实施例的手势识别过程的示意图。

图6示出根据本公开实施例的手势识别装置的框图。

图7示出根据本公开实施例的一种电子设备的框图。

图8示出根据本公开实施例的一种电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的手势识别方法的流程图，如图1所示，所述手势识别方法包括：

在步骤S11中，获取待识别的视频。

在步骤S12中，对视频进行人体检测，得到视频包括的第一对象的数量。

在步骤S13中，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果。

在一种可能的实现方式中，所述手势识别方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)设备、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法。

在一种可能的实现方式中，可在步骤S11中获取待识别的视频。待识别的视频可以是视频采集设备所采集的视频。视频采集设备可以是已知的任何合适的视频采集设备，例如但不限于，普通网络摄像头、景深摄像头、数码摄像设备等，本公开对视频采集设备的具体类型不做限制。

在一种可能的实现方式中，本公开中的视频采集设备，可以是属于执行手势识别方法的电子设备中的装置；也可以是独立于执行该手势识别方法的电子设备的装置。对于视频采集设备和电子设备之间的关系，本公开实施例不做限制。

在一种可能的实现方式中，在步骤S12中，可以采用任何已知的人体检测方式，对视频进行人体检测，例如，人体检测方式可以包括：提取视频的视频帧中的人体关键点(如13个关节部位的人体关键点)，其中，人体关键点的数量及位置可以根据实际需求确定，在此不予限定；或者，还可以通过提取视频帧中的人体轮廓等方式。对于采用何种人体检测方式，本公开实施例不做限制。

可以理解的是，在步骤S11中获取的待识别的视频中，可以有包含人体的视频帧，也可以有不包含人体的视频帧。通过对视频进行人体检测，可以确定出视频中包含第一对象的视频帧，也即确定出视频中包含人体的视频帧。视频帧中的人体可以为一个或多个，相应地，第一对象可以包括一个或多个对象。

在一种可能的实现方式中，如上所述，第一对象可以包括一个或多个对象。在步骤S12中，可以根据人体检测结果，确定视频中包括的第一对象的数量。其中，人体检测结果可以是检测的人体关键点或人体轮廓，根据人体关键点或人体轮廓可以确定视频帧中的人体数量，也就确定出视频帧中第一对象的数量。

在一种可能的实现方式中，可以预设与第一对象的数量所对应的手势识别方式，进而在步骤S13中按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别。

在一种可能的实现方式中，预设与第一对象的数量所对应的手势识别方式，可以包括：在第一对象的数量等于一个的情况下，将第一对象作为操控对象，对该操控对象的单手或双手的手部区域进行手势识别；在第一对象的数量大于或等于两个的情况下，根据第一对象的位置，从第一对象中确定操控对象，对该操控对象的单手或双手的手部区域进行手势识别。其中，单手可以是左侧手或右侧手。操控对象可以是指通过手势操控电子设备的对象。

在一种可能的实现方式中，手势识别结果可以包括有效手势识别结果和无效手势识别结果中的一项。其中，有效手势识别结果可以包括与预设手势匹配的结果；无效手势识别结果可以包括与预设手势不匹配的结果。其中，预设手势可以是预先设置的与操控电子设备执行相应操作所对应的手势图形。

图2a、图2b及图2c示出根据本公开实施例的预设手势的示意图。预设手势例如可以包括但不限于如图2a、图2b及图2c所示的各手势，图2a的手势可以是对应于确认操作，图2b的手势可以是对应于切换操作，图2c手势可以对应于关闭操作。与图2a、图2b及图2c所示的任一手势相匹配的手势识别结果，可以是有效手势识别结果；相应的，与图2a、图2b及图2c所示的全部手势均不匹配的手势识别结果，可以是无效手势识别结果。

需要说明的是，尽管以作为示例介绍了如上预设手势以及与预设手势对应的操作，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可以根据实际应用场景设置不同的预设手势，以及设置与不同预设手势对应的操作，对此本公开实施例不做限制。

在一种可能的实现方式中，对视频中的手势进行手势识别，可以采用任何已知的手势识别方式，例如，基于几何特征的手势识别方式，基于方向直方图的手势识别方式等，对此本公开实施例不做限制。

在一种可能的实现方式中，可以根据手势识别结果的置信度，判断手势识别结果是否与预设手势相匹配。与预设手势相匹配的手势识别结果可以是有效手势识别结果，与预设手势不匹配的手势识别结果可以是无效手势识别结果。置信度可以是用于衡量手势识别结果的可信程度的衡量值。置信度可以由预先训练的神经网络输出得到。置信度越高，代表识别到的手势识别结果的可信程度越高。可以对置信度设定一个置信度阈值，高于该置信度阈值的置信度对应的手势识别结果，可以被认为是有效手势识别结果。本公开对置信度阈值的具体取值不做限制。

在本公开实施例中，通过对视频进行人体检测，得到视频包括的第一对象的数量，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，能够根据视频中人物数量选择对应的手势识别方式进行手势识别，从而提高多人场景的手势识别效果。

在一种可能的实现方式中，如上文所述，第一对象的数量可以大于或等于两个。视频可以包括第一视频帧。在步骤S13中，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，可以包括：

在第一视频帧中，分别获取第一对象中每个对象的人体区域以及手部区域；

基于人体区域与第一预设区域之间的位置关系，从第一对象中确定第二对象，每个对象的人体区域包括第二对象的第一人体区域，每个对象的手部区域包括第二对象的第一手部区域，第一人体区域位于第一预设区域中；

在第一手部区域与第一人体区域之间的位置关系满足预设位置条件的情况下，对第一手部区域进行手势识别，得到第一手势识别结果。

在一种可能的实现方式中，可以根据本公开中的人体检测结果，确定人体区域。例如，可以根据检测到的人体关键点或人体轮廓确定人体框，将人体框在视频帧中的区域作为各对象的人体区域；或者还可以直接将检测出人体轮廓在视频帧中的区域，作为各对象的人体区域，对此本公开实施例不做限制。

在一种可能的实现方式中，可以是采用任何已知的手部检测方式，对视频帧进行手部检测，进而根据手部检测结果确定出每个对象的手部区域。其中，手部检测方式例如可以包括：提取视频帧中的手部关键点(如20个手部关节部位的关键点)，其中，手部关键点的数量及位置可以根据实际需求确定，在此不做限制；或者还可以提取视频帧中的手部轮廓等。对于采用何种手部检测方式，本公开实施例不做限制。

在一种可能的实现方式中，可以根据本公开中的手部检测结果，确定手部区域。例如，可以根据检测到的手部关键点或手部轮廓确定手部框，将手部框在视频帧中的区域作为各对象的手部区域；或者还可以直接将检测出手部轮廓在视频帧中的区域，作为各对象的手部区域，对此本公开实施例不做限制。

在一种可能的实现方式中，第一预设区域可以是用于在视频帧中确定第一对象的区域，例如，第一预设区域可以是视频帧的中心区域。对于第一预设区域的范围以及形状等，可以根据实际需求设定，对此本公开实施例不做限制。

在一种可能的实现方式中，对于视频中的各视频帧，人体检测和手部检测可以同时进行，也可以按照设定的检测顺序先后进行，具体可依据实现检测功能的设备的处理能力、该设备的资源占用情况、应用过程中对于时延的限制等可能影响检测顺序的因素进行设定，对此本公开实施例不做限制。

在一种可能的实现方式中，人体区域与第一预设区域之间的位置关系可以是每个对象的人体区域与第一预设区域之间的距离，或者还可以是每个对象的人体区域与第一预设区域之间的重叠度。相应的，基于人体区域与第一预设区域之间的位置关系，从第一对象中确定第二对象，可以是根据每个对象的人体区域与第一预设区域之间的距离，将距离最短的人体区域对应的对象作为第二对象；或者还可以根据人体区域与第一预设区域的重叠度，将重叠度最大的人体区域对应的对象作为第二对象，对此本公开实施例不做限制。

在一种可能的实现方式中，第一人体区域位于第一预设区域中，可以是第一人体区域的全部区域位于第一预设区域中，也可以是第一人体区域的部分区域位于第一预设区域中。可以理解为，在第一人体区域与第一预设区域存在重叠区域的情况下，确定第一人体区域位于第一预设区域中。

在一种可能的实现方式中，第二对象的第一手部区域与第一人体区域之间的位置关系可以包括第一手部区域与第一人体区域之间的高度关系。预设位置条件可以是预先设置的基于手部区域和人体区域之间的位置关系，判断是否进行手势识别的条件。例如，该预设位置条件可以是手部区域高于胯部区域，或者手部区域高于肘部区域等。对于预设位置条件的具体内容，可根据能够用于控制电子设备执行相应操作的手势进行设置，本公开实施例不做限制。

可以理解的是，操控对象在期望通过手势操控电子设备时，通常是在抬手的状态下发出控制手势，那么在第一手部区域与第一人体区域之间的位置关系满足预设位置条件的情况下，可以理解为，在第二对象处于抬手状态的情况下，对第一手部区域进行手势识别，得到第一手势识别结果，能够使得识别的手势更加有效，减少误操作。

在一种可能的实现方式中，对于视频中的视频帧，人体检测和手部检测可以同时进行，也可以按照设定的检测顺序先后进行。可依据实现检测功能的设备的处理能力、该设备的资源占用情况、应用过程中对于时延的限制等可能影响检测顺序的因素进行设定，对此本公开实施例不做限制。

在一种可能的实现方式中，在第一手部区域与第一人体区域之间的位置关系满足预设位置条件的情况下，可对第一手部区域进行手势识别，得到第一手势识别结果。其中，对第一手部区域进行手势识别，可以采用任何已知的手势识别方式，例如，基于几何特征的手势识别方式，基于方向直方图的手势识别方式等，对此本公开实施例不做限制。

在一种可能的实现方式中，第一手势识别结果可以包括有效手势识别结果和无效手势识别结果中的一项。其中，有效手势识别结果可以包括与预设手势匹配的结果；无效手势识别结果可以包括与预设手势不匹配的结果。其中，预设手势可以是预先设置的与操控电子设备执行相应操作所对应的手势图形。

在本公开实施例中，能够从多个第一对象中确定出第二对象，在第二对象处于抬手状态下，对第二对象的手部区域进行手势识别，从而在多人场景下确定出有效的操控对象，进而对操控对象进行手势识别，可以提高手势识别的有效性，减少误操作。

在一种可能的实现方式中，所述方法还包括：在手势识别结果为有效手势识别结果的情况下，可以控制电子设备执行与有效手势识别结果对应的操作。例如，在第一手势识别结果识别出与图2a所示的手势相匹配的情况下，可以控制电子设备执行确认操作。

在一种可能的实现方式中，在识别出的手势识别结果为有效手势识别结果的情况下，可以是通过发送与预设手势对应的操作指令，控制电子设备执行对应的操作。

在一种可能的实现方式中，被控制的电子设备(可称为第一电子设备)可以与执行根据本公开实施例的手势识别方法的电子设备(可称为第二电子设备)相同或不同。在第一电子设备与第二电子设备为相同的电子设备的情况下，该电子设备可例如为智能电视、智能手机等终端，在同一设备中实现人体检测及手部检测、手势识别，并根据识别到的手势进行相应的操作，例如频道切换、远程拍照等。在第一电子设备与第二电子设备为不同的电子设备的情况下，第一电子设备可例如为智能电视、智能手机等终端，第二电子设备可为任意终端或服务器，由第二电子设备实现人体检测及人手检测、手势识别，并根据识别到的手势控制第一电子设备进行相应的操作。对此本公开实施例不做限制。

在一种可能的实现方式中，本公开中的视频采集设备，可以是属于第一电子设备和第二电子设备中的装置；也可以是独立于第一电子设备和第二电子设备的装置。对于视频采集设备和被控制的电子设备之间的关系，本公开实施例不做限制。

在一种可能的实现方式中，在当前视频帧中操控对象的有效手势识别结果与之前视频帧中操控对象的有效手势识别结果相同的情况下，可以控制电子设备执行的操作不变，或再次执行同样的操作(例如再次切换频道)；在当前视频帧中操控对象的有效手势识别结果与之前视频帧中操控对象的有效手势识别结果不同的情况下，可以控制电子设备执行与当前视频帧中操控对象的有效手势识别结果对应的操作。

根据本公开实施例，能够实现通过手势远程控制电子设备，在多人的场景下，可以有效提高手势识别的准确度，提高用户体验。

在一种可能的实现方式中，视频可以包含基于时间序列的视频帧，基于时间序列可以确定出第一视频帧之后的视频帧。可以理解的是，第一视频帧之后的视频帧可以是按照一定的时间间隔，或者帧数间隔等选取的，例如，可以每间隔2帧选取一帧视频帧，或每间隔0.2秒选取一帧视频帧，也可以依序选取所有视频帧。对于第一视频帧之后的视频帧的选取，本公开实施例不做限制。

在一种可能的实现方式中，视频可以包括位于第一视频帧之后的第二视频帧；在第一手势识别结果包括无效手势识别结果的情况下，在步骤S13中，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，还包括：

在第二视频帧中，分别获取第二对象的第二人体区域及第二手部区域；

在第二手部区域与第二人体区域之间的位置关系满足预设位置条件的情况下，对第二手部区域进行手势识别，得到第二手势识别结果。

在一种可能的实现方式中，如上文所述，手势识别结果可以包括有效手势识别结果和无效手势识别结果中的一项；无效手势识别结果可以包括与预设手势不匹配的结果。则第一手势识别结果包括无效手势识别结果的情况，可以理解为识别出的操控对象的手势与预设手势不匹配。

在一种可能的实现方式中，在第二手部区域与第二人体区域之间的位置关系满足预设位置条件的情况下，可以理解为，在第二视频帧中第二对象仍处于抬手状态。在第二手部区域与第二人体区域之间的位置关系满足预设位置条件的情况下，对第二手部区域进行手势识别，可以理解为，在识别出第一视频帧中第二对象的手势与预设手势不匹配，且第二视频帧中第二对象仍处于抬手状态的情况下，对第二视频帧中第二对象的手部区域进行手势识别。

在一种可能的实现方式中，在第二视频帧中，可以根据人体检测结果确定第二人体区域。可以根据手部检测结果确定第二手部区域。其中，人体检测结果以及手部检测结果，可以采用上述本公开实施例中公开的人体检测方式和手部检测方式进行确定，对此本公开实施例不做限制。

在一种可能的实现方式中，第二视频帧可以是第一视频帧之后连续的视频帧，也可以是第一视频帧之后间隔一定帧数或一定时间的视频帧，对此本公开实施例不做限制。

在本公开实施例中，能够实现对操控对象的手势追踪，可以更有针对性的进行手势识别，减少切换操控对象的次数，从而提高处理效率。

如上文所述，对象在期望通过手势操控电子设备时，通常是在抬手状态下发出控制手势。第二对象可能处于抬手状态，也可能处于未抬手状态。在第二对象处于未抬手状态下，可以认为第二对象可能不会通过手势操控电子设备。

在一种可能的实现方式中，每个对象的人体区域可以包括第三对象的第三人体区域，每个对象的手部区域包括第三对象的第三手部区域；在步骤S13中，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，还可以包括：

在第一手部区域与第一人体区域之间的位置关系不满足预设位置条件的情况下，从第一对象中确定第三对象，第三人体区域位于第二预设区域中；

在第三手部区域与第三人体区域之间的位置关系满足预设位置条件的情况下，对第三手部区域进行手势识别，得到第三手势识别结果。

在一种可能的实现方式中，第三对象可以是第一对象中除第二对象以外的对象。第二预设区域可以是视频帧中用于确定第三对象的区域。

在一种可能的实现方式中，第二预设区域可以与第一预设区域部分重叠，或第二预设区域可以与第一预设区域相邻。其中，第二预设区域与第一预设区域之间的重叠度，可以根据实际需求设定，对此本公开实施例不做限制。

在一种可能的实现方式中，第一预设区域可以包括视频帧中一块区域，第二预设区域可以包括视频帧中的一块或多块区域。其中，对于第二预设区域的范围、形状以及数量等，可以根据实际需求设定，对此本公开实施例不做限制。

图3示出根据本公开实施例的一种预设区域的示意图。如图3所示，区域A可是第一预设区域，区域B、区域C可以是第二预设区域。

在一种可能的实现方式中，在第一手部区域与第一人体区域之间的位置关系不满足预设位置条件的情况下，从第一对象中确定第三对象，可以理解为，在第一视频帧中第二对象处于未抬手状态下，从第一对象中确定位于第二预设区域的第三对象，从而能够在第二对象处于未抬手状态下，找寻其它对象以进行手势识别，更贴近实际场景中的手势识别情况，提高手势识别的有效性。

在一种可能的实现方式中，从第一对象中确定第三对象，可以是将位于第二预设区域中各对象的人体区域，与第一对象的人体区域距离最近的人体区域所对应的对象，确定为第三对象；或者是将位于第二预设区域中各对象的人体区域，与第一对象的人体区域重叠度最高的人体区域所对应的对象，确定为第三对象，对此本公开实施例不做限制。

在一种可能的实现方式中，可以基于视频帧建立坐标系，根据人体区域的中心点或边界点的坐标，确定位于第二预设区域中各对象的人体区域，与第一对象的人体区域之间的距离，进而将距离最近的人体区域所对应的对象，确定为第三对象。

在一种可能的实现方式中，第三人体区域位于第二预设区域中，可以是第三人体区域的全部区域位于第二预设区域中，也可以是第三人体区域的部分区域位于第二预设区域中。可以理解为，在第三人体区域与第二预设区域存在重叠区域的情况下，确定第三人体区域位于第二预设区域中。

如上文所述，预设位置条件可以是预先设置的基于手部区域和人体区域之间的位置关系，判断是否进行手势识别的条件。

在一种可能的实现方式中，在第三手部区域与第三人体区域之间的位置关系满足预设位置条件的情况下，对第三手部区域进行手势识别，得到第三手势识别结果，可以理解为，在第三对象处于抬手状态的情况下，对第三对象的第三手部区域进行手势识别，得到第三手势识别结果，能够使得识别的手势更加有效，减少误操作。

在本公开实施例中，能够在第二对象未抬手时确定出第三对象，在第三对象抬手的情况下，对第三对象的手部区域进行手势识别，从而在多人场景下确定出有效的操控对象，提高手势识别的有效性，减少误操作。

可以知晓的是，对象在期望操控电子设备时，通常会处相对于电子设备或视频采集设备的视场角的中心区域，也就是说，视频帧中处于中心区域的对象是操控对象的概率较大。在一种可能的实现方式中，在第一预设区域为中心区域的情况下，可以认为处于第一预设区域的第二对象是操控对象的概率较大，处于第二预设区域的第三对象是操控对象的概率次之。

在一种可能的实现方式中，视频可以包括位于第一视频帧之后的第二视频帧，以及位于第二视频帧之后的第三视频帧；

在得到第三手势识别结果之后，所述手势识别方法还可以包括：

响应于在第三视频帧中，第二对象的第四手部区域与第二对象的第四人体区域之间的位置关系满足预设位置条件，对第四手部区域进行手势识别，得到第四手势识别结果。

在一种可能的实现方式中，如上文所述，第二视频帧可以是第一视频帧之后连续的视频帧，也可以是第一视频帧之后间隔一定帧数或一定时间的视频帧；相应的，第三视频帧可以是第二视频帧之后连续的视频帧，也可以是第二视频帧之后间隔一定帧数或一定时间的视频帧，对此本公开实施例不做限制。

可以理解的是，第三对象的第三手势识别结果可以包括有效手势识别结果和无效手势识别结果中的一项。

在一种可能的实现方式中，所述响应于在第三视频帧中，第二对象的第四手部区域与第二对象的第四人体区域之间的位置关系满足预设位置条件，对第四手部区域进行手势识别，可以理解为，在第二视频帧中是对第三对象的手部区域进行手势识别的情况下，检测到第三视频帧中第二对象处于抬手状态，由于第二对象作为操控对象的概率更大，可以切换到对第二对象的手部区域进行手势识别。

在一种可能的实现方式中，在第三视频帧中，第二对象的第四手部区域与第二对象的第四人体区域之间的位置关系还可能不满足预设位置条件。在第三视频帧中，如果第二对象的第四手部区域与第二对象的第四人体区域之间的位置关系不满足预设位置条件，则可继续判断第三对象的第五手部区域与第五人体区域之间的位置关系，并在满足预设位置条件的情况下，对第五手部区域进行手势识别，得到第五手势识别结果。

在本公开实施例中，能够在检测到处于第一预设区域中的第二对象处于抬手状态下，切换为对第二对象的手部区域进行手势识别，更加有效的确定出概率更大的操控对象，提高手势识别的准确性。

如上文所述，视频帧中处于中心区域的对象是操控对象的概率较大。在一种可能的实现方式中，第一预设区域可以包括视频的视频帧的中心区域；所述基于人体区域与第一预设区域之间的位置关系，从第一对象中确定第二对象，可以包括：

在第一预设区域包括多个人体区域的情况下，将多个人体区域中与第一预设区域之间的距离最小的人体区域，确定为第一人体区域；将第一人体区域对应的对象确定为第二对象。

可以理解的是，第一预设区域内可以包括一个人体区域或多个人体区域。在第一预设区域包括一个人体区域的情况下，可以直接将该人体区域确定为第一人体区域。

在一种可能的实现方式中，人体区域与第一预设区域之间的距离，可以根据人体区域的中心点与第一预设区域的中心点之间的距离；或者，还可以根据人体区域的中心点与第一预设区域的中心线之间的距离；或者还可以是人体区域的边界点与第一预设区域的中心线之间的距离等，对此本公开实施例不做限制。

需要说明的是，尽管以中心点、中心线和边界点作为示例介绍了如上人体区域与第一预设区域之间的距离的形式，本公开应不限于此。事实上，用户完全可以根据实际需求设定人体区域与第一预设区域之间距离的形式，本公开实施例不做限制。

在一种可能的实现方式中，可以根据基于视频帧建立坐标系，通过坐标确定多个人体区域与第一预设区域之间的距离。例如，可以通过多个人体区域的中心点坐标和第一预设区域的中心点坐标确定距离等。对于如何确定多个人体区域与第一预设区域之间的距离，本公开实施例不做限制。

在本公开实施例中，基于多个人体区域中与第一预设区域之间的距离确定第二对象，能够在第一预设区域包括多个人体区域的情况下，有效地确定出更靠近中间的对象，将该更靠近中间的对象作为操控对象，能够更贴近实际应用场景，提高手势识别的准确性。

可以知晓的是，人体通常包含两侧手。如果第一手部区域包括两个，且预设手势中包括双手手势(例如双手组成爱心的形状)，则可直接对两个第一手部区域进行手势识别；如果第一手部区域包括两个，且预设手势仅包括单手手势，则可进行手部区域的选择。

在一种可能的实现方式中，所述手势识别方法还可以包括：在第一手部区域包括两个，且预设手势为单手手势的情况下，将第一手部区域中的一个手部区域，确定为第一手部区域。

在一种可能的实现方式中，可以设置默认识别右侧手或左侧手。那么在第一手部区域包括两个，且预设手势为单手手势的情况下，可以将第一手部区域中的左侧手或右侧手的手部区域，确定为第一手部区域。

在一种可能的实现方式中，还可以通过身份认证、人脸识别等方式，识别第二对象身份，以基于用户数据判定第二对象的操作习惯，进而衡量选择左侧手的手部区域进行手势识别，或是选择右侧手的手部区域进行手势识别。例如，对于右撇子的人群，习惯抬起右侧手进行操作；而对于左撇子的人群，习惯抬起左侧手进行操作，通过记录对象的操作习惯，可以更有针对性的对手部区域进行识别。

在本公开实施例中，通过将两个手部区域中的一个手部区域，确定为待识别的手部区域，能够进一步提高手势识别的有效性。

如上文所述，预设位置条件可以是预先设置的基于手部区域和人体区域之间的位置关系，判断是否进行手势识别的条件。根据手部区域和人体区域之间的位置关系是否满足预设位置条件，可以确定对象是否处于抬手状态。

在一种可能的实现方式中，所述预设位置条件可以包括：目标对象的手部区域高度与胯部区域高度之间的第一高度差，大于或等于高度阈值；高度阈值可以与第二高度差正相关，第二高度差为目标对象的肩部区域高度与胯部区域高度之间的高度差，目标对象包括第二对象和第三对象中的至少一项。

在一种可能的实现方式中，目标对象的手部区域高度与胯部区域高度之间的第一高度差，可以是目标对象的手部位置与胯部位置之间的高度差。目标对象的肩部区域高度与胯部区域高度之间的高度差，可以是肩部位置与胯部位置之间的高度差。

如上文所述，通过人体关键点检测，可以确定出人体关节部位的关键点。在一种可能的实现方式中，通过基于视频帧建立坐标系，可以知晓各个人体关节部位的关键点坐标，从而可以确定出手部区域、胯部区域和肩部区域的位置。根据确定出的手部区域、胯部区域和肩部区域的位置，能够确定出目标对象的手部区域高度与胯部区域高度之间的第一高度差，和确定出目标对象的肩部区域高度与胯部区域高度之间的高度差。

图4示出根据本公开实施例的一种人体关键点的示意图。图4中的数字0-13分别代表检测出的人体关节部位的关键点，例如，0代表头部，1代表颈部，2和5代表肩部，3和6代表肘部，4和7代表手部，8和11代表胯部，9和12代表膝盖，10和13代表脚部。

以如图4所示的人体关键点为例，说明如何确定第一高度差和第二高度差。在以手部7的手部区域作为第一手部区域，也就是对手部7进行手势识别的情况下，手部7的位置可以是(x7,y7)，手部区域高度可以是y7；肩部5的位置可以是(x5,y5)，肩部区域高度可以是y5；胯部11的位置可以是(x11,y11)，胯部区域高度可以是y11。

在分别确定出手部区域高度、肩部区域高度和胯部区域高度后，手部区域高度与胯部区域高度之间的第一高度差可以是(y7-y11)，胯部区域高度与肩部区域高度之间的第二高度差可以是(y5-y11)。

需要说明的是，尽管以如图4所示的人体关键点作为示例介绍了如上确定胯部区域高度、肩部区域高度、手部区域高度、第一高度差及第二高度差的方式，本公开应不限于此。事实上，用户完全可以根据实际需求设定确定胯部区域高度、肩部区域高度、手部区域高度、第一高度差及第二高度差的方式，对此本公开实施例不做限制。

在一种可能的实现方式中，高度阈值可以是根据实际需求设定，例如，高度阈值可以是1/3的第二高度差，也可以是1/2的第二高度差等，对此本公开实施例不做限制。

在一种可能的实现方式中，在第一高度差大于或等于高度阈值的情况下，可以确定为手部区域与人体区域之间的位置关系满足预设位置条件，也即，可以认为此时目标对象处于抬手状态；在第一高度差小于高度阈值的情况下，可以确定为手部区域与人体区域之间的位置关系不满足预设位置条件，也即，可以认为此时目标对象处于未抬手状态；

以如图4所示的人体关键点为例，设高度阈值为1/3的第二高度差，也即高度阈值为[1/3×(y5-y11)]，则在(y7-y11)≥[1/3×(y5-y11)]的情况下，可以认为手部区域与人体区域之间满足预设位置条件；反之，则认为不满足预设位置条件。

在本公开实施例中，通过确定预设位置条件，能够在对象的手部抬到一定高度时，再对手部区域进行识别，可以减少对无需响应的手部区域的识别，提高手势识别效率。

图5示出根据本公开实施例的手势识别过程的示意图。如图5所示，输入待识别的视频；按照时序对输入的视频进行人体检测和手部检测；

针对输入的视频中的第一视频帧，在该第一视频帧中的第一对象为一个的情况下，将其直接确定为第二对象；并在第二对象的手部区域和人体区域之间满足上述预设位置条件(也即第二对象抬手)的情况下，识别第二对象的手势；

在第一视频帧中的第一对象为多个的情况下，可以根据上述人体区域与第一预设区域之间的位置关系，确定第二对象；

在第二对象的手部区域和人体区域之间满足上述预设位置条件(也即第二对象抬手)的情况下，识别第二对象的手势；

在第二对象的手部区域和人体区域之间不满足上述预设位置条件(也即第二对象未抬手)的情况下，根据各第一对象的人体区域与第二对象的人体区域之间的位置关系，确定第三对象；

在第三对象的手部区域和人体区域之间满足上述预设位置条件(也即第三对象抬手)的情况下，识别第三对象的手势。

针对第一视频帧之后的视频帧，在第一视频帧识别的手势为第二对象的手势的情况下，跟踪第二对象的手部区域，并在第二对象抬手的情况下识别该第二对象的手势；

在第一视频帧识别的手势为第三对象的手势的情况下，判断第二对象的手部区域和人体区域之间是否够满足上述预设位置条件(也即判断第二对象是否抬手)；

在第二对象的手部区域和人体区域之间满足上述预设位置条件(也即第二对象抬手)的情况下，切换为识别该第二对象的手势；

在第二对象的手部区域和人体区域之间不满足上述预设位置条件(也即第二对象仍然未抬手)，且第三对象的手部区域和人体区域之间满足上述预设位置条件(也即第三对象仍然抬手)的情况下，识别第三对象的手势。

根据本公开实施例，能够从多个对象中准确地确定出有效的操控对象，实现准确高效地识别操控对象发出的需要响应的手势。

根据本公开实施例的手势识别方法，采用中间人优先策略，能够从视频帧中检测到的多个人中确定中间人，并确定中间人的主操作手；在中间人的主操作手抬起时进行手势识别，从而能够准确确定操控人并识别需响应的手势，减少对非操作人的手势识别以及无需响应的手势的识别，减少误识别导致的误操作，从而提高手势的识别效率和准确率。

在相关技术中，通常以手部识别为维度，在多人多手的情况下，优先检测置信度最高的手势，没有多人多手的检测逻辑，无法正确的区分中间人的手势，识别效率较低，容易触发误操作。根据本公开实施例的手势识别方法，能够在多人的场景下优先识别中间人的手，且一直会检测跟踪，不会丢失。与相关技术相比，本公开实施例的方法能够减少检测及识别算法的计算量，提高处理性能，并且更有针对性，更能贴合实际场景中的使用条件。

根据本公开实施例的手势识别方法，可应用于远距离手势识别场景中，通过手势智能操控电子设备，例如电视、空调、冰箱等安装有摄像头的硬件设备。例如，电视内置或外接智能拍摄(camera)模组，模组中设置人工智能AI人体人手检测及手势识别算法，通过本公开实施例的手势识别方法得到手势识别结果，通过手势结果来操控电视，例如通过图2b的胜利手势触发自动拍照功能等。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

此外，本公开还提供了手势识别装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种手势识别方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图6示出根据本公开实施例的手势识别装置的框图，如图6所示，所述装置包括：

获取模块101，用于获取待识别的视频；

检测模块102，用于对所述视频进行人体检测，得到所述视频包括的第一对象的数量；

识别模块103，用于按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果。

在一种可能的实现方式中，所述第一对象的数量大于或等于两个，所述视频包括第一视频帧；所述识别模块103，包括：第一获取子模块，用于在所述第一视频帧中，分别获取所述第一对象中每个对象的人体区域以及手部区域；第一确定子模块，用于基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定第二对象，所述每个对象的人体区域包括所述第二对象的第一人体区域，所述每个对象的手部区域包括所述第二对象的第一手部区域，所述第一人体区域位于所述第一预设区域中；第一识别子模块，用于在所述第一手部区域与所述第一人体区域之间的位置关系满足预设位置条件的情况下，对所述第一手部区域进行手势识别，得到第一手势识别结果。

在一种可能的实现方式中，所述第一手势识别结果包括有效手势识别结果和无效手势识别结果中的一项。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧；在所述第一手势识别结果包括无效手势识别结果的情况下，所述识别模块103，还包括：第二获取子模块，用于在所述第二视频帧中，分别获取所述第二对象的第二人体区域及第二手部区域；第二识别子模块，用于在所述第二手部区域与所述第二人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第二手部区域进行手势识别，得到第二手势识别结果。

在一种可能的实现方式中，所述每个对象的人体区域包括第三对象的第三人体区域，所述每个对象的手部区域包括所述第三对象的第三手部区域；所述识别模块103，还包括：第二确定子模块，用于在所述第一手部区域与所述第一人体区域之间的位置关系不满足所述预设位置条件的情况下，从所述第一对象中确定所述第三对象，所述第三人体区域位于第二预设区域中；第三识别子模块，用于在所述第三手部区域与所述第三人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第三手部区域进行手势识别，得到第三手势识别结果。

在一种可能的实现方式中，所述第二预设区域与所述第一预设区域部分重叠，或所述第二预设区域与所述第一预设区域相邻。

在一种可能的实现方式中，所述视频包括位于所述第一视频帧之后的第二视频帧，以及位于所述第二视频帧之后的第三视频帧；在所述得到第三手势识别结果之后，所述装置还包括：第四识别子模块，用于响应于在所述第三视频帧中，所述第二对象的第四手部区域与所述第二对象的第四人体区域之间的位置关系满足所述预设位置条件，对所述第四手部区域进行手势识别，得到第四手势识别结果。

在一种可能的实现方式中，所述第一预设区域包括所述视频的视频帧的中心区域；所述第一确定子模块，包括：人体区域确定单元，用于在所述第一预设区域包括多个人体区域的情况下，将所述多个人体区域中与所述第一预设区域之间的距离最小的人体区域，确定为所述第一人体区域；对象确定单元，用于将所述第一人体区域对应的对象确定为所述第二对象。

在一种可能的实现方式中，所述装置还包括：手部区域确定模块，用于在所述第一手部区域包括两个，且预设手势为单手手势的情况下，将所述第一手部区域中的一个手部区域，确定为所述第一手部区域。

在一种可能的实现方式中，所述预设位置条件包括：目标对象的手部区域高度与胯部区域高度之间的第一高度差，大于或等于高度阈值，所述高度阈值与第二高度差正相关，所述第二高度差为所述目标对象的肩部区域高度与所述胯部区域高度之间的高度差，所述目标对象包括所述第二对象和第三对象中的至少一项。

在一种可能的实现方式中，所述装置还包括：控制模块，用于在所述手势识别结果为有效手势识别结果的情况下，控制电子设备执行与所述有效手势识别结果对应的操作。

在本公开实施例中，通过对视频进行人体检测，得到视频包括的第一对象的数量，按照与第一对象的数量对应的手势识别方式，对视频中的手势进行识别，得到手势识别结果，能够根据视频中人物数量选择对应的手势识别方式进行手势识别，从而提高多人场景的手势识别效果。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的手势识别方法的指令。

本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的手势识别方法的操作。

电子设备可以被提供为终端、服务器或其它形态的设备。

图7示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图7，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(WiFi)，第二代移动通信技术(2G)或第三代移动通信技术(3G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图8示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如微软服务器操作***(Windows Server^TM)，苹果公司推出的基于图形用户界面操作***(Mac OSX^TM)，多用户多进程的计算机操作***(Unix^TM),自由和开放原代码的类Unix操作***(Linux^TM)，开放原代码的类Unix操作***(FreeBSD^TM)或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种手势识别方法，其特征在于，所述方法包括：

获取待识别的视频；

对所述视频进行人体检测，得到所述视频包括的第一对象的数量；

按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果；

其中，所述视频包括第一视频帧，在所述第一对象的数量大于或等于两个的情况下，所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，包括：

在所述第一视频帧中，分别获取所述第一对象中每个对象的人体区域以及手部区域；

基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定第二对象，所述每个对象的人体区域包括所述第二对象的第一人体区域，所述每个对象的手部区域包括所述第二对象的第一手部区域，所述第一人体区域位于所述第一预设区域中；

在所述第一手部区域与所述第一人体区域之间的位置关系满足预设位置条件的情况下，对所述第一手部区域进行手势识别，得到第一手势识别结果，所述预设位置条件包括预先设置的基于手部区域和人体区域之间的位置关系，判断是否进行手势识别的条件。

2.根据权利要求1所述的方法，其特征在于，所述第一手势识别结果包括有效手势识别结果和无效手势识别结果中的一项。

3.根据权利要求1或2所述的方法，其特征在于，所述视频包括位于所述第一视频帧之后的第二视频帧；

在所述第一手势识别结果包括无效手势识别结果的情况下，所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，还包括：

在所述第二视频帧中，分别获取所述第二对象的第二人体区域及第二手部区域；

在所述第二手部区域与所述第二人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第二手部区域进行手势识别，得到第二手势识别结果。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述每个对象的人体区域包括第三对象的第三人体区域，所述每个对象的手部区域包括所述第三对象的第三手部区域；

所述按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果，还包括：

在所述第一手部区域与所述第一人体区域之间的位置关系不满足所述预设位置条件的情况下，从所述第一对象中确定所述第三对象，所述第三人体区域位于第二预设区域中；

在所述第三手部区域与所述第三人体区域之间的位置关系满足所述预设位置条件的情况下，对所述第三手部区域进行手势识别，得到第三手势识别结果。

5.根据权利要求4所述的方法，其特征在于，所述第二预设区域与所述第一预设区域部分重叠，或所述第二预设区域与所述第一预设区域相邻。

6.根据权利要求4或5所述的方法，其特征在于，所述视频包括位于所述第一视频帧之后的第二视频帧，以及位于所述第二视频帧之后的第三视频帧；

在所述得到第三手势识别结果之后，所述方法还包括：

响应于在所述第三视频帧中，所述第二对象的第四手部区域与所述第二对象的第四人体区域之间的位置关系满足所述预设位置条件，对所述第四手部区域进行手势识别，得到第四手势识别结果。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述第一预设区域包括所述视频的视频帧的中心区域；

所述基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定所述第二对象，包括：

在所述第一预设区域包括多个人体区域的情况下，将所述多个人体区域中与所述第一预设区域之间的距离最小的人体区域，确定为所述第一人体区域；

将所述第一人体区域对应的对象确定为所述第二对象。

8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述方法还包括：

在所述第一手部区域包括两个，且预设手势为单手手势的情况下，将所述第一手部区域中的一个手部区域，确定为所述第一手部区域。

9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述预设位置条件包括：

目标对象的手部区域高度与胯部区域高度之间的第一高度差，大于或等于高度阈值，所述高度阈值与第二高度差正相关，所述第二高度差为所述目标对象的肩部区域高度与所述胯部区域高度之间的高度差，所述目标对象包括所述第二对象和第三对象中的至少一项。

10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述方法还包括：

在所述手势识别结果为有效手势识别结果的情况下，控制电子设备执行与所述有效手势识别结果对应的操作。

11.一种手势识别装置，其特征在于，包括：

获取模块，用于获取待识别的视频；

检测模块，用于对所述视频进行人体检测，得到所述视频包括的第一对象的数量；

识别模块，用于按照与所述第一对象的数量对应的手势识别方式，对所述视频中的手势进行识别，得到手势识别结果；

其中，所述视频包括第一视频帧，在所述第一对象的数量大于或等于两个的情况下，所述识别模块，包括：第一获取子模块，用于在所述第一视频帧中，分别获取所述第一对象中每个对象的人体区域以及手部区域；第一确定子模块，用于基于所述人体区域与第一预设区域之间的位置关系，从所述第一对象中确定第二对象，所述每个对象的人体区域包括所述第二对象的第一人体区域，所述每个对象的手部区域包括所述第二对象的第一手部区域，所述第一人体区域位于所述第一预设区域中；第一识别子模块，用于在所述第一手部区域与所述第一人体区域之间的位置关系满足预设位置条件的情况下，对所述第一手部区域进行手势识别，得到第一手势识别结果，所述预设位置条件包括预先设置的基于手部区域和人体区域之间的位置关系，判断是否进行手势识别的条件。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至10中任意一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。

Images