CN114360047A - 举手手势识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供举手手势识别方法、装置、电子设备以及存储介质。上述举手手势有效性识别方法，通过已训练的目标检测模型对待识别图像进行手势识别，得到存在举手手势的待检测图像，进一步检测目标手掌的各个关键点在待检测图像中的位置，若上述各个关键点位置关系能够满足依据举手手势所确定的M个特征中的至少N个，则识别到的举手手势为有效手势。在通过目标检测模型识别到举手手势后，在关键点位置关系满足举手手势的多个属性时，认定识别到的举手手势确实有效，由此，可以进一步提高举手手势的识别精确度，避免神经网络模式的误识别所带来的影响，特别适用于对手势识别有一定精度要求的应用场景。

Description

举手手势识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人机交互领域，尤其涉及举手手势识别方法、装置、电子设备及存储介质。

背景技术

由于计算机视觉技术的发展，在人机交互领域，基于计算机视觉的手势控制已经成为被广泛应用的一种交互方式，手势控制通常是使用摄像头跟踪人体动作行为，通过人的动作姿态向设备发送控制指令。这样可以无需遥控器等控制设备，或鼠标键盘等传统输入输出设备，即可在一定距离范围内实现徒手遥控设备。目前对手势的识别最为常用的方法是：通过深度神经网络进行学习后，利用训练好的神经网络模型对图像中的手势进行识别，但是，由于各种原因，例如训练样本标注不准确、训练数量不够，或是不同样本间差异性、神经网络模型自身精度限制等，即便是训练好的神经网络模型，也经常会出现误识别的情况。

发明内容

基于上述现状，本申请的主要目的在于提供举手手势识别方法、装置、电子设备及存储介质，在神经网络识别到举手手势后，通过关键点和举手手势的特征进一步确认举手手势的有效性，以提高识别精度。

为实现上述目的，本申请采用的技术方案如下：

一种举手手势识别方法，所述方法包括：

通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

对所述待检测图像中的目标手掌进行关键点检测，确定所述目标手掌的各个关键点在所述待检测图像中的位置；

在所述各个关键点的位置关系满足预设的M个属性中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效手势；其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

可选地，所述手势识别的结果包括所述目标手掌的检测框，所述得到待检测图像包括：

依据所述手势识别结果，将存在所述举手手势的待识别图像确定为第一图像；

依据所述目标手掌的检测框从所述第一图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像，其中，所述检测框涵盖所述目标手掌。

可选地，所述M个属性的类型包括大小属性、竖直方向属性、水平方向属性以及朝向属性，其中，

所述大小属性表示所述目标手掌的大小属性；

所述竖直方向属性所述目标手掌各手指竖直方向的位置关系；

所述水平方向属性表示所述目标手掌各手指在水平方向的位置关系；

所述朝向属性表示所述目标手掌面向被拍摄方向的角度。

可选地，所述大小属性包括属性1和属性2；

所述属性1为：所述各个关键点的坐标中，水平最大差值大于等于所述待检测图像水平宽度的一半，竖直最大差值大于等于所述待检测图像竖直高度的一半；

所述属性2为：所述目标手掌的高度h与宽度w的关系为：h>w且h<2w，其中所述竖直最大差值为所述高度h，所述水平最大差值为所述宽度w。

可选地，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述竖直方向属性包括属性3、属性4和属性5；

所述属性3为：掌根关键点位于所述各个关键点的最下方；

所述属性4为：食指指尖关键点、中指指尖关键点、无名指尖关键点中，至少有一个位于所述各个关键点的最上方；

所述属性5为：小指上的所有关键点的位置在竖直方向上为依次向上。

可选地，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述水平方向属性包括属性6、属性7和属性8；

所述属性6为：大拇指指尖关键点位于所述各关键点的最左边或最右边；

所述属性7为：食指根部关键点和小指根部关键点的连线与水平方向的夹角小于预设值；

所述属性8为：所述小指根部关键点、无名指根部关键点、中指根部关键点、所述食指根部关键点的位置在水平方向上为依次向左或依次向右。

可选地，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述朝向属性包括属性9；

所述属性9为：所述食指根部关键点和所述小指根部关键点的距离d1，与所述掌根关键点和所述无名指根部关键点距离d2之间的关系为：d2<1.5d1。

本申请实施例还提供一种举手手势识别装置，所述装置包括：

手势预识别模块，用于通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

关键点检测模块，用于对所述待检测图像中的目标手掌进行关键点检测，确定所述目标手掌的各个关键点在所述待检测图像中的位置；

有效性确认模块，用于在所述各个关键点的位置关系满足预设的M个特征中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效，其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

可选地，手势预识别模块得到待检测图像包括：

将存在所述举手手势的待识别图像确定为第一图像；

依据所述目标手掌的检测框从所述第一图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。

可选地，所述有效性确认模块中，所述M个属性的类型包括大小属性、竖直方向属性、水平方向属性以及朝向属性，其中，

所述大小属性表示所述目标手掌的大小属性；

所述竖直方向属性所述目标手掌各手指竖直方向的位置关系；

所述水平方向属性表示所述目标手掌各手指在水平方向的位置关系；

所述朝向属性表示所述目标手掌面向被拍摄方向的角度。

可选地，所述有效性确认模块中，所述大小属性包括属性1和属性2；

所述属性1为：所述各个关键点的坐标中，水平最大差值大于等于所述待检测图像水平宽度的一半，竖直最大差值大于等于所述待检测图像竖直高度的一半；

所述属性2为：所述目标手掌的高度h与宽度w的关系为：h>w且h<2w，其中所述竖直最大差值为所述高度h，所述水平最大差值为所述宽度w。

可选地，所述有效性确认模块中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述竖直方向属性包括属性3、属性4和属性5；

所述属性3为：掌根关键点位于所述各个关键点的最下方；

所述属性4为：食指指尖关键点、中指指尖关键点、无名指尖关键点中，至少有一个位于所述各个关键点的最上方；

所述属性5为：小指上的所有关键点的位置在竖直方向上为依次向上。

可选地，所述有效性确认模块中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述水平方向属性包括属性6、属性7和属性8；

所述属性6为：大拇指指尖关键点位于所述各关键点的最左边或最右边；

所述属性7为：食指根部关键点和小指根部关键点的连线与水平方向的夹角小于预设值；

所述属性8为：所述小指根部关键点、无名指根部关键点、中指根部关键点、所述食指根部关键点的位置在水平方向上为依次向左或依次向右。

可选地，所述有效性确认模块中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述朝向属性包括属性9；

所述属性9为：所述食指根部关键点和所述小指根部关键点的距离d1，与所述掌根关键点和所述无名指根部关键点距离d2之间的关系为：d2<1.5d1。

本申请实施例还提供一种电子设备，包括处理器，所述处理器用于实现如上所述的举手手势识别方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行如上所述的举手手势识别方法。

有益效果：

本申请实施例采用上述方法，通过已训练的目标检测模型对待识别图像进行手势识别，得到存在举手手势的待检测图像，进一步检测目标手掌的各个关键点在待检测图像中的位置，若上述各个关键点位置关系能够满足依据举手手势所确定的M个属性中的至少N个，则识别到的举手手势为有效。在通过目标检测模型识别到举手手势后，在关键点位置关系满足举手手势的多个属性时，认定识别到的举手手势为有效手势，由此，可以进一步提高举手手势的识别精确度，避免神经网络模型的误识别所带来的影响，特别适用于对手势识别有一定精度要求的应用场景。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对根据本发明的优选实施方式进行描述。图中：

图1所示是本申请一实施方式中举手手势识别方法的流程示意图；

图2所示是本申请一实施方式中一目标手掌21个关键点示意图；

图3所示是本申请一实施方式中对目标手掌各手指关键点建立的坐标系示意图；

图4所示是本申请一实施方式中举手手势识别装置的功能框图；

图5所示是用来实现本申请公开实施例的电子设备的结构示意图。

具体实施方式

为了对本申请的技术方案进行更详细的说明，以促进对本申请的进一步理解，下面结合附图描述本申请的具体实施方式。但应当理解，所有示意性实施例及其说明用于解释本申请，并不构成对本申请的唯一限定。

本申请中，“第一”、“第二”、“第三”、“第四”等仅仅用于描述目的，并不能理解为指示或暗示相对重要性。

目前的手势控制，通常需要连续识别多个不同的手势，才能得到一个完整的控制手势。申请人发现，对于不同的各种连续手势，通常是以举手作为开始动作或结束动作，因此，如果举手手势识别错误，很容易导致后续其他手势也识别错误，并且，举手手势在各种使用场景被使用到的次数也是最多的，举手手势和用户的很多无意识手势也非常接近，此类无意识手势也容易被误识别为举手手势，因此，手势控制中，对于举手手势的识别准确度要求相比于其他手势要求更高。

为便于对本申请公开的各个实施例进行理解，首先对本申请各个实施例所公开的举手手势识别方法进行详细介绍。本申请各个实施例所提供的举手手势识别方法的执行主体一般可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在具有一定计算能力的电子设备中，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、交互式智能显示设备等的固定终端等。在一些可能的实现方式中，该举手手势识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参考图1所示，为本申请一实施例所提供的举手手势识别方法的流程示意图，所述方法包括步骤S100-S300：

S100，通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

S200，对所述待检测图像中的目标手掌进行关键点检测，确定所述目标手掌的各个关键点在所述待检测图像中的位置；

S300，在所述各个关键点的位置关系满足预设的M个属性中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效手势，；其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

本申请实施例采用上述方法，对于通过已经训练好的目标检测模型识别到的举手手势所在的待检测图像，进一步检测目标手掌的各个关键点在待检测图像中的位置，若上述各个关键点位置关系能够满足依据举手手势所确定的M个属性中的至少N个，则识别到的举手手势为有效。在通过目标检测模型识别到举手手势后，在关键点位置关系满足举手手势的多个属性时，认定识别到的举手手势为有效手势，输出手势识别结果，由此，可以进一步提高举手手势的识别精确度，避免神经网络模型的误识别所带来的影响，特别适用于对手势识别有一定精度要求的应用场景。

以下对步骤S100-S300进行详细的说明：

步骤S100中，在手势识别中，视频信号通常通过摄像头拍摄的电子设备控制者的动作获得，在需要实现检测的场景中，摄像头获取的视频信号的数据通常以帧为单位，或以块为单位存储在***内存中，处理器从内存中可以获取到一帧一帧的图像，对每一帧获取的图像进行预处理，预处理包括如缩放、增强等操作，得到待识别图像。目标检测模型可以为预先训练好的神经网络模型，示例性的，可以采用例如Yolo-v1、Yolo-v2、Yolo-v3、Yolo-v4网络结构，SSD网络结构，FPN网络结构等神经网络模型，对大量的样本图像进行标注后，对上述神经网络模型进行训练。训练好的目标检测模型可以对待识别图像中的手掌进行手势手别，以确定该待识别图像中的手势类型是不是举手手势，如果是，则将该待识别图像为待检测图像，或者从该待识别图像中截取出包含目标手掌的一个子图像作为待检测图像。可以理解的，手势识别结果包括手势的类型，以及一个检测框用于定位该手势的具***置，手掌通常被包含在检测框内。

进一步的，在一优选实施例中，步骤S100中，得到待检测图像包括：

S101，依据所述手势识别结果，将存在所述举手手势的待识别图像确定为第一图像；

S102，依据所述目标手掌的检测框从所述第一图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像，其中，所述检测框涵盖所述目标手掌。

上述步骤S101和S102中，目标检测模型对待识别图像进行手势识别时，在识别到手掌时会生成一个检测框，该检测框通常为矩形框，涵盖了识别到手掌，若识别到任一待识别图像中存在举手手势，将所述待识别图图像确定为第一图像，根据手势识别时确定的检测框，从所述第一图像中裁剪出一个包含所述目标手掌的子图像，将裁剪出的子图像作为待检测图像。

采用上述实施例的方案，识别到举手手势所在的第一图像后，根据手掌的检测框从第一图像中裁剪图包含所述目标手掌的子图像作为待检测图像，这样，后续进行关键点检测时无需对整个待识别图像进行检测，可以减少计算量，加快检测速度。

可以理解，此处生成检测框时，也可以仅仅只是确定检测框的相关边界数据，而不必在图像上显示检测框。

步骤S200中，人体手掌的关键点通常为各骨节点。关键点检测可以通过预先训练好的关键点检测模型进行，关键点检测模型可以采用深度神经网络模型，示例性的，可以采用例如ResNet网络结构、MobileNet网络结构、NASNet网络结构等深度神经网络模型。

关键点检测模型可以为不同数量的关键点检测模型，示例性的，可以为21个关键点检测模式，如图2所示，为最常见的手掌21个关键点的示意图，本申请后续实施例中均以的关键点检测模型输出21个关键点为例进行说明，但不代表本申请各实施例中只能采用21个关键点，本申请的举手手势识别方法可以适用于采用任何数量的关键点检测模型，例如，也可以是14个关键点。关键点检测模型训练时，可以对样本图进行如图2所示的标注后输入关键点检测模型进行训练，训练完毕的关键点检测模型对于每个输入的检测图像，最终会输出21个关键点的位置。

步骤S300中，根据姿势的不同，每个手势都有其独有的属性，这些属性可以通过手掌不同关键点的位置关系体现。标准的举手手势造型为：伸出手掌，四指方向基本朝上，拇指展开，掌心或掌背面对拍摄方向。标准的举手手势中，手掌的大小、各手指在竖直方向上、水平方向上的指向以及手掌的朝向都体现出与其他手势不同的属性，而某一个手掌是否具备这些属性可以通过该手掌不同关键点的位置关系来确认。因此，当待检测图像中目标手掌的各个关键点的位置关系可以满足举手手势的M个属性中的不少于N个时，可以认定目标检测模型所检测到的举手手势是有效手势，而不是误检测。

在本实施例中，举手手势的M个属性可以根据目标检测模型对于举手手势识别的准确性的不同，从众多属性中选择不同的属性类型，M个属性可以包括大小属性、竖直方向属性、水平方向属性以及朝向属性。M和N的取值也取决于所采用的目标检测模型的类型以及其准确度，准确度越高，则M取值可以越小，N和M越接近，反之，则M的取值越大，且N和M之间的差值越大。示例性的，若目标检测侧模型对于举手手势不同类型的属性的识别准确度并无差别，且准确度较高，则M可以4，N可以取3，M个属性可以包括从大小属性、竖直方向属性、水平方向属性以及朝向属性中各选1个。

在待检测图像中，可以建立一个xy平面坐标系，以更好定位所述目标手掌中关键点的位置，并通过坐标计算出各个关键点的相互关系，进而确认是否符合某一属性。如图3所示，是对图2手掌建立坐标系一示例图。

所述大小属性条件表示所述目标手掌的大小属性，例如，整个手掌的大小在待检测图像中所占的比例通常要超过一半、正常手掌的掌宽和掌高通常满足预设的关系、正常手掌的掌高和中指的指长通常满足一定的关系等，上述属性都可以通过计算各个关键点的位置坐标来验证。

所述竖直方向属性条件所述目标手掌各手指竖直方向的位置属性，例如，每个手指的指向都为竖直向上，中指通常为最长，掌根在最下方等，上述属性都可以通过计算各个关键点的位置坐标来验证。

所述水平方向属性表示所述目标手掌各手指在水平方向的位置属性，例如，拇指或小指在最边缘的位置，中间三指的根部基本平齐(连线接近水平)、小指、无名指、中指、食指依次为从左至右或从右至左等，上述属性都可以通过计算各个关键点的位置坐标来验证。

所述朝向属性表示所述目标手掌面向被拍摄方向的角度属性，例如，掌心或掌背通常都是正面面向拍摄对象，上述属性都可以通过计算各个关键点的位置坐标来验证，例如，掌心或掌背如果正面朝向拍摄对象，则食指根部到小指根部的距离，与手掌根部到其他各手指根部的距离之间通常满足一定的关系。

在一可选实施例中，所述大小属性包括属性1和属性2。

所述属性1为：所述各个关键点的坐标中，水平最大差值大于等于所述待检测图像水平宽度的一半，竖直最大差值大于等于所述待检测图像竖直高度的一半；

所述属性2为：所述目标手掌的高度h与宽度w的关系为：h>w且h<2w，其中所述竖直最大差值为所述高度h，所述水平最大差值为所述宽度w。

在本实施例中，选择上述属性1和2作为大小属性中的2个属性来对目标检测模型检测到的举手手势进行确认。在所有的大小属性中，手掌大小在待检测图像中所占的比例以及手掌自身宽度和高度的关系是最有代表性的两个属性，如果一个手掌的大小在待检测图像中所占的比例很小，说明该手掌实际可能并不是手掌，或是说明目标检测模型的检测框有问题，导致裁剪的子图像存在问题，如果手掌自身的宽度和高度之间的关系与常规手掌不一致，说明该手掌也可能不是常规手掌，或是掌心或掌背有一定内卷，并不是举手手势。

仍旧以图3为例，如图所示，此时，所有关键点中，关键点4为最左的关键点，关键点20为左右的关键点，则水平最大差值，也即手掌宽度w＝X₂₀-X₄，关键点12为最上的关键点，关键点0为左右的关键点，则竖直最大差值，也即手掌高度h＝Y₀-X₁₂。

可以理解的是，图3中坐标系以像素为单位，这样，求得手掌宽度w和手掌高度h后，可以直接与待检测图像的宽度和高度比较，无需转换。

在一可选实施例中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述竖直方向属性包括属性3、属性4和属性5。

所述属性3为：掌根关键点位于所述各个关键点的最下方；

所述属性4为：食指指尖关键点、中指指尖关键点、无名指尖关键点中，至少有一个位于所述各个关键点的最上方；

所述属性5为：小指上的所有关键点的位置在竖直方向上为依次向上。

在本实施例中，选择上述属性3、属性4和属性5作为竖直方向属性中的3个代表属性来对目标检测模型检测到的举手手势进行确认。在所有的竖直方向属性中，掌根位置、中间三指的指尖位置以及四指的指向是最具代表性的。掌根关键点在所有关键点的最下方，可以通过比较所有关键点y方向的坐标值确定，如果该关键点不在最下方，则说明此时不是举手手势。如果手指没有蜷缩而是竖直向上的状态，则通常中间三指的指尖通常至少有一个在所有关键点的最上面，这同样可以通过比较所有关键点y方向的坐标值确定，同时，如果为举手手势，则除拇指往外的其他四个手指，其指向都为竖直向上，本实施例中，因为属性4中已经对其他手指进行了确认，因此在选择小指作为确认属性5的手指，如果小指上所有关键点的位置在竖直方向上是依次向上的，则说明满足手指指向为竖直向上。

仍旧以图3为例，如图所示，此时，所有关键点中，关键点0为掌根关键点，比较所有关键点的y坐标，若关键点0位于最下方，则满足属性3。关键点8、12、16分别为中间三指的指尖关键点，比较所有关键点的y坐标，若关键点8、12、16至少有一个位于最上方，则满足属性4。关键点17、18、19、20为小指上的所有关键点(包括骨节关键点和指尖关键点)，若关键点17、18、19、20的y坐标是增大的，则说明小指是竖直向上的，满足属性5。

在一可选实施例中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述水平方向属性包括属性6、属性7和属性8。

所述属性6为：大拇指指尖关键点位于所述各关键点的最左边或最右边；

所述属性7为：食指根部关键点和小指根部关键点的连线与水平方向的夹角小于预设值；

所述属性8为：所述小指根部关键点、无名食指根部关键点、中指根部关键点、所述食指尖关键点的位置在水平方向上为依次向左或依次向右。

在本实施例中，选择上述属性6、属性7和属性8作为水平方向属性中的3个代表属性来对目标检测模型检测到的举手手势进行确认。在所有的水平方向属性中，拇指各关键点的位置、各手指根部位置之间的关系是最具代表性的。大拇指指尖关键点位于所述各关键点的最左边或最右边，可以通过比较所有关键点x方向的坐标值确定，如果该关键点不在最左边或最右边，说明此时拇指并未展开，则此时不是举手手势，反之，则符合举手手势的属性。如果食指根部关键点和小指根部关键点的连线与水平方向的夹角不在预设范围内，即小于预设值，则说明手掌很可能是倾斜的，有一定指向，而不是竖直向上的举手手指，此处，通过统计不同用户的举手手势，预设值通常小于30°，如果食指根部关键点和小指根部关键点的连线与水平方向的夹角在0°到30°之间，则认定为符合属性7。同时，若小指根部关键点、无名食指根部关键点、中指根部关键点、食指尖关键点的位置在水平方向上为依次向左或依次向右，则说明符合属性8，也即手掌各手指基本上是处于一个竖直向上的状态。

仍旧以图3为例，如图所示，此时，关键点4为拇指指尖关键点，比较所有关键点的x坐标，若关键点4位于最左边或最右边，则满足属性6。关键点5、9、13、17分别为其他四指的根部关键点，若关键点5、9、13、17的x坐标是向右增大(若为掌背，则是向左增大)，则说明各个手指是正常排列的，竖直向上的，最满足属性8。若关键点5、17的连线与x轴形成的夹角在在0°到30°之间，则说明各手指基本是竖直向上的，根部关键点基本在x方向上基本平齐。

在一可选实施例中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述朝向属性包括属性9。

所述属性9为：所述食指根部关键点和所述小指根部关键点的距离d1，与所述掌根关键点和所述无名指根部关键点距离d2之间的关系为：d2<1.5d1。

在本实施例中，上述属性9可以确认手掌被拍摄时是否为正对拍摄方向。通过对不同样本图像统计可以确认，当手掌正对拍摄方向时做出举手手势时，则通常满足d2<1.5d1。

仍旧以图3为例，如图所示，此时，关键点5为食指根部关键点，关键点17为小指根部关键点，关键点13为食指根部关键点，关键点0为掌根关键点，则若关键点的5和关键点17的距离d1，与关键点0到关键点13的距离d2满足d2<1.5d1，则可以认定为手掌的朝向满足举手手势的朝向属性。

可以理解的，在其他实施例中，也可以计算掌根关键点到其他手指根部关键点的距离dx与上述d1的关系，主要同样满足上述dx<1.5d1,也可认为手掌的朝向满足举手手势的朝向属性。

可以理解的，上述各属性之间并不存在先后关系，每个类型的属性中，也可以替换为其他可以代表该类型属性的其他属性。

在一具体的应用场景中，M可以取9，N取7，此时，通过目标检测模型确定了举手手势后，检测到手掌的21个关键点后，可以通过21个关键点的位置关系，确认能够满足上述9个属性中的至少7个，则可以确认该举手手势为有效手势。

请参考图4，所示是本申请一实施例提供的举手手势有效性识别装置的功能模块示意图，如图所示，举手手势识别装置100包括：

手势预识别模块110，用于通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

关键点检测模块120，用于对所述待检测图像中的手掌进行关键点检测，确定手掌的各个关键点在所述待检测图像中的位置；

有效性确认模块130，用于在所述各个关键点的位置关系满足预设的M个特征中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效，其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

本实施例中，手势预识别模块110得到待检测图像包括：

将存在所述举手手势的待识别图像确定为第一图像；

依据所述目标手掌的检测框从所述第一图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。

在一可选实施例中，有效性确认模块130中，所述M个属性的类型包括大小属性、竖直方向属性、水平方向属性以及朝向属性，其中，

所述大小属性表示所述目标手掌的大小属性；

所述竖直方向属性所述目标手掌各手指竖直方向的位置关系；

所述水平方向属性表示所述目标手掌各手指在水平方向的位置关系；

所述朝向属性表示所述目标手掌面向被拍摄方向的角度。

在一可选实施例中，有效性确认模块130中，所述大小属性包括属性1和属性2；

所述属性1为：所述各个关键点的坐标中，水平最大差值大于等于所述待检测图像水平宽度的一半，竖直最大差值大于等于所述待检测图像竖直高度的一半；

所述属性2为：所述目标手掌的高度h与宽度w的关系为：h>w且h<2w，其中所述竖直最大差值为所述高度h，所述水平最大差值为所述宽度w。

在一可选实施例中，有效性确认模块130中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述竖直方向属性包括属性3、属性4和属性5；

所述属性3为：掌根关键点位于所述各个关键点的最下方；

所述属性4为：食指指尖关键点、中指指尖关键点、无名指尖关键点中，至少有一个位于所述各个关键点的最上方；

所述属性5为：小指上的所有关键点的位置在竖直方向上为依次向上。

在一可选实施例中，有效性确认模块130中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述水平方向属性包括属性6、属性7和属性8；

所述属性6为：大拇指指尖关键点位于所述各关键点的最左边或最右边；

所述属性7为：食指根部关键点和小指根部关键点的连线与水平方向的夹角小于预设值；

所述属性8为：所述小指根部关键点、无名指根部关键点、中指根部关键点、所述食指根部关键点的位置在水平方向上为依次向左或依次向右。

在一可选实施例中，有效性确认模块130中，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述朝向属性包括属性9；

所述属性9为：所述食指根部关键点和所述小指根部关键点的距离d1，与所述掌根关键点和所述无名指根部关键点距离d2之间的关系为：d2<1.5d1。

上述各实施例中的举手手势识别装置100具有的功能可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。

下面参考图5，其示出了适于用来实现本申请公开实施例的电子设备50的结构示意图。本实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、交互式智能显示设备等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本申请公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备50可以包括处理器(例如中央处理器、图形处理器等)501，其可以根据存储在存储器501中的不同应用程序代码而执行各种适当的动作和处理。所述存储器501可以包括随机访问存储器(RAM)、只读存储器(ROM)在RAM 503中，存储有电子设备50操作所需的各种程序和数据。存储器501、处理器502以及通信接口503可以通过线连接，例如，通过总线504彼此相连。通信接口503可以允许电子设备50与其他设备进行无线或有线通信以交换数据。

在本申请的实施例中，处理器502执行存储器501中存储的应用程序代码时，可以执行如图1实施例所提供所述的举手手势识别方法。

虽然图中示出了具有各种装置的电子设备50，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本申请前述公开的实施例，上文参考图1实施例流程图描述的过程可以被实现为计算机程序。例如，本申请实施例还提供包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1实施例流程图的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信接口503从网络上被下载和安装，或者从存储器508被安装。在该计算机程序被处理器502执行时，执行上述实施例的方法中限定的上述功能。

需要说明的是，上述的计算机可读介质可以包括但不限于：可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器802也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-statedrive，SSD)；存储器502还可以包括上述种类的存储器的组合。

在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

在一可选实施例中，本申请实施例还提供了一种计算机存储介质，可以用于计算机软件指令，包含计算机程序，该计算机程序被处理器运行时，执行如上述实施例中所述的举手手势识别方法。该存储介质包括但不限于快闪存储器、硬盘、固态硬盘。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本申请的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本申请的权利要求范围内。

Claims (10)

1.一种举手手势识别方法，其特征在于，所述方法包括：

通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

对所述待检测图像中的目标手掌进行关键点检测，确定所述目标手掌的各个关键点在所述待检测图像中的位置；

在所述各个关键点的位置关系满足预设的M个属性中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效手势；其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

2.如权利要求1所述的举手手势识别方法，其特征在于，所述手势识别的结果包括所述目标手掌的检测框，所述得到待检测图像包括：

依据所述手势识别结果，将存在所述举手手势的待识别图像确定为第一图像；

依据所述目标手掌的检测框从所述第一图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像，其中，所述检测框涵盖所述目标手掌。

3.如权利要求1所述的举手手势识别方法，其特征在于，所述M个属性的类型包括大小属性、竖直方向属性、水平方向属性以及朝向属性，其中，

所述大小属性表示所述目标手掌的大小属性；

所述竖直方向属性所述目标手掌各手指竖直方向的位置关系；

所述水平方向属性表示所述目标手掌各手指在水平方向的位置关系；

所述朝向属性表示所述目标手掌面向被拍摄方向的角度。

4.如权利要求3所述的举手手势识别方法，其特征在于，所述大小属性包括属性1和属性2；

所述属性1为：所述各个关键点的坐标中，水平最大差值大于等于所述待检测图像水平宽度的一半，竖直最大差值大于等于所述待检测图像竖直高度的一半；

所述属性2为：所述目标手掌的高度h与宽度w的关系为：h>w且h<2w，其中所述竖直最大差值为所述高度h，所述水平最大差值为所述宽度w。

5.如权利要求3所述的举手手势识别方法，其特征在于，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述竖直方向属性包括属性3、属性4和属性5；

所述属性3为：掌根关键点位于所述各个关键点的最下方；

所述属性4为：食指指尖关键点、中指指尖关键点、无名指尖关键点中，至少有一个位于所述各个关键点的最上方；

所述属性5为：小指上的所有关键点的位置在竖直方向上为依次向上。

6.如权利要求3所述的举手手势识别方法，其特征在于，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述水平方向属性包括属性6、属性7和属性8；

所述属性6为：大拇指指尖关键点位于所述各关键点的最左边或最右边；

所述属性7为：食指根部关键点和小指根部关键点的连线与水平方向的夹角小于预设值；

所述属性8为：所述小指根部关键点、无名指根部关键点、中指根部关键点、所述食指根部关键点的位置在水平方向上为依次向左或依次向右。

7.如权利要求3所述的举手手势识别方法，其特征在于，所述各个关键点包括掌根关键点、各个手指骨节及指尖的关键点，所述朝向属性包括属性9；

所述属性9为：所述食指根部关键点和所述小指根部关键点的距离d1，与所述掌根关键点和所述无名指根部关键点距离d2之间的关系为：d2<1.5d1。

8.一种举手手势识别装置，其特征在于，所述装置包括：

手势预识别模块，用于通过已训练的目标检测模型对待识别图像进行手势识别，得到待检测图像，所述待检测图像中存在举手手势；

关键点检测模块，用于对所述待检测图像中的目标手掌进行关键点检测，确定所述目标手掌的各个关键点在所述待检测图像中的位置；

有效性确认模块，用于在所述各个关键点的位置关系满足预设的M个特征中的不少于N个时，确认所述待检测图像中识别到的所述举手手势为有效，其中，所述M个属性包括标准举手手势不同类型的属性，M、N为整数，N≤M。

9.一种电子设备，包括处理器，其特征在于，所述处理器用于实现如权利要求1-7任一项所述的举手手势识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行如权利要求1-7任一项所述的举手手势识别方法。

Images