CN113743169B - 手掌平面检测方法、装置、电子设备及存储介质 - Google Patents
手掌平面检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113743169B CN113743169B CN202010479621.8A CN202010479621A CN113743169B CN 113743169 B CN113743169 B CN 113743169B CN 202010479621 A CN202010479621 A CN 202010479621A CN 113743169 B CN113743169 B CN 113743169B
- Authority
- CN
- China
- Prior art keywords
- palm
- bounding box
- vertex
- determining
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 210000003811 finger Anatomy 0.000 claims abstract description 66
- 210000004932 little finger Anatomy 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 50
- 244000060701 Kaempferia pandurata Species 0.000 claims description 28
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 28
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 238000012417 linear regression Methods 0.000 claims description 10
- 210000003813 thumb Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 210000004247 hand Anatomy 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开关于一种手掌平面检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，能够提高手掌平面检测的效率。具体方案包括：手掌平面检测装置获取目标图片，目标图片中包括手部；确定目标图片中的手部的第一边界框；采用手部关键点识别模型对第一边界框内的手掌进行关键点识别，得到手掌的N个预设位置的关键点，N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；根据N个预设位置的关键点，确定第一矩形包围框，第一矩形包围框围成的区域用于表征手掌；根据第一矩形包围框，确定目标手掌平面。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种手掌平面检测方法、装置、电子设备及存储介质。
背景技术
在相关技术中，电子设备可以采用手部关键点识别模型识别图片中手部的21个关键点，并根据该21个关键点确定该手部的手掌平面，以在手掌平面中添加图画或文字。但是，由于识别21个关键点所用的手部关键点识别模型较大，使得关键点识别的计算量较大，从而导致确定手掌平面的效率较低。
发明内容
本公开提供一种手掌平面检测方法、装置、电子设备及存储介质，能够提高手掌平面检测的效率。本公开的技术方案如下：
根据本公开的第一方面，提供一种手掌平面检测方法，该方法包括：
获取目标图片，所述目标图片中包括手部；
确定所述目标图片中的所述手部的第一边界框；
采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，所述N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；
根据所述N个预设位置的关键点，确定第一矩形包围框，所述第一矩形包围框围成的区域用于表征所述手掌；
根据所述第一矩形包围框，确定目标手掌平面。
可选的，所述根据所述第一矩形包围框，确定目标手掌平面，包括：
将所述第一矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所述目标图片为视频的一帧图片时，所述根据所述第一矩形包围框，确定目标手掌平面，包括：
确定所述目标图片的前一帧图片中的手部的第二边界框，采用所述手部关键点识别模型对所述第二边界框内的手掌进行关键点识别，得到所述第二边界框内的手掌的N个预设位置的关键点，根据所述第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框，所述第二矩形包围框围成的区域用于表征所述第二边界框内的手掌；
采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框；
根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框；
将所述目标矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所述采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框，包括：
采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，所述光流跟踪结果用于指示跟踪是否成功；
在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所述采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，包括：
采用所述光流法，确定所述预设数量像素点跟踪在所述目标图片内的M个像素点，根据所述M个像素点确定所述光流跟踪结果，M小于或等于所述预设数量；
所述在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框，包括：
在确定M大于预设阈值时，根据所述M个像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所述根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框，包括：
对所述第一矩形包围框的四个顶点坐标和所述第三矩形包围框的四个顶点坐标进行加权平均，得到所述目标矩形包围框的四个顶点坐标。
可选的，所述N个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，共四个关键点时，所述根据所述N个预设位置的关键点，确定第一矩形包围框，包括：
将所述食指和所述中指的指根关键点进行线性回归，得到第一直线；
分别获取所述食指和所述小拇指的指根关键点在所述第一直线上的投影点，得到两个投影点；
将所述两个投影点确定为第一顶点和第二顶点；
经过所述手掌底部中心的关键点做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述N个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，共六个关键点时，所述根据所述N个预设位置的关键点，确定第一矩形包围框，包括：
将所述食指、所述中指、所述无名指的指根关键点进行线性回归，得到第一直线；
分别获取所述六个关键点在所述第一直线上的投影点，得到六个投影点；
将所述六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点；
经过所述拇指的指根关键点和所述手掌底部中心的关键点中，距离所述第一直线最远的关键点，做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述第一边界框为矩形时，所述采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，包括：
以所述第一边界框内的手部为中心，将所述第一边界框的长和宽均扩大预设倍数，得到候选框；所述预设倍数大于1；
采用所述手部关键点识别模型对所述候选框内的手掌进行关键点识别，得到所述N 个预设位置的关键点。
根据本公开的第二方面，提供一种手掌平面检测装置，包括：获取模块、确定模块和识别模块；
获取模块，被配置为执行获取目标图片，所述目标图片中包括手部；
确定模块，被配置为执行确定所述目标图片中的所述手部的第一边界框；
识别模块，被配置为执行采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，所述N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；
所述确定模块，还被配置为执行根据所述N个预设位置的关键点，确定第一矩形包围框，所述第一矩形包围框围成的区域用于表征所述手掌；根据所述第一矩形包围框，确定目标手掌平面。
可选的，所述确定模块，具体被配置为执行：
将所述第一矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所述确定模块，具体被配置为执行：
确定所述目标图片的前一帧图片中的手部的第二边界框，采用所述手部关键点识别模型对所述第二边界框内的手掌进行关键点识别，得到所述第二边界框内的手掌的N个预设位置的关键点，根据所述第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框，所述第二矩形包围框围成的区域用于表征所述第二边界框内的手掌；
采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框；
根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框；
将所述目标矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所述确定模块，具体被配置为执行：
采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，所述光流跟踪结果用于指示跟踪是否成功；
在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所述确定模块，具体被配置为执行：
采用所述光流法，确定所述预设数量像素点跟踪在所述目标图片内的M个像素点，根据所述M个像素点确定所述光流跟踪结果，M小于或等于所述预设数量；
在确定M大于预设阈值时，根据所述M个像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所述确定模块，具体被配置为执行：
对所述第一矩形包围框的四个顶点坐标和所述第三矩形包围框的四个顶点坐标进行加权平均，得到所述目标矩形包围框的四个顶点坐标。
可选的，所述N个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，共四个关键点时，所述确定模块，具体被配置为执行：
将所述食指和所述中指的指根关键点进行线性回归，得到第一直线；
分别获取所述食指和所述小拇指的指根关键点在所述第一直线上的投影点，得到两个投影点；
将所述两个投影点确定为第一顶点和第二顶点；
经过所述手掌底部中心的关键点做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述N个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，共六个关键点时，所述确定模块，具体被配置为执行：
将所述食指、所述中指、所述无名指的指根关键点进行线性回归，得到第一直线；
分别获取所述六个关键点在所述第一直线上的投影点，得到六个投影点；
将所述六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点；
经过所述拇指的指根关键点和所述手掌底部中心的关键点中，距离所述第一直线最远的关键点，做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述第一边界框为矩形时，所述识别模块，具体被配置为执行：
以所述第一边界框内的手部为中心，将所述第一边界框的长和宽均扩大预设倍数，得到候选框；所述预设倍数大于1；
采用所述手部关键点识别模型对所述候选框内的手掌进行关键点识别，得到所述N 个预设位置的关键点。
根据本公开的第三方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一种可选地手掌平面检测方法。
根据本公开的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一种可选地手掌平面检测方法。
根据本公开的第五方面，提供一种计算机程序产品，包含指令，当其在计算机上运行时，使得计算机执行如第一方面中任一种可选地手掌平面检测方法。
本公开提供的技术方案至少带来以下有益效果：手掌平面检测装置获取包括有手部的目标图片，确定该目标图片中的手部的第一边界框，并采用手部关键点识别模型对第一边界框内的手掌进行关键点识别，得到手掌的N个预设位置的关键点，N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，且根据N 个预设位置的关键点，确定用于表征手掌的第一矩形包围框，根据第一矩形包围框，确定目标手掌平面。这样，通过根据食指、中指和小拇指的指根关键点、以及手掌底部中心的关键点，共四个关键点来确定用于表征手掌的第一矩形包围框，从而根据第一矩形包围框确定目标手掌平面，实现了基于少数的手掌关键点进行手掌平面检测。由于识别出四个关键点采用的手部关键点识别模型比识别出21个关键点采用的模型小，因此识别出关键点的计算量较小，从而提高了手掌平面检测的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是相关技术示出的一种手部关键点的示意图。
图2是根据一示例性实施例示出的一种手掌平面检测方法的流程图。
图3是根据一示例性实施例示出的一种第一边界框图片的示意图。
图4是根据一示例性实施例示出的一种四个预设位置的关键点的示意图。
图4A是根据一示例性实施例示出的一种六个预设位置的关键点的示意图。
图5是根据一示例性实施例示出的一种候选框的示意图。
图6是根据一示例性实施例示出的一种第一直线的示意图。
图7是根据一示例性实施例示出的一种六个投影点的示意图。
图8是根据一示例性实施例示出的一种第二直线的示意图。
图9是根据一示例性实施例示出的一种第一矩形包围框的四个顶点的示意图。
图10是根据一示例性实施例示出的一种第一矩形包围框的示意图。
图11是根据一示例性实施例示出的另一种手掌平面检测方式的流程图。
图12是根据一示例性实施例示出的另一种手掌平面检测方式的流程图。
图13是根据一示例性实施例示出的一种目标矩形包围框的示意图。
图14是根据一示例性实施例示出的一种手掌平面检测装置的逻辑结构框图。
图15是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面先对本公开实施例中涉及到的术语/名词进行解释说明。
1、手势检测与追踪(hand gesture detection and tracking)
手势检测与追踪是计算机视觉领域的一个经典课题，其可以通过卷积神经网络(convolutional neural network，CNN)对图片中的手势进行检测和运动追踪。
可以理解，本公开实施例中，采用手势检测与追踪算法对图片处理的结果是：该图片中的手部的边界框(bounding box)。
2、边界框
边界框是物体检测时界定物体边缘的界限。原侧上边界框应紧贴物体边缘。
可以理解，本公开实施例中，图片中的手部的边界框为矩形，该边界框的四条边均与手部边缘相切。
3、手部关键点检测
手部关键点检测是基于手势检测与追踪的结果进行手部关键点识别的深度学习技术。
4、手掌平面
手掌平面可以为手部的手心平面或手背平面。
5、光流
光流用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码等。
可以理解，采用光流法可以得到空间运动物体在观察成像平面上的像素运动的瞬时速度。在时间间隔很小(如视频的连续两帧之间)时，像素点运动的瞬时速度等同于该像素点的光流位移。
本公开实施例提供的手掌平面检测方法应用于确定图片中的手掌平面的场景中。在相关技术中，可以先采用手势检测与追踪算法，确定图片中的手部的边界框，然后采用手部关键点识别模型识别边界框内的手部的21个关键点，如图1所示。最后，根据该21个关键点，确定该手部的手掌平面。但是，在相关技术中，由于识别21个关键点所用的手部关键点识别模型较大，导致关键点识别的计算量较大，从而导致确定手掌平面的效率较低。
为了解决上述问题，本公开实施例提供一种手掌平面检测方法、装置、电子设备及存储介质，通过根据至少四个预设位置的关键点确定用于表征手掌的第一矩形包围框，从而根据第一矩形包围框确定目标手掌平面，实现了基于少数的手掌关键点进行手掌平面检测，提高了手掌平面检测的效率。
下面结合各个附图，对本公开实施例提供的手掌平面检测方法进行示例性说明。
图2是根据一示例性实施例示出的一种手掌平面检测方法的流程图，当该方法应用于电子设备时，如图2所示，该方法可以包括步骤101-步骤104。
101、获取目标图片，该目标图片中包括手部。
可选的，本公开实施例中，在一种可能的实现方式中，手掌平面检测装置获取包括有手部的目标图片的具体场景为：手掌平面检测装置上安装有视频拍摄软件，当用户打开该视频拍摄软件进行视频拍摄时，手掌平面检测装置可以在视频拍摄页面显示魔法控件，并响应于用户对魔法控件的触发操作，显示至少一个魔法表情控件。然后，手掌平面检测装置可以响应于用户从至少一个魔法表情控件中选择目标魔法表情控件的选择操作，显示相应的魔法表情。最后，手掌平面检测装置可以响应于用户对视频的录制操作，实时的获取拍摄的视频中的每帧图片，该视频中包括有手部的图片可以作为目标图片。
可以理解，本公开实施例中，目标图片也可以是拍摄完成的视频中包括有手部的图片，还可以是通过摄像头拍摄的包括有手部的一帧图片，或者是预存在手掌平面检测装置中的包括有手部的一帧图片，本公开实施例在此对目标图片的获取方式不做限定。
102、确定目标图片中的手部的第一边界框。
其中，手掌平面检测装置在获取到目标图片之后，可以将该目标图片输入预先训练好的CNN模型中，通过该CNN模型对目标图片进行手势检测，输出检测后的图片，该检测后的图片包括目标图片中的手部的第一边界框。
103、采用手部关键点识别模型对第一边界框内的手掌进行关键点识别，得到手掌的 N个预设位置的关键点。
其中，手掌平面检测装置在确定出目标图片中的手部的第一边界框之后，可以将该第一边界框图片输入手部关键点识别模型中，以对该第一边界框内的手掌进行关键点识别，输出识别后的边界框图片。该识别后的边界框图片标记有N个预设位置的关键点，该N个预设位置的关键点至少可以包括：食指、中指和小拇指的指根关键点、以及手掌底部中心的关键点。
示例性的，假设第一边界框图片如图3所示，且假设N为四，该四个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点。那么将该第一边界框图片输入手部关键点识别模型之后，输出的识别后的边界框图片可以如图4所示。图 4中标记有四个预设位置的关键点，其中，x0为手掌底部中心的关键点，x2为小拇指的指根关键点，x3为食指的指根关键点，x4为中指的指根关键点。
再例如，结合图3，假设N为六，该六个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，那么将该第一边界框图片输入手部关键点识别模型之后，输出的识别后的边界框图片可以如图4A所示。图4A中标记有六个预设位置的关键点，其中，x0为手掌底部中心的关键点，x1为拇指的指根关键点， x2为小拇指的指根关键点，x3为食指的指根关键点，x4为中指的指根关键点，x5为无名指的指根关键点。
可选的，本公开实施例中，手部关键点识别模型可以在执行本公开的手掌平面检测方之前预先训练好。训练该手部关键点识别模型的具体过程为：先获取样本图片集合，采用该样本图片集合训练得到该手部关键点识别模型。其中，样本图片集合包括的每帧图片包含手部的手掌，且每帧图片包含的手掌上被人工标记有N个预设位置的关键点。这样，通过预先采用样本图片集合训练手部关键点识别模型，为之后的手掌平面检测做准备。
可选的，本公开实施例中，在第一边界框为矩形的情况下，手掌平面检测装置采用手部关键点识别模型对第一边界框内的手掌进行关键点识别，得到N个预设位置的关键点，具体可以包括：手掌平面检测装置可以先以第一边界框内的手部为中心，将该第一边界框的长和宽均扩大预设倍数，从而得到一候选框，该预设倍数大于1。也就是说，该候选框以手部为中心，候选框的长是第一边界框的长的预设倍数，候选框的宽是第一边界框的宽的预设倍数。当然，边界框的长和宽扩大的预设倍数也可以不相同，本公开实施例在此不做限定。
这样，由于采用手势检测与追踪算法得到的第一边界框的手部是大致位置，通过将该第一边界框扩大，能够更加准确的确定手部范围，从而使得确定出的手掌平面更准确。
示例性的，结合图3，假设第一边界框的长为6厘米，宽为4厘米，且假设长和宽均扩大1.5倍，即预设倍数为1.5，那么如图5所示，以手部为中心，扩大后的候选框的长为9厘米，宽为6厘米。
104、根据N个预设位置的关键点，确定第一矩形包围框，第一矩形包围框围成的区域用于表征手掌。
示例性的，本公开实施例中，结合图4，手掌平面检测装置根据该四个预设位置的关键点，确定第一矩形包围框的具体过程为：
(1)将食指和中指的指根关键点进行线性回归，得到第一直线。
(2)分别获取食指和小拇指的指根关键点在第一直线上的投影点，得到两个投影点。
(3)将两个投影点确定为第一顶点和第二顶点。
(4)经过手掌底部中心的关键点做平行于第一直线的直线，得到第二直线。
(5)获取第一顶点和第二顶点在第二直线上的投影点，得到相应的第三顶点和第四顶点。
(6)根据第一顶点、第二顶点、第三顶点和第四顶点，确定第一矩形包围框。
这样，通过根据四个预设位置的关键点，能够确定第一矩形框，从而根据该第一矩形框确定手掌平面，简单易实现。
再例如，本公开实施例中，结合图4A，手掌平面检测装置根据该六个预设位置的关键点，确定第一矩形包围框的具体过程为：
(1)将食指、中指、无名指的三个指根关键点进行线性回归，得到第一直线。
其中，该第一直线用于指示手掌的上边缘。
例如，结合图4A，手掌平面检测装置将三个指根关键点：x3、x4和x5位置的关键点进行线性回归，得到的第一直线L1如图6所示。
(2)分别获取六个关键点在第一直线上的投影点，得到六个投影点。
例如，结合图6，手掌平面检测装置获取x0-x5六个关键点在第一直线L1上的六个投影点，如图7所示。
(3)将六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点。
例如，结合图7，将六个投影点中的投影点y1确定为第一顶点，将投影点y2确定为第二顶点。
(4)经过拇指的指根关键点和手掌底部中心的关键点中，距离第一直线最远的关键点，做平行于第一直线的直线，得到第二直线。
例如，结合图7，分别计算关键点x0和x1到第一直线L1的距离，将距离最大的关键点x0作为目标关键点。经过目标关键点x0，确定平行于第一直线L1的第二直线L2，如图8所示。
(5)获取第一顶点和第二顶点在第二直线上的投影点，得到相应的第三顶点和第四顶点。
例如，结合图8，手掌平面检测装置分别获取第一顶点y1和第二顶点y2在第二直线L2上的投影点，得到第三顶点y3和第四顶点y4，如图9所示。
(6)根据第一顶点、第二顶点、第三顶点和第四顶点，确定第一矩形包围框。
例如，结合图9，手掌平面检测装置直线连接第一顶点y1、第二顶点y2、第三顶点y3和第四顶点y4，得到第一矩形包围框，如图10所示。
这样，通过根据六个预设位置的关键点，能够确定第一矩形框，从而根据该第一矩形框确定手掌平面，简单易实现。且根据六个关键点确定手掌平面，与上述根据四个关键点确定手掌平面相比，虽然效率变低，但是准确率变高。
105、根据第一矩形包围框，确定目标手掌平面。
上述实施例提供的技术方案至少带来以下有益效果：手掌平面检测装置获取包括有手部的目标图片，确定该目标图片中的手部的第一边界框，并采用手部关键点识别模型对第一边界框内的手掌进行关键点识别，得到手掌的N个预设位置的关键点，N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，且根据 N个预设位置的关键点，确定用于表征手掌的第一矩形包围框，根据第一矩形包围框，确定目标手掌平面。这样，通过根据食指、中指和小拇指的指根关键点、以及手掌底部中心的关键点，共四个关键点来确定用于表征手掌的第一矩形包围框，从而根据第一矩形包围框确定目标手掌平面，实现了基于少数的手掌关键点进行手掌平面检测。由于识别出四个关键点采用的手部关键点识别模型比识别出21个关键点采用的模型小，因此识别出关键点的计算量较小，从而提高了手掌平面检测的效率。
可选的，本公开实施例中，在一种可能的实现方式中，如图11所示，上述步骤105可以包括以下步骤105a。
105a、将第一矩形包围框所在的平面确定为目标手掌平面。
上述实施例提供的技术方案至少带来以下有益效果：在根据N个预设位置的关键点确定出第一矩形包围框之后，直接将该第一矩形包围框所在的平面确定为目标手掌平面，简单易实现，且手掌平面检测的效率较高。
可选的，本公开实施例中，在另一种可能的实现方式中，如图12所示，当目标图片为视频的一帧图片时，上述步骤105可以包括以下步骤105b-步骤105e。
105b、确定目标图片的前一帧图片中的手部的第二边界框，采用手部关键点识别模型对第二边界框内的手掌进行关键点识别，得到第二边界框内的手掌的N个预设位置的关键点，根据第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框。
其中，第二矩形包围框围成的区域用于表征第二边界框内的手掌。且，确定目标图片的前一帧图片中的第二矩形包围框的过程与上述步骤102-步骤104中确定目标图片中的第一矩形包围框的过程类似，在此不再赘述。
105c、采用光流法对第二矩形包围框内的像素点在目标图片内进行光流跟踪，得到第三矩形包围框。
可选的，本公开实施例中，手掌平面检测装置采用光流法对第二矩形包围框内的像素点在目标图片内进行光流跟踪，得到第三矩形包围框的具体过程为：手掌平面检测装置先采用光流法，对第二矩形包围框内的预设数量像素点在目标图片内进行光流跟踪，得到光流跟踪结果，该光流跟踪结果用于指示跟踪是否成功。然后可以在确定光流跟踪结果用于指示跟踪成功时，根据预设数量像素点在目标图片内跟踪成功的像素点对应的光流位移，确定第三矩形包围框。
可选的，本公开实施例中，手掌平面检测装置采用光流法，对第二矩形包围框内的预设数量像素点在目标图片内进行光流跟踪，得到光流跟踪结果的具体过程为：手掌平面检测装置采用光流法，确定预设数量像素点跟踪在目标图片内的M个像素点，根据M个像素点确定光流跟踪结果，M小于或等于预设数量。在该场景下，手掌平面检测装置在确定光流跟踪结果用于指示跟踪成功时，根据预设数量像素点在目标图片内跟踪成功的像素点对应的光流位移，确定第三矩形包围框的具体过程为：手掌平面检测装置在确定M大于预设阈值时，根据M个像素点对应的光流位移，确定第三矩形包围框。
可以理解，在确定M大于预设阈值时，手掌平面检测装置确定光流跟踪结果用于指示跟踪成功。在确定M小于或等于预设阈值时，手掌平面检测装置确定光流跟踪结果用于指示跟踪失败。
105d、根据第一矩形包围框和第三矩形包围框，确定目标矩形包围框。
可选的，本公开实施例中，手掌平面检测装置根据第一矩形包围框和第三矩形包围框，确定目标矩形包围框的具体过程为：对第一矩形包围框的四个顶点坐标，和第三矩形包围框的四个顶点坐标进行加权平均，从而得到目标矩形包围框的四个顶点坐标。
105e、将目标矩形包围框所在的平面确定为目标手掌平面。
需要说明的是，本公开实施例中，可以在确定出的手掌平面中添加图画或文字。
示例性的，结合图10，假设手掌平面检测装置确定出的第三矩形包围框如图13中的虚线所示，那么目标矩形包围框如图13所示。
上述实施例提供的技术方案至少带来以下有益效果：通过采用光流法，结合目标图片的前一帧图片的手掌平面，对目标图片的手掌平面进行校正和稳定，与直接将第一矩形包围框所在的平面确定为目标手掌平面相比，得到的目标手掌平面的准确率更高。
图14是根据一示例性实施例示出的一种手掌平面检测装置的逻辑结构框图。如图14，该手掌平面检测装置应用于电子设备，该手掌平面检测装置包括：获取模块21、确定模块22和识别模块23。
获取模块21，被配置为执行获取目标图片，所述目标图片中包括手部；
确定模块22，被配置为执行确定所述目标图片中的所述手部的第一边界框；
识别模块23，被配置为执行采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，所述N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；
所述确定模块22，还被配置为执行根据所述N个预设位置的关键点，确定第一矩形包围框，所述第一矩形包围框围成的区域用于表征所述手掌；根据所述第一矩形包围框，确定目标手掌平面。
可选的，所述确定模块22，具体被配置为执行：
将所述第一矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所确定模块22，具体被配置为执行：
确定所述目标图片的前一帧图片中的手部的第二边界框，采用所述手部关键点识别模型对所述第二边界框内的手掌进行关键点识别，得到所述第二边界框内的手掌的N个预设位置的关键点，根据所述第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框，所述第二矩形包围框围成的区域用于表征所述第二边界框内的手掌；
采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框；
根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框；
将所述目标矩形包围框所在的平面确定为所述目标手掌平面。
可选的，所确定模块22，具体被配置为执行：
采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，所述光流跟踪结果用于指示跟踪是否成功；
在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所确定模块22，具体被配置为执行：
采用所述光流法，确定所述预设数量像素点跟踪在所述目标图片内的M个像素点，根据所述M个像素点确定所述光流跟踪结果，M小于或等于所述预设数量；
在确定M大于预设阈值时，根据所述M个像素点对应的光流位移，确定所述第三矩形包围框。
可选的，所确定模块22，具体被配置为执行：
对所述第一矩形包围框的四个顶点坐标和所述第三矩形包围框的四个顶点坐标进行加权平均，得到所述目标矩形包围框的四个顶点坐标。
可选的，所述N个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，共四个关键点时，所确定模块22，具体被配置为执行：
将所述食指和所述中指的指根关键点进行线性回归，得到第一直线；
分别获取所述食指和所述小拇指的指根关键点在所述第一直线上的投影点，得到两个投影点；
将所述两个投影点确定为第一顶点和第二顶点；
经过所述手掌底部中心的关键点做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述N个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，共六个关键点时，所述确定模块22，具体被配置为执行：
将所述食指、所述中指、所述无名指的指根关键点进行线性回归，得到第一直线；
分别获取所述六个关键点在所述第一直线上的投影点，得到六个投影点；
将所述六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点；
经过所述拇指的指根关键点和所述手掌底部中心的关键点中，距离所述第一直线最远的关键点，做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
可选的，所述第一边界框为矩形时，所述识别模块23，具体被配置为执行：
以所述第一边界框内的手部为中心，将所述第一边界框的长和宽均扩大预设倍数，得到候选框；所述预设倍数大于1；
采用所述手部关键点识别模型对所述候选框内的手掌进行关键点识别，得到所述N 个预设位置的关键点。
图15是根据一示例性实施例示出的一种电子设备的结构框图，该电子设备可以是手掌平面检测装置，该手掌平面检测装置可以是：智能手机、平板电脑、笔记本电脑或台式电脑。
如图15所示，手掌平面检测装置可以包括至少一个处理器31，通信总线32，存储器33以及至少一个通信接口34。
处理器31可以是一个CPU，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线32可包括一通路，在上述组件之间传送信息。
通信接口34，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks， WLAN)等。
存储器33可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-onlymemory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中，存储器33用于存储执行本公开方案的应用程序代码，并由处理器31来控制执行。处理器31用于执行存储器33中存储的应用程序代码，从而实现本公开方法中的功能。
在具体实现中，作为一种实施例，处理器31可以包括一个或多个CPU，例如图15 中的CPU0和CPU1。
在具体实现中，作为一种实施例，手掌平面检测装置可以包括多个处理器，例如图15中的处理器31和处理器35。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，手掌平面检测装置还可以包括输入设备36和输出设备37。输入设备36和处理器31通信，可以以多种方式接受用户的输入。例如，输入设备36可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备37和处理器31通信，可以以多种方式来显示信息。例如，输出设备31可以是液晶显示器(liquid crystal display， LCD)，发光二极管(1ight emitting diode，LED)显示设备等。
本领域技术人员可以理解，图15中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的手掌平面检测方法。例如，计算机可读存储介质可以为包括指令的存储器33，上述指令可由电子设备的处理器31执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本公开还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机设备执行上述所示实施例提供的手掌平面检测方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种手掌平面检测方法，其特征在于，包括：
获取目标图片，所述目标图片中包括手部；
确定所述目标图片中的所述手部的第一边界框；
采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，所述N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；
根据所述N个预设位置的关键点，确定第一矩形包围框，所述第一矩形包围框围成的区域用于表征所述手掌；
根据所述第一矩形包围框，确定目标手掌平面；
其中，当所述N个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，共四个关键点时，所述根据所述N个预设位置的关键点，确定第一矩形包围框，包括：
将所述食指和所述中指的指根关键点进行线性回归，得到第一直线；
分别获取所述食指和所述小拇指的指根关键点在所述第一直线上的投影点，得到两个投影点，并将所述两个投影点确定为第一顶点和第二顶点；
经过所述手掌底部中心的关键点做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
2.根据权利要求1所述的手掌平面检测方法，其特征在于，所述根据所述第一矩形包围框，确定目标手掌平面，包括：
将所述第一矩形包围框所在的平面确定为所述目标手掌平面。
3.根据权利要求1所述的手掌平面检测方法，其特征在于，所述目标图片为视频的一帧图片时，所述根据所述第一矩形包围框，确定目标手掌平面，包括：
确定所述目标图片的前一帧图片中的手部的第二边界框，采用所述手部关键点识别模型对所述第二边界框内的手掌进行关键点识别，得到所述第二边界框内的手掌的N个预设位置的关键点，根据所述第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框，所述第二矩形包围框围成的区域用于表征所述第二边界框内的手掌；
采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框；
根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框；
将所述目标矩形包围框所在的平面确定为所述目标手掌平面。
4.根据权利要求3所述的手掌平面检测方法，其特征在于，所述采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框，包括：
采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，所述光流跟踪结果用于指示跟踪是否成功；
在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框。
5.根据权利要求4所述的手掌平面检测方法，其特征在于，所述采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，包括：
采用所述光流法，确定所述预设数量像素点跟踪在所述目标图片内的M个像素点，根据所述M个像素点确定所述光流跟踪结果，M小于或等于所述预设数量；
所述在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框，包括：
在确定M大于预设阈值时，根据所述M个像素点对应的光流位移，确定所述第三矩形包围框。
6.根据权利要求3-5中任一项所述的手掌平面检测方法，其特征在于，所述根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框，包括：
对所述第一矩形包围框的四个顶点坐标和所述第三矩形包围框的四个顶点坐标进行加权平均，得到所述目标矩形包围框的四个顶点坐标。
7.根据权利要求1-5中任一项所述的手掌平面检测方法，其特征在于，当所述N个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，共六个关键点时，所述根据所述N个预设位置的关键点，确定第一矩形包围框，包括：
将所述食指、所述中指、所述无名指的指根关键点进行线性回归，得到第一直线；
分别获取所述六个关键点在所述第一直线上的投影点，得到六个投影点；
将所述六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点；
经过所述拇指的指根关键点和所述手掌底部中心的关键点中，距离所述第一直线最远的关键点，做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
8.根据权利要求1-5中任一项所述的手掌平面检测方法，其特征在于，所述第一边界框为矩形时，所述采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，包括：
以所述第一边界框内的手部为中心，将所述第一边界框的长和宽均扩大预设倍数，得到候选框；所述预设倍数大于1；
采用所述手部关键点识别模型对所述候选框内的手掌进行关键点识别，得到所述N个预设位置的关键点。
9.一种手掌平面检测装置，其特征在于，包括：
获取模块，被配置为执行获取目标图片，所述目标图片中包括手部；
确定模块，被配置为执行确定所述目标图片中的所述手部的第一边界框；
识别模块，被配置为执行采用手部关键点识别模型对所述第一边界框内的手掌进行关键点识别，得到所述手掌的N个预设位置的关键点，所述N个预设位置的关键点至少包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点；
所述确定模块，还被配置为执行根据所述N个预设位置的关键点，确定第一矩形包围框，所述第一矩形包围框围成的区域用于表征所述手掌；根据所述第一矩形包围框，确定目标手掌平面；
其中，当所述N个预设位置的关键点包括：食指、中指和小拇指的指根关键点、手掌底部中心的关键点，共四个关键点时，所述确定模块，具体被配置为执行：
将所述食指和所述中指的指根关键点进行线性回归，得到第一直线；
分别获取所述食指和所述小拇指的指根关键点在所述第一直线上的投影点，得到两个投影点，并将所述两个投影点确定为第一顶点和第二顶点；
经过所述手掌底部中心的关键点做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
10.根据权利要求9所述的手掌平面检测装置，其特征在于，所述确定模块，具体被配置为执行：
将所述第一矩形包围框所在的平面确定为所述目标手掌平面。
11.根据权利要求10所述的手掌平面检测装置，其特征在于，所述确定模块，具体被配置为执行：
确定所述目标图片的前一帧图片中的手部的第二边界框，采用所述手部关键点识别模型对所述第二边界框内的手掌进行关键点识别，得到所述第二边界框内的手掌的N个预设位置的关键点，根据所述第二边界框内的手掌的N个预设位置的关键点，确定第二矩形包围框，所述第二矩形包围框围成的区域用于表征所述第二边界框内的手掌；
采用光流法对所述第二矩形包围框内的像素点在所述目标图片内进行光流跟踪，得到第三矩形包围框；
根据所述第一矩形包围框和所述第三矩形包围框，确定目标矩形包围框；
将所述目标矩形包围框所在的平面确定为所述目标手掌平面。
12.根据权利要求11所述的手掌平面检测装置，其特征在于，所述确定模块，具体被配置为执行：
采用所述光流法，对所述第二矩形包围框内的预设数量像素点在所述目标图片内进行光流跟踪，得到光流跟踪结果，所述光流跟踪结果用于指示跟踪是否成功；
在确定所述光流跟踪结果用于指示跟踪成功时，根据所述预设数量像素点在所述目标图片内跟踪成功的像素点对应的光流位移，确定所述第三矩形包围框。
13.根据权利要求12所述的手掌平面检测装置，其特征在于，所述确定模块，具体被配置为执行：
采用所述光流法，确定所述预设数量像素点跟踪在所述目标图片内的M个像素点，根据所述M个像素点确定所述光流跟踪结果，M小于或等于所述预设数量；
在确定M大于预设阈值时，根据所述M个像素点对应的光流位移，确定所述第三矩形包围框。
14.根据权利要求11-13中任一项所述的手掌平面检测装置，其特征在于，所述确定模块，具体被配置为执行：
对所述第一矩形包围框的四个顶点坐标和所述第三矩形包围框的四个顶点坐标进行加权平均，得到所述目标矩形包围框的四个顶点坐标。
15.根据权利要求9-13中任一项所述的手掌平面检测装置，其特征在于，所述N个预设位置的关键点包括：拇指、小拇指、食指、中指、无名指的指根关键点、手掌底部中心的关键点，共六个关键点时，所述确定模块，具体被配置为执行：
将所述食指、所述中指、所述无名指的指根关键点进行线性回归，得到第一直线；
分别获取所述六个关键点在所述第一直线上的投影点，得到六个投影点；
将所述六个投影点中的最左侧投影点确定为第一顶点，将最右侧投影点确定为第二顶点；
经过所述拇指的指根关键点和所述手掌底部中心的关键点中，距离所述第一直线最远的关键点，做平行于所述第一直线的直线，得到第二直线；
获取所述第一顶点和所述第二顶点在所述第二直线上的投影点，得到相应的第三顶点和第四顶点；
根据所述第一顶点、所述第二顶点、所述第三顶点和所述第四顶点，确定所述第一矩形包围框。
16.根据权利要求9-13中任一项所述的手掌平面检测装置，其特征在于，所述第一边界框为矩形时，所述识别模块，具体被配置为执行：
以所述第一边界框内的手部为中心，将所述第一边界框的长和宽均扩大预设倍数，得到候选框；所述预设倍数大于1；
采用所述手部关键点识别模型对所述候选框内的手掌进行关键点识别，得到所述N个预设位置的关键点。
17.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-8中任一项所述的手掌平面检测方法。
18.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-8中任一项所述的手掌平面检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479621.8A CN113743169B (zh) | 2020-05-29 | 2020-05-29 | 手掌平面检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479621.8A CN113743169B (zh) | 2020-05-29 | 2020-05-29 | 手掌平面检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743169A CN113743169A (zh) | 2021-12-03 |
| CN113743169B true CN113743169B (zh) | 2023-11-07 |
Family
ID=78725039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010479621.8A Active CN113743169B (zh) | 2020-05-29 | 2020-05-29 | 手掌平面检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743169B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 手部图像的分割方法、装置及计算机设备 |
| CN110287775A (zh) * | 2019-05-15 | 2019-09-27 | 平安科技（深圳）有限公司 | 手掌图像裁剪方法、装置、计算机设备及存储介质 |
| CN110400332A (zh) * | 2018-04-25 | 2019-11-01 | 杭州海康威视数字技术股份有限公司 | 一种目标检测跟踪方法、装置及计算机设备 |
| CN110472594A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、信息***方法及设备 |
-
2020
- 2020-05-29 CN CN202010479621.8A patent/CN113743169B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110400332A (zh) * | 2018-04-25 | 2019-11-01 | 杭州海康威视数字技术股份有限公司 | 一种目标检测跟踪方法、装置及计算机设备 |
| CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 手部图像的分割方法、装置及计算机设备 |
| CN110287775A (zh) * | 2019-05-15 | 2019-09-27 | 平安科技（深圳）有限公司 | 手掌图像裁剪方法、装置、计算机设备及存储介质 |
| CN110472594A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、信息***方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743169A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| US10127199B2 (en) | Automatic measure of visual similarity between fonts | |
| CN105825524B (zh) | 目标跟踪方法和装置 | |
| US10698475B2 (en) | Virtual reality interaction method, apparatus and system | |
| US9430093B2 (en) | Monitoring interactions between two or more objects within an environment | |
| US9098888B1 (en) | Collaborative text detection and recognition | |
| CN110232311A (zh) | 手部图像的分割方法、装置及计算机设备 | |
| CN109389038A (zh) | 一种信息的检测方法、装置及设备 | |
| JPWO2018025831A1 (ja) | 人流推定装置、人流推定方法およびプログラム | |
| US10067610B2 (en) | Method and apparatus for recognizing touch gesture | |
| EP3540574B1 (en) | Eye tracking method, electronic device, and non-transitory computer readable storage medium | |
| JP7028513B2 (ja) | イベントデータストリームの処理方法及びコンピューティング機器 | |
| US10853651B2 (en) | Virtual reality interaction method, apparatus and system | |
| CN112001886A (zh) | 一种温度检测方法、装置、终端及可读存储介质 | |
| US20170344104A1 (en) | Object tracking for device input | |
| JP2013215549A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| JP2018197974A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
| CN112966654A (zh) | 唇动检测方法、装置、终端设备及计算机可读存储介质 | |
| US10296802B2 (en) | Image processing device, image processing method, and computer program product | |
| US20160140762A1 (en) | Image processing device and image processing method | |
| CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
| Neto et al. | Real-time head pose estimation for mobile devices | |
| CN113743169B (zh) | 手掌平面检测方法、装置、电子设备及存储介质 | |
| JP2015170206A (ja) | 検出装置および検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |