CN117115861A - 手套检测方法、装置、电子设备及存储介质 - Google Patents

手套检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117115861A
CN117115861A CN202311353217.6A CN202311353217A CN117115861A CN 117115861 A CN117115861 A CN 117115861A CN 202311353217 A CN202311353217 A CN 202311353217A CN 117115861 A CN117115861 A CN 117115861A
Authority
CN
China
Prior art keywords
position frame
frame information
glove
information
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311353217.6A
Other languages
English (en)
Other versions
CN117115861B (zh
Inventor
陈友明
姜超
陈思竹
翟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Digital Intelligence Group Co ltd
Original Assignee
Sichuan Honghe Digital Intelligence Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Digital Intelligence Group Co ltd filed Critical Sichuan Honghe Digital Intelligence Group Co ltd
Priority to CN202311353217.6A priority Critical patent/CN117115861B/zh
Publication of CN117115861A publication Critical patent/CN117115861A/zh
Application granted granted Critical
Publication of CN117115861B publication Critical patent/CN117115861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种手套检测方法、装置、电子设备及存储介质。方法包括:获取待识别图像中的人物坐标位置框信息和骨骼关键点信息;根据人物坐标位置框信息和骨骼关键点信息定位待识别图像中的手部位置框信息;通过手套检测模型对手部位置框进行手套识别,获取第一手套检测结果。由于本申请提供的手套检测方法中骨骼关键点信息通过人物坐标位置框信息获取,在夜间等复杂环境下,能够通过人物坐标位置框信息和骨骼关键点信息准确识别手部位置框信息,避免了现有手套识别方法需要在人物坐标位置框信息中识别手部位置框信息,当图像环境复杂,手型动作与视角的改变导致手部位置框识别不准,导致油气站员工的手套穿戴判断有误的问题。

Description

手套检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种手套检测方法、装置、电子设备及存储介质。
背景技术
防静电手套是油气站员工在开展卸油工作时必须穿戴的劳保用品,不佩戴防静电手套就进行工作存在严重安全隐患。人工督促的方法需要监控人员实时监控油气站员工的违规操作行为,监控效率低,监测效果差。现有技术往往采用训练后的深度学习模型对摄像头采集到的图像进行实时检测,当检测到图像中的员工并未穿戴手套时及时告警。但是,现有的手套检测方法往往在人物位置检测框内识别手部特征,进而判断人物是否佩戴手套,当图像所处环境复杂,人物动作复杂时检测准确性低。
发明内容
本申请提供了一种手套检测方法、装置、电子设备及存储介质。本申请提供的手套检测方法根据人物坐标位置框信息和骨骼关键点信息确定手部位置框信息,并根据手部位置框信息进行待识别图像中的人物是否佩戴手套的判断。由于本申请提供的手套检测方法中骨骼关键点信息通过人物坐标位置框信息获取,在夜间等复杂环境下,能够通过人物坐标位置框信息和骨骼关键点信息准确识别手部位置框信息,避免了现有手套识别方法需要在人物坐标位置框信息中识别手部位置框信息,当图像环境复杂,手型动作与视角的改变导致手部位置框识别不准,导致油气站员工的手套穿戴判断有误的问题。
第一方面,本申请提供了一种手套检测方法,该方法包括:
获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
可选的,本申请提供的手套检测方法还包括:
通过预先设置的人物检测模型从所述待识别图像中提取所述人物坐标位置框信息;
通过预先设置的骨骼检测模型从所述待识别图像中提取所述人物坐标位置框信息对应的骨骼关键点信息。
可选的,本申请提供的手套检测方法还包括:
根据所述骨骼关键点信息,在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果;
根据所述手部区域标注结果,在所述人物坐标位置框信息中获取所述手部位置框信息。
可选的,本申请提供的手套检测方法还包括:
根据所述骨骼关键点信息进行人物动作判断,获取人物动作判断结果;
根据所述人物动作判断结果从预先设置的第一动作算法中筛选所述骨骼关键点信息对应的第二动作算法;
根据所述骨骼关键点信息,通过所述第二动作算法在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果。
可选的,本申请提供的手套检测方法还包括:
从多个所述人物坐标位置框信息中获取单人坐标位置框信息;
根据所述单人坐标位置框信息和所述骨骼关键点信息获取单人骨骼关键点信息;
根据所述单人坐标位置框信息和所述单人骨骼关键点信息定位所述单人坐标位置框信息对应的单人手部位置框信息;
通过所述手套检测模型对所述单人手部位置框进行手套识别,获取第二手套检测结果。
可选的,本申请提供的手套检测方法还包括:
根据所述单人手部位置框信息和所述单人骨骼关键点信息构建单人热力图;
对所述单人手部位置框信息和所述单人热力图执行通道拼接动作得到第一拼接结果;
将所述第一拼接结果输入所述手套检测模型,获取所述第二手套检测结果。
可选的,所述单人手部位置框信息包括按照时帧排序相邻的第二单人手部位置框信息和第一单人手部位置框信息,所述第一单人手部位置框信息与所述第一拼接结果相对应,本申请提供的手套检测方法还包括:
将所述第一拼接结果与所述第二单人手部位置框信息拼接得到第二拼接结果;
将所述第二拼接结果输入所述手套检测模型,获取第三手套检测结果。
第二方面,本申请还提供一种手套检测装置,包括:
人物标注模块,用于获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
手部标注模块,用于根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
第一手套检测模块,用于通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
第三方面,本申请还提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的手套检测方法的步骤。
第四方面,本申请实施例提供了一种存储介质,所述存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的手套检测方法的步骤。
本申请提供的手套检测方法根据人物坐标位置框信息和骨骼关键点信息确定手部位置框信息,并根据手部位置框信息进行待识别图像中的人物是否佩戴手套的判断。由于本申请提供的手套检测方法中骨骼关键点信息通过人物坐标位置框信息获取,在夜间等复杂环境下,能够通过人物坐标位置框信息和骨骼关键点信息准确识别手部位置框信息,避免了现有手套识别方法需要在人物坐标位置框信息中识别手部位置框信息,当图像环境复杂,手型动作与视角的改变导致手部位置框识别不准,导致油气站员工的手套穿戴判断有误的问题。
上述说明仅是本申请提供的技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请实施例提供的手套检测方法示意图之一;
图2是本申请实施例提供的手套检测方法示意图之二;
图3是本申请实施例提供的手套检测方法示意图之三;
图4是本申请实施例提供的手套检测方法示意图之四;
图5是本申请实施例提供的手套检测方法示意图之五;
图6是本申请实施例提供的手套检测方法示意图之六;
图7是本申请实施例提供的手套检测方法示意图之七;
图8是本申请提供的一种手套检测流程示例;
图9是本申请实施例提供的手套检测装置示意图;
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请提供的手套检测方法、装置、电子设备及存储介质进行详细地说明。
本申请的第一实施方式涉及一种手套检测方法,如图1所示,包括:
步骤101、获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
步骤102、根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
步骤103、通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
具体的,本申请提供的手套检测方法需要借助多个摄像头持续获取待识别图像,从而实现对油气站员工佩戴手套行为的实时监测。举例来说,可以通过多个高清摄像头在工作区域进行布防,多个摄像头的布局间隔在十米以内,一米以上,为了确保图像完整程度和清晰程度,可以采用例如ipx6级防水的200万像素,即1920*1080的高清摄像头。本申请提供的手套检测方法利用深度学***台实现。举例来说,计算平台可以为包含1张1080Ti及以上GPU的计算机,计算机的内存不小于8G,计算机的处理器主频不低于2.3GHz。
在前期工作准备完成后,本申请提供的手套检测方法需要从摄像头采集油气站员工卸油过程的图像,抽帧获得待识别图像,并获取待识别图像中人物整体轮廓的坐标位置信息,框选得到人物坐标位置框信息,并获取人物坐标位置框信息中对应的骨骼关键点信息。
之后,根据人物坐标位置框信息和对应的骨骼关键点信息从人物坐标位置框信息中定位得到手部位置框信息。最后,通过手套检测模型对手部位置框信息进行判断,得到第一手套检测结果,当第一手套检测结果为待识别图像中的手部位置框信息并未穿戴手套时,发出告警信号,阻止油气站员工的违规作业。
本申请提供的手套检测方法根据人物坐标位置框信息和骨骼关键点信息确定手部位置框信息,并根据手部位置框信息进行待识别图像中的人物是否佩戴手套的判断。由于本申请提供的手套检测方法中骨骼关键点信息通过人物坐标位置框信息获取,在夜间等复杂环境下,能够通过人物坐标位置框信息和骨骼关键点信息准确识别手部位置框信息,避免了现有手套识别方法需要在人物坐标位置框信息中识别手部位置框信息,当图像环境复杂,手型动作与视角的改变导致手部位置框识别不准,导致油气站员工的手套穿戴判断有误的问题。
在上述实施方式的基础上,如图2所示,本申请提供的手套检测方法中,步骤101包括:
步骤111、通过预先设置的人物检测模型从所述待识别图像中提取所述人物坐标位置框信息;
步骤112、通过预先设置的骨骼检测模型从所述待识别图像中提取所述人物坐标位置框信息对应的骨骼关键点信息。
具体的,为了减少数据标注的压力,人物坐标位置信息可以采用但不限于开源的人物检测模型获取,骨骼关键点信息可以采用但不限于开源的骨骼检测模型获取。
具体的,从摄像头获取待识别图像后,将待识别图像输入开源的人物检测模型得到待识别图像中多个任务的位置坐标框,即人物坐标位置框信息。随后对人物坐标位置框信息进行可视化确认,并修改漏检对象和误检对象。随后对待识别图像中多个人物坐标位置框信息进行手部数据和手套数据的标注,并通过开源的骨骼检测模型获取对应的骨骼关键点,并对骨骼关键点的数据进行确认与修改。
在上述实施方式的基础上,通过预先设置的人物检测模型和骨骼检测模型获取人物坐标位置框信息和骨骼关键点信息,避免了重新进行模型训练增加训练成本,现有训练成熟的人物检测模型和骨骼检测模型降低了数据标注的压力。
在上述实施方式的基础上,如图3所示,本申请提供的手套检测方法中,步骤102包括:
步骤121、根据所述骨骼关键点信息,在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果;
步骤122、根据所述手部区域标注结果,在所述人物坐标位置框信息中获取所述手部位置框信息。
具体的,根据骨骼关键点信息,获取人物坐标位置框信息对应的骨骼信息后,根据骨骼信息对应人物坐标位置框信息中的手部区域,并在手部区域进行手部标注动作和手套标注动作,得到手部区域标注结果。随后根据手部区域标注结果确定手部位置框信息。
在上述实施方式的基础上,通过根据骨骼关键点信息确定人物坐标位置框信息中的手部区域,避免了由于待识别图像处于夜晚等复杂环境中图像模糊,直接在人物坐标位置框信息框选手部区域效果差,精度低的问题。
在上述实施方式的基础上,如图4所示,本申请提供的手套检测方法中,步骤121包括:
步骤123、根据所述骨骼关键点信息进行人物动作判断,获取人物动作判断结果;
步骤124、根据所述人物动作判断结果从预先设置的第一动作算法中筛选所述骨骼关键点信息对应的第二动作算法;
步骤125、根据所述骨骼关键点信息,通过所述第二动作算法在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果。
具体的,本申请提供的手套检测方法能够根据骨骼关键点信息判断人物所处的动作,例如员工吸烟、打电话、离岗、跌倒等多种动作状态下,手部处于摊开或握紧,手部视角存在差异的情况后,并根据对应的情况从预先设置的第一动作算法中筛选出与动作符合的第二动作算法,并根据骨骼关键点信息通过第二动作算法进行手部区域标注。
在上述实施方式的基础上,通过预先设置的多种不同动作算法,在进行手套检测时,能够根据骨骼关键点信息判断对应的人物所处的动作,再通过对应的动作算法进行手部标注,在避免模型的资源消耗的情况下,对多种不同场景提供支持,扩展了本申请的使用场合。
在上述实施方式的基础上,如图5所示,人物坐标位置框信息为多个,本申请提供的手套检测方法中,步骤101之后,还包括:
步骤104、从多个所述人物坐标位置框信息中获取单人坐标位置框信息;
步骤105、根据所述单人坐标位置框信息和所述骨骼关键点信息获取单人骨骼关键点信息;
步骤106、根据所述单人坐标位置框信息和所述单人骨骼关键点信息定位所述单人坐标位置框信息对应的单人手部位置框信息;
步骤107、通过所述手套检测模型对所述单人手部位置框进行手套识别,获取第二手套检测结果。
具体的,本申请提供的待识别图像中人物有多个,均需要对这些人物进行是否穿戴手套的检测。在获取多个人物坐标位置框信息后,需要从多个人物坐标位置框信息中获取每一个人对应的单人坐标位置框信息,并根据单人坐标位置框信息和对应的单人骨骼关键点信息得到单人坐标位置框信息对应的单人手部位置框信息,从而实现单人的手套穿戴识别,当待识别图像中多人对应的人物坐标位置框信息均进行手套穿戴识别后,得到待识别图像对应的识别结果。
其中,本申请提供的手套检测方法可以采用但不限于两阶段的网络模型实现对待识别图像中人物是否穿戴手套的检测。第一阶段的网络模型用语从待识别图像中得到多个人物坐标位置框信息和对应的骨骼关键点信息,并根据多个人物坐标位置框信息和对应的骨骼关键点信息得到单人坐标位置框信息和单人坐标位置框信息,随后将这些数据输入第二阶段模型进行手套穿戴的检测,确保手部、手套的检测正确性,提高检测效率。
为了提高本申请所使用网络模型的学习效率,可以采用网格调参等方法来选择最优的学习率参数,还可以加入余弦退火等策略对学习率进行动态的调整防止陷入局部最优解。为了缩短训练时间,加快损失下降,可以使用coco大规模数据集作为预训练模型,引入focal_loss 来增加困难样本的损失,从而提高精度。此外,还可以通过precision、recall、mAP 来对算法模型进行精度评估。
在上述实施方式的基础上,如图6所示,本申请提供的手套检测方法中,步骤107包括:
步骤171、根据所述单人手部位置框信息和所述单人骨骼关键点信息构建单人热力图;
步骤172、对所述单人手部位置框信息和所述单人热力图执行通道拼接动作得到第一拼接结果;
步骤173、将所述第一拼接结果输入所述手套检测模型,获取所述第二手套检测结果。
具体的,在获得单人手部位置框信息和单人骨骼关键点信息后,可以构建单人的骨骼热力图,举例来说,以单人手部位置框信息的中心点为中点,制作以手、手套的标注框大小为半径R的高斯圆热力图。随后将单人手部位置框信息与对应的单人热力图在通道上拼接得到第一拼接结果。最后将第一拼接结果输入手套检测模型中得到第二手套检测结果。
其中,第一阶段模型能过从待识别图像中检测到所有人的手部位置框信息和所有人的骨骼热力图。而第二阶段模型根据单人的手部位置信息和单人的骨骼热力图进行单人是否穿戴手套的检测。
在上述实施方式的基础上,如图7所示,所述单人手部位置框信息包括按照时帧排序相邻的第二单人手部位置框信息和第一单人手部位置框信息,所述第一单人手部位置框信息与所述第一拼接结果相对应,本申请提供的手套检测方法中,步骤172之后,还包括:
步骤174、将所述第一拼接结果与所述第二单人手部位置框信息拼接得到第二拼接结果;
步骤175、将所述第二拼接结果输入所述手套检测模型,获取第三手套检测结果。
具体的,本申请提供的手套检测方法中输入模型的第二拼接结果包括第一拼接结果和第二单人手部位置框信息,即输入模型的数据同时包括第一拼接结果和第一拼接结果对应的第一单人手部位置框信息前一帧的第二单人手部位置框信息。举例来说,分别计算待识别图像的全图数据集和人物抠图数据集的BGR均值。随后对待识别图像的人物数据集执行循环抠图,生成图像大小的全0图片,使用人物抠图数据的均值填充,在生成的图像上,以单人手部位置框信息的中心点为中点,制作以手、手套的标注框大小为半径R的高斯圆热力图。随后将单人手部位置框信息与对应的单人热力图在通道上拼接得到第一拼接结果。随后对待识别图像的全图数据集执行循环抠图,生成图像大小的全0图片,使用全图数据集的均值填充,将对应的单张人物图像的热力图还原到全图对应位置,记录热力图的对应帧数。将第一拼接结果和第二单人手部位置框信息对应的热力图进行拼接得到第二拼接结果。其中,当第一拼接结果为第一帧图像时,直接将生成的均值图像与第一拼接结果进行拼接得到第二拼接结果。
其中,第一阶段模型和第二阶段模型均进行相应修改。举例来说,第一阶段模型的输入通道由三通道改为四通道,用于同时输入第一拼接结果和第二单人手部位置框信息对应的热力图。第一阶段模型新增同层神经网络尺寸的热力图,多头多尺寸热力图进行上采样到原图大小,然后进行拼接,再通过一个卷积块对其进行通道融合,得到通道数为1的骨骼热力图,实现通道拼接效果。而第二阶段模型的输入通道同样由三通道改为四通道并新增对应的热力图,实现对第二拼接结果的检测。
在上述实施方式的基础上,通过添加时序的先验信息,让模型的输出的人物、骨骼热力图检测更加精准,降低误检的风险。
在上述实施方式的基础上,如图8所示,本申请还提供一种防油静电手套检测示例。
摄像头采集多帧按照时间顺序排列的待识别图像后,将待识别图像逐帧输入第一阶段网络模型。第一阶段网络模型通过开源的人物检测模型和骨骼检测模型分别获取人物检测信息和全图骨骼热力图。随后,第一阶段网络模型从人物检测信息汇总获取多个单人特征,并根据单人特征的区域坐标信息从全图骨骼热力图中得到单人对应区域热力图。为了保证全图骨骼热力图的准确性,每一帧待识别图像的全图骨骼热力图均与上一帧待识别图像的全图骨骼热力图结合考虑,提高骨骼热力图的精确程度。当待识别图像为多帧中的第一帧时,结合第一帧待识别图像的全图骨骼热力图和均值全图骨骼热力图输入第二阶段网络模型。在输入第二阶段网络模型时,将单人特征和单人特征对应的区域热力图进行通道拼接,并将拼接后的结果输入第二阶段网络模型,得到手套检测信息,即手套检测结果。
本申请的第二实施方式涉及一种手套检测装置,如图9所示,包括:
人物标注模块201,用于获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
手部标注模块202,用于根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
第一手套检测模块203,用于通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
在上述实施方式的基础上,人物标注模块201包括:
人物位置提取单元211,用于通过预先设置的人物检测模型从所述待识别图像中提取所述人物坐标位置框信息;
骨骼关键点提取单元212,用于通过预先设置的骨骼检测模型从所述待识别图像中提取所述人物坐标位置框信息对应的骨骼关键点信息。
在上述实施方式的基础上,手部标注模块202包括:
手部区域标注单元221,用于根据所述骨骼关键点信息,在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果;
手部位置框选单元222,用于根据所述手部区域标注结果,在所述人物坐标位置框信息中获取所述手部位置框信息。
在上述实施方式的基础上,手部区域标注单元221包括:
动作判断子单元223,用于根据所述骨骼关键点信息进行人物动作判断,获取人物动作判断结果;
算法获取子单元224,用于根据所述人物动作判断结果从预先设置的第一动作算法中筛选所述骨骼关键点信息对应的第二动作算法;
手部标注子单元225,用于根据所述骨骼关键点信息,通过所述第二动作算法在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果。
在上述实施方式的基础上,本申请提供的手套检测装置还包括:
单人人物位置提取模块204,用于从多个所述人物坐标位置框信息中获取单人坐标位置框信息;
单人骨骼关键点提取模块205,用于根据所述单人坐标位置框信息和所述骨骼关键点信息获取单人骨骼关键点信息;
单人手部位置标注模块206,用于根据所述单人坐标位置框信息和所述单人骨骼关键点信息定位所述单人坐标位置框信息对应的单人手部位置框信息;
第二手套检测模块207,用于通过所述手套检测模型对所述单人手部位置框进行手套识别,获取第二手套检测结果。
在上述实施方式的基础上,第二手套检测模块207包括:
热力图构建单元271,用于根据所述单人手部位置框信息和所述单人骨骼关键点信息构建单人热力图;
第一拼接单元272,用于对所述单人手部位置框信息和所述单人热力图执行通道拼接动作得到第一拼接结果;
第二检测单元273,用于将所述第一拼接结果输入所述手套检测模型,获取所述第二手套检测结果。
在上述实施方式的基础上,第二手套检测模块207还包括:
第二拼接单元274,用于将所述第一拼接结果与所述第二单人手部位置框信息拼接得到第二拼接结果;
第三检测单元275,用于将所述第二拼接结果输入所述手套检测模型,获取第三手套检测结果。
本申请的第三实施方式涉及一种移动终端,如图10所示,包括:
至少一个处理器161;以及,
与所述至少一个处理器161通信连接的存储器162;其中,
所述存储器162存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器161执行,以使所述至少一个处理器161能够实现本申请第一实施方式或第二实施方式所述的手套检测方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请第四实施方式涉及一种计算机存储介质,存储有计算机程序。计算机程序被处理器执行时实现本申请第一实施方式或第二实施方式所述的手套检测方法。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种手套检测方法,其特征在于,所述方法包括:
获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
2.根据权利要求1所述的方法,其特征在于,所述获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息包括:
通过预先设置的人物检测模型从所述待识别图像中提取所述人物坐标位置框信息;
通过预先设置的骨骼检测模型从所述待识别图像中提取所述人物坐标位置框信息对应的骨骼关键点信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息包括:
根据所述骨骼关键点信息,在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果;
根据所述手部区域标注结果,在所述人物坐标位置框信息中获取所述手部位置框信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述骨骼关键点信息,在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果包括:
根据所述骨骼关键点信息进行人物动作判断,获取人物动作判断结果;
根据所述人物动作判断结果从预先设置的第一动作算法中筛选所述骨骼关键点信息对应的第二动作算法;
根据所述骨骼关键点信息,通过所述第二动作算法在所述人物坐标位置框信息中执行手部区域标注动作,获取手部区域标注结果。
5.根据权利要求1所述的方法,其特征在于,所述人物坐标位置框信息为多个,所述获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息之后,还包括:
从多个所述人物坐标位置框信息中获取单人坐标位置框信息;
根据所述单人坐标位置框信息和所述骨骼关键点信息获取单人骨骼关键点信息;
根据所述单人坐标位置框信息和所述单人骨骼关键点信息定位所述单人坐标位置框信息对应的单人手部位置框信息;
通过所述手套检测模型对所述单人手部位置框进行手套识别,获取第二手套检测结果。
6.根据权利要求5所述的方法,其特征在于,所述通过所述手套检测模型对所述单人手部位置框进行手套识别,获取第二手套检测结果包括:
根据所述单人手部位置框信息和所述单人骨骼关键点信息构建单人热力图;
对所述单人手部位置框信息和所述单人热力图执行通道拼接动作得到第一拼接结果;
将所述第一拼接结果输入所述手套检测模型,获取所述第二手套检测结果。
7.根据权利要求6所述的方法,其特征在于,所述单人手部位置框信息包括按照时帧排序相邻的第二单人手部位置框信息和第一单人手部位置框信息,所述第一单人手部位置框信息与所述第一拼接结果相对应,所述对所述单人手部位置框信息和所述单人热力图执行通道拼接动作得到第一拼接结果之后,还包括:
将所述第一拼接结果与所述第二单人手部位置框信息拼接得到第二拼接结果;
将所述第二拼接结果输入所述手套检测模型,获取第三手套检测结果。
8.一种手套检测装置,其特征在于,包括:
人物标注模块,用于获取待识别图像中的人物坐标位置框信息和对应的骨骼关键点信息;
手部标注模块,用于根据所述人物坐标位置框信息和所述骨骼关键点信息定位所述待识别图像中的手部位置框信息;
第一手套检测模块,用于通过预先训练的手套检测模型对所述手部位置框进行手套识别,获取第一手套检测结果。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的手套检测方法的步骤。
10.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的手套检测方法。
CN202311353217.6A 2023-10-19 2023-10-19 手套检测方法、装置、电子设备及存储介质 Active CN117115861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353217.6A CN117115861B (zh) 2023-10-19 2023-10-19 手套检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353217.6A CN117115861B (zh) 2023-10-19 2023-10-19 手套检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117115861A true CN117115861A (zh) 2023-11-24
CN117115861B CN117115861B (zh) 2024-01-26

Family

ID=88796827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353217.6A Active CN117115861B (zh) 2023-10-19 2023-10-19 手套检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117115861B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177087A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Hand skeleton comparison and selection for hand and gesture recognition with a computing interface
CN110751056A (zh) * 2019-09-27 2020-02-04 湖北工业大学 基于改进自顶向下法多人姿态检测的行人运动预测方法
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及***
CN111666917A (zh) * 2020-06-19 2020-09-15 北京市商汤科技开发有限公司 姿态检测及视频处理方法、装置、电子设备和存储介质
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN112004061A (zh) * 2020-09-03 2020-11-27 四川弘和通讯有限公司 一种基于计算机视觉的卸油流程规范性智能监控方法
CN113761947A (zh) * 2020-06-04 2021-12-07 北京易智时代数字科技有限公司 一种虚拟仿真多人交互***
WO2023007601A1 (ja) * 2021-07-28 2023-02-02 日本電気株式会社 動作検出システム、動作検出方法、及び非一時的なコンピュータ可読媒体
CN115830635A (zh) * 2022-12-09 2023-03-21 南通大学 一种基于关键点检测和目标识别的pvc手套识别方法
KR20230040849A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
CN116189311A (zh) * 2023-04-27 2023-05-30 成都愚创科技有限公司 一种防护服穿戴标准化流程监测***
CN116563949A (zh) * 2023-07-05 2023-08-08 四川弘和数智集团有限公司 一种行为识别方法、装置、设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177087A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Hand skeleton comparison and selection for hand and gesture recognition with a computing interface
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN110751056A (zh) * 2019-09-27 2020-02-04 湖北工业大学 基于改进自顶向下法多人姿态检测的行人运动预测方法
CN113761947A (zh) * 2020-06-04 2021-12-07 北京易智时代数字科技有限公司 一种虚拟仿真多人交互***
CN111666917A (zh) * 2020-06-19 2020-09-15 北京市商汤科技开发有限公司 姿态检测及视频处理方法、装置、电子设备和存储介质
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及***
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN112004061A (zh) * 2020-09-03 2020-11-27 四川弘和通讯有限公司 一种基于计算机视觉的卸油流程规范性智能监控方法
WO2023007601A1 (ja) * 2021-07-28 2023-02-02 日本電気株式会社 動作検出システム、動作検出方法、及び非一時的なコンピュータ可読媒体
KR20230040849A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
CN115830635A (zh) * 2022-12-09 2023-03-21 南通大学 一种基于关键点检测和目标识别的pvc手套识别方法
CN116189311A (zh) * 2023-04-27 2023-05-30 成都愚创科技有限公司 一种防护服穿戴标准化流程监测***
CN116563949A (zh) * 2023-07-05 2023-08-08 四川弘和数智集团有限公司 一种行为识别方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XI ZHAO等: "A Novel Data Glove for Hand-object Pressure Capture", 《2021 36TH YOUTH ACADEMIC ANNUAL CONFERENCE OF CHINESE ASSOCIATION OF AUTOMATION (YAC)》, pages 459 - 464 *
刘玉鹏: "动态手势识别和跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 09, pages 138 - 1076 *
张继凯 等: "基于骨架信息的人体动作识别与实时交互技术", 《内蒙古科技大学学报》, no. 03, pages 66 - 72 *
赵金龙: "基于卷积神经网络的手语识别算法研究及部署", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, pages 138 - 1602 *

Also Published As

Publication number Publication date
CN117115861B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109902659B (zh) 用于处理人体图像的方法和装置
US11030464B2 (en) Privacy processing based on person region depth
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN111626243B (zh) 口罩遮挡人脸的身份识别方法、装置及存储介质
CN109410192A (zh) 一种多纹理分级融合的织物缺陷检测方法及其装置
CN111062303A (zh) 图像处理方法、***及计算机存储介质
CN112101123B (zh) 一种注意力检测方法及装置
CN110879995A (zh) 目标物品检测方法及装置、存储介质及电子装置
CN113435236A (zh) 居家老人姿态检测方法、***、存储介质、设备及应用
CN111814587A (zh) 人体行为检测方法、教师行为检测方法及相关***和装置
CN113052127A (zh) 一种行为检测方法、***、计算机设备及机器可读介质
CN112906441B (zh) 用于通信行业查勘维护的图像识别***及方法
CN114937293A (zh) 基于gis的农业服务管理方法及***
CN117726991A (zh) 一种高空吊篮安全带检测方法及终端
CN117115861B (zh) 手套检测方法、装置、电子设备及存储介质
CN109858319A (zh) 图像处理设备及控制方法和非暂时性计算机可读存储介质
CN114550201A (zh) 服装规范化检测方法及装置
CN117158955A (zh) 基于可佩戴监测设备的用户安全智能监测方法
CN112925941A (zh) 数据处理方法及装置、电子设备及计算机可读存储介质
CN112215567A (zh) 生产流程合规检查方法及***、存储介质及终端
CN114067256B (zh) 一种基于Wi-Fi信号的人体关键点检测方法及***
CN116311499A (zh) 一种安全设备穿戴检测方法及装置
JP2020095651A (ja) 生産性評価システム、生産性評価装置、生産性評価方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant