CN113177468A - 人体行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了人体行为检测方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，可应用于智能云和安全巡检场景下。具体实现方案：获取待测图像；对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息；根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点；以及根据多个关键点分组之中的关键点，确定目标人体行为，能够提升安全巡检场景下人体行为检测识别的准确性和检测识别效率，从而有效地满足安全巡检场景中检测识别的实时性需求。

Description

人体行为检测方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，可应用于智能云和安全巡检场景下，尤其涉及人体行为检测方法、装置、电子设备及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

相关技术中，在安全巡检场景中用于人体行为检测的方法，实时性较差，对人体违规行为，人员安全着装等人体行为的检测识别效果不佳。

发明内容

提供了一种人体行为检测方法、装置、电子设备、存储介质及计算机程序产品。

根据第一方面，提供了一种人体行为检测方法，包括：获取待测图像；对所述待测图像进行关键点识别，以得到多个关键点，和与所述多个关键点分别对应的多个位置信息；根据所述多个位置信息对所述多个关键点进行分组，以得到多个关键点分组，所述关键点分组包括：至少部分的所述关键点；以及根据所述多个关键点分组之中的所述关键点，确定目标人体行为。

根据第二方面，提供了一种人体行为检测装置，包括：获取模块，用于获取待测图像；识别模块，用于对所述待测图像进行关键点识别，以得到多个关键点，和与所述多个关键点分别对应的多个位置信息；分组模块，用于根据所述多个位置信息对所述多个关键点进行分组，以得到多个关键点分组，所述关键点分组包括：至少部分的所述关键点；以及确定模块，用于根据所述多个关键点分组之中的所述关键点，确定目标人体行为。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的人体行为检测方法。

根据第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的人体行为检测方法。

根据第五方面，提出了一种计算机程序产品，包括计算机程序，当所述计算机程序由处理器执行时实现本公开实施例公开的人体行为检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是本公开实施例中一待测图像示意图；

图3是本公开实施例中关键点热图示意图；

图4是本公开实施例中另一待测图像示意图；

图5是根据本公开第二实施例的示意图；

图6是根据本公开第三实施例的示意图；

图7是本公开实施例中检测框示意图；

图8是本公开实施例中的人体行为检测装置的架构示意图；

图9是根据本公开第四实施例的示意图；

图10是根据本公开第五实施例的示意图；

图11是用来实现本公开实施例的人体行为检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开第一实施例的示意图。

其中，需要说明的是，本实施例的人体行为检测方法的执行主体为人体行为检测装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。

本公开实施例涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，可应用于智能云和安全巡检场景下，提升安全巡检场景下人体行为检测识别的准确性和检测识别效率，从而有效地满足安全巡检场景中检测识别的实时性需求。

其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

而安全巡检场景，例如厂区的安全作业生产环境中，需要对工作人员进行安全帽佩戴检测、吸烟检测与打电话检测等的巡检场景，需要说明的是，通常在该场景下，对工作人员所进行的人体属性检测，均是为了保障正常的安全作业。

如图1所示，该人体行为检测方法包括：

S101：获取待测图像。

其中，用于检测人体行为的图像，可以被称为待测图像，待测图像的数量可以是一个或者多个，待测图像可以具体例如一幅图像，或者一段视频中的视频帧对应的图像，待测图像还可以是二维图像，或者三维图像，对此不做限制。

在获取待测图像时，可以是采用计算机编程语言python的视觉处理算法OpenCV模块来读取巡检场景中各个监控摄像头的实时视频流，并将其每一帧视频帧进行处理后，作为待测图像，对此不做限制。

也即是说，本公开实施例中的待测图像可以是解析实时视频流得到的，即可以预先配置人体行为检测装置集成视觉处理算法OpenCV模块，从而使得人体行为检测方法能够与实时视频流采集模块进行实时交互，以解析实时视频流得到待测图像。

S102：对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息。

上述在获取待测图像之中，可以对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息，其中的关键点可以具体为能够用于表征人体行为姿态的关键的人体关节点，例如，头、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、颈部等。

相应的，位置信息，即可以用于描述前述的关键的人体关节点对应于待测图像整体的位置情况，位置信息可以具体例如，头部的中心点对应于待测图像的位置坐标，对此不做限制。

本公开实施例中，还可以采用热图的方式表示待测图像中的多个关键点，以及与多个关键点分别对应的多个位置信息，具体参见下述。

一些实施例中，在对待测图像进行关键点识别时，可以采用用于视觉识别的深度高分辨率表示学习模型(Deep High-Resolution Representation Learning for VisualRecognition，HRNet)，对此不做限制，即可以采用HRNet模型的骨干网络进行待测图像的特征提取，而后，基于提取到的特征结合相关技术中的分辨率热图聚合策略，生成尺度感知的高分辨率热图。

如图2、图3、图4所示，图2是本公开实施例中一待测图像示意图，图3是本公开实施例中关键点热图示意图，其图2中相应地映射出多个关键点，以及关键点的位置信息，在具体执行的过程中，可以对图2中的多个关键点进行序号标注，以进行区分，图4是本公开实施例中另一待测图像示意图，图4中针对待测图像，以序号标注出各个关键点。

在另外一些实施例中，也可以采用其他任意可能的识别方式从待测图像中识别出关键点和关键点的位置信息，对此不做限制。

S103：根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点。

上述在对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息之后，可以根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，后续可以基于不同的关键点分组来触发执行不同的人体行为识别方法。

也即是说，本公开实施例中支持首先结合一定的策略根据多个位置信息对多个关键点进行分组，不同的关键点分组中的多个关键点之间具有相同或者相近的聚合特征(该聚合特征可以具体用于标识出相应的姿态)，从而后续在识别人体行为时，可以结合关键点分组中的多个关键点之间的聚合特征来辅助进行人体行为检测，能够有效保障人体行为检测的准确性。

本公开实施例中，上述针对待测图像识别出的关键点可以例如，头、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、颈部等，则在根据多个位置信息对多个关键点进行分组时，可以是将属于同一肢体的至少部分关键点划分至相同的关键点分组中，从而使得该关键点分组中的属于同一肢体的至少部分关键点的聚合特征，能够用于标识出人体是站立姿态，还是下蹲姿态等，对此不做限制。

又例如，还可以将不属于某一肢体的关键点单独划分至一个关键点分组之中，具体例如，头部和颈部实际上不属于某一肢体，则可以将关键点(头)划分至一个关键点分组A中，而将关键点(颈部)划分至一个关键点分组B中，对此不做限制。

另外一些实施例中，也可以采用任意可能的划分方式来对多个关键点进行分组，对此不做限制。

本公开实施例中，为了保障所划分的关键点分组能够有效地辅助支撑后续人体行为的检测，还可以根据人体结构特点，利用贪婪解析算法自底向上对检测到的多个关键点进行连接，并对计算结果进行可视化输出，如图4所示，从而根据可视化输出的结果，根据是否具有连线的情况来进行关键点分组，在根据人体结构特点，利用贪婪解析算法自底向上对检测到的多个关键点进行连接时，可以是参考如下连线规则：

假设关键点即对应人体的关节点，则根据人体结构特点的连线规则是：同一类关节点下的同一个关节不同时与另一类关节下的两个关节相连。

S104：根据多个关键点分组之中的关键点，确定目标人体行为。

上述在根据多个位置信息对多个关键点进行分组，以得到多个关键点分组之后，可以根据多个关键点分组之中的关键点，确定目标人体行为，也即是说，本公开实施例中，由于是结合了从待测图像中识别出的多个关键点分组来辅助确定目标人体行为，从而实现结合关键点分组中的多个关键点之间的聚合特征来辅助进行人体行为检测，能够有效保障人体行为检测的准确性。

本实施例中，通过获取待测图像，对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息，并根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点，以及根据多个关键点分组之中的关键点，确定目标人体行为，能够提升安全巡检场景下人体行为检测识别的准确性和检测识别效率，从而有效地满足安全巡检场景中检测识别的实时性需求。

图5是根据本公开第二实施例的示意图。

如图5所示，该人体行为检测方法包括：

S501：获取待测图像。

S502：对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息。

S503：根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点。

S501-S503的描述说明可以具体参见上述实施例，在此不再赘述。

S504：根据关键点分组之中的关键点，确定关键点分组所属于的目标人体区域。

S505：根据目标人体区域属于的人体区域类别，确定目标人体行为。

其中，人体区域可以具体例如为人体的头部区域、颈部区域、左上肢区域、右上肢区域、左下肢区域、右下肢区域、身体区域等，对此不做限制。

而目标人体区域，则可以是上述人体区域中的任一种，则本公开实施例中，在划分得到关键点分组后，可以根据关键点分组包括的至少部分关键点，根据各个关键点对应的位置信息来辅助确定其可能属于的人体区域，从而将可能属于的人体区域作为目标人体区域。

上述的人体区域类别，可以具体例如头部类别、颈部类别、左上肢类别、右上肢类别、左下肢类别、右下肢类别、身体类别等，对此不做限制。

则上述与目标人体区域对应的人体区域类别，可以被称为目标人体区域属于的人体区域类别，该人体区域类别，可以被用于后续确定合适的人体行为检测方式。

本实施例中，通过获取待测图像，对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息，并根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点，以及根据多个关键点分组之中的关键点，确定目标人体行为，能够提升安全巡检场景下人体行为检测识别的准确性和检测识别效率，从而有效地满足安全巡检场景中检测识别的实时性需求。由此可见，本公开实施例中支持结合人体结构特征和关键点的位置信息，对识别到的多个关键点进行划分，从而辅助后续选取适配的人体行为检测方法，使得人体行为检测方法能够灵活地适配于不同的人体区域，实现精细化的人体行为检测。

图6是根据本公开第三实施例的示意图。

如图6所示，该人体行为检测方法包括：

S601：获取待测图像。

S601的描述说明可以具体参见上述实施例，在此不再赘述。

S602：对待测图像进行人体检测，以得到多个检测框，多个检测框分别对应包括：多个人体区域，多个人体区域分别具有对应的多个候选区域类别。

在获取待测图像之后，可以对待测图像进行人体检测，以得到多个检测框，多个检测框分别对应包括：多个人体区域，多个人体区域分别具有对应的多个候选区域类别。

如图7所示，图7是本公开实施例中检测框示意图，其中，检测框71包括头部区域，检测框72包括手部区域，对此不做限制。

在对待测图像进行人体检测时，可以采用任意可能的目标检测方法来从待测图像中定位出多个检测框，对此不做限制。

一并参见上述描述，在确定各个检测框分别包括的人体区域之后，可以直接将针对人体区域标注的人体区域类别作为候选区域类别。

假设检测框71包括头部区域，检测框72包括手部区域，则检测框71的候选区域类别可以是头部类别，检测框72的候选区域类别可以是手部类别，对此不做限制。

在本公开的实施例中，上述的候选区域类别可以具体被概括为非肢体类别，非肢体类别即头部类别、手部类别、颈部类别、身体类别等，相应的，肢体类别即左上肢类别、右上肢类别、左下肢类别、右下肢类别等，对此不做限制。

上述在对待测图像进行人体检测，以得到多个检测框之后，该多个检测框可以被用于作为检测人体行为的参考框，从而支持本公开实施例后续中结合非肢体类的人体区域对人体进行行为检测，有效地提升人体行为检测参考内容的全面性，使得所检测得到的人体行为能够更准确。

S603：对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息。

S604：根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点。

S605：根据关键点分组之中的关键点，确定关键点分组所属于的目标人体区域。

S603-S605的描述说明可以具体参见上述实施例，在此不再赘述。

S606：如果目标人体区域属于的人体区域类别与任一候选区域类别相匹配，则确定与匹配的候选区域类别所对应的目标检测框，目标检测框属于多个检测框。

假设上述的候选区域类别可以具体被概括为非肢体类别，非肢体类别即头部类别、手部类别、颈部类别、身体类别等，如果目标人体区域属于的人体区域类别与任一候选区域类别相匹配，则表明目标人体区域属于的人体区域类别即是非肢体类别，从而基于非肢体类别的人体区域，预先检测得到相应的检测框(与目标人体区域属于的人体区域类别，对应的检测框，可以被称为目标检测框)。

本公开实施例中，可以支持对预先检测得到的非肢体类别的检测框进行校准，具体参见后续实施例。

S607：根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理。

上述在目标人体区域属于的人体区域类别与任一候选区域类别(非肢体类别)相匹配，则确定与匹配的候选区域类别所对应的目标检测框，而后，根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理，从而使得校准处理后的目标检测框针对目标的匹配位置更为准确，使得基于校准后的目标检测框确定得到的目标人体行为，能够更符合实际情况，保障检测准确性。

上述在根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理时，可以是根据该关键点分组中各个关键点的位置信息，确定目标中心位置，而后，将目标检测框的中心位置调整至目标中心位置，对此不做限制。

另外一些实施例中，也可以是将关键点分组中各个关键点的位置信息输入至预训练的校准模型中，获得该校准模型输出的目标位置，而后，将目标检测框的中心位置调整至目标位置，对此不做限制。

S608：基于校准后的目标检测框，确定目标人体行为。

上述在根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理之后，可以直接基于校准后的目标检测框，确定目标人体行为。

确定得到的目标人体行为，可以具体例如，是否抽烟、是否着工作装、是否佩戴安全帽、是否打电话等，对此不做限制。

例如，可以对校准后的目标检测框框出的局部图像进行特征识别，根据识别到的局部图像特征来确定目标人体行为，对此不做限制。

S609：如果目标人体区域属于的人体区域类别与候选区域类别不匹配，则对相应的关键点分组之中关键点进行连接，以得到多个关键点连线。

另外一些实施例中，如果目标人体区域属于的人体区域类别与候选区域类别不匹配，则表明目标人体区域属于的人体区域类别即是肢体类别，肢体类别即左上肢类别、右上肢类别、左下肢类别、右下肢类别等，则可以对相应的关键点分组之中关键点进行连接，以得到多个关键点连线。

可选地，一些实施例中，对相应的关键点分组之中关键点进行连接，以得到多个关键点连线，可以是根据人体结构特点，利用贪婪解析算法自底向上对关键点分组之中关键点进行连接。

假设关键点即对应人体的关节点，则根据人体结构特点的连线规则是：同一类关节点下的同一个关节不同时与另一类关节下的两个关节相连。

本公开实施例中，结合贪婪解析算法，对至少部分关键点进行连接的表达方式可以充分编码全局上下文信息，能够有效地缩减人体行为检测的时间，同时保障获得较好的表达准确性。

S610：根据多个关键点连线确定目标人体行为。

上述在目标人体区域属于的人体区域类别与候选区域类别不匹配时，对相应的关键点分组之中关键点进行连接，以得到多个关键点连线，而后可以根据多个关键点连线确定目标人体行为。

举例而言，可以根据各个关键点连线确定人体姿态，而后将人体姿态与预设对应关系进行比对，该预设对应关系可以包括：候选人体姿态，与候选人体姿态对应的候选人体行为，确定与人体姿态匹配的候选人体姿态，并将该匹配的候选人体姿态所对应的候选人体行为作为上述的目标人体行为，对此不做限制。

或者，也可以采用其他任意可能的方式来结合多个关键点连线来确定人体姿态，比如根据关键点连线的倾斜角来判断人体是否摔倒、左上肢或者右上肢是否靠近人体的嘴部、耳部等，如果判定左上肢或者右上肢靠近人体的嘴部，则可以相应的确定可能存在抽烟行为，而后可以结合头部区域的局部图像特征来验证是否存在抽烟行为，或者，如果判定左上肢或者右上肢靠近人体的耳部，则可以相应的确定可能存在打电话行为，而后可以结合耳部区域的局部图像特征来验证是否存在打电话行为，对此不做限制。

从而本公开实施例中，通过在目标人体区域属于的人体区域类别与候选区域类别不匹配时，对相应的关键点分组之中关键点进行连接，以得到多个关键点连线，而后可以根据多个关键点连线确定目标人体行为，提供了灵活地确定人体行为的方式，并使得人体行为检测方法具有了较好的实用性，在较大程度提升检测准确性的时效性的同时，有效地降低行为检测耗费的人力资源，保障厂区安全生产运营。

上述在检测识别出目标人体行为之后，可以由人体行为检测装置向智能设备将发送报警指令，基于该报警指令通知相应的监控人员可能存在违规的人体行为。

如图8所示，图8是本公开实施例中的人体行为检测装置的架构示意图，包括厂区图像采集模块81、关键点识别模块82、该关键点识别模块82可以内置关键点识别模型，用以识别待测图像中的多个关键点和相应的位置信息，人体姿态估计模块83、人体着装穿戴判别模块84、违规行为匹配模块85，以及告警模块86，用以支持上述人体行为检测方法实施例中的各个步骤，对此不做限制。

本实施例中，对待测图像进行人体检测，以得到多个检测框之后，该多个检测框可以被用于作为检测人体行为的参考框，从而支持本公开实施例后续中结合非肢体类的人体区域对人体进行行为检测，有效地提升人体行为检测参考内容的全面性，使得所检测得到的人体行为能够更准确。在目标人体区域属于的人体区域类别与任一候选区域类别(非肢体类别)相匹配，则确定与匹配的候选区域类别所对应的目标检测框，而后，根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理，从而使得校准处理后的目标检测框针对目标的匹配位置更为准确，使得基于校准后的目标检测框确定得到的目标人体行为，能够更符合实际情况，保障检测准确性。结合贪婪解析算法，对至少部分关键点进行连接的表达方式可以充分编码全局上下文信息，能够有效地缩减人体行为检测的时间，同时保障获得较好的表达准确性。通过在目标人体区域属于的人体区域类别与候选区域类别不匹配时，对相应的关键点分组之中关键点进行连接，以得到多个关键点连线，而后可以根据多个关键点连线确定目标人体行为，提供了灵活地确定人体行为的方式，并使得人体行为检测方法具有了较好的实用性，在较大程度提升检测准确性的时效性的同时，有效地降低行为检测耗费的人力资源，保障厂区安全生产运营。

图9是根据本公开第四实施例的示意图。

如图9所示，该人体行为检测装置90，包括：

获取模块901，用于获取待测图像。

识别模块902，用于对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息。

分组模块903，用于根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点。

确定模块904，用于根据多个关键点分组之中的关键点，确定目标人体行为。

在本公开的一些实施例中，如图10所示，图10是根据本公开第五实施例的示意图，该人体行为检测装置100，包括：获取模块1001、识别模块1002、分组模块1003、确定模块1004，其中，确定模块1004，包括：

第一确定子模块10041，用于根据关键点分组之中的关键点，确定关键点分组所属于的目标人体区域；

第二确定子模块10042，用于根据目标人体区域属于的人体区域类别，确定目标人体行为。

在本公开的一些实施例中，如图10所示，还包括：

检测模块1005，用于在获取待测图像之后，对待测图像进行人体检测，以得到多个检测框，多个检测框分别对应包括：多个人体区域，多个人体区域分别具有对应的多个候选区域类别。

在本公开的一些实施例中，其中，如图10所示，第二确定子模块10042，具体用于：

如果人体区域类别与任一候选区域类别相匹配，则确定与匹配的候选区域类别所对应的目标检测框，目标检测框属于多个检测框；

根据目标人体区域对应的关键点分组，对目标检测框的位置进行校准处理；

基于校准后的目标检测框，确定目标人体行为。

在本公开的一些实施例中，其中，如图10所示，第二确定子模块10042，具体用于：

如果人体区域类别与候选区域类别不匹配，则对相应的关键点分组之中关键点进行连接，以得到多个关键点连线；

根据多个关键点连线确定目标人体行为。

在本公开的一些实施例中，其中，如图10所示，第二确定子模块10042，具体用于：

根据人体结构特点，利用贪婪解析算法自底向上对关键点分组之中关键点进行连接。

可以理解的是，本实施例附图10中的人体行为检测装置100与上述实施例中的人体行为检测装置90，获取模块1001与上述实施例中的获取模块901，识别模块1002与上述实施例中的识别模块902，分组模块1003与上述实施例中的分组模块903，确定模块1004与上述实施例中的确定模块904，可以具有相同的功能和结构。

需要说明的是，前述对人体行为检测方法的解释说明也适用于本实施例的人体行为检测装置，此处不再赘述。

本实施例中，通过获取待测图像，对待测图像进行关键点识别，以得到多个关键点，和与多个关键点分别对应的多个位置信息，并根据多个位置信息对多个关键点进行分组，以得到多个关键点分组，关键点分组包括：至少部分的关键点，以及根据多个关键点分组之中的关键点，确定目标人体行为，能够提升安全巡检场景下人体行为检测识别的准确性和检测识别效率，从而有效地满足安全巡检场景中检测识别的实时性需求。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11是用来实现本公开实施例的人体行为检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如，人体行为检测方法。

例如，在一些实施例中，人体行为检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算单元1101执行时，可以执行上文描述的人体行为检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人体行为检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的人体行为检测方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种人体行为检测方法，包括：

获取待测图像；

对所述待测图像进行关键点识别，以得到多个关键点，和与所述多个关键点分别对应的多个位置信息；

根据所述多个位置信息对所述多个关键点进行分组，以得到多个关键点分组，所述关键点分组包括：至少部分的所述关键点；以及

根据所述多个关键点分组之中的所述关键点，确定目标人体行为。

2.根据权利要求1所述的方法，其中，所述根据所述多个关键点分组之中的所述关键点，确定目标人体行为，包括：

根据所述关键点分组之中的所述关键点，确定所述关键点分组所属于的目标人体区域；

根据所述目标人体区域属于的人体区域类别，确定所述目标人体行为。

3.根据权利要求2所述的方法，在所述获取待测图像之后，还包括：

对所述待测图像进行人体检测，以得到多个检测框，所述多个检测框分别对应包括：多个人体区域，所述多个人体区域分别具有对应的多个候选区域类别。

4.根据权利要求3所述的方法，其中，所述根据所述目标人体区域属于的人体区域类别，确定所述目标人体行为，包括：

如果所述人体区域类别与任一所述候选区域类别相匹配，则确定与匹配的候选区域类别所对应的目标检测框，所述目标检测框属于所述多个检测框；

根据所述目标人体区域对应的所述关键点分组，对所述目标检测框的位置进行校准处理；

基于校准后的所述目标检测框，确定所述目标人体行为。

5.根据权利要求4所述的方法，其中，所述根据所述目标人体区域属于的人体区域类别，确定所述目标人体行为，包括：

如果所述人体区域类别与所述候选区域类别不匹配，则对相应的所述关键点分组之中所述关键点进行连接，以得到多个关键点连线；

根据所述多个关键点连线确定目标人体行为。

6.根据权利要求4所述的方法，其中，所述对相应的所述关键点分组之中所述关键点进行连接，以得到多个关键点连线，包括：

根据人体结构特点，利用贪婪解析算法自底向上对所述关键点分组之中所述关键点进行连接。

7.一种人体行为检测装置，包括：

获取模块，用于获取待测图像；

识别模块，用于对所述待测图像进行关键点识别，以得到多个关键点，和与所述多个关键点分别对应的多个位置信息；

分组模块，用于根据所述多个位置信息对所述多个关键点进行分组，以得到多个关键点分组，所述关键点分组包括：至少部分的所述关键点；以及

确定模块，用于根据所述多个关键点分组之中的所述关键点，确定目标人体行为。

8.根据权利要求7所述的装置，其中，所述确定模块，包括：

第一确定子模块，用于根据所述关键点分组之中的所述关键点，确定所述关键点分组所属于的目标人体区域；

第二确定子模块，用于根据所述目标人体区域属于的人体区域类别，确定所述目标人体行为。

9.根据权利要求8所述的装置，还包括：

检测模块，用于在所述获取待测图像之后，对所述待测图像进行人体检测，以得到多个检测框，所述多个检测框分别对应包括：多个人体区域，所述多个人体区域分别具有对应的多个候选区域类别。

10.根据权利要求9所述的装置，其中，所述第二确定子模块，具体用于：

如果所述人体区域类别与任一所述候选区域类别相匹配，则确定与匹配的候选区域类别所对应的目标检测框，所述目标检测框属于所述多个检测框；

根据所述目标人体区域对应的所述关键点分组，对所述目标检测框的位置进行校准处理；

基于校准后的所述目标检测框，确定所述目标人体行为。

11.根据权利要求10所述的装置，其中，所述第二确定子模块，具体用于：

如果所述人体区域类别与所述候选区域类别不匹配，则对相应的所述关键点分组之中所述关键点进行连接，以得到多个关键点连线；

根据所述多个关键点连线确定目标人体行为。

12.根据权利要求10所述的装置，其中，所述第二确定子模块，具体用于：

根据人体结构特点，利用贪婪解析算法自底向上对所述关键点分组之中所述关键点进行连接。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images