CN114067248A - 行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种行为检测方法、装置、电子设备及存储介质，该方法包括：获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测；其中，不同的感兴趣区域对应不同的违规行为。本公开实施例，通过在不同的感兴趣区域检测不同的违规行为，有利于节约检测成本，并且可以提高检测的效率。

Description

行为检测方法、装置、电子设备及存储介质

技术领域

本公开涉及安防技术领域，具体而言，涉及一种行为检测方法、装置、电子设备以及计算机可读存储介质。

背景技术

基于摄像头的计算机视觉分析技术在各类场所(如智慧工地)中得到广泛应用，例如，可以在目标场所中设置摄像头，并通过对摄像头所拍摄的图像进行检测分析，来确认场所内的相关工作人员是否存在违规行为。然而，现有技术只能对摄像头所拍摄的区域进行统一检测，也即，若要对多个区域进行检测，则需要设置多个摄像头，导致检测成本较高。

发明内容

本公开实施例提供了一种行为检测方法，包括：

获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；

识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；

基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

本公开实施例中，可以根据目标人员的位置信息、图像帧对应的多个感兴趣区域的位置范围，检测目标人员在不同感兴趣区域的不同违规行为，进而可以在只通过一个摄像头的情况下，对该摄像头所拍摄的区域内的各个不同子区域分别进行检测，如此，可以节约检测成本，并且可以提高检测的效率。

一种可选的实施方式中，所述基于所述目标人员的位置信息以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，包括：

基于所述目标人员的位置信息，以及所述多个感兴趣区域的位置范围，从所述多个感兴趣区域中确定所述目标人员所在的目标感兴趣区域；

基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测；所述检测模式用于指示违规行为对应的行为内容。

本公开实施例中，将检测范围缩小至目标检测区域，也即，只对目标感兴趣区域所对应的图像进行行为检测，进而可以减少行为检测的时间，有利于提高检测的效率和精度。

一种可选的实施方式中，每个感兴趣区域对应不同的检测模式，所述基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，包括：

基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；

基于所述人体属性特征以及目标感兴趣区域对应的检测模式，确定所述目标人员是否存在所述目标违规行为，其中，每种目标违规行为对应一种人体属性特征。

本公开实施例中，通过预先训练好的人体检测模型来实现对目标人员的行为的检测，可以提高违规行为检测的精度；除此之外，能够一次性检测多种人体属性特征，提高了检测效率。

一种可选的实施方式中，所述检测模式包括行为检测模型；所述基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，包括：

基于所述目标感兴趣区域对应的行为检测模型，检测所述目标人员是否存在所述目标违规行为；其中，所述行为检测模型为基于存在与所述目标感兴趣区域对应的违规行为的正样本图像帧，和不存在与所述目标感兴趣区域对应的违规行为的负样本图像帧训练得到的。

本公开实施例中，通过每个目标感兴趣区域对应的行为检测模型来实现对目标人员的行为的检测，也即，能够针对一种违规行为进行检测，可以提高违规行为检测的准确度。

一种可选的实施方式中，所述获取目标场所的实时视频数据之前，所述方法还包括：

根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域。

本公开实施例中，通过将摄像装置的拍摄画面划分成多个感兴趣区域，能够实现细粒度的区域划分。

一种可选的实施方式中，所述根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域，包括：

确定所述摄像装置在所述拍摄视角下的拍摄画面中所述目标场所的功能区域；

将所述功能区域划分成所述多个感兴趣区域。

本公开实施例中，通过将功能区域划分成多个感兴趣区域，能够实现细粒度的区域划分。

一种可选的实施方式中，所述方法还包括：

基于每个感兴趣区域所对应的目标场所的功能，确定所述每个感兴趣区域对应的检测模式。

本公开实施例中，基于每个感兴趣区域的功能，确定与其对应的检测模式，如此，可以提高区域检测的精细度。

一种可选的实施方式中，所述方法还包括：

在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息。

本公开实施例中，基于目标违规行为，生成对应的告警信息，便于管理人员对该目标人员进行提示。

本公开实施例还提供一种行为检测装置，所述装置包括：

获取模块，用于获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；

识别模块，用于识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；

检测模块，用于基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

一种可选的实施方式中，所述检测模块具体用于：

基于所述目标人员的位置信息，以及所述多个感兴趣区域的位置范围，从所述多个感兴趣区域中确定所述目标人员所在的目标感兴趣区域；

基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测；所述检测模式用于指示违规行为对应的行为内容。

一种可选的实施方式中，每个感兴趣区域对应不同的检测模式；所述检测模块具体用于：

基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；

基于所述人体属性特征以及目标感兴趣区域对应的检测模式，确定所述目标人员是否存在所述目标违规行为，其中，每种目标违规行为对应一种人体属性特征。

一种可选的实施方式中，所述检测模式包括行为检测模型；所述检测模块具体用于：

基于所述目标感兴趣区域对应的行为检测模型，检测所述目标人员是否存在所述目标违规行为；其中，所述行为检测模型为基于存在与所述目标感兴趣区域对应的违规行为的正样本图像帧，和不存在与所述目标感兴趣区域对应的违规行为的负样本图像帧训练得到的。

一种可选的实施方式中，所述装置还包括区域划分模块，所述区域划分模块用于：

根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域。

一种可选的实施方式中，所述区域划分模块具体用于：

确定所述摄像装置在所述拍摄视角下的拍摄画面中所述目标场所的功能区域；

将所述功能区域划分成所述多个感兴趣区域。

一种可选的实施方式中，所述区域划分模块还用于：

基于每个感兴趣区域所对应的目标场所的功能，确定所述每个感兴趣区域对应的检测模式。

一种可选的实施方式中，所述装置还包括输出模块，所述输出模块用于：

在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述行为检测方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述行为检测方法的步骤。

关于上述行为检测装置、电子设备、及计算机可读存储介质的效果描述参见上述行为检测方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例所提供的一种行为检测方法的流程图；

图2为本公开实施例所提供的一种图像帧的示意图；

图3为本公开实施例所提供的一种违规行为检测方法的流程图；

图4为本公开实施例所提供的另一种违规行为检测方法的流程图；

图5为本公开实施例所提供的另一种行为检测方法的流程图；

图6为本公开实施例所提供的一种确定多个感兴趣区域方法的流程图；

图7为本公开实施例所提供的一种摄像装置的拍摄画面的示意图；

图8为本公开实施例所提供的再一种行为检测方法的流程图；

图9为本公开实施例所提供的一种行为检测装置的结构示意图；

图10为本公开实施例所提供的另一种行为检测装置的结构示意图；

图11为本公开实施例所提供的再一种行为检测装置的结构示意图；

图12为本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

基于摄像头的计算机视觉分析技术在各类场所(如智慧工地)中得到广泛应用，例如，可以在目标场所中设置摄像头，并通过对摄像头所拍摄的图像进行检测分析，来确认场所内的相关工作人员是否存在违规行为。然而，现有技术只能对摄像头所拍摄的区域进行统一检测，也即，若要对多个区域进行检测，则需要设置多个摄像头，导致检测成本较高。

基于上述研究，本公开实施例提供了一种行为检测方法，该方法包括：获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

本公开实施例，可以根据目标人员的位置信息、图像帧对应的多个感兴趣区域的位置范围，检测目标人员在不同感兴趣区域的不同违规行为，进而可以在只通过一个摄像头的情况下，对该摄像头所拍摄的区域内的各个不同子区域分别进行检测，如此，可以节约检测成本，并且可以提高检测的效率。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种行为检测方法进行详细介绍，本公开实施例所提供的行为检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以包括手机、平板电脑、车载设备及可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。其它处理设备可以是包括处理器和存储器的设备，在此不做限定。在一些可能的实施方式中，该行为检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参阅图1，图1为本公开实施例所提供的一种行为检测方法的流程图。如图1所示，本公开实施例提供的一种行为检测方法包括以下S101～S103：

S101，获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧。

示例地，目标场所可以是某一工地区域，该目标场所设置有至少一个摄像头，通过摄像头可以对该目标场所的工作空间进行拍摄。在其他实施例中，目标场所还可以是商场、公园或者游乐园等，在此不做限定。

视频数据是指连续的图像序列，其实质是由一组组连续的图像构成的，其中，图像帧(Frame)是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。因此，为了方便后续的检测，需要提取所述实时视频数据中的图像帧。

请参阅图2，图2为从实时视频数据中提取出来的一个图像帧的示意图，从该示意图中可以看出，目标场所为工地，在该图像帧中，该场所根据功能被分成四个功能区域分别为：ROI-A、ROI-B、ROI-C以及ROI-D，其中，各个功能区域分别对应的功能可以为：耗材储存、人员出入、备料作业以及施工作业。其中，每个区域对应不同的违规行为，具体的，ROI-A区域对应的违规行为是燃放烟火行为、ROI-B区域对应的违规行为是人员入侵行为、ROI-C区域对应的违规行为是未穿戴反光衣行为以及ROI-D区域对应的违规行为是未佩戴安全帽行为。

示例性地，ROI-D区域对应的违规行为是未佩戴安全帽行为，在ROI-D区域中的两名工作人员即为目标人员，其中一名工作人员没有戴安全帽，即发生了违规行为。再比如，ROI-C区域对应的违规行为是未穿戴反光衣行为，在ROI-C区域中的工作人员即为目标人员，该目标人员没有穿戴反光衣，即发生了违规行为。

另外，具体的目标场所的划分方式、行为检测方式及告警信息的输出方式将在后文进行详细阐述。

S102，识别所述图像帧中的目标人员，并确定所述目标人员的位置信息。

示例性地，在识别图像帧中的目标人员的过程中，可以先识别图像帧中是否存在人员，在识别出图像帧中的人员后，可以通过人脸识别模型对图像帧中的人员的特征进行识别，例如，可以将图像帧中的人员特征与目标场所的内部人员数据库中的目标人员特征进行比对，确定目标人员是否为内部人员。

例如，当目标场所为工地时，可以将工地中的工作人员作为目标人员，并建立所述目标人员的特征数据库，也即，可以将工地中的每个工作人员的特征进行采集并存储至特征数据库中，在识别图像帧中的人员的特征时，可以将图像帧中的人员的特征与特征数据库中存储的特征进行匹配，若所述图像帧中的人员特征与特征数据库中的某一目标人员的特征的相似度达到预设阈值时，即可认为图像帧中的人员是目标人员，其中，预设阈值可以是90％，也可以是95％，在此不做限定。

进一步的，在识别到当前图像帧中的人员为目标人员后，再确定该目标人员的位置信息。

S103，基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

其中，感兴趣区域(Region of Interest，ROI)是指是从图像中选择的一个图像区域，该区域是图像分析时的重点，在选择ROI区域时，可以根据实际需求选择ROI区域的形状，例如，ROI区域的形状可以是矩形、多边形或者圆形等，在此不做限定。本公开实施例中，通过基于多个ROI区域进行目标违规行为检测，可以减少处理时间，提高检测的精度。

所述违规行为可以是人员入侵行为、未佩戴安全帽行为、未穿着反光衣行为或者燃放烟火行为等，在此不做限定，可以根据目标场所以及实际需求进行设置。

示例性地，请参见图2，当前展示的图像帧中包括四个感兴趣区域分别为ROI-A，ROI-B，ROI-C，以及ROI-D，其中，四个感兴趣区域分别对应不同的违规行为，例如，ROI-A区域对应的违规行为可以是燃放烟火行为、ROI-B区域对应的违规行为可以是人员入侵行为、ROI-C区域对应的违规行为可以是未穿戴反光衣行为以及ROI-D区域对应的违规行为可以为未佩戴安全帽行为。

在一些实施方式中，请再次参见图2，由于感兴趣区域ROI-A与ROI-C之间的距离较远，难以将其划分到同一感兴趣区域中，若上述两个区域的实际的检测需求相同时，则不同的感兴趣区域也可以对应相同的违规行为，也即，ROI-A与ROI-C可以对应相同的违规行为。

本公开实施例中，可以根据目标人员的位置信息、图像帧对应的多个感兴趣区域的位置范围，检测目标人员在不同感兴趣区域的不同违规行为，进而可以在只通过一个摄像头的情况下，对该摄像头所拍摄的区域内的各个不同子区域分别进行检测，如此，可以节约检测成本，并且可以提高检测的效率。

在一些实施方式中，针对上述步骤S103，在基于所述目标人员的位置信息以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测时，如图3所示，可以包括以下S1031～S1032：

S1031，基于所述目标人员的位置信息，以及所述多个感兴趣区域的位置范围，从所述多个感兴趣区域中确定所述目标人员所在的目标感兴趣区域。

可以理解，由于每个感兴趣区域的范围是固定的，因此，可以通过目标人员的位置信息以及多个感兴趣区域的位置范围，可以确定目标人员处于哪个感兴趣区域中。

S1032，基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，所述检测模式用于指示违规行为对应的行为内容。

示例性地，目标感兴趣区域所对应的检测模式可以是人员入侵的检测模式、是否佩戴安全帽的检测模式、烟火检测模式或者是否穿着反光衣的检测模式等，在此不做限定。

其中，检测模式可以是基于检测算法实现的，示例性地，人员入侵的检测模式可以是基于人员入侵的检测算法实现的、是否佩戴安全帽的检测模式可以是基于是否佩戴安全帽的检测算法实现的、烟火检测模式可以是基于烟火检测算法实现的或者是否穿着反光衣的检测模式可以是基于是否穿着反光衣的检测算法实现的等，在此不做限定。

例如，请再次参见图2，ROI-B区域对应目标场所的出入通道，ROI-B区域对应的检测模式为人员入侵的检测模式，具体的，可以根据将目标场所中的所有内部人员的人体特征作为匹配对象，当有人员出现在ROI-B区域时，则可以通过将该人员的人体特征与所有内部人员的人体特征进行匹配，若没有匹配对象，则认为有陌生人员入侵ROI-B区域。

在一些实施方式中，针对上述步骤S1032，每个感兴趣区域对应不同的检测模式；在基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测时，如图4所示，包括S10321～S10322：

S10321，基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征。

其中，人体检测模型可以是具有多种检测模式的模型，可以检测人体的多种属性特征，例如，面部特征、未穿工作服所对应的腹部特征或者未带安全帽所对应的头部特征等，在此不做限定。

示例性地，人体检测模型为一种神经网络模型，并且可以通过采集大量的违规行为所对应的人体特征的数据样本进行学习训练而获得。例如，可以采集各个目标违规行为所对应的人体特征的样本，比如未穿工作服所对应的腹部特征或者未带安全帽所对应的头部特征，然后通过对这些样本进行训练，而得到相应的神经网络模型。如此，在通过该人体检测模型对当前图像帧进行检测时，即可识别出当前图像帧中的具体的人体属性特征。

S10322，基于所述人体属性特征以及目标感兴趣区域对应的检测模式，确定所述目标人员是否存在所述目标违规行为，其中，每种目标违规行为对应一种人体属性特征。

示例性地，每种违规行为对应至少一种人体属性特征，比如未带安全帽对应的头部特征，通过对头部特征进行比对和分析，即可识别出当前图像帧中的目标人员是否存在未带口罩的目标违规行为。针对于其它目标违规行为，也可以通过上述方式进行识别，在此不再赘述。

在另一些实施方式中，针对上述步骤S1032，所述检测模式包括行为检测模型；在基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测时，还可以基于所述目标感兴趣区域对应的行为检测模型，检测所述目标人员是否存在所述目标违规行为。

其中，所述行为检测模型为基于存在与所述目标感兴趣区域对应的违规行为的正样本图像帧，和不存在与所述目标感兴趣区域对应的违规行为的负样本图像帧训练得到的。

可以理解，行为检测模型是指针对某一种行为进行检测的神经网络模型，例如，在一些实施方式中，行为检测模型可以是佩戴安全帽的行为检测模型，也可以是人员入侵行为检测模型，在此不做限定。其中，具体的检测方式可以参照步骤S10321中所述的方式，在此不做赘述。

示例性地，若目标感兴趣区域对应的违规行为为未佩戴安全帽，则正样本图像帧即为目标人员未佩戴安全帽的图像帧，负样本图像帧即为目标人员佩戴安全帽的图像帧。

可以理解，每个目标感兴趣区域只对应一种行为检测模型，当对目标人员进行行为违规检测时，也只针对与目标感兴趣区域对应的目标违规行为进行检测。针对于其它目标感兴趣区域对应的其它目标违规行为，也可以通过上述方式进行识别，在此不再赘述。

请参见图5，图5为本公开实施例所提供的另一种行为检测方法的流程图，与图1中所示的行为检测方法不同的是，在步骤S101之前还包括S100：

S100，根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域。

其中，拍摄视角是指设置于目标场所的摄像装置所拍摄到的最大角度和范围。

示例性地，摄像装置在当前拍摄视角所拍摄到的拍摄画面中可以包括：出入通道区、施工作业区、耗材存储区、休息区以及办公区等，在此不做限定，并可以根据当前拍摄画面中的内容，确定多个感兴趣区域。

在一些实施方式中，针对上述步骤S100，在确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域时，如图6所示，可以包括：S1001～S1002：

S1001，确定所述摄像装置在所述拍摄视角下的拍摄画面中所述目标场所的功能区域。

S1002，将所述功能区域划分成所述多个感兴趣区域。

示例性地，功能区域可以是出入通道区、施工作业区、备料作业区、耗材区、休息区以及办公区等，在此不做限定。然后，可以分别将上述多个功能区域划分成多个感兴趣区域。

示例性地，请参见图7，图7为本公开实施例所提供的一种摄像装置的拍摄画面的示意图。如图7中所示，该拍摄画面中包括：耗材区01、出入通道区02、备料作业区03以及施工作业区04，则可以根据各个区域的功能，将功能区域划分成多个感兴趣区域，划分出的多个感兴趣区域可以参见图2所示。

在一些实施方式中，在确定多个感兴趣区域后，可以基于每个感兴趣区域所对应的功能，确定每个感兴趣区域对应的检测模式。

示例性地，若当前感兴趣区域为出入通道时，可以确定当前感兴趣区域所对应的检测模式为人员入侵检测模式；若当前感兴趣区域为施工作业区域时，可以确定当前感兴趣区域所对应的检测模式为安全帽检测模式。

请参见图8，图8为本公开实施例所提供的再一种行为检测方法的流程图，与图1中所示的行为检测方法不同的是，在步骤S103之后还包括S104：

S104，在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息。

其中，所述告警信息为目标场所的管理人员接收的告警提示信息，来提示管理人员在目标场所中的目标人员存在违规行为。

具体的，告警信息的形式可以包括图片、文字或者声音中的至少一种。示例性地，该告警信息的内容可以包括违规人员的人脸图像，(例如违规人员的照片)，以及附加与该违规人员相关的文字内容，(例如，所属岗位、违规行为等)，在此不做限定。

另外，在输出告警信息时，可以将违规人员的特征信息进行语音播报，以提示管理人员，例如，ROI-D区域检测到违规人员张三未佩戴安全帽，该违规人员所属岗位为施工作业岗位等，在此不做限定。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与行为检测方法对应的行为检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述行为检测方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。

请参阅图9，为本公开实施例提供的一种行为检测装置的结构示意图，所述装置包括：获取模块710，识别模块720以及检测模块730；其中，

获取模块710，用于获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；

识别模块720，用于识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；

检测模块730，用于基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为；

一种可选的实施方式中，所述检测模块730具体用于：

基于所述目标人员的位置信息，以及所述多个感兴趣区域的位置范围，从所述多个感兴趣区域中确定所述目标人员所在的目标感兴趣区域；

基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，所述检测模式用于指示违规行为对应的行为内容。

一种可选的实施方式中，每个感兴趣区域对应不同的检测模式；所述检测模块730具体用于：

基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；

基于所述人体属性特征以及目标感兴趣区域对应的检测模式，确定所述目标人员是否存在所述目标违规行为，其中，每种目标违规行为对应一种人体属性特征。

一种可选的实施方式中，所述检测模式包括行为检测模型；所述检测模块730具体用于：

基于所述目标感兴趣区域对应的行为检测模型，检测所述目标人员是否存在所述目标违规行为；其中，所述行为检测模型为基于存在与所述目标感兴趣区域对应的违规行为的正样本图像帧，和不存在与所述目标感兴趣区域对应的违规行为的负样本图像帧训练得到的。

请参阅图10，图10为本公开实施例提供的再一种行为检测装置的结构示意图，如图10中所示，所述装置还包括：区域划分模块740，所述区域划分模块740用于：

根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域。

一种可选的实施方式中，所述区域划分模块740具体用于：

确定所述摄像装置在所述拍摄视角下的拍摄画面中所述目标场所的功能区域；

将所述功能区域划分成所述多个感兴趣区域。

一种可选的实施方式中，所述区域划分模块740还用于：

基于每个感兴趣区域所对应的目标场所的功能，确定所述每个感兴趣区域对应的检测模式。

请参阅图11，图11为本公开实施例提供的再一种行为检测装置的结构示意图，与图9所示的行为检测装置不同的是，所述装置还包括：输出模块750，所述输出模块750用于：

在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图12所示，为本公开实施例提供的电子设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换。

本申请实施例中，存储器802具体用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。也即，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801执行存储器802中存储的应用程序代码，进而执行前述任一实施例中的方法。

处理器801可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器802可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的行为检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的行为检测方法的步骤，具体可参阅上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种行为检测方法，其特征在于，包括：

获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；

识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；

基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标人员的位置信息以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，包括：

基于所述目标人员的位置信息，以及所述多个感兴趣区域的位置范围，从所述多个感兴趣区域中确定所述目标人员所在的目标感兴趣区域；

基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，所述检测模式用于指示违规行为对应的行为内容。

3.根据权利要求2所述的方法，其特征在于，每个感兴趣区域对应不同的检测模式；所述基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，包括：

基于预先训练的人体检测模型，检测所述目标人员的多种人体属性特征；

基于所述人体属性特征以及目标感兴趣区域对应的检测模式，确定所述目标人员是否存在所述目标违规行为，其中，每种目标违规行为对应一种人体属性特征。

4.根据权利要求2所述的方法，其特征在于，所述检测模式包括行为检测模型；所述基于所述目标感兴趣区域所对应的检测模式，对所述目标人员进行违规行为检测，包括：

基于所述目标感兴趣区域对应的行为检测模型，检测所述目标人员是否存在所述目标违规行为；其中，所述行为检测模型为基于存在与所述目标感兴趣区域对应的违规行为的正样本图像帧，和不存在与所述目标感兴趣区域对应的违规行为的负样本图像帧训练得到的。

5.根据权利要求1所述的方法，其特征在于，所述获取目标场所的实时视频数据之前，所述方法还包括：

根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域。

6.根据权利要求5所述的方法，其特征在于，所述根据设置于所述目标场所的摄像装置的拍摄视角，确定所述摄像装置的拍摄画面对应的所述多个感兴趣区域，包括：

确定所述摄像装置在所述拍摄视角下的拍摄画面中所述目标场所的功能区域；

将所述功能区域划分成所述多个感兴趣区域。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于每个感兴趣区域所对应的目标场所的功能，确定所述每个感兴趣区域对应的检测模式。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测之后，所述方法还包括：

在检测到所述目标人员的目标违规行为后，输出与所述目标违规行为对应的告警信息。

9.一种行为检测装置，其特征在于，包括：

获取模块，用于获取目标场所的实时视频数据，并提取所述实时视频数据中的图像帧；

识别模块，用于识别所述图像帧中的目标人员，并确定所述目标人员的位置信息；

检测模块，用于基于所述目标人员的位置信息，以及所述图像帧对应的多个感兴趣区域的位置范围，对所述目标人员进行违规行为检测，其中，不同的感兴趣区域对应不同的违规行为。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任意一项所述的行为检测方法的步骤。

11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的行为检测方法的步骤。

Images