CN113705274B - 攀高行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了攀高行为检测方法、装置、电子设备及存储介质，该方法包括：获取待检测视频数据；对待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息；根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。实现了自动检测监控区域是否存在攀高行为，获取到疑似攀高行为，然后针对疑似攀高行为进行攀高行为的检测，相比于直接对整个待检测视频数据进行攀高行为的检测，能够大大减少需要进行攀高行为检测的区域，节约计算资源，提高攀高行为检测效率。

Description

攀高行为检测方法、装置、电子设备及存储介质

技术领域

本申请涉及智能监控技术领域，特别是涉及攀高行为检测方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，尤其是深度学习算法的出现，使得基于图像数据的自动检测技术得以应用于生产及生活领域。

在一些监控场景中，例如，针对监舍、医院、学校等监控场所，会覆盖监控设备进行实时监控，现有技术中针对此类监控场景，需要工作人员人工检测是否存在攀高行为，为了减少人工工作量及辅助管理，亟需实现自动对监控区域攀高行为检测。

发明内容

本申请实施例的目的在于提供一种攀高行为检测方法、装置、电子设备及存储介质，以实现自动检测监控区域是否存在攀高行为。具体技术方案如下：

第一方面，本申请实施例提供了一种攀高行为检测方法，所述方法包括：

获取待检测视频数据；

对所述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，所述疑似攀高行为表示前景检测结果中前景区域的高度超过所述预设攀高规则线；

根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

在一种可能的实施方式中，所述疑似攀高行为在相应视频帧中的位置信息具体为存在疑似攀高行为的人体区域在相应视频帧中的位置信息；

所述对所述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，包括：

对所述待检测视频数据的视频帧进行前景检测，得到所述待检测视频数据的前景轨迹信息；

对所述待检测视频数据的视频帧进行头肩检测，得到所述待检测视频数据的头肩轨迹信息；

根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域；

根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，所述疑似攀高行为表示人体区域的高度超过所述预设攀高规则线。

在一种可能的实施方式中，所述根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域，包括：

针对所述前景轨迹信息及所述头肩轨迹信息对应的任一视频帧，将该视频帧中前景轨迹信息的前景区域与头肩轨迹信息的头肩区域存在重叠的部分进行合并，得到该视频帧的人体区域；

所述根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，包括：

分别比较各视频帧中的人体区域与预设攀高规则线的位置关系，其中将人体区域超过预设攀高规则线的视频帧作为存在疑似攀高行为的视频帧，将超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在相应视频帧中的位置信息。

在一种可能的实施方式中，所述根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果，包括：

对存在疑似攀高行为的视频帧进行人体关节点检测，得到各存在攀高行为的视频帧的人体关节点信息；

基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息；

按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果。

在一种可能的实施方式中，所述基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息，包括：

针对任一存在疑似攀高行为及人体关节点信息的视频帧，根据该视频帧中存在攀高行为的人体区域的位置信息，得到该视频帧中存在疑似攀高行为的人体区域；根据该视频帧的人体关键点信息，得到该视频帧中各人体关键点的位置；

结合该视频帧中人体关键点的位置及存在疑似攀高行为的人体区域，得到包含人体关键点的存在疑似攀高行为的人体区域，作为该视频帧的融合人体姿态信息。

在一种可能的实施方式中，所述按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果，包括：

基于所述前景轨迹信息或所述头肩轨迹信息，将属于同一前景轨迹信息或同一头肩轨迹信息的融合人体姿态信息进行关联，得到融合人体姿态信息轨迹；

按照时序对所述融合人体姿态信息轨迹进行人体攀爬姿态分析，得到所述融合人体姿态信息轨迹的攀高行为检测结果。

在一种可能的实施方式中，所述待检测视频数据是由一台摄像机采集的。

第二方面，本申请实施例提供了一种攀高行为检测装置，所述装置包括：

视频数据获取模块，用于获取待检测视频数据；

攀高一次检测模块，用于对所述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，所述疑似攀高行为表示前景检测结果中前景区域的高度超过所述预设攀高规则线；

攀高二次检测模块，用于根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

在一种可能的实施方式中，所述疑似攀高行为在相应视频帧中的位置信息具体为存在疑似攀高行为的人体区域在相应视频帧中的位置信息；所述攀高一次检测模块，包括：

前景轨迹获取子模块，用于对所述待检测视频数据的视频帧进行前景检测，得到所述待检测视频数据的前景轨迹信息；

头肩轨迹获取子模块，用于对所述待检测视频数据的视频帧进行头肩检测，得到所述待检测视频数据的头肩轨迹信息；

人体区域确定子模块，用于根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域；

攀高行为检测子模块，用于根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，所述疑似攀高行为表示人体区域的高度超过所述预设攀高规则线。

在一种可能的实施方式中，所述人体区域确定子模块，具体用于：针对所述前景轨迹信息及所述头肩轨迹信息对应的任一视频帧，将该视频帧中前景轨迹信息的前景区域与头肩轨迹信息的头肩区域存在重叠的部分进行合并，得到该视频帧的人体区域；

所述攀高行为检测子模块，具体用于：分别比较各视频帧中的人体区域与预设攀高规则线的位置关系，其中将人体区域超过预设攀高规则线的视频帧作为存在疑似攀高行为的视频帧，将超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在相应视频帧中的位置信息。

在一种可能的实施方式中，所述攀高二次检测模块，包括：

关节点获取子模块，用于对存在疑似攀高行为的视频帧进行人体关节点检测，得到各存在攀高行为的视频帧的人体关节点信息；

人体姿态获取子模块，用于基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息；

检测结果获取子模块，用于按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果。

在一种可能的实施方式中，所述人体姿态获取子模块，具体用于：针对任一存在疑似攀高行为及人体关节点信息的视频帧，根据该视频帧中存在攀高行为的人体区域的位置信息，得到该视频帧中存在疑似攀高行为的人体区域；根据该视频帧的人体关键点信息，得到该视频帧中各人体关键点的位置；结合该视频帧中人体关键点的位置及存在疑似攀高行为的人体区域，得到包含人体关键点的存在疑似攀高行为的人体区域，作为该视频帧的融合人体姿态信息。

在一种可能的实施方式中，所述检测结果获取子模块，具体用于：基于所述前景轨迹信息或所述头肩轨迹信息，将属于同一前景轨迹信息或同一头肩轨迹信息的融合人体姿态信息进行关联，得到融合人体姿态信息轨迹；按照时序对所述融合人体姿态信息轨迹进行人体攀爬姿态分析，得到所述融合人体姿态信息轨迹的攀高行为检测结果。

在一种可能的实施方式中，所述待检测视频数据是由一台摄像机采集的。

第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的攀高行为检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的攀高行为检测方法。

本申请实施例提供的攀高行为检测方法、装置、电子设备及存储介质，获取待检测视频数据；对待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，疑似攀高行为表示前景检测结果中前景区域的高度超过预设攀高规则线；根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。实现了自动检测监控区域是否存在攀高行为，获取到疑似攀高行为，然后针对疑似攀高行为进行攀高行为的检测，相比于直接对整个待检测视频数据进行攀高行为的检测，能够大大减少需要进行攀高行为检测的区域，节约计算资源，提高攀高行为检测效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的攀高行为检测方法的第一种示意图；

图2为本申请实施例的攀高行为检测方法的第二种示意图；

图3为本申请实施例的攀高行为检测方法的第三种示意图；

图4为本申请实施例的攀高行为检测装置的第一种示意图；

图5为本申请实施例的攀高行为检测装置的第二种示意图；

图6为本申请实施例的视频采集模块安装位置的一种示意图；

图7为本申请实施例的头肩检测模型训练方法的一种示意图；

图8为本申请实施例的头肩检测方法的一种示意图；

图9为本申请实施例的人体关节点检测模型训练方法的一种示意图；

图10为本申请实施例的人体关节点的一种示意图；

图11为本申请实施例的人体关节点检测方法的一种示意图；

图12为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例中的专业术语进行解释：

攀高行为:人有向高处攀登的动作，并且有肢体部分越过规定的高度一定时间。

人体关节点检测：检测一帧图像中例如头顶、脖子、手肘、手腕等关节点的位置，并连接这些关节点形成一个人体的骨架。

头肩检测：检测一帧图像中的人体头肩位置。

背景建模：检测一帧图像中属于前景的区域。

为了实现自动检测监控区域是否存在攀高行为，本申请实施例提供了一种攀高行为检测方法，参见图1，该方法包括：

S101，获取待检测视频数据。

本申请实施例的攀高行为检测方法可以通过电子设备实现，具体的，该电子设备可以为智能摄像机、硬盘录像机或服务器等。

待检测视频数据为需要进行攀高行为检测的监控区域的视频数据，可以利用监控设备采集的监控区域的视频数据，从而得到待检测视频数据，待检测视频数据包括多帧视频帧。

S102，对上述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，上述疑似攀高行为表示前景检测结果中前景区域的高度超过上述预设攀高规则线。

可以通过背景建模的方式，对待检测视频数据中的各视频帧进行前景检测，得到各视频帧的前景检测结果。并根据各视频帧的前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧，以及确定疑似攀高行为在相应视频帧中的位置信息。预设攀高规则线为在监控区域中预先设置的人体不能超过的边界线，可以根据实际场景要求就行设置。疑似攀高行为表示前景检测结果中前景区域的高度超过上述预设攀高规则线，可选的，当视频帧的前景检测结果中前景区域的高度超过预设攀高规则线时，判定该视频帧中存在疑似攀高行为，并将高度超过预设攀高规则线的前景区域的位置信息作为疑似攀高行为在该视频帧中的位置信息。

S103，根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

对存在疑似攀高行为的视频帧中疑似攀高行为的位置信息所表示的区域进行攀高行为的检测，得到攀高行为检测结果，其中，攀高行为检测结果表示存在攀高行为或不存在攀高行为。当存在攀高行为时，攀高行为检测结果还可以包括存在攀高行为区域的位置信息。本申请实施例中，可以通过预先训练的深度学习网络进行攀高行为的检测，也可以利用人体关节点检测等方式实现攀高行为的检测等。

在本申请实施例中，实现了自动检测监控区域是否存在攀高行为，并且通过前景检测，获取到疑似攀高行为，然后针对疑似攀高行为进行攀高行为的检测，相比于直接对整个待检测视频数据进行攀高行为的检测，能够大大减少需要进行攀高行为检测的区域，节约计算资源，提高攀高行为检测效率。

在一种可能的实施方式中，上述疑似攀高行为在相应视频帧中的位置信息具体为存在疑似攀高行为的人体区域在相应视频帧中的位置信息，参见图2，上述对上述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，包括：

S1021，对上述待检测视频数据的视频帧进行前景检测，得到上述待检测视频数据的前景轨迹信息。

对上述待检测视频数据的各视频帧进行背景建模，基于背景建模结果，对各视频帧进行前景检测，确定各视频帧的前景信息，根据各上述视频帧的时序及各前景信息的位置，对各视频帧的前景信息进行关联，得到前景轨迹信息。

具体的，前景信息可以为前景区域，对待检测视频数据的各视频帧先进行背景建模，基于背景建模结果，对各视频帧进行前景检测，分别得到各视频帧的前景区域。再根据前后帧的前景区域，进行对应的关联与跟踪，进一步得到前景区域的轨迹信息。

S1022，对上述待检测视频数据的视频帧进行头肩检测，得到上述待检测视频数据的头肩轨迹信息。

对待检测视频数据的各视频帧进行基于深度学习人体头肩框的分析处理，可以采用单类别目标检测的卷积神经网络进行人体头肩框的检测。卷积神经网络为预先训练得到的，首先需要训练检测头肩框的检测器，检测器采用卷积神经网络，该卷积神经网络使用标注了的人体头肩框的样本图像进行训练。得到头肩检测模型输出的头肩框后，再根据前后帧的前景信息，进行对应的关联与跟踪，进一步得到头肩框的轨迹信息。

S1023，根据上述前景轨迹信息及上述头肩轨迹信息，确定视频帧中的人体区域。

将相同视频帧中前景轨迹信息及头肩轨迹信息进行融合，从而得到融合后的对攀高行为敏感的人体区域。例如，将头肩轨迹与前景轨迹进行合并，进行一级攀高概率模型建模，将得到的包含人体头肩框的前景区域作为人体区域。

S1024，根据各上述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，上述疑似攀高行为表示人体区域的高度超过上述预设攀高规则线。

对融合后的对攀高行为敏感的人体区域进行攀高行为检测，确定出存在疑似攀高行为的视频帧(以下称为目标视频帧)，并得到目标视频帧中存在疑似攀高行为的人体区域的位置信息。疑似攀高行为表示人体区域的高度超过上述预设攀高规则线，可选的，当视频帧中的人体区域的高度超过预设攀高规则线时，判定该视频帧中存在疑似攀高行为，并将高度超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在该视频帧中的位置信息。

在一种可能的实施方式中，上述根据上述前景轨迹信息及上述头肩轨迹信息，确定视频帧中的人体区域，包括：

针对上述前景轨迹信息及上述头肩轨迹信息对应的任一视频帧，将该视频帧中前景轨迹信息的前景区域与头肩轨迹信息的头肩区域存在重叠的部分进行合并，得到该视频帧的人体区域。

上述根据各上述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，包括：

分别比较各视频帧中的人体区域与预设攀高规则线的位置关系，其中将人体区域超过预设攀高规则线的视频帧作为存在疑似攀高行为的视频帧，将超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在相应视频帧中的位置信息。

具体的，可以将同一视频帧中的头肩轨迹信息与前景轨迹信息合并成人体区域。针对任一视频帧，将该视频中区域存在重叠的前景轨迹信息及头肩轨迹信息进行合并，作为该视频帧的人体区域。此处的区域存在重叠可以为头肩轨迹信息的人体头肩框全部包含在前景轨迹信息的前景区域内；或重叠面积与头肩轨迹信息的人体头肩框面积的比值大于预设面积阈值，重叠面积具体为为头肩轨迹信息的人体头肩框与前景轨迹信息的前景区域的重叠面积。

并根据人体区域与预设攀高规则线的位置关系，确定是否存在攀高行为，其中，预设攀高规则线为在监控区域中预先设置的人体不能超过的区域中的最低边界，若人体区域超过预设攀高规则线，则判定存在疑似攀高行为，并在相应频帧中提取该人体区域的位置信息。其中，此处的人体区域超过预设攀高规则线可以为人体区域的中心点超过预设攀高规则线，也可以为人体区域中的任一点超过预设攀高规则线。

在本申请实施例中，基于前景轨迹信息及头肩轨迹信息检测得到的疑似攀高行为，可以提高攀高行为检测的准确性，并且前景检测及头肩检测算法相对简单，计算资源消耗少，能够增加攀高行为检测性。

在一种可能的实施方式中，参见图3，上述根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果，包括：

S1031，对存在疑似攀高行为的视频帧进行人体关节点检测，得到各存在攀高行为的视频帧的人体关节点信息。

可以通过预先训练的神经网络模型对目标视频帧进行人体关节点检测。具体的，获取存在疑似攀高行为的视频帧的标识(帧号或时间戳等)，按照标识从待检测视频数据中提取相应的视频帧，作为目标视频帧。对各目标视频帧进行人体关节点检测，从而得到各目标视频帧的人体关节点信息。可选的，为了尽可能降低计算资源消耗，可以仅对存在疑似攀高行为的视频帧中存在疑似攀高行为的人体区域进行人体关节点检测。

对各目标视频帧基于深度学习的人体关节点分析处理，可以采用自底向上的卷积神经网络关节点检测框架进行人体关节点的检测。预先训练的神经网络模型的过程可以包括：获取标注了人体关节点的样本图像，将样本图像输入到人体关节点的检测器(检测器采用卷积神经网络结构)中进行训练，最终得到预先训练的神经网络模型。

S1032，基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息。

基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，分别确定各目标视频帧中的人体区域。分别将同一目标视频帧中的人体区域与人体关节点信息进行融合，得到包括人体关键点信息的人体区域，作为各目标视频帧的融合人体姿态信息。

在一种可能的实施方式中，上述基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息，包括：

步骤一，针对任一存在疑似攀高行为及人体关节点信息的视频帧，根据该视频帧中存在攀高行为的人体区域的位置信息，得到该视频帧中存在疑似攀高行为的人体区域；根据该视频帧的人体关键点信息，得到该视频帧中各人体关键点的位置。

步骤二，结合该视频帧中人体关键点的位置及存在疑似攀高行为的人体区域，得到包含人体关键点的存在疑似攀高行为的人体区域，作为该视频帧的融合人体姿态信息。

S1033，按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果。

按照各目标视频帧的时序，对各目标视频帧的融合人体姿态信息进行攀高行为分析，得到攀高行为检测结果。攀高行为检测结果包括是否存在攀高行为，还可以包括存在攀高行为的人体区域的位置信息，从而方便后续取证。

在一种可能的实施方式中，上述按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果，包括：

步骤一，基于上述前景轨迹信息或上述头肩轨迹信息，将属于同一前景轨迹信息或同一头肩轨迹信息的融合人体姿态信息进行关联，得到融合人体姿态信息轨迹。

步骤二，按照时序对上述融合人体姿态信息轨迹进行人体攀爬姿态分析，得到上述融合人体姿态信息轨迹的攀高行为检测结果。

融合人体姿态信息的位置与前景轨迹信息/头肩轨迹信息的位置区域相对应，因此可以基于前景轨迹信息或头肩轨迹信息，将属于同一前景轨迹信息或头肩轨迹信息的融合人体姿态信息关联起来，得到融合人体姿态信息轨迹。

例如，待检测视频数据包括视频帧1-10，前景轨迹信息1由视频帧3中的区域A、视频帧4中的区域B、视频帧5中的区域C及视频帧6中的区域D组成，前景轨迹信息2由视频帧4中的区域E、视频帧5中的区域F、视频帧6中的区域G组成，视频帧3包括融合人体姿态信息a对应区域A，视频帧4包括融合人体姿态信息b对应区域B、融合人体姿态信息e对应区域E，视频帧5包括融合人体姿态信息c对应区域C、融合人体姿态信息f对应区域F，视频帧6包括融合人体姿态信息d对应区域D、融合人体姿态信息g对应区域G。则将前景轨迹信息1的区域A-D对应的融合人体姿态信息a-d进行关联，得到一个融合人体姿态信息轨迹；将则将前景轨迹信息2的区域E-G对应的融合人体姿态信息e-g进行关联，得到一个融合人体姿态信息轨迹。

按照时序对各融合人体姿态信息轨迹进行人体攀爬姿态分析，得到各融合人体姿态信息轨迹的攀高行为检测结果。具体的，可以将融合人体姿态信息轨迹中人体关节点的变化与真实人体攀爬过程中人体关节点的变化进行比对，在相似度大于预设相似度阈值时，判定存在攀高行为。例如，根据融合人体姿态信息轨迹中人体关节点的变化，计算指定肢体之间运动幅度的比例，将该比例与真实人体攀爬过程中指定肢体之间运动幅度的比例进行比对，多组肢体之间比例的相似度大于预设相似度阈值时，判定存在攀高行为。

人体攀爬姿态分析还可以通过深度学习网络实现。可以将融合人体姿态信息轨迹输入到预先训练的深度学习网络中，得到攀高行为检测结果。可以预先将标记有人体关节点的存在攀爬行为的人体姿态信息轨迹作为正样本，对深度学习网络进行训练，从而得到预先训练的深度学习网络。

在本申请实施例中，结合攀高行为一次检测的结果及人体关节点检测结果，对攀高行为进行检测，能够提高攀高行为检测结果的准确度，提高攀高行为检测性能。

在一种可能的实施方式中，上述待检测视频数据是由一台摄像机采集的。

在本申请实施例中，可以通过单摄相机采集的视频数据进行攀高行为检测，相比于多相机联合检测的方式，可以在降低部署成本，提升部署便利度的同时提升攀高行为检测***的运行效率降低资源消耗。

在一种可能的实施方式中，上述方法还包括：攀高行为检测结果表示存在攀高行为时，触发报警。

针对攀高行为检测结果，在攀高行为检测结果表示存在攀高行为时，触发报警。报警模式可以自定义设定，例如可以设定报警间隔及报警方式，还可以对应输出包含攀高人体目标框的报警图片，并上传等。

在本申请实施例中，对攀高行为进行报警，方便协助管理。

本申请实施例还提供了一种攀高行为检测装置，参见图4，该装置包括：

视频数据获取模块401，用于获取待检测视频数据；

攀高一次检测模块402，用于对上述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，上述疑似攀高行为表示前景检测结果中前景区域的高度超过上述预设攀高规则线；

攀高二次检测模块403，用于根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

在一种可能的实施方式中，上述疑似攀高行为在相应视频帧中的位置信息具体为存在疑似攀高行为的人体区域在相应视频帧中的位置信息；上述攀高一次检测模块402，包括：

前景轨迹获取子模块，用于对上述待检测视频数据的视频帧进行前景检测，得到上述待检测视频数据的前景轨迹信息；

头肩轨迹获取子模块，用于对上述待检测视频数据的视频帧进行头肩检测，得到上述待检测视频数据的头肩轨迹信息；

人体区域确定子模块，用于根据上述前景轨迹信息及上述头肩轨迹信息，确定视频帧中的人体区域；

攀高行为检测子模块，用于根据各上述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，上述疑似攀高行为表示人体区域的高度超过上述预设攀高规则线。

在一种可能的实施方式中，上述人体区域确定子模块，具体用于：针对上述前景轨迹信息及上述头肩轨迹信息对应的任一视频帧，将该视频帧中前景轨迹信息的前景区域与头肩轨迹信息的头肩区域存在重叠的部分进行合并，得到该视频帧的人体区域；

上述攀高行为检测子模块，具体用于：分别比较各视频帧中的人体区域与预设攀高规则线的位置关系，其中将人体区域超过预设攀高规则线的视频帧作为存在疑似攀高行为的视频帧，将超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在相应视频帧中的位置信息。

在一种可能的实施方式中，上述攀高二次检测模块403，包括：

关节点获取子模块，用于对存在疑似攀高行为的视频帧进行人体关节点检测，得到各存在攀高行为的视频帧的人体关节点信息；

人体姿态获取子模块，用于基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息；

检测结果获取子模块，用于按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果。

在一种可能的实施方式中，上述人体姿态获取子模块，具体用于：针对任一存在疑似攀高行为及人体关节点信息的视频帧，根据该视频帧中存在攀高行为的人体区域的位置信息，得到该视频帧中存在疑似攀高行为的人体区域；根据该视频帧的人体关键点信息，得到该视频帧中各人体关键点的位置；结合该视频帧中人体关键点的位置及存在疑似攀高行为的人体区域，得到包含人体关键点的存在疑似攀高行为的人体区域，作为该视频帧的融合人体姿态信息。

在一种可能的实施方式中，上述检测结果获取子模块，具体用于：基于上述前景轨迹信息或上述头肩轨迹信息，将属于同一前景轨迹信息或同一头肩轨迹信息的融合人体姿态信息进行关联，得到融合人体姿态信息轨迹；按照时序对上述融合人体姿态信息轨迹进行人体攀爬姿态分析，得到上述融合人体姿态信息轨迹的攀高行为检测结果。

在一种可能的实施方式中，上述待检测视频数据是由一台摄像机采集的。

本申请实施例还提供了一种攀高行为检测装置，参见图5，该装置包括：

视频采集模块51，一级攀高检测模块52，二级攀高检测模块53及信息输出模块54。

视频采集模块51用于采集被监控区域的视频图像。例如图6所示，视频采集模块51安装于顶端，以俯视角度监控区域。视频采集模块51将待检测视频数据发给一级攀高检测模块52。

一级攀高检测模块52的输入为待检测视频数据，输出为一级攀高检测后的检测信息(包括存在攀高行为的视频帧标识及攀高行为在相应视频帧中的位置信息)。一级攀高检测模块52包括背景建模与目标跟踪子模块521、头肩检测与目标跟踪子模块522、一级攀高敏感特征信息融合子模块523与一级攀高检测子模块524。

背景建模与目标跟踪子模块521对输入的待检测视频数据的视频帧先进行传统的背景建模，得到一组前景区域。再根据前后帧的前景区域组信息，进行对应的关联与跟踪，进一步得到前景区域的轨迹信息。

头肩检测与目标跟踪子模块522对输入待检测视频数据的视频帧进行基于深度学习人体头肩框的分析处理，采用单类别目标检测的卷积神经网络进行人体头肩框的检测。首先需要训练检测头肩框的检测器，检测器采用卷积神经网络，该卷积神经网络使用采集并且标注了的人体头肩框图像进行训练，例如图7所示。在得到头肩检测模型后，可以对视频帧进行人体头肩检测分析，例如图8所示，得到头肩检测模型输出的头肩框后，再根据前后帧的团块组信息，进行对应的关联与跟踪，进一步得到头肩框的轨迹信息。

视频帧的背景建模与头肩检测信息汇总到一级攀高敏感特征信息融合子模块523，进行攀高敏感信息的融合。对跟踪的前景区域与跟踪的头肩框信息进行对应关联与合并，融合成对攀高行为敏感的特征信息，输入到一级攀高检测子模块524第一次攀高检测。

一级攀高检测子模块524使用第一次融合后的攀高敏感特征信息进行第一次攀高行为的检测。攀高敏感特征信息用于判定是否存在攀高行为，并且给出对应的攀高人体前景区域的位置信息与对应关键帧的帧好。这些信息被输入到二级攀高检测模块53，进行第二次攀高检测，提升攀高行为检测的性能。

二级攀高检测模块53输入为待检测视频数据与一级攀高检测模块52输出的信息(包括存在攀高行为的视频帧标识及攀高行为在相应视频帧中的位置信息)，输出为二级攀高检测后的检测信息。二级攀高检测模块53包括关键帧抽取子模块531、人体关节点检测子模块532、二级攀高敏感特征信息融合子模块533与二级攀高检测子模块534，这种层级的攀高检测设计是降低***资源消耗的关键。

关键帧抽取子模块531按照一级攀高检测模块52输出的存在攀高行为的视频帧标识，对待检测视频数据进行抽帧，得到存在攀高行为的视频帧。将存在攀高行为的视频帧(以下称为目标视频帧)输入到人体关节点检测子模块532。

人体关节点检测子模块532对输入的目标视频帧进行基于深度学习的人体关节点分析处理，采用自底向上的卷积神经网络关节点检测框架进行人体关节点的检测。首先需要训练人体关节点的检测器，检测器采用卷积神经网络结构，该卷积神经网络使用采集并且标注了人体关节点的图像进行训练，结构如图9所示，关节点示意如图10所示。在得到关节点检测模型后，可以对目标视频帧进行人体关节点检测分析，其流程图如图11所示，得到人体关节点检测模型输出的人体关节点信息后，人体关节点信息被输入二级攀高敏感特征信息融合子模块533。

一级攀高检测模块52输出的信息与人体关节点信息汇总到二级攀高敏感特征信息融合子模块533，进行攀高敏感信息的第二次融合，对检测到的人体关节点与一级攀高检测模块52输出的信息进行对应的关联与合并，融合成对攀高行为敏感的融合人体姿态信息，输入到二级攀高检测子模块534进行第二次攀高检测。

二级攀高检测子模块534使用融合人体姿态信息进行第二次攀高行为的检测，得到攀高行为检测结果。攀高行为检测结果表示是否存在攀高行为，还可以包括目标视频帧对应的攀高目标位置信息。攀高行为检测结果被输入到信息输出模块54进行进一步的报警输出。

信息输出模块54接收二级攀高检测模块53的攀高行为检测结果，结合报警间隔设定和报警方式的设定对应输出包含攀高人体目标框的报警图片，并上传。

在本申请实施例中，基于背景建模、头肩检测和人体关节点检测的攀高敏感特征融合信息的攀高行为检测方法是针对攀高行为检测这一明确任务优化得到的，可以大幅度提升攀高行为检测的性能。基于视频的攀高检测解决方案，大幅度节约了监控室内的人力物力成本。***在运行过程中会产生大量关键帧图像，这些图像可以用于进一步提升人体关节点检测模型的性能。

本申请实施例还提供了一种电子设备，包括：处理器及存储器；

上述存储器，用于存放计算机程序；

上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：

获取待检测视频数据；

对上述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，上述疑似攀高行为表示前景检测结果中前景区域的高度超过上述预设攀高规则线；

根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

可选的，参见图12，本申请实施例的电子设备还包括通信接口902和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。

可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一攀高行为检测方法。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一攀高行为检测方法。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (8)

1.一种攀高行为检测方法，其特征在于，所述方法包括：

获取待检测视频数据；

对所述待检测视频数据的视频帧进行前景检测，得到所述待检测视频数据的前景轨迹信息；

对所述待检测视频数据的视频帧进行头肩检测，得到所述待检测视频数据的头肩轨迹信息；

根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域；

根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，所述疑似攀高行为表示人体区域的高度超过所述预设攀高规则线；

根据存在疑似攀高行为的视频帧及疑似攀高行为的人体区域在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域，包括：

针对所述前景轨迹信息及所述头肩轨迹信息对应的任一视频帧，将该视频帧中前景轨迹信息的前景区域与头肩轨迹信息的头肩区域存在重叠的部分进行合并，得到该视频帧的人体区域；

所述根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，包括：

分别比较各视频帧中的人体区域与预设攀高规则线的位置关系，其中，将人体区域超过预设攀高规则线的视频帧作为存在疑似攀高行为的视频帧，将超过预设攀高规则线的人体区域的位置信息作为存在疑似攀高行为的人体区域在相应视频帧中的位置信息。

3.根据权利要求1所述的方法，其特征在于，所述根据存在疑似攀高行为的视频帧及疑似攀高行为的人体区域在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果，包括：

对存在疑似攀高行为的视频帧进行人体关节点检测，得到各存在攀高行为的视频帧的人体关节点信息；

基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息；

按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果。

4.根据权利要求3所述的方法，其特征在于，所述基于存在疑似攀高行为的人体区域在相应视频帧中的位置信息，确定存在疑似攀高行为的人体区域，并与相应的人体关节点信息进行融合，得到多个融合人体姿态信息，包括：

针对任一存在疑似攀高行为及人体关节点信息的视频帧，根据该视频帧中存在疑似攀高行为的人体区域的位置信息，得到该视频帧中存在疑似攀高行为的人体区域；根据该视频帧的人体关键点信息，得到该视频帧中各人体关键点的位置；

结合该视频帧中人体关键点的位置及存在疑似攀高行为的人体区域，得到包含人体关键点的存在疑似攀高行为的人体区域，作为该视频帧的融合人体姿态信息。

5.根据权利要求3所述的方法，其特征在于，所述按照时序对各融合人体姿态信息进行分析，得到攀高行为检测结果，包括：

基于所述前景轨迹信息或所述头肩轨迹信息，将属于同一前景轨迹信息或同一头肩轨迹信息的融合人体姿态信息进行关联，得到融合人体姿态信息轨迹；

按照时序对所述融合人体姿态信息轨迹进行人体攀爬姿态分析，得到所述融合人体姿态信息轨迹的攀高行为检测结果。

6.一种攀高行为检测装置，其特征在于，所述装置包括：

视频数据获取模块，用于获取待检测视频数据；

攀高一次检测模块，用于对所述待检测视频数据进行前景检测，并根据前景检测结果及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，其中，所述疑似攀高行为表示前景检测结果中前景区域的高度超过所述预设攀高规则线；

攀高二次检测模块，用于根据存在疑似攀高行为的视频帧及疑似攀高行为在相应视频帧中的位置信息，进行攀高行为的检测，得到攀高行为检测结果；

所述疑似攀高行为在相应视频帧中的位置信息具体为存在疑似攀高行为的人体区域在相应视频帧中的位置信息；所述攀高一次检测模块，包括：

前景轨迹获取子模块，用于对所述待检测视频数据的视频帧进行前景检测，得到所述待检测视频数据的前景轨迹信息；

头肩轨迹获取子模块，用于对所述待检测视频数据的视频帧进行头肩检测，得到所述待检测视频数据的头肩轨迹信息；

人体区域确定子模块，用于根据所述前景轨迹信息及所述头肩轨迹信息，确定视频帧中的人体区域；

攀高行为检测子模块，用于根据各所述人体区域及预设攀高规则线的位置关系，确定存在疑似攀高行为的视频帧及存在疑似攀高行为的人体区域在相应视频帧中的位置信息，其中，所述疑似攀高行为表示人体区域的高度超过所述预设攀高规则线。

7.一种电子设备，其特征在于，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的攀高行为检测方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的攀高行为检测方法。