CN112906566B - 一种吊臂车作业场景下行人违规逗留的景深判别方法 - Google Patents

Abstract

本发明提供了一种吊臂车作业场景下行人违规逗留的景深判别方法，该方法包括：获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；将视频流输入到检测器可以得到人的坐标以及吊臂各部件的坐标；吊臂车各个组件在平面空间可以形成一个三角区域；首先，判断人是否在三角区域的水平位置上；然后，判断人检测框的底部和三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；最后，利用视频平滑性处理，必须连续出现违规行为才判定为异常行为。本发明实现了利用二维空间有限信息判定三维空间违规行为的需求。

Description

一种吊臂车作业场景下行人违规逗留的景深判别方法

技术领域

本发明涉及电力作业安防领域，更具体地，涉及吊臂车作业场景下行人违规逗留的景深判别方法。

背景技术

随着大型电网工程相继开工、建设、运行，电网建设规模不断扩大。然而现有的管理机制仍然不完善，存在相当多的安全隐患。例如一些施工现场存在安全技术不交底、重要作业风险未交待、劳务分包队伍失去监护等问题，施工作业点多面广，参与单位和现场作业人员众多，这些都对确保人身安全提出了更高的要求。但是部分员工安全意识淡薄，安全技能和业务素质不高，思想上心存侥幸，行动上凭习惯作业，违章现象屡禁不止。这些内外因素叠加起来，使得加强电力现场作业人员人身安全这一问题尤为重要。

在电力作业场景中，使用吊臂车作业的场景是非常普遍的。然而在吊臂车作业场景下，非常容易出现脱绳、脱钩、断绳等事故。常见的脱绳事故主要原因是捆绑重物的方法不当，亦或是重物重心选取不当、吊载遭到碰撞等。脱钩事故主要原因是吊钩钩口变形引起开口过大等原因所致。造成断绳事故的主要原因多为超载起吊拉断钢丝绳。因此，在吊装作业中，吊杆下，吊物下，斜拉吊钩方向等都十分危险，并且一旦危险发生，在吊臂车周围的人是非常不容易躲开的。但是，由于吊装作业施工场景大，施工天气条件存在不确定因素，施工人员多且在作业过程中由于日常惯性不规范操作，很容易出现危险情况。

所以针对电力吊臂车作业现场安全事故频发，监控视频人为处理耗时长，实时性差，应急响应不足等问题，研究一套能够基于视频处理的电力吊臂车作业场景下行人违规逗留异常行为检测的智能视频监控算法就变得非常有意义。

发明内容

为了解决上述问题，本发明提供了一种吊臂车作业场景下行人违规逗留的景深判别方法，该方法包括：

获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；

将视频流输入到检测器可以得到人的矩形框以及吊臂各部件的矩形框；

吊臂车各个组件在平面空间可以形成一个三角区域；

判断人是否在三角区域的水平位置上；

判断人检测框的底部和三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；

利用视频平滑性处理，必须连续出现违规行为才判定为异常行为。

获取包含吊臂车所有部件以及人的完整视频流，其中，所述完整视频流包括吊臂车和人两大主体。

吊臂车所有部件包括吊勾、吊臂、吊车，其中，吊勾、吊臂、吊车被视为吊臂车最重要组成部件。

人包括单人及多人，其中，人这一主体的数量并不限制。

人的矩形框包括检测器返回所有人在空间上的具体坐标信息。

吊臂各部件的矩形框包括检测器返回吊勾、吊臂、吊车在空间上的具体坐标信息。

吊臂车各个组件即吊勾、吊臂、吊车通过检测器可以获取到空间上的具体坐标信息，通过这些坐标信息可以获取到覆盖吊臂车三大组件的最小矩形框的空间坐标，所形成的最小矩形框的下三角区域是判别景深的关键信息。

根据判断人坐标位置和三角区域坐标位置的相对关系，可以确定人是否有在吊臂车周围的可能性，如果人的坐标位置在三角区域坐标位置设定的阈值范围内，则该人在吊臂车危险区域范围内，需要进一步进行判断和吊臂车的景深位置关系。反之，该人所处区域无危险。

在判定人的坐标位置在三角区域坐标位置设定的阈值范围内的前提下，计算人的坐标位置底部和三角区域坐标底部的位置关系，如果在设定的阈值范围内，可断定这两者在景深上一致，即吊臂车下存在行人逗留，反之，说明该行人在距离吊臂车较远一段距离，所处区域为安全区域。

视频中对吊臂车作业场景下行人违规逗留的这一行为的判定使用了平滑处理，如果连续出现判定异常，则认为异常，更新为异常状态；如果出现异常后被判定为正常，必须连续判定为正常才确认是正常，更新为正常状态。

附图说明

图1示出了吊臂车作业场景下行人违规逗留的景深判别的流程图。

具体实施方式

下面的实施例可以使本领域技术人员更全面地理解本发明，但不以任何方式限制本发明。

为了当出现少量误检或漏检时，算法能够有效抑制误检和漏检带来的误判误报。引入了刚性因子。即当连续多帧判别为异常事件发生时，abnormal_factor异常标志符才会被触发。

由于视频数据有着平滑特性，即视频相邻帧之间异常状态和正常状态变化不会太大，因此，在算法逻辑处理中引入了平滑因子。如果当前人没有在吊臂作业场景周围逗留，没有发生异常作业的行为。但是abnormal_factor异常标志符被触发，并且，平滑因子小于阈值。说明在检测视频帧异常的时候，当前帧出现了跳帧现象，即当前帧的异常没有被检测到，但是由于视频具有连续性，前后帧是有相关性的，异常行为转化为正常过程，中间是有一个平滑过渡的一个过程，所以当满足了这两个条件时，当前帧延续上一帧的异常状态，并记录当前帧的视频帧序号，以及上一帧发生异常行为的人的坐标位置。

在判别人在吊臂作业场景周围逗留，发生异常作业这一行为。首先人要在吊臂相关的矩形坐标位置范围之内，即在水平轴上确保两个位置是有重叠区域的。在保证水平位置上有重叠区域的前提下，通过控制人坐标位置下边界在吊臂相关坐标位置下边界阈值范围内，实现在二维图像上判别吊臂和人的景深关系。

下面结合具体的实例进行说明，以更好地理解本发明。

输入：首先将视频片段输入到目标检测算法，经检测，视频当中每帧相对应识别出的所有人的坐标位置存放在pers中，视频当中每帧相对应识别出的吊臂、吊臂车、吊钩的坐标位置存放在arm中。所有识别的目标物体均为规则的矩形框，相对应的坐标位置信息用左上角<x1,y1>，和右下角<x2,y2>所确定。

输出：abnorml_frame用于存放视频异常帧序号。abnorml_person用于存放视频异常帧相对应的发生违规逗留异常行为的所有人坐标位置。

初始化：abnorml_frame和abnorml_person均被初始化为空列表。

abnormal_factor为异常标志符，标志当前帧是否为异常，初始化为布尔类型的

False。rigid_factor为刚性因子,能够有效抑制少量误检或漏检时对视频检测结果带来的负面影响。soft_factor为平滑因子,用于异常帧在视频上平滑过渡。rigid_factor和soft_factor均被初始化为0。

遍历视频的每一帧，并判断当前帧是否检测到了人。如果没有检测到人，那么继续遍历下一帧，如果检测到人，那么继续进一步的判断。

在检测到当前帧存在人的前提下，进一步判断当前帧是否存在吊臂、吊臂车、吊钩相关目标物体，如果不存在，继续遍历下一帧，如果存在，那么继续判断当前帧下的人是否在吊臂作业场景附近有逗留的异常行为。

在检测到当前帧存在人并存在吊臂、吊臂车、吊钩相关目标物体的前提下。遍历当前帧所有的吊臂、吊臂车、吊钩的坐标位置，最后返回一个包含吊臂、吊臂车、吊钩整体的矩形框的坐标位置。其中x1,y1是由所有对应坐标点中最小的坐标位置所确定的。x2,y2是由所有对应坐标点中最大的坐标位置所确定的。

对于当前帧，根据融合后的包含吊臂的目标物体的坐标位置和人的坐标位置，判断当前人是否在吊臂作业场景周围逗留。

首先人要在吊臂相关的矩形坐标位置范围之内，即确保arm_box_x1<person_box_x1<arm_box_x2或者arm_box_x1<person_box_x2<arm_box_x2:即在水平轴上确保两个位置是有重叠区域的。

在保证水平位置上有重叠区域的前提下，通过控制人坐标位置下边界在吊臂相关坐标位置下边界阈值范围内，实现在二维图像上判别吊臂和人的景深关系。从而判定此人在吊臂作业场景周围逗留，发生了异常作业的行为。

通过判断，如果当前人在吊臂作业场景周围逗留，发生了异常作业的行为。刚性因子需要自增，当刚性因子累加大于15，那么abnormal_factor＝True异常标志符触发，并且需要记录当前视频帧的序号，同时需要记录发生异常行为的人的坐标位置。

通过判断，如果当前人没有在吊臂作业场景周围逗留，没有发生异常作业的行为。首先判断如果刚性因子小于等于15，需要重置为0，这样当出现少量误检或漏检时，算法能够有效抑制误检和漏检带来的误判误报。

通过判断，如果当前人没有在吊臂作业场景周围逗留，没有发生异常作业的行为。需要判断abnormal_factor异常标志符是否触发，与此同时，平滑因子是否小于20。如果这两个条件都满足的话，说明在检测视频帧是否异常的时候，当前帧出现了跳帧现象，即当前帧的异常没有被检测到，但是由于视频具有连续性，前后帧是有相关性的，异常行为转化为正常过程，中间是有一个平滑过渡的一个过程，所以当满足了这两个条件时，当前帧延续上一帧的异常状态，并记录当前帧的视频帧序号，以及上一帧发生异常行为的人的坐标位置。

通过判断，如果当前人没有在吊臂作业场景周围逗留，没有发生异常作业的行为。且判断abnormal_factor异常标志符没有被触发，或者，平滑因子大于等于20。那么平滑因子需要重置为0，并且abnormal_factor异常标志符关闭。

图1示出了本发明的算法的流程图。可以参考图1以更好地理解本发明公开的算法流程。

本发明提供的基于视频处理的电力吊臂车作业场景下行人违规逗留异常行为检测的智能视频监控算法。结合了目标检测算法，可以对电力吊臂车作业场景的监控视频进行处理，在可容忍的误判率下，达到对现场存在安全隐患的行为做出预警的效果。同时。本发明利用吊臂车和人空间位置的相对关系，最大化的利用了二维图像的信息推理出吊臂车和人的景深关系，在一定程度上减小了误判率。为了利用视频的连续性以及异常行为发生是一个过程化的变化这些特性，加入了刚性因子和平滑性因子，只有当异常或者正常状态连续多帧发生，才切换状态。并且当有个别帧在目标检测缺失的情况下，利用相邻帧状态平滑过渡这一特性，当前帧可以延续上一帧的状态。

本领域技术人员应理解，以上实施例仅是示例性实施例，在不背离本申请的精神和范围的情况下，可以进行多种变化、替换以及改变。

Claims (1)

1.一种吊臂车作业场景下行人违规逗留的景深判别方法，其特征在于，所述方法包括：

获取包含吊臂车所有部件以及人的完整视频流，其中，所述吊臂车所有部件包括吊勾、吊臂、吊车，所述人包括单人及多人；

将所述视频流输入到检测器可以得到人的矩形框以及吊臂车各部件的矩形框；

所述吊臂车各个组件在平面空间可以形成一个三角区域；

判断人是否在所述三角区域的水平位置上；

判断所述人的矩形框的底部和所述三角区域的底部的位置关系，通过此种方法在景深上判断吊臂车下违规逗留的行人；

利用视频平滑性处理，必须连续出现违规行为才判定为异常行为;

所述人的矩形框包括检测器返回所有人在空间上的具体坐标信息，所述吊臂车各部件的矩形框包括检测器返回所述吊勾、所述吊臂、所述吊车在空间上的具体坐标信息;通过检测器返回所述吊勾、所述吊臂、所述吊车在空间上的具体坐标信息获取覆盖吊臂车三大组件的最小矩形框的空间坐标，所形成的所述最小矩形框的下三角区域为所述三角区域；

所述判断人是否在所述三角区域的水平位置上，包括：

如果人的坐标位置在所述三角区域的坐标位置设定的阈值范围内，则该人在吊臂车危险区域范围内，反之，该人所处区域无危险；

所述人的坐标位置在所述三角区域的坐标位置设定的阈值范围内，包括：计算人的坐标位置底部和所述三角区域的坐标底部的位置关系，如果在设定的所述阈值范围内，则吊臂车下存在行人逗留，判定异常，反之，所述人的所处区域为安全区域；

所述利用视频平滑性处理，必须连续出现违规行为才判定为异常行为，包括：

如果连续出现所述判定异常，则认为异常，更新为异常状态；如果出现异常后被判定为正常，必须连续判定为正常才确认是正常，更新为正常状态；

所述视频平滑性处理，包括：引入平滑因子和刚性因子；

如果当前所述人在吊臂车作业场景周围逗留，且发生了所述异常的行为，则所述刚性因子自增，且当所述刚性因子累加大于15异常标志符触发，需要记录当前视频帧的序号，同时需要记录发生异常行为的所述人的坐标位置；

如果当前所述人没有在吊臂车作业场景周围逗留，且没有发生异常作业的行为，则判断所述刚性因子是否小于等于15，满足则需要重置为0；

如果当前人没有在吊臂作业场景周围逗留，且没有发生异常作业的行为；需要判断异常标志符是否触发，与此同时，判断平滑因子是否小于20；当满足了这两个条件时，说明当前帧延续上一帧的异常状态，并记录当前帧的视频帧序号，以及上一帧发生异常行为的人的坐标位置；

如果当前人没有在吊臂作业场景周围逗留，且没有发生异常作业的行为；当判断异常标志符没有被触发，或者，平滑因子大于等于20；那么平滑因子需要重置为0，并且异常标志符关闭。