CN116030391A - 煤炭卸料口人员风险智能监测方法 - Google Patents

Abstract

本发明公开了一种煤炭卸料口人员风险智能监测方法，本发明的主要设计构思在于，在煤炭卸料口设置辅助照明的警示灯具及若干台监控摄像机，应用物体轮廓识别、人体检测及人员行为判定等机制，对卸料口附近区域出现人员且靠近卸料口的危险行为进行分析处理，并结合警示灯的闪烁以实现拍摄场景变化，从而降低对监控视频中卸料口处人员检测及行为识别的复杂度，从而实现及时发出预警、停机信号，避免出现安全事故。本发明规避常规的激光、红外传感方式易受粉尘等环境影响的弊端，采用人工智能图像分析策略，能够大幅提升监控精度及响应速度，有效杜绝了误检误报的情况。

Description

煤炭卸料口人员风险智能监测方法

技术领域

本发明涉及能源化工生产领域，尤其涉及一种煤炭卸料口人员风险智能监测方法。

背景技术

煤炭是焦化、煤化工生产的主要原料，煤炭经汽车运输到厂区生产车间后，在卸料口卸车，同时启动碎煤机对大块煤炭进行破碎。因碎煤机卸料口为敞开式场所，无法屏蔽人员在周边作业，如果人员作业时不慎跌落，将直接导致人身伤害。

此外，碎煤机一般不具备自动联锁保护措施，通常以手动开关控制设备启停，当人员不慎掉入后无法自动停止运行，极易造成人员伤亡事故，增加必要的安全设备实现设备控制连锁是经常采用的安全防护手段，但在卸车或破碎作业时现场会出现较多粉尘，受此不利环境影响，常规的激光、红外等传感器很容易误报，进而会导致设备经常误动作，严重影响生产效率和设备使用寿命。因此，寻找一种在粉尘干扰下能够保证风险识别效果，又易升级维护的技术方案是解决问题的方向。

发明内容

鉴于上述，本发明旨在提供一种煤炭卸料口人员风险智能监测方法，以解决前述提及的技术问题。

本发明采用的技术方案如下：

本发明提供了一种煤炭卸料口人员风险智能监测方法，其中包括：

控制卸料口处设置的警示灯按预设周期闪烁；

控制监控摄像机周期性采集卸料口处预设区域的视频信息；

从所述视频信息中提取物体轮廓特征；

若根据所述物体轮廓特征判断为运煤车辆，则继续执行下一周期视频采集；

若根据所述物体轮廓特征判断出现的物体不属于运煤车辆，则在当前视频信息以及后续采集的视频信息中提取图像灰度特征；

基于所述图像灰度特征启动人体识别，并在确定卸料口预设区域出现人体后，触发报警和/或与急停连锁并控制碎煤机停机。

在其中至少一种可能的实现方式中，所述基于所述图像灰度特征启动人体识别包括：

将当前视频中预设区域内的灰度特征保存至预设队列；

将后续视频采集时间段内获取的视频信息中的灰度特征存入所述预设队列；

计算所述预设队列中相邻的灰度特征的相似度，形成相似度数组；

当所述相似度数组中出现至少两个波峰时，触发人体识别策略启动。

在其中至少一种可能的实现方式中，所述人体识别采用预先构建的人体检测模型，且所述人体检测模型的训练方式包括：

设定训练目标为在卸料口预设区域内是否出现人员；

结合设置的视频拍摄场景角度以及预置的真假场景，采集用于训练及测试模型的数据样本；以及，

对拍摄的各场景进行分类标注，并按不同场景划分检测模型。

在其中至少一种可能的实现方式中，所述智能监测方法还包括通过人体行为识别模型判定出现人体的视频图像中的人员行为。

在其中至少一种可能的实现方式中，人体行为识别模型的构建方式包括：

选择用于人员行为识别的特征提取网络；

离线构建行为数据集，并利用深度学习训练人员行为识别模型；

将待识别图像输入所述人体行为识别模型，输出并得到目标人员的行为标签以及置信度信息；

基于所述行为标签、所述置信度信息以及预设的人员行为先验知识进行逻辑推理，判断并最终确定是否存在人员进入卸料口处预设区域的行为发生。

在其中至少一种可能的实现方式中，所述逻辑推理的过程包括：

当各拍摄设备中所述行为标签的识别结果为人员出现时，进行置信度判断；

基于多个拍摄设备连续采集的视频数据，分别生成对应的置信度序列；

当全部所述置信度序列均存在超过既定阈值的置信度数值时，判定人员进入卸料口处预设区域的行为存在；

当至少一个所述置信度序列中未出现超过既定阈值的置信度数值时，进行针对该拍摄设备所采集的视频中不同拍摄场景分析结果的一致性判断；

若不同场景识别结果不一致，则重新进行人体行为识别；若不同场景识别结果一致，则判定不存在人员进入卸料口处预设区域的行为。

在其中至少一种可能的实现方式中，根据物体轮廓特征判断是否为运煤车辆的方式包括：

通过比较物体轮廓特征向量与预设的运煤车辆特征向量的距离是否达到既定距离阈值，若是，则确定视频中出现的物体为运煤车辆。

在其中至少一种可能的实现方式中，警示灯闪烁周期对应的频率，小于监控摄像机图像采集频率的二分之一。

本发明的主要设计构思在于，在煤炭卸料口设置辅助照明的警示灯具及若干台监控摄像机，应用物体轮廓识别、人体检测及人员行为判定等机制，对卸料口附近区域出现人员且靠近卸料口的危险行为进行分析处理，并结合警示灯的闪烁以实现拍摄场景变化，从而降低对监控视频中卸料口处人员检测及行为识别的复杂度，从而实现及时发出预警、停机信号，避免出现安全事故。本发明规避常规的激光、红外传感方式易受粉尘等环境影响的弊端，采用人工智能图像分析策略，一方面将激光、红外等点、线维度的采集和检测扩大到面维度的采集和检测，对粉尘干扰的容忍度更大，另一方面，能够利用视频图像增强、识别等技术进一步提升图像识别效果，同时也能够保证监控精度及响应速度，有效杜绝了误检误报的情况。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明实施例提供的煤炭卸料口人员风险智能监测方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出了一种煤炭卸料口人员风险智能监测方法的实施例，具体来说，如图1所示，其中包括：

步骤S1、控制卸料口处设置的警示灯按预设周期闪烁；

具体地，触发警示灯开启，并按照固定周期T闪烁，所述闪烁周期T对应的频率f＝1/T是监控摄像机采集图像频率的一半以下。

步骤S2、控制监控摄像机周期性采集卸料口处预设区域(周边危险区域)的视频信息；

步骤S3、从所述视频信息中提取物体轮廓特征；

可以理解地，在进行物体轮廓特征提取之前，还可以对采集到的视频信息进行预处理和图像增强，包括但不限于去除视频噪声。

步骤S4、若根据所述物体轮廓特征判断为运煤车辆，则继续执行下一周期视频采集；这里的下一周期可以是指前文提及的警示灯的闪烁周期T。

在实际操作中，可以通过比较物体轮廓特征向量与预设的运煤车辆特征向量的距离是否达到既定阈值，若是，则确定视频中出现该物体为运煤车辆，此时可以回到前述步骤S2继续采集图像。

步骤S5、若根据所述物体轮廓特征判断出现的物体不属于运煤车辆，则在当前视频信息以及后续采集的视频信息中提取图像灰度特征；

步骤S6、基于图像灰度特征启动人体识别，并在识别确定卸料口预设区域出现人员后，触发报警，和/或与急停连锁并控制碎煤机停机。

关于所述基于图像灰度特征启动人体识别包括：

步骤S61、将预设区域内的灰度特征保存至预设队列Qg；

步骤S62、将后续视频采集时间段内(可以按前述的连续两个警示灯闪烁周期，即2T)获取的视频信息中的灰度特征存入所述预设队列Qg；

步骤S63、计算所述预设队列中相邻的灰度特征的相似度，形成相似度数组As；

步骤S64、当所述相似度数组中出现至少两个波峰时，触发人体识别策略启动；否则，重新执行步骤S2继续采集视频并分析。

这里需指出的是，至少两个波峰说明警示灯点亮或熄灭的照明场景下视频特征存在差异，且不同照明场景下至少存在一种稳定出现的待识别目标，在排除车辆后，出现人员的可能性最大。

优选地，所述人体识别采用预先构建的人体检测模型予以实施，且所述人体检测模型的训练架构可以参考如下，包括：

设定训练目标为在卸料口预设区域内是否出现人员；

结合设置的视频拍摄场景角度以及预置的真假场景，采集用于训练及测试模型的数据样本；以及，对拍摄的各场景进行分类标注，并按不同场景划分检测模型。

基于此构思，为了能够可靠识别人员进入煤炭卸料口附近危险区域的行为，在前述人员检测策略基础上，本发明提出，更佳地，可以通过改进前述模型，使其能够对人员行为做进一步识别(当然也可以另建专门用于人员行为预测的模型)，具体可以如下，包括：

步骤S01、选择用于人员行为识别的特征提取网络；

具体来说，可以将深度可分离卷积神经网络作为该算法模型的特征提取网络，该模型相对传统网络参数更少，性能更高。

步骤S02、离线构建行为数据集，并利用深度可分离卷积神经网络训练人员行为识别模型(且如前文所述，可以在人体检测基础上添加行为预测的能力，或者构建专用的人员行为识别模型)；

在实际操作中，构建行为数据集的过程可以包括：数据采集、数据筛选、数据标记及数据增强等步骤。

关于数据采集，可以是在不同的环境和光照条件下对人员行为进行录像，即录制不同人员进入卸料口处预设区域(划定的风险区域)，当然，在录像时优选考虑到不同程度的拍摄角度变化和人体姿态变化。

关于数据筛选，可以理解地，人员进入卸料口处预设区域是一个连续过程，并且连续视频帧之间可能存在冗余性，因此采用数据筛选可以每隔若干帧再采集1帧图像并使用算法进行处理，例如对图像文件先使用人体检测算法进行处理，仅保留能够被检测到存在人体的图像，作为有效的训练样本。

关于数据标记，对前述有效训练样本进行标注，主要可以是框定图像区域中的目标元素，这些图像中的元素可以包含几个不同的层面：出现人员、人员存在进入行为、以及卸料口处预设区域的特征。

关于数据增强，为提高模型的鲁棒性和泛化能力，使用数据增强的方法来进一步增加参与训练的样本数量和多样性，例如可以对上述已经标注过的有效样本，在训练阶段通过图像缩放、水平镜像翻转、随机调整亮度和色调等操作来达到数据增强的目的。

前述离线构造及处理数据的方式，皆可以参考成熟的相关技术，对此本发明不做赘述。

接续前文，步骤S03、将待识别图像输入所述人体行为识别模型，输出并得到目标人员行为的标签以及置信度信息(还可以包括位置信息)；所述行为识别模型也采用深度可分离卷积神经网络，具体实施中采用MobileNet模型，该模型在参数量只有传统网络十分之一甚至更少的情况下，依旧能够达到与传统网络近似的精度，且能够大幅降低运算次数，同时该模型具备轻量化特点，对硬件设备配置要求不高，使维护和升级成本较低。

步骤S04、基于所述行为标签、所述置信度信息以及预设的人员行为先验知识进行逻辑推理，判断并最终确定是否存在人员进入卸料口处预设区域的行为发生。

在一些较佳的实施例中，对于所述逻辑推理，可以具体参考如下方式：

步骤S040、当各拍摄设备中所述行为标签的识别结果为人员出现时，进行置信度判断；

步骤S041、基于多个拍摄设备连续采集的视频数据，分别生成对应的置信度序列；

以两个监控摄像头进行人员进入行为识别为例，可以对应得到两个置信度序列：

P_I{P_I1，P_I2，P_I3…P_IN}与P_r{P_r1，P_r2，P_r3…P_rN}。

步骤S042、当全部所述置信度序列均存在超过既定阈值的置信度数值时，判定人员进入卸料口处预设区域的行为存在；

例如，当P_I及P_r中均出现大于置信度阈值的置信度值时，判断存在人员进入区域的行为，这里的置信度阈值可以根据经验设置。

步骤S043、当至少一个所述置信度序列中未出现超过既定阈值的置信度数值时，进行针对该拍摄设备所采集的视频中不同拍摄场景分析结果的一致性判断；

步骤S044、若不同场景识别结果不一致，则重新进行人体行为识别；若不同场景识别结果一致，则判定不存在人员进入卸料口处预设区域的行为。

举例来说，当P_I及P_r中均未出现大于置信度阈值的置信度值时，进行两者比较以判断场景一致性，具体地，可以分别对P_I及P_r求方差，二者方差之间的差值若大于既定的差值阈值，则说明场景存在不一致性，需重新采集连续两个警示灯闪烁周期的视频进行后续判断。否则，说明场景一致，而未出现置信度阈值超限的情况，则表征不存在人员进入危险区域行为，此轮行为识别结束。

前述各个实施例在实际应用阶段，可以参考下述方案予以实施：警示灯具可以安装于卸料口厂房靠近大门的天花板处，向外部照射，用于向外部人员发出危险警示，并提供厂房大门附近的辅助照明。监控摄像机安装于卸料口厂房大门正对的内墙，采集卸料口厂房内及大门的视频，并将视频信息传输至预先配置AI识别算法的服务器。服务器获取卸料口摄像机视频流，进行实时AI分析处理，判断监控视频画面内是否有人员活动，并根据判断结果发出报警信号，启动报警器和/或使破碎机急停。也即是，在卸料口设置辅助照明的警示灯具及若干台监控摄像机，应用人工智能识别技术(人体检测及人员行为识别算法)，对卸料口附近区域出现人员且靠近卸料口的危险行为进行分析判定。利用警示灯的闪烁，可以改变卸料口场景，并通过场景变化降低对监控视频中卸料口人员识别的复杂度，从而进行快速、实时的卸料口人员判断，及时发出预警和/或停机信号。

具体而言，在卸料口厂房天花板靠出口处安装两台警示灯，警示灯发出红光，以固定频率闪烁，警示灯的照射方向是从卸料口厂房内部射向外部，同时向地面夹角成45度，使其光线能够被卸料口厂房外部附近人员观察到，同时又能够起到对卸料口厂房大门附近提供照明的作用，其亮度需要满足在夜间以及破碎机工作产生较大粉尘时，能够使摄像机拍摄到卸料口大门外3米范围内的物体。

在卸料口厂房内墙壁安装两台摄像机，镜头从卸料口厂房内朝向外部，保证卸料口监控无死角，卸料口厂房大门在摄像机视频图像范围内。摄像机视频信号汇聚至现场弱电箱交换机，通过千兆网络回传至相***内核心交换机。

进一步地，在卸料口醒目位置安装声光报警器一台，可通过485总线接入现场弱电控制箱，再经过TCP串口服务器模块转换成网络信号接入信息网络。其中，TCP串口服务器模块的开关量输出端子可接线连接碎煤机控制箱急停开关输入端子，使该开关量输出信号能够控制碎煤机急停。

服务器可以在厂区机房内部署，其获取摄像机RTSP视频流进行AI视频分析，能够根据视频分析结果向碎煤机发出急停控制信号和/或向现场报警提示信号。

前述不同方面的方案，经实际应用验证，与单纯的基于深度学习的端到端人员行为检测方法相比，本发明具有识别精度高、检测速度快的优势，能够有效解决误检问题，从而提升了检测识别精度。由于便于实现数据现场采集以及对深度网络模型进行及时训练，本发明可以推广为检测其他特定的人员行为，方便部署到不同场合，满足特定的应用需求。

综上所述，本发明的主要设计构思在于，在煤炭卸料口设置辅助照明的警示灯具及若干台监控摄像机，应用物体轮廓识别、人体检测及人员行为判定等机制，对卸料口附近区域出现人员且靠近卸料口的危险行为进行分析处理，并结合警示灯的闪烁以实现拍摄场景变化，从而降低对监控视频中卸料口处人员检测及行为识别的复杂度，从而实现及时发出预警、停机信号，避免出现安全事故。本发明规避常规的激光、红外传感方式易受粉尘等环境影响的弊端，采用人工智能图像分析策略，能够大幅提升监控精度及响应速度，有效杜绝了误检误报的情况。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (8)

1.一种煤炭卸料口人员风险智能监测方法，其特征在于，包括：

控制卸料口处设置的警示灯按预设周期闪烁；

控制监控摄像机周期性采集卸料口处预设区域的视频信息；

从所述视频信息中提取物体轮廓特征；

若根据所述物体轮廓特征判断为运煤车辆，则继续执行下一周期视频采集；

若根据所述物体轮廓特征判断出现的物体不属于运煤车辆，则在当前视频信息以及后续采集的视频信息中提取图像灰度特征；

基于所述图像灰度特征启动人体识别，并在确定卸料口预设区域出现人体后，触发报警和/或与急停连锁并控制碎煤机停机。

2.根据权利要求1所述的煤炭卸料口人员风险智能监测方法，其特征在于，所述基于所述图像灰度特征启动人体识别包括：

将当前视频中预设区域内的灰度特征保存至预设队列；

将后续视频采集时间段内获取的视频信息中的灰度特征存入所述预设队列；

计算所述预设队列中相邻的灰度特征的相似度，形成相似度数组；

当所述相似度数组中出现至少两个波峰时，触发人体识别策略启动。

3.根据权利要求1所述的煤炭卸料口人员风险智能监测方法，其特征在于，所述人体识别采用预先构建的人体检测模型，且所述人体检测模型的训练方式包括：

设定训练目标为在卸料口预设区域内是否出现人员；

结合设置的视频拍摄场景角度以及预置的真假场景，采集用于训练及测试模型的数据样本；以及，

对拍摄的各场景进行分类标注，并按不同场景划分检测模型。

4.根据权利要求1所述的煤炭卸料口人员风险智能监测方法，其特征在于，所述智能监测方法还包括通过人体行为识别模型判定出现人体的视频图像中的人员行为。

5.根据权利要求4所述的煤炭卸料口人员风险智能监测方法，其特征在于，人体行为识别模型的构建方式包括：

选择用于人员行为识别的特征提取网络；

离线构建行为数据集，并利用深度学习训练人员行为识别模型；

将待识别图像输入所述人体行为识别模型，输出并得到目标人员的行为标签以及置信度信息；

基于所述行为标签、所述置信度信息以及预设的人员行为先验知识进行逻辑推理，判断并最终确定是否存在人员进入卸料口处预设区域的行为发生。

6.根据权利要求5所述的煤炭卸料口人员风险智能监测方法，其特征在于，所述逻辑推理的过程包括：

当各拍摄设备中所述行为标签的识别结果为人员出现时，进行置信度判断；

基于多个拍摄设备连续采集的视频数据，分别生成对应的置信度序列；

当全部所述置信度序列均存在超过既定阈值的置信度数值时，判定人员进入卸料口处预设区域的行为存在；

当至少一个所述置信度序列中未出现超过既定阈值的置信度数值时，进行针对该拍摄设备所采集的视频中不同拍摄场景分析结果的一致性判断；

若不同场景识别结果不一致，则重新进行人体行为识别；若不同场景识别结果一致，则判定不存在人员进入卸料口处预设区域的行为。

7.根据权利要求1～6任一项所述的煤炭卸料口人员风险智能监测方法，其特征在于，根据物体轮廓特征判断是否为运煤车辆的方式包括：

通过比较物体轮廓特征向量与预设的运煤车辆特征向量的距离是否达到既定距离阈值，若是，则确定视频中出现的物体为运煤车辆。

8.根据权利要求1～6任一项所述的煤炭卸料口人员风险智能监测方法，其特征在于，警示灯闪烁周期对应的频率，小于监控摄像机图像采集频率的二分之一。

Images