CN114320469A - 一种基于云-边智能的井下危险源检测方法 - Google Patents

Abstract

本发明公开了一种基于云‑边智能的井下危险源检测方法，包括以下步骤：步骤1、云边参数优化：选用SSD网络模型作为检测模型，并将提取目标初步特征的VGG‑16网络换成MobileNet网络，SSD网络模型与MobilNet网络组成的MobilNet‑SSD目标检测模型，减少模型提取深度特征部分的网络深度，将数据集图片进行翻转、裁剪，去除多余物体，局部放大目标；步骤2、建立煤矿的云‑边检测体系：将摄像头及传感器部署在边缘设备上，在边缘侧实现实时检测，传感器包括温度传感器、烟雾传感器和CO传感器；步骤3、边缘侧多传感器融合的危险源感知：对步骤2中摄像头及传感器检测到的信息进行动态加权融合处理，判断是否有火焰产生；步骤4、多网络融合网络：将步骤2、步骤3多设备检测的信息多网络融合无线传输到上位机。

Description

一种基于云-边智能的井下危险源检测方法

技术领域

本发明涉及矿井安全监控技术领域，特别是涉及一种基于云-边智能的井下危险源检测方法。

背景技术

矿井火灾是煤矿安全领域的重点防治的灾害之一，近年来关于矿下失火事件居高不下，这不仅带来了财产损失，还威胁到了工人的生命安全，煤矿安全事故分为瓦斯、顶板、运输等8大类别，从2007-2017年的事故统计分析，发现火灾/瓦斯事故每起平均死亡人数高达21/5人。

因此采取有效的监控措施，预防火灾的发生极为重要，现阶段，煤矿井下监测外因起火的方法主要采用气体、温度、烟雾等传感器，通过将大量传感器部署在矿道的上方来监视设备运行情况。然而这种方法存在许多不足之处，首先，部署大量的传感器不仅耗时、耗力、耗资金，而且后期还需要不断地定期检查维护，当部署的传感器较少时，远离传感器较远的火源则不能被及时的检测到，这也是目前使用传感监测矿下火灾发生面临的最主要问题。

人工智能(AI)的发展为安全监控***的设计带来了新思路，基于AI的安全监控***主要有两种部署方法：基于云的架构和基于边缘的架构，基于云的方法是通过互联网将大量采集到数据传输到云中，在云中进行一系列数据处理，如果受到攻击，将导致隐私泄露，另外，随着终端设备收集的数据量不断增加，基于云的方法给网络带来了巨大的数据传输压力，无法满足安全监控***的实时要求；基于边缘架构的安全监测***通过使用边缘计算，可以在边缘设备上处理数据而无需将其上传到云中，从而可以有效抵御网络攻击并防止数据隐私泄漏，且能够响应***实时性的需求，但是，边缘设备的计算资源有限，在处理计算密集型监视任务(例如视频处理和图像识别)时，它通常会遇到性能瓶颈。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于云-边智能的井下危险源检测方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于云-边智能的井下危险源检测方法，包括以下步骤：

步骤1、云边参数优化

选用SSD网络模型作为检测模型，并将提取目标初步特征的VGG-16网络换成MobileNet网络，SSD网络模型与MobilNet网络组成的MobilNet-SSD目标检测模型，减少模型提取深度特征部分的网络深度，将数据集图片进行翻转、裁剪，去除多余物体，局部放大目标；

步骤2、建立煤矿的云-边检测体系

将摄像头及多传感器部署在边缘设备上，在边缘侧实现实时检测，多传感器包括温度传感器、烟雾传感器和CO传感器；

步骤3、边缘侧多传感器融合的危险源感知：

对步骤2中摄像头及多传感器检测到的信息进行动态加权融合处理，判断是否有火焰产生；

步骤4、多网络融合网络

将步骤2、步骤3多设备检测的信息多网络融合无线传输到上位机。

进一步的，所述步骤2具体按照以下步骤实施：

S21、将步骤1中的MobileNet-SSD目标检测模型进行训练，并将训练好的模型移植在边缘摄像头上；

S22、视频处理模块调用摄像头获取视频帧，然后将获取的图片传递给图像分析和检测模块；

S23、将S22中获取的图片传输到Cambricon 1H8边缘智能设备的动态随机存取存储器中，程序调用嵌入在Cambricon 1H8边缘智能设备中的神经网络模型来处理图片并识别图片中的烟火，然后将烟火的位置传递到OSD检测目标叠加模块；

S24、程序每0.5秒识别一次图像，仅当在三个连续的图片上识别出烟火时，才认为当前有火焰或者烟雾产生；

S25、温度传感器、烟雾传感器和CO传感器辅助摄像头检测，实时检测异常情况。

进一步的，所述步骤3具体按照以下步骤实施：

S31、定义动态加权判决算法，如下所示：

F＝[a₁，a₂，a₃，a₄][b₁，b₂，b₃，b₄]^T

其中a₁、a₂、a₃、a₄分别为摄像头、温度传感器、烟雾传感器、CO传感器检测到的结果，a₁、a₂、a₃、a₄的取值为1或0，其中当a₁＝0时表示摄像头未检测到火焰，当a₁＝1时表示摄像头检测到火焰；当a₂＝0时表示井下温度在正常工作范围内，当a₂＝1时表示井下温度已经超过正常情况；当a₃＝0时表示井下没有烟雾或者烟雾浓度忽略不计，当a₃＝1时表示井下烟雾浓度异常；当a₄＝0时表示井下CO的浓度在正常的范围内，当a₄＝1时表示井下CO的浓度异常；b₁、b₂、b₃、b₄为实验得出的权重参数，b₁、b₂、b₃、b₄的值加起来和为1；

S32、针对摄像头检测到有火焰时，设置参数b₁、b₂、b₃、b₄分别为0.75、0.12、0.05、0.08，设置阈值F_θ为0.80；

S33、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_e比较大小，当F≥F_θ时，表示检测到危险源烟火，当F＜F_θ时，表示未检测到危险源；

S34、针对摄像头没有检测到火焰但传感器检测到异常情况时，设置参数b₂、b₃、b₄分别为0.4、0.2、0.4，设置阈值F_e为0.6；

S35、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_e比较大小，当F≥F_e时，表示检测到危险源烟火，当F＜F_e时，表示未检测到危险源；

S36、根据步骤S33或步骤S35得出的判决结果，判断是否发出危险警报。

进一步的，所述步骤4具体按照以下步骤实施：

S41、使用ZigBee网络，多个传感器终端节点、摄像头终端节点、巡检机器人的通信节点无线连接到ZigBee协调器；

S42、将S41中的ZigBee协调器无线连接到嵌入式智能网关，嵌入式智能网关与路由器连接；

S43、上位机通过路由器产生的WiFi，接收到传感器、摄像头检测到的信息以及巡检机器人反馈回来的巡检。

本发明有益效果：

(1)本发明一种基于云-边智能的井下危险源检测方法，其检测方法是部署在边缘侧，直接在边缘侧对目标进行检测，省去了将数据上传到云的步骤，与传统的检测方法相比能够快速检测到危险源，大大减少了事故发生率。

(2)本发明结合边缘智能技术，与云计算相比，边缘计算显示出了减少通信延迟，减轻传送负荷和防止用户隐私泄漏的优良性能。

(3)本发明还结合了机器人、矿山物联网技术，真正的做到了井下智能检测危险源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于云-边智能的井下危险源检测方法的流程图；

图2是本发明一种基于云-边智能的井下危险源检测方法中动态加权判决模块流程图；

图3是本发明一种基于云-边智能的井下危险源检测方法中摄像头漏检情况加权判决模块流程图；

图4是本发明一种基于云-边智能的井下危险源检测方法中多网络融合网络流程图。

具体实施方式

下面用具体实施例说明本发明，但并不是对发明的限制。

本发明针对边缘设备的计算资源有限，在处理计算密集型监视任务，例如视频处理和图像识别时，通常会遇到性能瓶颈，本发明通过对检测模型参数进行优化，针对摄像机运行过程中存在拍摄角度变换问题，同时对训练的数据集进行增强，提高模型的泛化能力。

参考图1-4，本发明一种基于云-边智能的井下危险源检测方法，包括以下步骤：

步骤1、云边参数优化

选用SSD网络模型作为检测模型，并将提取目标初步特征的VGG-16网络换成MobileNet网络，SSD网络模型与MobilNet网络组成的MobilNet-SSD目标检测模型，减少模型提取深度特征部分的网络深度，将数据集图片进行翻转、裁剪，去除多余物体，局部放大目标；

步骤2、建立煤矿的云-边检测体系

煤矿云-边体系包括巡检轨道***、巡检机器人、摄像头、传感器；

对于巡检轨道***的设计，根据井下实际情况，在巷道上方布置环形巡检轨道，轨道采用柔性导轨与刚性导轨组成的具有多自由度的轨道***，巡检机器人吊挂在轨道上行走。

对于机器人的设计主要包括动力模块、无线通信模块、控制模块、驱动模块及位置采集模块；动力模块包括锂离子动力电池组和电源保护板，按照巡检机器人防爆设计要求，为整个巡检机器人提供不同的动力电源，包括本安电源和隔爆电源，控制模块作为机器人的信息交通枢纽，负责***其它各个功能模块的调配、使用、控制，控制模块使用STM32单片机作为机器人控制核心器件，实现巡检机器人行走及数据采集、数据传输等功能。

本发明将巡检机器人安装在巡检轨道***上，摄像头和传感器部署在智能巡检机器人上，通过巡检机器人来回巡视井下安全情况，并将采集到的数据无线传输到终端，当机载检测***检测到异常情况时，机器人会将此时巡检的位置反馈给终端。

步骤2具体按照以下步骤实施

将摄像头及多传感器部署在边缘设备上，在边缘侧实现实时检测，多传感器包括温度传感器、烟雾传感器和CO传感器；

步骤3、边缘侧多传感器融合的危险源感知

对步骤2中摄像头及多传感器检测到的信息进行动态加权融合处理，判断是否有火焰产生；

步骤4、多网络融合网络

将步骤2、步骤3多设备检测的信息多网络融合无线传输到上位机(上位机)。

进一步的，所述步骤2具体按照以下步骤实施：

S21、将步骤1中的MobileNet-SSD目标检测模型进行训练，并将训练好的模型移植在边缘摄像头上；

S22、视频处理模块调用摄像头获取视频帧，然后将获取的图片传递给图像分析和检测模块；

S23、将S22中获取的图片传输到Cambricon 1H8边缘智能设备的动态随机存取存储器中，程序调用嵌入在Cambricon 1H8边缘智能设备中的神经网络模型来处理图片并识别图片中的烟火，然后将烟火的位置传递到OSD检测目标叠加模块；

S24、程序每0.5秒识别一次图像，仅当在三个连续的图片上识别出烟火时，才认为当前有火焰或者烟雾产生；

S25、温度传感器、烟雾传感器和CO传感器辅助摄像头检测，实时检测异常情况。

进一步的，所述步骤3具体按照以下步骤实施：

S31、定义动态加权判决算法，如下所示：

F＝[a₁，a₂，a₃，a₄][b₁，b₂，b₃，b₄]^T

其中a₁、a₂、a₃、a₄分别为摄像头、温度传感器、烟雾传感器、CO传感器检测到的结果，a₁、a₂、a₃、a₄的取值为1或0，其中当a₁＝0时表示摄像头未检测到火焰，当a₁＝1时表示摄像头检测到火焰；当a₂＝0时表示井下温度在正常工作范围内，当a₂＝1时表示井下温度已经超过正常情况；当a₃＝0时表示井下没有烟雾或者烟雾浓度忽略不计，当a₃＝1时表示井下烟雾浓度异常；当a₄＝0时表示井下CO的浓度在正常的范围内，当a₄＝1时表示井下CO的浓度异常；b₁、b₂、b₃、b₄为实验得出的权重参数，b₁、b₂、b₃、b₄的值加起来和为1；

S32、针对摄像头检测到有火焰时，设置参数b₁、b₂、b₃、b₄分别为0.75、0.12、0.05、0.08，设置阈值F_e为0.80；

S33、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_e比较大小，当F≥F_e时，表示检测到危险源烟火，当F＜F_s时，表示未检测到危险源；

S34、针对摄像头没有检测到火焰但传感器检测到异常情况时，设置参数b₂、b₃、b₄分别为0.4、0.2、0.4，设置阈值F_e为0.6；

S35、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_s比较大小，当F≥F_s时，表示检测到危险源烟火，当F＜F_s时，表示未检测到危险源；

S36、根据步骤S33或步骤S35得出的判决结果，判断是否发出危险警报。

进一步的，所述步骤4具体按照以下步骤实施：

S41、使用ZigBee网络，多个传感器终端节点、摄像头终端节点、巡检机器人的通信节点无线连接到ZigBee协调器；

S42、将S41中的ZigBee协调器无线连接到嵌入式智能网关，嵌入式智能网关与路由器连接；

S43、上位机通过路由器产生的WiFi，接收到传感器、摄像头检测到的信息以及巡检机器人反馈回来的巡检。

本发明一种基于云-边智能的井下危险源检测方法，其检测方法是部署在边缘侧，直接在边缘侧对目标进行检测，省去了将数据上传到云的步骤，与传统的检测方法相比能够快速检测到危险源，大大减少了事故发生率；结合边缘智能技术，与云计算相比，边缘计算显示出了减少通信延迟，减轻传送负荷和防止用户隐私泄漏的优良性能；同时结合了机器人、矿山物联网技术，真正的做到了井下智能检测危险源。

最后应说明的是，以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围中。

Claims (4)

1.一种基于云-边智能的井下危险源检测方法，其特征在于，包括以下步骤：

步骤1、云边参数优化

选用SSD网络模型作为检测模型，并将提取目标初步特征的VGG-16网络换成MobileNet网络，SSD网络模型与MobilNet网络组成的MobilNet-SSD目标检测模型，减少模型提取深度特征部分的网络深度，将数据集图片进行翻转、裁剪，去除多余物体，局部放大目标；

步骤2、煤矿的云-边检测体系：

将摄像头及多传感器部署在边缘设备上，在边缘侧实现实时检测，多传感器包括温度传感器、烟雾传感器和CO传感器；

步骤3、边缘侧多传感器融合的危险源感知

对步骤2中摄像头及多传感器检测到的信息进行动态加权融合处理，判断是否有火焰产生；

步骤4、多网络融合网络

将步骤2、步骤3多设备检测的信息多网络融合无线传输到上位机。

2.根据权利要求1所述的一种基于云-边智能的井下危险源检测方法，其特征在于，所述步骤2具体按照以下步骤实施：

S21、将步骤1中MobileNet-SSD目标检测模型进行训练，并将训练好的模型移植在边缘摄像头上；

S22、视频处理模块调用摄像头获取视频帧，然后将获取的图片传递给图像分析和检测模块；

S23、将S22中获取的图片传输到Cambricon 1H8边缘智能设备的动态随机存取存储器中，程序调用嵌入在Cambricon 1H8边缘智能设备中的神经网络模型来处理图片并识别图片中的烟火，然后将烟火的位置传递到OSD检测目标叠加模块；

S24、程序每0.5秒识别一次图像，仅当在三个连续的图片上识别出烟火时，才认为当前有火焰或者烟雾产生；

S25、温度传感器、烟雾传感器和CO传感器辅助摄像头检测，实时检测异常情况。

3.根据权利要求1所述的一种基于云-边智能的井下危险源检测方法，其特征在于，所述步骤3具体按照以下步骤实施：

S31、定义动态加权判决算法，如下所示：

F＝[a₁,a₂,a₃,a₄][b₁,b₂,b₃,b₄]^T

其中a₁、a₂、a₃、a₄分别为摄像头、温度传感器、烟雾传感器、CO传感器检测到的结果，a₁、a₂、a₃、a₄的取值为1或0，其中当a₁＝0时表示摄像头未检测到火焰，当a₁＝1时表示摄像头检测到火焰；当a₂＝0时表示井下温度在正常工作范围内，当a₂＝1时表示井下温度已经超过正常情况；当a₃＝0时表示井下没有烟雾或者烟雾浓度忽略不计，当a₃＝1时表示井下烟雾浓度异常；当a₄＝0时表示井下CO的浓度在正常的范围内，当a₄＝1时表示井下CO的浓度异常；b₁、b₂、b₃、b₄为实验得出的权重参数，b₁、b₂、b₃、b₄的值加起来和为1；

S32、针对摄像头检测到有火焰时，设置参数b₁、b₂、b₃、b₄分别为0.75、0.12、0.05、0.08，设置阈值F_e为0.80；

S33、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_e比较大小，当F>F_e时，表示检测到危险源烟火，当F<F_e时，表示未检测到危险源；

S34、针对摄像头没有检测到火焰但传感器检测到异常情况时，设置参数b₂、b₃、b₄分别为0.4、0.2、0.4，设置阈值F_e为0.6；

S35、将步骤2中检测到的结果分别乘上权重加权求和，得到值F与阈值F_e比较大小，当F≥F_e时，表示检测到危险源烟火，当F<F_e时，表示未检测到危险源；

S36、根据步骤S33或步骤S35得出的判决结果，判断是否发出危险警报。

4.根据权利要求1所述的一种基于云-边智能的井下危险源检测方法，其特征在于，所述步骤4具体按照以下步骤实施：

S41、使用ZigBee网络，多个传感器终端节点、摄像头终端节点、巡检机器人的通信节点无线连接到ZigBee协调器；

S42、将S41中的ZigBee协调器无线连接到嵌入式智能网关，嵌入式智能网关与路由器连接；

S43、上位机通过路由器产生的WiFi，接收到传感器、摄像头检测到的信息以及巡检机器人反馈回来的巡检。

Images