CN113205562A - 一种基于双目视觉的矿井热动力灾害判识与定位方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的矿井热动力灾害判识与定位方法，主要步骤包括：对双目视觉像机进行标定；对图像进行配准和融合；提取多种图像的视觉特征，建立识别模型；通过识别模型监测是否存在疑似的热动力灾害；当识别存在时，启动双目测距对其进行定位和温度补偿；将获取的多源信息输入判别模型，判别是否为热动力灾害；当判别为热动力灾害时，判别模型依据不同的视觉特征和温度差异，对其灾害类型进行判别。本发明的热动力灾害判识与定位方法具有监测范围广，实时性好，准确度高，并能够准确定位等优点；能够克服现有监测和报警技术存在的误报和漏报问题。

Description

一种基于双目视觉的矿井热动力灾害判识与定位方法

技术领域

本发明涉及一种基于双目视觉的矿井热动力灾害判识与定位方法，尤其是基于图像的目标检测技术、双目视觉测距技术、多光谱图像融合技术，以及红外辐射测温技术。

背景技术

近年来，我国煤矿发生的重特大事故统计表明，热动力灾害(火灾与***)是煤矿重特大事故中占比最高、致灾最严重的灾害。目前，相关研究人员对热动力灾害的致灾机理和救灾风险等认识不充分，导致在热动力重大灾害的感知和判识方面仍缺少有效的技术方法，造成热动力重特大事故时有发生，并引起巨大的经济损失，严重情况的还造成矿井下的人员伤亡。

在煤矿热动力灾害发生时，通常会产生火焰(火灾)或火球(***)，烟雾，有毒有害气体，改变风流和方向。同时，热动力灾害事故调查表明：在矿井火灾、瓦斯(煤尘)***等事故中，由于创伤和烧伤造成人员死亡占比不足20％，一氧化碳中毒窒息造成人员死亡占比高于80％。一氧化碳浓度越高、持续时间越长，对人体伤害越重，直至死亡。因此，在煤矿井下，及时发现热动力灾害、快速定位灾害源位置、准确判识灾害类型、针对性启动应急预案和应急救援，对于煤炭安全生产来说至关重要。

目前，国内外研究人员为实现煤矿热动力灾害的监测和预警，对其进行了大量的理论研究、试验分析和现场试验，提出了多种感知和预警方法，取得了大量研究成果。但现有技术均涉及煤炭地质赋存条件，开采方法和工艺、传感器技术等诸多因素的影响，导致现有煤矿热动力灾害预警***的漏报率和误报率还很高。同时，现有的监测和预警技术无法判别热动力灾害类型，也无法对灾害源进行定位与跟踪，难以满足煤矿安全生产需要。此外，在井下恶劣环境中，灾害感知装置所依赖的传感器容易受到环境因素的干扰，且这些传感器仅能够对安装位置处或周围小范围的监测，很难实现对矿井下灾情的大面积监控。

在煤矿热动力灾害监测中，已有红外辐射测温装备仅能对火源进行测温，针对***感知的技术装备鲜有报道。同时，可见光或短波红外摄像机所采集的视频图像分辨率高，包含的场景信息十分丰富，但容易收到外部干扰物体和人工光源的影响；长波红外摄像机能够测量矿井下的实时温度场，但已有测温装备的测温精度受环境因素影响大，导致视频图中包含的特征信息有限，且随着测温距离的增大，目标温度测量值较真实值差异越大，难以准确判识热动力灾害的表面温度。

针对煤矿热动力灾害监测中存在的问题，结合煤矿井下特殊环境，本发明实现了一种通过双目视觉的矿井热动力灾害判识与定位方法，利用防爆摄像机等外部设备作为视频图像采集装置，可以实时采集监测区域的视频图像，仅在井下重点区域部署少量的摄像机，就能实现煤矿井下的大面积监测；同时，对多源视频监控设备采集到的视频图像进行计算机视觉和图像处理技术分析，利用热动力灾害的视觉特征对视频图像进行基于深度学习模型或特征匹配模型的识别，并辅以多光谱图像融合、双目测距、红外测温技术对灾源进行定位和类别判定，以此达到快速、精确、可靠的识别监视区域内的热动力灾害、灾害类型和灾害位置。该方法与现有的监控和预警方法相比，基于本发明的热动力灾害判识方法将更为快速、精确和可靠，不仅受外界环境干扰程度更低，以及准确定位灾害源位置。此外，在矿井应急救援过程中，通过视频图像还能够辅助救援人员对现场灾情做出预判并制订对应的应急预案。

发明内容

本发明所要解决的技术问题在于克服上述现有的热动力灾害监测和预警技术进行矿井热动力灾害识别时存在的误报和漏报问题，以及在实现井下大面积监测的基础上，快速、精确、可靠的判别热动力灾害类型，并对灾害源进行定位与跟踪，满足煤矿安全生产的实际需要。

本发明具体采用以下技术方案解决上述技术问题：

一种基于双目视觉的矿井热动力灾害判识与定位方法，其特征在于：矿井热动力灾害判识与定位方法包括以下步骤：

步骤1：在矿井下重点监控区域安装双目视觉像机，对双目视觉像机进行距离标定；对采集的双路视频图像进行视觉配准和多光谱图像融合，生成复合视频图像；

步骤2：提取矿井热动力灾害的视频图像和复合视频图像的视觉特征，并依据所述视觉特征，建立矿井热动力灾害的识别模型，获取模型结构和模型参数；根据矿井热动力灾害的演变，所述识别模型将不断完善，优化模型结构和模型参数；

步骤3：双目视觉像机实时采集监控区域内的视频图像，并通过所述识别模型监测所述视频图像或复合视频图像中是否存在疑似的热动力灾害；

步骤4：循环步骤3过程，当监控区域内存在疑似的热动力灾害时，启动双目测距对疑似的热动力灾害源进行定位，并依据所述目标位置对红外测温模型进行温度补偿，获取温度补偿后疑似的热动力灾害源的真实温度；

步骤5：将视频图像中疑似的热动力灾害置信度、复合视频图像中疑似的热动力灾害置信度、疑似的热动力灾害源的真实温度置信度输入到热动力灾害判别模型，所述判别模型依据输入的置信度判别是否为热动力灾害；当判别为热动力灾害时，所述判别模型依据不同热动力灾害的视觉特征和温度差异，对热动力灾害的类型进行判别；

步骤6：根据获取的热动力灾害类型，启动双目测距对热动力灾害源进行实时定位，并启动不同的应急预案。

进一步地，所述重点监测区域包括矿井下的运输巷、通风巷、联络巷、掘进巷、开切眼、采煤工作面、掘进工作面、机电硐室、井下变电站。

进一步地，双目视觉像机采用基线可调基座，所述双目视觉像机采用长波红外摄像机与可见光、近红外、短波红外摄像机中任意一种的组合。

进一步地，所述视觉特征包括动态特征、静态特征、深度特征，所述动态特征包括高亮目标移动方向、高亮目标移动速度、高亮区域面积变化率、高亮区域周长变化率、温度变化率、质心移动区域；静态特征包括高亮区域面积、高亮区域周长、高亮区域圆形度、高亮区域尖角数量、高亮区域颜色和纹理；深度特征包括不同深度层的静态特征数量和特征数量变化率。

进一步地，所述图像融合过程包括：对双目视觉像机获取的双路视频图像进行严格配准，且图像行列数保持一致；获取可见光或短波红外图像的亮度图像，以及长波红外图像的灰度图像；至少采用数据级融合、特征级融合、决策级融合中的一种方法对亮度图像和灰度图像进行融合。

进一步地，所述识别模型至少采用神经网络模型和特征匹配模型中的一种，所述神经网络模型的模型结构采用多个尺度的特征图，所述特征图的个数不小于2；所述识别模型根据不同环境下的矿井热动力灾害特征，以及矿井热动力灾害的演变动态调整模型结构和模型参数。

进一步地，存在疑似的热动力灾害的依据为所述识别模型监测的双路视频图像中的任意一路或两路，或复合视频图像存在疑似的热动力灾害；所述红外测温模型采用红外辐射测温原理和测量光路衰减原理对目标进行表面测温。

进一步地，所述热动力灾害判别模型的输入数据包括：经识别模型监测后的两路视频图像的输出值x₁和x₂，经识别模型监测后的复合视频图像的输出值x₃，以及疑似的热动力灾害源真实温度对应的逻辑值x₄；当监测视频图像中存在疑似的热动力灾害时，对应的输出值为1，否则对应的输出值为0；当疑似的热动力灾害源真实温度大于设定的阈值时，对应的输出值为1，否则对应的输出值为0；两路视频图像中疑似的热动力灾害的置信度分别设置为α₁和α₂，复合视频图像中疑似的热动力灾害的置信度设置为α₃，疑似的热动力灾害源的真实温度的置信度设置为α₄；热动力灾害判别模型的输出值y＝α₁x₁+α₂x₂+α₃x₃+α₄x₄。

进一步地，所述热动力灾害判别模型的置信度范围为α₁∈[0,1]、α₂∈[0,1]、α₃∈[0,1]；当热动力灾害判别模型的输出值y≥T时，判别为热动力灾害；当热动力灾害判别模型的输出值y<T时，判别为非热动力灾害。

附图说明

图1本发明的矿井热动力灾害判识与定位***示意图；

图2本发明的矿井热动力灾害判识与定位方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施方法对本发明做详细、完整地描述，实施例不应被视为限制本发明的使用范围。

如图1所示，矿井热动力灾害判识与定位***分为井上部分和井下部分，用于实现热动力灾害的判识与定位，其主要组成部分包括：

1.信息处理服务器(101)：负责存储由双目视觉像机(105)采集的视频图像，根据采集的视频图像对双目视觉像机进行不同距离标定，对两路视频图像进行图像配准和图像融合，获取多光谱融合的复合视频图像，并根据视频图像判断监测区域内是否存在煤矿热动力灾害隐患，当判别监测区域内存在热动力灾害的视频图像时，则根据双目视觉像机在同一时刻采用的同一目标图像，通过双目视觉算法得到灾害隐患源的估计距离，并通信网络使报警模块(107)发出声、光、振动等报警信号，同时使监视服务器(102)在报警模块发出报警信息的同时，在监视屏幕上进行报警提示和人机交互。

2.监视服务器(102)：负责对煤矿监测区域的监控数据进行显示服务，同时监视服务器(102)与信息处理服务器(101)相互通信连接，对监测区域的实时图像进行显示，并在报警模块(107)发出报警信息后进行报警提示和人机交互，生产管理人员可通过监视服务器(102)对信息处理服务器(101)存储的历史数据调取查询，且监视服务器(102)通过通信线路连接核心交换机(103)接入矿用通信网络。

3.核心交换机(103)：矿用通信网络的核心管理和交换设备，负责所有接入矿用通信网络的设备的管理和数据交换，具有路由功能，通过防火墙连接外部互联网。

4.环网交换机(104)：矿用通信网络的井下交换设备，安装在井下，多个环网交换机以环网方式连接。

5.双目视觉像机(105)：即安装于矿井下重点监控区域的图像采集设备，负责采集矿井下的运输巷、通风巷、联络巷、掘进巷、开切眼、采煤工作面、掘进工作面、机电硐室、井下变电站等易发生灾害隐患监测区域的视频图像，视频图像可为彩色图像、灰度图像或伪彩色图像；双目视觉像机(105)采用基线可调基座，摄像机采用长波红外摄像机与可见光、近红外、短波红外摄像机中任意一种的组合。

6.通信分站(106)：一端与双目视觉像机(105)通信连接，另一端与环网交换机(104)通信连接，并且可通过无线通信网络或有线通信网络与两端设备相连，本示例中采用有线通信方式进行说明。

7.报警模块(107)：采用声、光、振动等报警方式，通过已有的通信网络直接与监视服务器(102)通信连接，通过核心交换机(103)与信息处理服务器(101)通信连接；当报警模块(107)接收到信息处理服务器(101)发送的报警信号后，进行声、光、振动报警中的一种或多种报警方式进行报警，提示工作人员对现场进行处置和启动应急预案。

如图2所示的矿井热动力灾害判识与定位方法流程，包括：

1.初始化(201)：在矿井下重点监测区域安装双目视觉像机，对双目视觉像机进行距离标定；采用立体匹配方法对双目视觉像机进行视觉匹配；所述重点监测区域包括矿井下的运输巷、通风巷、联络巷、掘进巷、开切眼、采煤工作面、掘进工作面、机电硐室、井下变电站等易发生灾害隐患的区域；所述距离标定过程包括：

步骤A1：打印棋盘标定纸，分别将所述棋盘标定纸依次平整的贴在距双目视觉像机不同距离处，并依次记录棋盘标定纸与摄像机的距离值；

步骤A2：使用双目视觉像机在同一时刻同时拍摄棋盘标定纸，改变棋盘标定板的角度和距离，重复进行多次拍摄；

步骤A3：获取在同一位置处的棋盘标定图像，依次提取角点特征进行标定，当平均标定误差小于0.5像素时，此次标定结果可用，得到相机的内外参数和畸变矩阵；

步骤A4：使用摄像机的内外参数和畸变矩阵对图像进行校正，使左右视图上的匹配点位于同一条直线上；

步骤A5：采用立体匹配方法，在左右视图上寻找匹配点，完成图像匹配；

步骤A6：重复步骤A3～A5，在完成所有距离下的图像标定。

2.获取估计距离与实测距离的函数关系(202)：在摄像机监测区域内，由近到远依次在不同位置处设置多个显著性目标，并记录每一处目标位置与双目视觉像机的实测距离；同时，采用双目测距算法对其目标进行测距，计算不同位置处的目标估计距离。

采用多次测量取平均值方法，获取同一位置处的目标估计距离和实测距离的均方误差值，并采用相同的方法依次获取不同位置处的目标估计距离和实测距离的均方误差值；当某一位置处得到的均方误差满足允许误差时，采用该实测距离，当均方误差不满足允许误差时，剔除该位置处的实测距离；对优化后的所有测量数据进行拟合处理，获取估计距离与实测距离的函数关系；

3.提取热动力灾害的视觉特征(203)：对摄像机监测区域内的视频图像进行视觉配准和多光谱图像融合，生成复合视频图像；根据矿井热动力灾害的视频图像和复合视频图像，提取热动力灾害的视觉特征；所述视觉特征包括动态特征、静态特征、深度特征，所述动态特征包括高亮目标移动方向、高亮目标移动速度、高亮区域面积变化率、高亮区域周长变化率、温度变化率、质心移动区域；静态特征包括高亮区域面积、高亮区域周长、高亮区域圆形度、高亮区域尖角数量、高亮区域颜色和纹理；深度特征包括不同深度层的静态特征数量和特征数量变化率；

所述图像融合的过程包括：对双目视觉像机获取得两路视频图像进行严格视觉配准，且图像行列数保持一致；获取可见光或短波红外图像的亮度图像，以及长波红外图像的灰度图像；至少采用数据级融合、特征级融合、决策级融合中的一种方法对亮度图像和灰度图像进行融合。

4.建立识别模型(204)：依据所述视觉特征，获取模型结构和模型参数，建立矿井热动力灾害的识别模型；所述识别模型根据不同环境下的矿井热动力灾害特征，以及矿井热动力灾害的演变动态的调整模型结构和模型参数，不断完善识别模型；所述识别模型至少采用神经网络模型和特征匹配模型中的一种，所述神经网络模型的模型结构采用多个尺度的特征图，所述特征图的个数不小于2。

5.识别热动力灾害(205)：双目视觉像机实时采集监控区域内的视频图像，并通过所述识别模型识别所述视频图像或复合视频图像中是否存在疑似的热动力灾害。所述存在疑似的热动力灾害的判断依据为所述识别模型监测的两路视频图像中的任意一路或两路，或复合视频图像存在疑似的热动力灾害。

6.是否存在疑似的热动力灾害(206)：当矿井热动力灾害判识与定位***监测到视频图像中存在疑似的热动力灾害时，则顺序执行(207)，否则返回执行(205)；

7.双目测距定位和温度补偿(207)：当识别到疑似的热动力灾害时，双目视觉像机启动双目测距，计算疑似的热动力灾害源与摄像机之间的估计距离；根据计算的估计距离，带入估计距离与实测距离的函数关系式，对疑似的热动力灾害源进行测距误差补偿，进而实现对疑似的热动力灾害源的实时定位；依据实时定位数据对红外测温模型进行温度补偿，获取温度补偿后疑似的热动力灾害源的真实温度；所述红外测温模型采用红外辐射测温原理和测量光路衰减原理对目标进行表面测温。

进一步地，所述红外测温模型的空气透过率采用下述方法计算：

首先计算测温路径中水蒸气吸收衰减后的透过率、CO₂吸收衰减后的透过率、空气中粉尘和气溶胶散射衰减后的透过率；接着，根据单波透过率公式

计算出空气单波透过率，式中：

为水蒸气吸收衰减后的单波透过率，

为CO₂吸收衰减后的单波透过率，τ_s(λ)为散射衰减后的单波透过率；其次，根据红外测温模块的测量环境中大气压强，气体分子数、气溶胶、粉尘的密度变化，对空气单波透过率进行实时修正；最后，根据透过率公式

计算得到空气透过率τ_a(d)，式中：λ₁为积分下限，λ₂为积分上限，由红外测温模块探测响应波段决定。

进一步地，所述红外测温模型的测温公式采用下述方法计算：

根据

计算得到被测温目标的真实温度T₀和实时温度图像，式中：τ_a(d)为红外测温模块与待测温皮带的距离d所对应的空气透过率；ε(T₀)为皮带表面温度为T₀时，皮带表面的平均法向发射率；T为辐射温度；T_a为环境温度，单位：K。

8.热动力灾害类型判别(208)：将视频图像中疑似的热动力灾害置信度、复合视频图像中疑似的热动力灾害置信度、疑似的热动力灾害源的真实温度置信度输入到热动力灾害判别模型，所述判别模型依据输入的置信度判别是否为热动力灾害；当判别为热动力灾害时，所述判别模型依据不同热动力灾害的视觉特征和温度差异，对热动力灾害的类型进行判别；

所述热动力灾害判别模型的输入数据包括：经识别模型监测后的两路视频图像的输出值x₁和x₂，经识别模型监测后的复合视频图像的输出值x₃，以及疑似的热动力灾害源真实温度对应的逻辑值x₄；当监测视频图像中存在疑似的热动力灾害时，对应的输出值为1，否则对应的输出值为0；当疑似的热动力灾害源真实温度大于设定的阈值时，对应的输出值为1，否则对应的输出值为0；两路视频图像中疑似的热动力灾害的置信度分别设置为α₁和α₂，复合视频图像中疑似的热动力灾害的置信度设置为α₃，疑似的热动力灾害源的真实温度的置信度设置为α₄；热动力灾害判别模型的输出值y＝α₁x₁+α₂x₂+α₃x₃+α₄x₄。

所述置信度范围为α₁∈[0,1]、α₂∈[0,1]、α₃∈[0,1]；当热动力灾害判别模型的输出值y≥T时，判别为热动力灾害；当热动力灾害判别模型的输出值y<T时，判别为非热动力灾害。

9.实时定位与报警(209)：根据获取的热动力灾害类型，启动双目测距对热动力灾害源进行实时定位，并启动不同的应急预案。

Claims (9)

1.一种基于双目视觉的矿井热动力灾害判识与定位方法，其特征在于：矿井热动力灾害判识与定位方法包括以下步骤：

步骤1：在矿井下重点监控区域安装双目视觉像机，对双目视觉像机进行距离标定；对采集的双路视频图像进行视觉配准和多光谱图像融合，生成复合视频图像；

步骤2：提取矿井热动力灾害的视频图像和复合视频图像的视觉特征，并依据所述视觉特征，建立矿井热动力灾害的识别模型，获取模型结构和模型参数；根据矿井热动力灾害的演变，所述识别模型将不断完善、优化模型结构和模型参数；

步骤3：双目视觉像机实时采集监控区域内的视频图像，并通过所述识别模型监测所述视频图像或复合视频图像中是否存在疑似的热动力灾害；

步骤4：循环步骤3过程，当监控区域内存在疑似的热动力灾害时，启动双目测距对疑似的热动力灾害源进行定位，并依据定位数据对红外测温模型进行温度补偿，获取温度补偿后疑似的热动力灾害源的真实温度；

步骤5：将视频图像中疑似的热动力灾害置信度、复合视频图像中疑似的热动力灾害置信度、疑似的热动力灾害源的真实温度置信度输入到热动力灾害判别模型，所述判别模型依据输入的置信度判别是否为热动力灾害；当判别为热动力灾害时，所述判别模型依据不同热动力灾害的视觉特征和温度差异，对热动力灾害的类型进行判别；

步骤6：根据获取的热动力灾害类型，启动双目测距对热动力灾害源进行实时定位，并启动不同的应急预案。

2.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：所述重点监测区域包括矿井下的运输巷、通风巷、联络巷、掘进巷、开切眼、采煤工作面、掘进工作面、机电硐室、井下变电站。

3.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：双目视觉像机采用基线可调基座，所述双目视觉像机采用长波红外摄像机与可见光、近红外、短波红外摄像机中任意一种的组合。

4.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：所述视觉特征包括动态特征、静态特征、深度特征，所述动态特征包括高亮目标移动方向、高亮目标移动速度、高亮区域面积变化率、高亮区域周长变化率、温度变化率、质心移动区域；静态特征包括高亮区域面积、高亮区域周长、高亮区域圆形度、高亮区域尖角数量、高亮区域颜色和纹理；深度特征包括不同深度层的静态特征数量和特征数量变化率。

5.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：所述图像融合过程包括：对双目视觉像机获取的双路视频图像进行严格配准，且图像行列数保持一致；获取可见光或短波红外图像的亮度图像，以及长波红外图像的灰度图像；至少采用数据级融合、特征级融合、决策级融合中的一种方法对亮度图像和灰度图像进行融合。

6.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：所述识别模型至少采用神经网络模型和特征匹配模型中的一种，所述神经网络模型的模型结构采用多个尺度的特征图，所述特征图的个数不小于2；所述识别模型根据不同环境下的矿井热动力灾害特征，以及矿井热动力灾害的演变动态调整模型结构和模型参数。

7.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：存在疑似的热动力灾害的依据为所述识别模型监测的双路视频图像中的任意一路或两路，或复合视频图像存在疑似的热动力灾害；所述红外测温模型采用红外辐射测温原理和测量光路衰减原理对目标进行表面测温。

8.如权利要求1所述的矿井热动力灾害判识与定位方法，其特征在于：所述热动力灾害判别模型的输入数据包括：经识别模型监测后的两路视频图像的输出值x₁和x₂，经识别模型监测后的复合视频图像的输出值x₃，以及疑似的热动力灾害源真实温度对应的逻辑值x₄；当监测视频图像中存在疑似的热动力灾害时，对应的输出值为1，否则对应的输出值为0；当疑似的热动力灾害源真实温度大于设定的阈值时，对应的输出值为1，否则对应的输出值为0；两路视频图像中疑似的热动力灾害的置信度分别设置为α₁和α₂，复合视频图像中疑似的热动力灾害的置信度设置为α₃，疑似的热动力灾害源的真实温度的置信度设置为α₄；热动力灾害判别模型的输出值y＝α₁x₁+α₂x₂+α₃x₃+α₄x₄。

9.如权利要求8所述的矿井热动力灾害判识与定位方法，其特征在于：所述置信度范围为α₁∈[0,1]、α₂∈[0,1]、α₃∈[0,1]；当热动力灾害判别模型的输出值y≥T时，判别为热动力灾害；当热动力灾害判别模型的输出值y<T时，判别为非热动力灾害。

Images