一种基于卷积神经网络的煤矿火灾识别方法
技术领域
本发明属于图像信息处理技术领域,具体涉及一种基于卷积神经网络的煤矿火灾识别方法。
背景技术
煤炭行业是我们国家支柱产业,是我们国家实现高速发展过程中的必需品。在我国煤炭存储量约1100亿吨左右,煤炭能源消费约占总能源的消费的75%。而在我国不断发展的过程中,煤炭的开采及开采安全问题也越来越突出,比如煤矿瓦斯,火灾等问题。在我国,目前安全生产基础薄弱、工业信息化水平较低,加之开采过程中的设备装备的摩擦等问题较多,使得导致煤矿重大、特大事故频繁发生,其中火灾就是其中之一。所以对煤矿火灾的预测与防治工作变得尤为重要。
早期,人们使用各种感温型、感烟型和感光型探测器采集数据,判断火灾是否发生。然而受限于传感器的安装位置及探测有效距离,其探测范围受到制约,且传感器判断信息单一,易受到环境光照、温度湿度以及气流等干扰,进而产生误报、漏报等情况,可靠性和稳定性难以保证。随着计算机技术的快速发展,图像型火灾监测技术得到广泛应用,它可以有效避免环境干扰,在大尺度空间监测上具有明显优势。
基于卷积神经网络的深度学习已经在字符设别、人脸识别等领域得到了成功应用,有人提出了基于卷积神经网络的火灾识别方法,但煤矿火灾的图像背景复杂,图像样本少,卷积神经网络中传统池化方式会弱化图像特征,导致对煤矿火灾的识别率低;对图像型火灾监测***采集到的原始图像不进行预处理也会导致对煤矿火灾的识别率降低。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于卷积神经网络的煤矿火灾识别方法,其方法步骤简单,实现方便,能够应用在煤矿火灾的监测中,有效提高对煤矿火灾图像的识别率,使用效果好,便于推广使用。
为解决上述技术问题,本发明采用的技术方案是:一种基于卷积神经网络的煤矿火灾识别方法,包括以下步骤:
步骤一、构建用于进行煤矿火灾图像识别的卷积神经网络结构;
步骤二、训练卷积神经网络;其具体过程为:
步骤201、选取多张原始图像,并对每张原始图像进行预处理,得到卷积神经网络的训练样本集;
步骤202、对步骤201中得到的训练样本集中的每个训练样本设定标签,记为“火焰”和“非火焰”;
步骤203、将步骤201得到各个训练样本与步骤202对应设定的标签一起输入到构建的卷积神经网络中进行训练,得到训练后的卷积神经网络模型;
步骤三、利用卷积神经网络对煤矿火灾图像进行识别;其具体过程为:
步骤301、输入待识别的原始图像;
步骤302、从待识别的原始图像中分割出疑似火焰区域图像;
步骤303、将待识别的原始图像与步骤302得到的图像进行与操作,得到疑似火焰区域的真彩图像,作为识别样本;
步骤304、将步骤303中得到的识别样本输入到步骤203中得到的训练后的卷积神经网络模型中,进行煤矿火灾图像识别,获得“火焰”或“非火焰”的识别结果。
上述的一种基于卷积神经网络的煤矿火灾识别方法,步骤一中所述构建的卷积神经网络结构包括输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6、全连接层F7、全连接层F8和输出层;
输入层:将输入的彩色图像数据的大小统一为224*224*3;
卷积层C1:对输入的彩色图像数据卷积,进行特征提取,卷积核取11*11,步长取4,特征映射图谱数量取12,得到55*55*12的特征图;
池化层S2:对卷积层C1卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取2,得到27*27*12的特征图;
卷积层C3:对池化层S2降维后的特征图数据卷积,进行特征提取,卷积核取5*5,步长取2,特征映射图谱数量取48,得到27*27*48的特征图;
池化层S4:对卷积层C3卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取2,得到13*13*48的特征图;
卷积层C5:对池化层S4降维后的特征图数据卷积,进行特征提取,卷积核取3*3,步长取1,特征映射图谱数量取96,得到13*13*96的特征图;
池化层S6:对卷积层C5卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取1,得到6*6*96的特征图;
全连接层F7:设置1024个神经元,连接池化层S6输出的所有特征,设置ReLU函数为激活函数;
全连接层F8:设置512个神经元,与全连接层F7的神经元全连接,设置ReLU函数为激活函数;
输出层:设置2个神经元,与全连接层F8的神经元全连接,对输出结果进行二分类。
上述的一种基于卷积神经网络的煤矿火灾识别方法,池化层S2、池化层S4和池化层S6中所述采用自适应的池化方法进行特征提取的具体步骤为:
步骤1001、根据公式计算均值池化的池化因子ω1;其中,Fij为特征图谱在位置(i,j)处的像素值,sum为池化域中所有像素之和,e为自然对数的底,θ为校正误差;
步骤1002、根据公式计算最大值池化的池化因子ω2;其中,max为池化域中的最大值,mean为池化域中除去最大像素后剩余像素的均值;
步骤1003、根据公式计算池化区域的像素Pij,其中,i为特征图谱的横坐标,j为特征图谱的纵坐标,s为池化步长。
上述的一种基于卷积神经网络的煤矿火灾识别方法,步骤201中所述选取多张原始图像,并对每张原始图像进行预处理,得到卷积神经网络的训练样本集的具体步骤为:
步骤2011、输入每张原始图像;
步骤2012、从每张原始图像中分割出疑似火焰区域图像;
步骤2013、将各张原始图像与步骤2012得到的与原始图像对应的分割图像进行与操作,得到疑似火焰区域的真彩图像。
上述的一种基于卷积神经网络的煤矿火灾识别方法,步骤2012中所述从每张原始图像中分割出疑似火焰区域图像的具体方法为:将每张原始图像中满足条件的像素分割出来,视为疑似火焰像素,原始图像中所有疑似火焰像素组成疑似火焰区域,其中,R(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的R通道上的像素值,G(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的G通道上的像素值,Y(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Y通道上的像素值,Ymean为YCbCr颜色空间中,Y通道上图像的平均像素值,Cb(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cb通道上的像素值,Cbmean为YCbCr颜色空间中,Cb通道上图像的平均像素值,Cr(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cr通道上的像素值,Crmean为YCbCr颜色空间中,Cr通道上图像的平均像素值。
上述的一种基于卷积神经网络的煤矿火灾识别方法,步骤302中所述从待识别的原始图像中分割出疑似火焰区域图像的具体方法为:将待识别的原始图像中满足条件的像素分割出来,视为疑似火焰像素,原始图像中所有疑似火焰像素组成疑似火焰区域,其中,R(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的R通道上的像素值,G(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的G通道上的像素值,Y(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Y通道上的像素值,Ymean为YCbCr颜色空间中,Y通道上图像的平均像素值,Cb(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cb通道上的像素值,Cbmean为YCbCr颜色空间中,Cb通道上图像的平均像素值,Cr(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cr通道上的像素值,Crmean为YCbCr颜色空间中,Cr通道上图像的平均像素值。
本发明与现有技术相比具有以下优点:
1、本发明方法步骤简单,实现方便。
2、本发明卷积神经网络中池化方式采用基于中间值池化法的自适应池化方式,能够动态地根据池化域的信息进行特征提取,充分保证每个像素对池化过程的决策意义,避免了传统池化方法在特征提取过程中对图像信息造成的损失。
3、本发明利用颜色特征先行将疑似火焰区域分割出来,再将该部分图片作为训练集送入卷积神经网络进行训练,更有针对性地进行特征提取,有效提高煤矿火灾图像的识别率。
4、本发明能够应用在煤矿火灾的监测中,有效提高对煤矿火灾图像的识别率,使用效果好,便于推广使用。
综上所述,本发明方法步骤简单,实现方便,能够应用在煤矿火灾的监测中,有效提高对煤矿火灾图像的识别率,使用效果好,便于推广使用。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图;
图2为本发明构建的卷积神经网络结构图;
图3为现有技术中卷积神经网络中采用均值池化的实验效果图;
图4为现有技术中卷积神经网络中采用最大值池化的实验效果图;
图5为本发明卷积神经网络中采用自适应池化的实验效果图。
具体实施方式
本发明具体实施的实验环境是:
本发明的基于卷积神经网络的煤矿火灾识别方法,如图1所示,包括以下步骤:
步骤一、构建用于进行煤矿火灾图像识别的卷积神经网络结构;
步骤二、训练卷积神经网络;其具体过程为:
步骤201、选取多张原始图像,并对每张原始图像进行预处理,得到卷积神经网络的训练样本集;
具体实施时,所述原始图像的数量为200~1000张;
步骤202、对步骤201中得到的训练样本集中的每个训练样本设定标签,记为“火焰”和“非火焰”;
步骤203、将步骤201得到各个训练样本与步骤202对应设定的标签一起输入到构建的卷积神经网络中进行训练,得到训练后的卷积神经网络模型;
步骤三、利用卷积神经网络对煤矿火灾图像进行识别;其具体过程为:
步骤301、输入待识别的原始图像;
步骤302、从待识别的原始图像中分割出疑似火焰区域图像;
步骤303、将待识别的原始图像与步骤302得到的图像进行与操作,得到疑似火焰区域的真彩图像,作为识别样本;
步骤304、将步骤303中得到的识别样本输入到步骤203中得到的训练后的卷积神经网络模型中,进行煤矿火灾图像识别,获得“火焰”或“非火焰”的识别结果。
如图2所示,步骤一中所述构建的卷积神经网络结构包括输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6、全连接层F7、全连接层F8和输出层;
输入层:将输入的彩色图像数据的大小统一为224*224*3;
卷积层C1:对输入的彩色图像数据卷积,进行特征提取,卷积核取11*11,步长取4,特征映射图谱数量取12,得到55*55*12的特征图;
池化层S2:对卷积层C1卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取2,得到27*27*12的特征图;
卷积层C3:对池化层S2降维后的特征图数据卷积,进行特征提取,卷积核取5*5,步长取2,特征映射图谱数量取48,得到27*27*48的特征图;
池化层S4:对卷积层C3卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取2,得到13*13*48的特征图;
卷积层C5:对池化层S4降维后的特征图数据卷积,进行特征提取,卷积核取3*3,步长取1,特征映射图谱数量取96,得到13*13*96的特征图;
池化层S6:对卷积层C5卷积后的特征图进行降维处理,采用自适应的池化方法进行特征提取,矩形区域取3*3,步长取1,得到6*6*96的特征图;
全连接层F7:设置1024个神经元,连接池化层S6输出的所有特征,设置ReLU函数为激活函数;
全连接层F8:设置512个神经元,与全连接层F7的神经元全连接,设置ReLU函数为激活函数;
输出层:设置2个神经元,与全连接层F8的神经元全连接,对输出结果进行二分类。
池化层S2、池化层S4和池化层S6中所述采用自适应的池化方法进行特征提取的具体步骤为:
步骤1001、根据公式计算均值池化的池化因子ω1;其中,Fij为特征图谱在位置(i,j)处的像素值,sum为池化域中所有像素之和,e为自然对数的底,θ为校正误差;
具体实施时,θ用于处理池化域中像素全为0的情况;
步骤1002、根据公式计算最大值池化的池化因子ω2;其中,max为池化域中的最大值,mean为池化域中除去最大像素后剩余像素的均值;
步骤1003、根据公式计算池化区域的像素Pij,其中,i为特征图谱的横坐标,j为特征图谱的纵坐标,s为池化步长。
步骤201中所述选取多张原始图像,并对每张原始图像进行预处理,得到卷积神经网络的训练样本集的具体步骤为:
步骤2011、输入每张原始图像;
步骤2012、从每张原始图像中分割出疑似火焰区域图像;
步骤2013、将各张原始图像与步骤2012得到的与原始图像对应的分割图像进行与操作,得到疑似火焰区域的真彩图像。
步骤2012中所述从每张原始图像中分割出疑似火焰区域图像的具体方法为:将每张原始图像中满足条件的像素分割出来,视为疑似火焰像素,原始图像中所有疑似火焰像素组成疑似火焰区域,其中,R(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的R通道上的像素值,G(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的G通道上的像素值,Y(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Y通道上的像素值,Ymean为YCbCr颜色空间中,Y通道上图像的平均像素值,Cb(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cb通道上的像素值,Cbmean为YCbCr颜色空间中,Cb通道上图像的平均像素值,Cr(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cr通道上的像素值,Crmean为YCbCr颜色空间中,Cr通道上图像的平均像素值。
步骤302中所述从待识别的原始图像中分割出疑似火焰区域图像的具体方法为:将待识别的原始图像中满足条件的像素分割出来,视为疑似火焰像素,原始图像中所有疑似火焰像素组成疑似火焰区域,其中,R(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的R通道上的像素值,G(i,j)为RGB颜色空间中,位于图像坐标(i,j)处的G通道上的像素值,Y(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Y通道上的像素值,Ymean为YCbCr颜色空间中,Y通道上图像的平均像素值,Cb(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cb通道上的像素值,Cbmean为YCbCr颜色空间中,Cb通道上图像的平均像素值,Cr(i,j)为YCbCr颜色空间中,位于图像坐标(i,j)处的Cr通道上的像素值,Crmean为YCbCr颜色空间中,Cr通道上图像的平均像素值。
为了验证自适应池化方法对卷积神经网络性能的影响,对步骤一中构建的卷积神经网络结构,设置batch size大小为64,初始学***均值,测试准确率如下表所示:
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。