CN115082817A - 一种基于改进卷积神经网络的火焰识别和检测方法 - Google Patents

Abstract

本发明涉及消防技术领域，尤其涉及火灾探测技术方法，特别涉及一种基于卷积神经网络的火焰识别和检测方法。为了优化借助于深度学习中广泛应用于模式识别、图像处理的卷积神经网络算法来对火焰进行识别和检测问题。本发明通过增加数据多样性和数据增强的方式，构建火焰图像样本库；通过增加卷积核数量、卷积‑卷积‑池化的结构和使用多个小尺寸卷积核替代大尺寸卷积核优化卷积神经网络性能并设计火焰识别模型FlameNet；基于Faster‑RCNN算法，设计火焰检测模型FRCNN‑ZF模型；最后设计火焰检测***GUI。形成的模型和***、直观、清晰实现对火焰的准确识别和检测，同时具备一定的抗干扰能力，简单易用，也利于非专业人员的使用。

Description

一种基于改进卷积神经网络的火焰识别和检测方法

技术领域

本发明涉及消防领域，主要涉及火灾探测技术问题，是一种基于卷积神经网络的火焰识别和检测方法。

背景技术

目前，在建筑场所广泛使用的火灾探测技术有，感烟、感温、感光探测器及复合型探测器。然而，随着社会经济快速发展，城市化进程不断加快，各种“高、大、新、奇”建筑不断涌现。各传统火灾探测技术的弊端逐步显现出来。感烟探测器在大空间建筑中，由于热障层的存在，造成烟气不能够到达建筑顶部；亦或受空气流动的影响，烟气被空气气流吹散，上升至建筑顶部的烟气浓度会降低很多，达不到感烟探测器的响应阈值，报警信号便不会产生，此外若粉尘浓度过大，则会引起感烟探测器的误报警情况。感温探测器灵敏度低，响应时间长，对阴燃初期几乎不起作用，且监控区域十分有限。感光设备造价比较高昂，其可靠性和有效性也不稳定，因此限定了其在实践中的使用空间。复合型火灾探测器将感烟、感温、感光探测器融合在一起，探测器的整体性能有了提高，但并没有完全消除感烟、感温、感光探测器各自的缺点，但仍无法应用于大空间火灾的探测报警。鉴于火灾的发生具有很大的不确定性、突发性和多变性，传统火灾探测器不适用于大型工厂、仓库及诸如森林公园等室外开放大空间进行火灾探测。此外，传统火灾探测器无法提供火场更多的详细信息，如火灾位置、火势大小等，不能很好的满足现代火灾探测的要求。

近年来，在各式建筑中都会大量布置安防监控***，利用监控视频对火灾进行探测成为一种新的研究方向。随着图像处理技术的发展，研究人员发现，火灾中的火焰图像具有特殊的纹理、颜色等方面的视觉特征，故在对实时监控视频图像进行去噪、增强、灰度变换等预处理基础上，通过提取火焰及烟雾的静态、动态视觉特征，然后运用神经网络、模式识别等技术加以分类识别。这种基于视觉特征的火灾探测技术相比于传统的火灾探测技术具有响应速度快，准确度高，信息丰富直观等优点。但这种探测技术效果如何，很大程度上依赖人工对火灾图像特征的选取和提取。人工特征选取的合理有效，识别的效果就好，而人工选择特征在相当大程度上依赖于专业的知识和广泛的实践。

人工智能、深度学习等专业术语成为社会的一大热词，以深度学习为代表的新一代人工智能技术，如人脸识别、语音识别及图像识别等技术已经融入到人们的日常生活中。深度学习作为人工智能研究领域的一个分支学科，是一门研究如何让计算机获取类似于人的学习能力进而能够不断获取新知识的学科。其之所以称为深度学习，是因为其能够从海量的数据中，自主学习找到数据的本质特征，这在人工智能领域掀起了一场创新性革命。

本申请提供一种基于卷积神经网络的火焰识别和检测的方法，主要借助于深度学习中广泛应用于模式识别、图像处理的卷积神经网络算法(Convolutional NeuralNetwork，CNN) 来对火焰进行识别和检测。免去前期对图像特征选取所造成的人力物力的消耗，同时提高火焰识别、检测的准确率，为火灾探测提供一个新的方法。

发明内容

本发明主要通过数据增强技术手段，构建火焰样本库；基于小卷积核代替大卷积核、双卷积层的优化方法，设计火焰识别模型FlameNet，并对比不同卷积核数量、不同卷积核尺寸的卷积神经网络模型；借鉴Faster-RCNN目标检测技术，设计火焰检测模型。并在在Matlab GUI平台设计并实现，在保证识别和检测效果的同时，也具有一定的抗干扰能力，为火焰探测提供了新思路。具体内容如下：

1.一种基于卷积神经网络的火焰识别和监测的优化方法，包括：

a)优化卷积神经网络性能；

b)通过增加数据多样性和数据增强的方式，构建火焰图像样本库；

c)通过优化卷积核数量和卷积核尺寸以及模型层数，设计火焰识别模型；

d)基于Faster-RCNN算法，设计火焰检测模型。

2.基于卷积神经网络的火焰识别和监测方法，所述优化卷积神经网络性能，包括：

a)增加卷积核数量可以加强卷积神经网络对于图像的提取能力，进一步提升图像识别的准确度，但是训练收敛的时间会变长；

b)可以通过卷积-卷积-池化的结构来实现相同的目的，在卷积层后面设置一个或多个相同的卷积层构成多组卷积结构。采用多组卷积结构可以在一定程度上提升测试性能；

c)可以使用多个小尺寸卷积核替代大尺寸卷积核，既实现了原有的卷积运算，又大大降低了模型的参数量，替代前后卷积核的参数量。

3.构建火焰图像样本库，首先从大型可视化图像数据网站下载部分图像样本；将自己实验拍摄的视频，逐帧提取出来。

构建火焰图像样本库，所述的样本库构建方法，包括：

a)增加数据多样性，能够有效的提升测试准确度；

b)通过数据增强的方式，如：图像翻转、剪切、改变对比度和添加噪声等，测试准确度有一定的提高，但是收敛速度变慢。

4.一种火焰识别模型，包括：

第1层为模型的输入层，规定必须为尺寸为64×64的RBG图像；

第2层为多重卷积层Conv1，其中多重卷积层内都包含两个小卷积层，Conv1内的小卷积层Conv1-1和Conv1-2的卷积核尺寸均为3×3，卷积核数量均为32，步长均为1，2个小卷积层输出后都经过激活函数ReLU激活后，进入下一环节；

第3层是池化层，采用区域为2×2，步长为2的最大池化模式；

第4层为多重卷积层Conv2，其中多重卷积层内都包含两个小卷积层，Conv2内的小卷积层Conv2-1和Conv2-2的卷积核尺寸均为3×3，卷积核数量均为64，步长均为1，2个小卷积层输出后都经过激活函数ReLU激活后，进入下一环节；

第5层是池化层，采用区域为2×2，步长为2的最大池化模式；

第6层为模型的全连接层，包含500个隐含神经节点；

第7层为模型的输出层，采用Softmax分类器，判断输入图片为火焰还是背景图像。

5.火焰识别模型FlameNet，整个网络层层相连，连续的卷积、池化结构可以从火焰样本库中提取更多的有效信息。

2个3×3的卷积层连续卷积，在感受野方面等同于尺寸为5×5的卷积层，却大大减少了网络模型的参数。

使用ReLU激活函数增强了模型非线性程度的表达，有利于增强局部模型的抽象能力。

Dropout层的加入减少了网络的计算量，有效地控制了过拟合问题。

6.一种火焰检测模型，基于任少卿Faster-RCNN目标检测算法设计了火焰检测模型，用ZFNet模型的卷积池化完成作为共享卷积层，即Layer1-Layer5。

ZFNet模型是在Alexnet模型的基础上作了微调，将第一层卷积层的卷积核由11×11 改为7×7，步长stride由4改为2，将该中火焰探测模型命名为FRCNN-ZF模型。

RNP网络的设计主要考虑锚点滑动窗口的大小，考虑与样本库中图像的火焰尺寸64 ×64和224×224两种相匹配，将锚点滑动窗口的大小进行修改：

锚点窗口 原始大小(高×宽)修改大小(高×宽)

窗口1(128×128)(64×32)

窗口2(128×256)(32×64)

窗口3(256×128)(64×64)

窗口4(256×256)(128×64)

窗口5(256×512)(64×128)

窗口6(512×256)(128×128)

窗口7(512×512)(256×128)

窗口8(512×1024)(128×256)

窗口9(1024×512)(256×256)

7.火焰检测模型FRCNN-ZF模型，通过训练得出存在以下特点：

从P-R曲线可以看出其查全率和查准率较高；

从监测图像分析表示，对火焰的探测率和正确率都较优；

从监测图像分析表示，在对火焰标注区方面，具有一定的泛化能力、检测能力较强、在颜色较浅且距离较远时会有某种程度的漂移；

从监测图像分析表示，具有一定的抗干扰能力。

8.一种火焰探测***GUI，使用Matlab的GUI功能设计了火焰探测***。依次载入Fatser-RCNN模型和火焰视频，***会对视频逐帧提取，输入到Fatser-RCNN模型进行检测，如果模型判火焰评分大于0.8时，模型会框出图像中的火焰区域，并给出评分，计算机对报警器发出报警指令，引起人们的注意。

9.火焰探测***GUI，所述的GUI界面主要分为图像区和操作区，图像区主要实现原图像和经过检测的图像的呈现；操作区则是实现载入检测模型、载入图像、视频以及进行检测等一系列操作。

10.GUI界面的探测功能及部分代码包括：

(1)检测模型。实现Faster-RCNN模型加载。该功能的代码如下：

function LoadFRCNN_Callback(hObject,eventdata,handles)

global Predictor；

[filename,pathname]＝uigetfile({'*.mat'},'读取Faster_RCNN模型')；

if isequal(filename,0)

msgbox('没有选择任何模型，将默认选用***设置')；

else

pathfile＝fullfile(pathname,filename)；

Predictor.LoadFRCNN(pathfile)；

msgbox('模型加载成功')；

end

(2)载入图像。该功能的代码如下：

function LoadPicture_Callback(hObject,eventdata,handles)

global Predictor；

[filename,pathname]＝uigetfile({'*.jpg'；'*.png'},'读取图片文件')；

if isequal(filename,0)

msgbox('没有选择任何图片')；

else

pathfile＝fullfile(pathname,filename)；

frame＝imread(pathfile)；

Predictor.Mat＝imresize(frame,[240 320])；

axes(handles.axes1)；

imshow(Predictor.Mat)；

end

(3)图像检测。该功能的代码如下：

function vid_detect_Callback(hObject,eventdata,handles)

outputImage＝frame；

[bboxes,scores,～]＝detect(frcnn,frame)；

[scores,idx]＝max(scores)；

if～isempty(bboxes)

size_array＝size(bboxes)；

length＝size_array(1)；

for i＝1:length

box＝bboxes(i,:)；

frame_＝imcrop(frame,box)；

annotation＝sprintf('％s:％f','Flame',scores)；

outputImage＝insertObjectAnnotation(outputImage,'rectangle',box,annotation)；

end

end

imshow(outputImage)；

end

本发明的有益技术成果为：

(1)设计火焰识别模型FlameNet，分别对数据增强前后的样本库进行训练，模型的识别准确度由91.21％提升至98.32％，数据增强技术可以提升模型的识别准确度。

(2)通过设置发现，当Conv1层卷积核数量为32，卷积核尺寸为3×3时，模型的收敛速度快，火焰识别准确度最高为98.54％。

(3)在Faster-RCNN目标检测方法基础上，对锚点滑动窗口大小进行修改，验证出FRCNN-ZF模型在火焰检测能力、泛化能力和抗干扰能力方面都更强。

(4)将火焰检测模型用于真实火灾探测，响应时间为6秒，能够在早期探测出火焰，实现报警，响应时间远少于感烟探测器响应时间。

(5)在Matlab平台上设计了一个简单的火焰探测***，更直观的展现出火焰检测的显示效果、该***简单易用，能够使得非专业人员对使用卷积神经网络进行火焰探测有一个直观的认识。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种卷积神经网络的火焰识别模型FlameNet结构图。

图2为本申请实施例提供的经过FlameNet模型Conv1-1卷积层处理后的输出特征图。

图3为本申请实施例提供的一种基于卷积神经网络的火焰检测模型ZFNet结构示意图。

图4为本申请实施例提供的目标检测算法Faster-RCNN结构流程图。

图5为本申请实施例提供的Faster-RCNN结构流程中定义的锚点图。

图6为本申请实施例提供的火焰探测***示意图。

具体实施方式

下面结合附图和具体实施方法对本发明做进一步详细说明。

1.火焰识别模型

本发明的一种基于卷积神经网络的火焰识别模型FlameNet结构如图1所示。

本文设计的火焰识别模型FlameNet共有12层，整个网络层层相连，连续的卷积、池化结构可以从火焰样本库中提取更多的有效信息；2个3×3的卷积层连续卷积，在感受野方面等同于尺寸为5×5的卷积层，却大大减少了网络模型的参数；使用ReLU激活函数增强了模型非线性程度的表达，有利于增强局部模型的抽象能力；Dropout层的加入减少了网络的计算量，有效地控制了过拟合问题。

卷积神经网络是采用端到端的方式，自动对输入图像进行学习，所以把卷积神经网络学习到的数据特征，可视化出来，对于深入了解卷积神经网络是非常有帮助的。其具体识别过程如下：

(1)将一张火焰的图像，输入到FlameNet模型中。

输入的火焰图像经过FlameNet模型Conv1-1卷积层处理后，得到的Conv1-1卷积层的输出特征图如图2所示。图中每个小图像显示的都是火焰的轮廓，基于此可以推测出，FlameNet模型的Conv1-1卷积层的卷积核主要学习到输入图像中物体的边缘轮廓信息。

(2)进一步分析可以发现，相邻火焰轮廓图像的视角相近，相距较远的火焰轮廓图像的视角相差稍大。这说明卷积核的数量越多，卷积神经网络模型可以从更多不同的视角去观察物体、能学习到物体更多的特征信息，这样对模型识别更加有利。故选取合适数量的卷积核进行对图片的进一步分析。

2.火焰检测模型

火焰检测是从输入图像中框出火焰图像的准确位置，并标出火焰标签。

本发明的一种基于卷积神经网络的火焰检测模型，在Faster-RCNN目标检测算法中，用ZFNet模型的卷积池化完成作为共享卷积层。ZFNet模型是在Alexnet模型的基础上作了微调，将第一层卷积层的卷积核由11×11改为7×7，步长stride由4改为2，ZFNet模型结构如图3所示。将ZFNet中的卷积池化部分充当共享卷积层，即Layer1-Layer5。如图3所示。具体检测过程如下：

Faster-RCNN结构流程如图4所示，其流程依次为A、B、C三个模块。

(1)在A模块中，利用共享卷积层对输入图像的特征进行提取，得到全局共享特征图。任少卿提出的Faster-RCNN模型是利用ZFNet模型的卷积层作为共享卷积层。

(2)在B模块中，主要实现求候选框。将A模块输出的全局共享图输入到RPN网络的共享卷积层中，得到RPN共享特征图；将RPN共享特征图分别输入到分类和回归卷积层中，得到M个候选框(ROI)，候选框中包含坐标信息和概率信息。再取前N个前景概率最大的候选框。这其中会存在交叉、重叠、不包含目标的候选框，利用非极大值抑制(NMS)，利用概率较大的候选框去剔除与其重叠面积超过一定比例且概率较小的候选框，得到K个候选框，作为RPN网络的输出。

需要指出的是，在模块B中定义了k个锚点(anchor)，如图5所示。即以每个当前滑动窗口的中心为中心，映射到原图相对应的感受野，以感受野的中心为中心，定义k个anchor，每个anchor对应一种面积大小和一种长宽比的框，所有anchor在经过修正后，几乎完全覆盖图像中的真值框的位置。

(3)在C模块中，根据B模块输出的K个候选框的坐标，映射到全局共享特征图上，得到候选框的全局共享特征图。因为每个候选框的尺寸可能各不相同，所以需要尺寸归一化(ROI Pooling)，得到尺寸相同的候选框特征图。候选框特征图经过全连接层得到候选框特征向量，候选框特征向量分别经过回归全连接层和修正全连接层，得到分类向量和修正向量。最后通过非极大值抑制保留概率最高的候选框，为最终目标检测的结果。

将火焰检测模型用于真实火灾探测，响应时间为6秒，能够在早期探测出火焰，实现报警，响应时间远少于感烟探测器响应时间。

3.火焰探测***GUI

本发明使用Matlab的GUI功能设计了火焰探测***，火焰探测***示意图如图6所示。依次载入Fatser-RCNN模型和火焰视频，***会对视频逐帧提取，输入到Fatser-RCNN模型进行检测，如果模型判火焰评分大于0.8时，模型会框出图像中的火焰区域，并给出评分，计算机对报警器发出报警指令，引起人们的注意。

火焰探测***主要分为图像区和操作区，图像区主要实现原图像和经过检测的图像的呈现；操作区则是实现载入检测模型、载入图像、视频以及进行检测等一系列操作。其具体过程如下：

(1)点击检测模型。实现Faster-RCNN模型加载。

(2)点击载入图像。选择要载入的图像，实现图像的载入。也可以载入视频，在GUI界面中的figure窗口进行播放。

(3)点击图像检测。算法会对当前加载的图像进行检测任务，程序在检测时，会自动调用预先加载的Faster-RCNN火焰检测模型，检测结果会得到图像中火焰的坐标以及所围成的矩形选择框，还会给出***检测出是火焰的概率值，在GUI界面中，会先将视频按帧数分解，再对每一帧进行检测，将检测结果同步显示出来。

Claims (10)

1.一种基于卷积神经网络的火焰识别和监测的优化方法，其特征在于，包括：

a)优化卷积神经网络性能；

b)通过增加数据多样性和数据增强的方式，构建火焰图像样本库；

c)通过优化卷积核数量和卷积核尺寸以及模型层数，设计火焰识别模型FlameNet；

d)基于Faster-RCNN算法，设计火焰检测模型FRCNN-ZF模型。

2.根据专利要求1所述的优化卷积神经网络性能，其特征在于，包括：

增加卷积核数量可以加强卷积神经网络对于图像的提取能力，进一步提升图像识别的准确度，但是训练收敛的时间会变长；

通过卷积-卷积-池化的结构来提取图像样本的特征，在卷积层后面设置一个或多个相同的卷积层构成多组卷积结构，采用多组卷积结构在一定程度上提升测试性能；

使用多个小尺寸卷积核替代大尺寸卷积核，既实现了原有的卷积运算，又大大降低了模型的参数量，替代前后卷积核的参数量。

3.根据专利要求1所述构建火焰图像样本库，其特征在于，包括：

从大型可视化图像数据网站ImageNet(http://image-net.org/)下载部分图像样本；

将自己实验拍摄的视频，逐帧提取出来；

增加数据多样性，有效的提升测试准确度；

数据增强，通过图像翻转、剪切、改变对比度和添加噪声等，提高测试准确度，但是收敛速度变慢。

4.一种火焰识别模型FlameNet，其特征在于，包括：

第1层为模型的输入层，规定必须为尺寸为64×64的RBG图像；

第2层为多重卷积层Conv1，其中多重卷积层内都包含两个小卷积层，Conv1内的小卷积层Conv1-1和Conv1-2的卷积核尺寸均为3×3，卷积核数量均为32，步长均为1，2个小卷积层输出后都经过激活函数ReLU激活后，进入下一环节；

第3层是池化层，采用区域为2×2，步长为2的最大池化模式；

第4层为多重卷积层Conv2，其中多重卷积层内都包含两个小卷积层，Conv2内的小卷积层Conv2-1和Conv2-2的卷积核尺寸均为3×3，卷积核数量均为64，步长均为1，2个小卷积层输出后都经过激活函数ReLU激活后，进入下一环节；

第5层是池化层，采用区域为2×2，步长为2的最大池化模式；

第6层为模型的全连接层，包含500个隐含神经节点；

第7层为模型的输出层，采用Softmax分类器，判断输入图片为火焰还是背景图像。

5.根据权利要求4所述的火焰识别模型FlameNet，其特征在于，

整个网络层层相连，连续的卷积、池化结构可以从火焰样本库中提取更多的有效信息；

2个3×3的卷积层连续卷积，在感受野方面等同于尺寸为5×5的卷积层，且大大减少了网络模型的参数；

使用ReLU激活函数增强了模型非线性程度的表达，有利于增强局部模型的抽象能力；

Dropout层的加入减少了网络的计算量，有效地控制了过拟合问题。

6.一种火焰检测模型FRCNN-ZF模型，其特征在于，

基于任少卿Faster-RCNN目标检测算法设计了火焰检测模型，用ZFNet模型的卷积池化完成作为共享卷积层，即Layer1-Layer5；

在Alexnet模型的基础上作了调整，将第一层卷积层的卷积核由11×11改为7×7，步长stride由4改为2；

RNP网络的设计中锚点滑动窗口大小，结合样本库中图像的火焰尺寸64×64和224×224两种，将其修改如表1所示。

表1：锚点滑动窗口大小优化设计

7.根据权利要求6所述的火焰检测模型FRCNN-ZF模型，其特征在于，通过训练得出存在以下特点：

从P-R曲线可以看出其查全率和查准率较高；

从监测图像分析表示，对火焰的探测率和正确率都较优；

从监测图像分析表示，在对火焰标注区方面，具有一定的泛化能力、检测能力较强、在颜色较浅且距离较远时会有某种程度的漂移；

从监测图像分析表示，具有一定的抗干扰能力。

8.一种火焰探测***GUI，其特征在于，使用Matlab的GUI功能设计火焰探测***，依次载入Fatser-RCNN模型和火焰视频。

9.根据权利要求8所述的一种火焰探测***GUI，其特征在于，界面主要分为图像区和操作区，图像区主要实现原图像和经过检测的图像的呈现；操作区则是实现载入检测模型、载入图像、视频以及进行检测等一系列操作。

10.根据权利要求8所述的GUI界面，其特征在于，界面的探测功能及部分代码包括：

(1)检测模型，实现Faster-RCNN模型加载，该功能的代码如下：

(2)载入图像，该功能的代码如下：

(3)图像检测，该功能的代码如下：

Images