CN112861635A - 一种基于深度学习的火灾及烟雾实时检测方法 - Google Patents

一种基于深度学习的火灾及烟雾实时检测方法 Download PDF

Info

Publication number
CN112861635A
CN112861635A CN202110028029.0A CN202110028029A CN112861635A CN 112861635 A CN112861635 A CN 112861635A CN 202110028029 A CN202110028029 A CN 202110028029A CN 112861635 A CN112861635 A CN 112861635A
Authority
CN
China
Prior art keywords
image
fire
detection
smoke
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110028029.0A
Other languages
English (en)
Other versions
CN112861635B (zh
Inventor
李晖晖
袁翔
刘航
郭雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110028029.0A priority Critical patent/CN112861635B/zh
Publication of CN112861635A publication Critical patent/CN112861635A/zh
Application granted granted Critical
Publication of CN112861635B publication Critical patent/CN112861635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明涉及一种基于深度学习的火灾及烟雾实时检测方法，利用网络爬取得到的多场景的火灾和烟雾图像，然后搭建特征提取网络，最后利用特征提取网络得到的单一尺度特征图进行上采样和拼接、跳跃连接等操作构造出多尺度特征图，最后进行检测后处理操作，完成对于火灾和烟雾的实时检测。本发明结合实时监控视频，对危险区域如易燃易爆物品存放车间等区域做到24小时不间断实时检测，并可将检测结果可作为辅助的报警信息及时通知相关人员，实现了危险环境下对于火灾和烟雾的实时检测，降低了以往需要人员常态化巡逻的经济成本和时间成本，将突发火灾带来的危害大大降低，对人类社会生产生活具有非常重要的意义。

Description

一种基于深度学习的火灾及烟雾实时检测方法
技术领域
本发明属于计算机视觉目标检测领域，涉及一种基于深度学习的火灾及烟雾实时检测方法
背景技术
火灾是一种危及人们生活生产的突发灾害，因此如果能够及时监测到火灾则可以挽救人员生命和财产安全。目前使用率较高的是基于接触式传感器的火灾检测技术， 这种方法虽然能够很方便地对火灾和烟雾进行检测，但受限于其工作原理，即基于火 灾中温度变化或者利用火灾、烟雾的光学、电学等物理特性来进行火灾和烟雾检测， 所以这种监测方法必须是在火灾达到一定程度之后才能进行报警。无法对早期的火灾 和烟雾进行报警，因此基于传感器的火灾检测方式是不全面的。随着计算机视觉技术 的飞速发展以及监控镜头的广泛应用，近些年来，越来越多的研究工作着眼于运用计 算机视觉技术对图像或监控视频进行火灾和烟雾的自动检测和预警。
基于计算机视觉的火灾和烟雾检测技术可分为的主要过程是利用图像提取相关特 征，再将其送入到分类器中进行训练得到模型，在检测时由模型对图像中是否存在火灾和烟雾区域做出判断，因此最终检测模型的精度取决于图像特征的鲁棒性和分类器 的分类精度。目前常用的特征算子包括色彩特征和纹理特征，如颜色矩特征、LBP(LocalBinary Pattern，局部二值模式)特征以及HOG(Histogram of Oriented Gradient，方向梯度直方图)特征。这些特征尽管充分利用了图像中火灾和烟雾区域的颜色和纹理特征， 但在光照和局部阴影变化的情况下这些特征算子的鲁棒性较差，因此会影响到最终的 检测精度。用于分类器的机器学习算法包括SVM(Support Vector Machine，支持向量 机)和K-mean(K-均值)聚类算法等。基于传统视觉的火灾和烟雾检测算法虽然可以 实现对图像或视频中的火灾和烟雾区域做出检测，但其鲁棒性太差，而近年来由于GPU等计算设备的飞速发展和视频图像数据的日以增多，基于深度学习的计算机视觉 算法在图像分类、目标检测和分割等诸多视觉领域都取得了不俗的成绩。因此，近年 来有一些基于深度学习的检测算法在火灾和烟雾领域做出了尝试，虽然其检测性能优 于基于传统视觉的火灾烟雾检测算法，克服了前者在光照对比度等因素变化时鲁棒性 较差的问题。
利用计算机视觉技术进行火灾和烟雾检测的主要瓶颈有两方面：第一，在特征提取阶段，由于传统的特征算子是人为设计的，以HOG特征为例，由于其特征描述子 生成过程冗长，因此导致基于HOG特征的检测方法处理速度较慢，实时性较差。除 此而外，由于梯度本身的性质，HOG特征描述子对于噪点相当敏感，并且当光照等环 境因素发生变化时，HOG特征是不稳定的；第二，在训练分类器阶段，一个好的分类 器需要利用特征算子准确区分正样本(火灾和烟雾区域)和负样本(场景中易与火灾 和烟雾混淆的正常区域)，为了完成这一任务，需要将正样本和负样本送入分类器进行 训练，因此负样本的选择至关重要，因此需要将环境中易与火灾和烟雾混淆的正常区 域都送入到分类器中作为负样本，这样便带来一个问题，如果场景中出现分类器从未 见过的容易与火灾和烟雾混淆的正常区域时，便极有可能做出误判，这样每次出现新 的负样本时，都需要重新将这些负样本送入分类器进行训练，进而导致分类模型变得 十分冗余和低效。这两点导致基于传统视觉的火灾和烟雾检测鲁棒性较差，不能完成 实际场景中对火灾和烟雾的可靠检测。尽管基于深度学习的火灾及烟雾检测方法可以 克服以上特征提取和分类阶段的缺点，但却由于训练数据量不足和深度神经网络本身 的固有特点导致过拟合与推理速度慢等问题，并且由于火灾和烟雾不同于其他目标具 有确定的形态，因此当前基于深度学习的目标检测算法对于火灾和烟雾的检测精度都 不理想。
基于对已有的这些基于计算机视觉的火灾和烟雾检测算法的分析，我们提出了一种基于深度学习火灾及烟雾实时检测方法。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于深度学习的火灾及烟雾实时检测方法，利用从网络上爬取到的火灾和烟雾视频和图片进行标记，构建轻量化的特 征提取网络，在此基础上添加特征增强模块，并通过构建多尺度特征图以训练得到可 完成对火灾和烟雾进行实时检测的检测模型，既保证了在不同场景不同尺度下对火灾 和烟雾的检测精度，又克服了深度神经网络推理时间冗长的缺点。
技术方案
一种基于深度学习的火灾及烟雾实时检测方法，其特征在于步骤如下：
步骤1、图像预处理：将火灾或烟雾图像从RGB色彩空间转换为HSI色彩空间， 分离出来的亮度I值为连续变换值：
将转换得到的HSI图像分块，原图像尺寸为H*W，分块图像尺寸为h*w，则共 有
Figure BDA0002891039130000031
个小块，按照从左到右，从上到下的顺序对图像块进行排序，对每个图像块 进行直方图均衡；
Figure BDA0002891039130000032
其中：HE表示直方图均衡处理，Ii表示第i个图像块，
Figure BDA0002891039130000033
表示经过直方图均衡后对应的图像块；
按分块时的顺序将图像块依次拼回，对于每个图像块的相邻处采用双线性插值进行平滑，
按照下式操作，由已知的四个点的像素值得到这四点围成矩形区域中任意一点的像素值；
Figure BDA0002891039130000034
Figure BDA0002891039130000041
Figure BDA0002891039130000042
其中：f(x，y)为插值得到的(x，y)处的像素值，f(x1，y1)为(x1，y1)处的像素值， f(x1，y2)、f(x2，y1)和f(x2，y2)；
将增强后的图像重新映射回RGB颜色空间，即得到视觉特征增强后的火灾和烟雾图像；
步骤2、网络模型的构建及训练：选择ResNet-34、ShuffleNet-V2或者Darknet-53轻量级网络作为主干网络，使用空洞卷积代替普通卷积，从而在特征提取阶段加入丰 富的背景信息，加入特征增强处理来提取更具差异性的前景信息，从而获得对图像中 火灾和烟雾区域进行高效特征提取的深度网络模型：
特征增强的操作流程为：
Me(F)＝F+Mc(F)+Ms(F+Mc(F))
其中：Me(F)表示注意力模块，Mc(F)表示通道注意力模块，Ms(F)表示空间注意 力模块，F表示输入特征图；
所述Mc(F)＝σ(MLP(AvgPoof(F))+MLP(MaxPoof(F))
其中：MLP表示多层感知机，AvgPoof表示平均池化操作，MaxPoof表示最大池 化操作，σ表示sigmoid函数；
所述σ
Figure BDA0002891039130000043
所述空间注意力Ms(F)
Ms(F)＝σ(f7*7([AvgPool(F)；AMaxPool(F)]))
其中：f7*7表示使用7*7的空洞卷积核对特征图进行卷积，[x1；x2]操作表示将x1与x2在通道维度上进行拼接；
采用分类损失、回归损失和置信度损失构建整个网络模型的损失函数，如下：
Loss＝α*Lcfs+β*Lreg+γ*Lobj
其中Lcls为分类损失，Lreg为边界框回归损失，Lobj为置信度损失，α、β和γ分别 表示分类损失、回归损失和置信度损失在优化网络的损失函数中所占比重；将标记图 片和标记信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的方法训练 网络模型；
步骤3、多尺度目标检测：标记好的训练图像改变尺寸为H*H之后送入步骤2所 构建的网络模型之中，经过网络模型的卷积、池化和跳跃连接操作，得到的特征图为 H/S*H/S，即主干网络的步长为S；将步骤2中的主干网络输出的特征图(H/S*H/S) 进行2倍上采样并且与前一尺度的特征图进行拼接便得到了其他两个尺度的特征图 (2H/S*2H/S和4H/S*4H/S)，得到了3种尺度的特征图；三个尺度的特征图上分 别负责不同尺寸目标的检测，H/S*H/S特征图上进行大目标的检测，2H/S*2H/S特 征图负责对中等尺度的目标进行检测，4H/S*4H/S的特征图完成对小目标进行检测。 三个尺度的检测完成后，将最终结果融合输出；
步骤4、检测后处理：首先采用非极大值抑制删除冗余的检测框，然后根据同类 别的各目标区域的数量和彼此之间的距离远近关系，衡量检测得到的各个目标区域的 置信度得分，进而决定是否对当前置信度进行提升；
置信度提升算法的具体步骤：
给定得分阈值score_thresh和低置信度阈值low_conf_thresh；
对于检测框bboxi的置信度conf，如果conf≥low_conf_thresh则直接将检测结果输出；如果socre_thresh≤conf＜low_conf_thresh成立；
并且图像中单一类别bbox个数N≥Nt和密集系数δ≥δt均成立，其中Nt为检测框 个数阈值；
δt为密集系数阈值：
Figure BDA0002891039130000061
其中：H，W分别为当前检测图像的高和宽，α为距离放缩因子；
最终检测框bboxi提升后的置信度confinc为：
Figure BDA0002891039130000062
其中λ为松弛因子，σ表示sigmoid函数为：
Figure BDA0002891039130000063
经过本步骤，输出经过检测后处理的针对输入图像的火灾和烟雾最终检测结果。
所述将输入图像从RGB颜色空间转至HSI空间的转换式为：
Figure BDA0002891039130000064
Figure BDA0002891039130000065
Figure BDA0002891039130000066
其中R，G，B分别为RGB图像像素点三个通道的值，H，S，I分别为HSI图像像素点 三个通道的值，min(·)为取最小值函数；
所述
Figure BDA0002891039130000067
有益效果
本发明提出的一种基于深度学习的火灾及烟雾实时检测方法，首先标记利用网络爬取得到的多场景的火灾和烟雾图像，再对这些图像进行预处理操作，主要包括图像 数据扩充和图像增强处理；然后搭建特征提取网络，并加入注意力机制和空洞卷积等 特征增强模块提升特征提取的质量；最后利用特征提取网络得到的单一尺度特征图进 行上采样和拼接、跳跃连接等操作构造出多尺度特征图，并在多尺度特征图上进行检 测，然后针对易出现的多个目标区域置信度得分过低的情况，采用多区域置信度提升 算法进行提升，最后进行检测后处理操作，从而完成对于火灾和烟雾的实时检测。训 练时采用分类损失、回归损失和置信度损失构建网络的损失函数，将标记图片和标记 信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的方法训练网络模型。 在推理过程中，将待处理图像送入预训练好的检测模型中，使用非极大值抑制 (Non-Maximum Suppression，NMS)操作对预测结果进行后处理，删除冗余的预测框， 并将最终检测结果实时输出，完成对火灾和烟雾图像区域的实时检测。
本发明提出的方法能够有效地对输入图像或视频中是否存在火灾和烟雾区域做出 快速而准确的判断，既避免了采用传感器带来的滞后问题，也避免了基于传统计算机视觉技术带来的鲁棒性较差，不能适用于多场景的缺点。结合实时监控视频，对危险 区域如易燃易爆物品存放车间等区域做到24小时不间断实时检测，并可将检测结果可 作为辅助的报警信息及时通知相关人员，实现了危险环境下对于火灾和烟雾的实时检 测，降低了以往需要人员常态化巡逻的经济成本和时间成本，将突发火灾带来的危害 大大降低，对人类社会生产生活具有非常重要的意义。
附图说明
图1：本发明方法的总体框架图
图2：图像预处理流程图
图3：网络模型结构图
图4：(a)同类别多区域低置信度提升算法流程图
(b)提升前置信度
(c)提升后置信度
图5：火灾和烟雾检测结果图(a)输入图像(b)检测结果
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明方法的特征在于步骤如下：
步骤1图像预处理：真实场景中的火灾和烟雾由于浓度和区域差异会影响算法 的鲁棒性，为了提升对于低浓度和小区域的火灾和烟雾的检测效果，我们分别使用图 像扩充和图像增强算法提升训练集的图像数量，以及增强烟雾区域的视觉特征，进而 提升数据集的多样性。图像扩充操作主要包括图像水平翻转(水平方向对图像进行翻 转)、图像随即裁剪(在水平和垂直方向上裁剪随机长度)和图像随机拼接。为了提升 低浓度烟雾区域的特征，首先将图像从RGB色彩空间转换为HSI色彩空间，然后将 图像分块使用HE(HistogramEqualization，直方图均衡)算法进行图像增强，最后使 用双线性插值对分块后的增强区域进行插值，从而得到增强后的完整图片。
步骤2网络模型的构建及训练：为了完成对火灾和烟雾的实时准确检测，主干 网络需要保证既能高效地完成特征提取操作，同时也需要保证较快的处理速度。因此 可以选择ResNet-34、ShuffleNet-V2或者Darknet-53等轻量级网络作为主干网络来完 成特征提取，并加入特征增强模块(Feature Enhancement Module)来提取更具差异性 的前景信息，并使用空洞卷积(dilated convolution)代替普通卷积从而在特征提取阶 段加入丰富的背景信息。采用分类损失、回归损失和置信度损失构建网络的损失函数， 将标记图片和标记信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的 方法训练网络模型。
(1)损失函数：采用三个损失构建模型的损失函数，分别为分类损失、回归损失 和置信度损失，整个网络模型的损失函数如式(1)所示：
Loss＝α*Lcls+β*Lreg+γ*Lobj (1)
其中Lcls为分类损失，Lreg为边界框回归损失，Lobj为置信度损失，α、β和γ分别 表示分类损失、回归损失和置信度损失在优化网络的损失函数中所占比重。
(2)特征增强模块：现实场景中，由于烟雾本身容易弥散的性质导致图像中容易出现不规范大面积烟雾区域且烟雾浓度较小，基于深度学习的检测算法较难对于这种 情况难以做出准确检测。因此，考虑向主干网络中添加特征增强模块以提取更有效的 差异化特征，特征增强模块由下式(2)表示：
Me(F)＝F+Mc(F)+Ms(F+Mc(F)) (2)
其中Me(F)表示特征增强模块，Mc(F)表示通道注意力模块，Ms(F)表示空间注意 力模块，F表示输入特征图。
步骤3多尺度目标检测：将标记好的训练图像改变尺寸为H*H之后送入步骤2 所构建的网络模型之中，经过一系列卷积、池化和跳跃连接操作，得到的特征图为 H/S*H/S，也即主干网络的步长为S。若直接在H/S*H/S的特征图上进行目标检测， 那么对于小于S的目标来说，其在特征图上的信息小于一个像素点，这样会导致网络无 法对这样的目标做出精确检测。因此，考虑使用不同尺度的特征图来进行多尺度的目 标检测：
(1)多尺度特征图构造：步骤2中的主干网络输出的特征图(H/S*H/S)进行 2倍上采样并且与前一尺度的特征图进行拼接便得到了其他两个尺度的特征图 (2H/S*2H/S和4H/S*4H/S)，这样便得到了3种尺度的特征图。
(2)多尺度目标检测：三个尺度的特征图上分别负责不同尺寸目标的检测，以输入图像尺寸为H*H为例：H/S*H/S特征图上主要进行大目标的检测，2H/S*2H/S特 征图主要负责对中等尺度的目标进行检测，4H/S*4H/S的特征图则主要完成对小目 标进行检测。三个尺度的检测完成后，将最终结果融合输出。
步骤4检测后处理：在实际场景中，由于火灾和烟雾区域不规则、易弥散、没 有固定形状，因此在经过步骤3处理得到的初步检测结果中，模型倾向于对一张图像 中的火灾和烟雾区域分块预测，导致初步检测结果中容易出现多个低置信度目标区域 的检测结果。此时如果需要输出这些检测结果，便只能将置信度阈值设置的很低，然 而低置信度会导致模型将误检结果输出，造成虚警率过高。因此针对这种情况我们提 出了单一类别多区域低置信度提升算法，即首先采用非极大值抑制删除那些冗余的检 测框，然后根据同类别的各目标区域(如一张图像检测得到的所有烟雾类别的区域) 的数量和彼此之间的距离远近关系，衡量检测得到的各个目标区域的置信度得分，进 而决定是否对当前置信度进行提升。经过单一类别多区域低置信度提升算法，图像中 检测得到的多个低置信度的正样本会得以保留，而误检的负样本由于个数较少并且彼 此之间距离较远将不会得到提升，保证了算法的有效性。
本文实验的硬件环境为：CPU：AMD 2600X MAX，内存：16G，硬盘：500G固 态硬盘，独立显卡：NVIDIA GeForce RTX 2070，8G；***环境为Ubuntu 16.0.4；软 件环境为python3.6，opencv3.4，TensorFlow 1.12.0。
为了验证发明方法的准确度和有效性，本文针对自建的火灾和烟雾数据集中的测试集进行试验；除此之外还利用网络上的真实火灾和烟雾视频进行实验，验证了方法 的实用性。
本发明具体实施如下：
步骤1数据集准备：对于基于深度学习的计算机视觉算法来说，数据极为重要， 足够数量的高质量标记数据可以支撑深度神经网络完成训练。因此为了完成对火灾和 烟雾的实时检测，我们利用网络爬取不同场景的火灾和烟雾图片和视频，并对视频进 行随机帧截取，最终构成用于训练和测试的多场景火灾烟雾数据集，并使用边界框 (bounding box)对数据集中图片的火灾和烟雾区域进行逐一标记。
步骤2图像预处理：真实场景中的火灾和烟雾由于浓度和区域差异，为了提升 对于低浓度和小区域的火灾和烟雾的检测效果，我们分别使用图像扩充和图像增强算 法提升训练集的图像数量，以及增强烟雾区域的图像特征，进而提升数据集的多样性。 图像扩充操作主要包括图像水平翻转(水平方向对图像进行翻转)、图像随即裁剪(在 水平和垂直方向上裁剪随机长度)和图像随机拼接，随机拼接可用下式(3)表示：
Figure BDA0002891039130000111
其中
Figure BDA0002891039130000112
表示将图像Ii改变尺寸为h*w，I表示由四张图像I1、I2、I3和I4拼接得 到尺寸为H*W的图像。为了提升低浓度烟雾区域的特征，考虑使用HE(HistogramEqualization，直方图均衡)算法进行图像增强，但由于RGB色彩空间灰度值为离散 整数值，在计算过程中容易丢失精度。因此将图像从RGB色彩空间转换为HSI色彩 空间，分离出来的亮度I值为连续变换值，在直方均衡过程中更容易保留更多细节。 同时，由于直方图均衡是一种全局增算法，在增强目标区域的同时也会增强背景区域 甚至噪声区域的特征，因此在传统直方图均衡的基础上，我们对图像分块进行直方图 均衡处理，进一步地，为了消除分块均衡化带来的叠加效应，采用双线性插值对各区 域进行插值，从而得到增强后的图片。
步骤3网络模型的构建及训练：为了完成对火灾和烟雾的实时准确检测，主干 网络需要保证既能高效地完成特征提取操作，同时也需要保证较快的处理速度。因此 可选择ResNet-34、ShuffleNet-V2或者Darknet-53等轻量级网络作为主干网络来完成 特征提取。实际中我们通过堆叠由空洞卷积(dilated convolution)、批归一化(BatchNormalization)和Leaky-ReLU组成的特征提取基本单元DBL构成主干网络，进行初 步特征提取，在此基础上添加跳跃连接(Skip Connection)增强特征信息的前向传播， 并加入特征增强模块(Feature Enhancement Module)来提取与背景信息对比更具差异 性的前景信息。采用分类损失、回归损失和置信度损失构建网络的损失函数，将标记 图片和标记信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的方法训 练网络模型。
(1)损失函数：采用三个损失构建模型的损失函数，分别为分类损失、回归损失 和置信度损失，整个网络模型的损失函数如式(4)所示：
Loss＝α*Lcls+β*Lreg+γ*Lobj (4)
其中Lcls为分类损失，Lreg为边界框回归损失，Lobj为置信度损失，α、β和γ分别 表示分类损失、回归损失和置信度损失在优化网络的损失函数中所占比重。分类损失 Lcls表示如下式(5)：
Figure BDA0002891039130000121
其中S表示将整图分为S*S个网格，B表示每个网格产生B个候选框(anchor box)，
Figure BDA0002891039130000122
表示第i个网格的第j个候选框是否负责预测该目标，如果负责那么
Figure BDA0002891039130000123
否则
Figure BDA0002891039130000124
pi(c)表示真实概率，
Figure BDA0002891039130000125
表示预测概率。边界框回归损失Lreg如下式(6)所示：
Figure BDA0002891039130000126
其中xi、yi、wi和hi分别表示边界框的真实位置信息，
Figure BDA0002891039130000127
和
Figure BDA0002891039130000128
分别表示网络预测的边界框的位置信息。置信度损失Lobj如下式(7)所示：
Figure BDA0002891039130000129
其中Gi，j在当前候选框是正样本时为1，否则为0，
Figure BDA00028910391300001210
表示第f个网格的第j个候选框的置信度，
Figure BDA00028910391300001211
在第f个网格的第j个候选框负责某个目标时为1，否则为0。
(2)特征增强模块：现实场景中，由于烟雾本身容易弥散的性质导致图像中容易出现不规范大面积烟雾区域且烟雾浓度较小，基于深度学习的检测算法较难对于这种 情况难以做出准确检测。因此，考虑向主干网络中添加特征增强模块以提取更有效的 差异化特征，特征增强模块由下式(8)表示：
Me(F)＝F+Mc(F)+Ms(F+Mc(F)) (8)
其中Me(F)表示特征增强模块，Mc(F)表示通道注意力模块，Ms(F)表示空间注意 力模块，F表示输入特征图。其中Mc(F)可由下式(9)表示：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (9)
其中MLP表示多层感知机，AvgPool表示平均池化操作，MaxPool表示最大池化 操作，σ表示sigmoid函数，如下式(10)表示：
Figure BDA0002891039130000131
空间注意力Ms(F)表示如下式(11)：
Ms(F)＝σ(f7*7([AvgPool(F)；AMaxPool(F)])) (11)
其中f7*7表示使用7*7的空洞卷积核对特征图进行卷积，这样输入空间注意力模块的特征图上每一点都将拥有更大的感受野，也就拥有更丰富的的背景信息，对于大 目标的检测至关重要。[x1；x2]操作表示将x1与x2在通道维度上进行拼接。
步骤4多尺度目标检测：将标记好的训练图像改变尺寸为H*H之后送入步骤3 所构建的网络模型之中，经过一系列卷积、池化和跳跃连接操作，得到的特征图为 H/S*H/S，也即主干网络的步长为S。若直接在H/S*H/S的特征图上进行目标检测， 那么对于小于S的目标来说，其在特征图上的信息小于一个像素点，这样会导致网络无 法对这样的目标做出精确检测。因此，考虑使用不同尺度的特征图来进行多尺度的目 标检测：
(1)多尺度特征图构造：步骤3中的主干网络输出的特征图(H/S*H/S)进行 2倍上采样并且与前一尺度的特征图进行拼接便得到了其他两个尺度的特征图 (2H/S*2H/S和4H/S*4H/S)，这样便得到了3种尺度的特征图。
(2)多尺度目标检测：三个尺度的特征图上分别负责不同尺寸目标的检测，以输入图像尺寸为H*H为例：H/S*H/S特征图上主要进行大目标的检测，2H/S*2H/S特 征图主要负责对中等尺度的目标进行检测，4H/S*4H/S的特征图则主要完成对小目 标进行检测。三个尺度的检测完成后，将检测结果融合输出。
步骤5检测后处理：在实际场景中，由于火灾和烟雾区域不规则、易弥散、没 有固定形状，因此在经过步骤4处理得到的初步检测结果中，模型倾向于对一张图像 中的火灾和烟雾区域分块预测，导致初步检测结果中容易出现多个低置信度目标区域 的检测结果。此时如果需要输出这些检测结果，便只能将置信度阈值设置的很低，然 而低置信度会导致模型将误检结果输出，造成虚警率过高。因此针对这种情况我们提 出了单一类别多区域低置信度提升算法，即首先采用非极大值抑制删除那些冗余的检 测框，然后根据同类别的各目标区域(如一张图像检测得到的所有烟雾类别的区域) 的数量和彼此之间的距离远近关系，衡量检测得到的各个目标区域的置信度得分，进 而决定是否对当前置信度进行提升，置信度提升算法的具体步骤可描述如下：给定得 分阈值score_thresh和低置信度阈值low_conf_thresh，对于检测框bboxi的置信度 conf，如果conf≥low_conf_thresh则直接将检测结果输出；如果socre_thresh≤ conf<low_conf_thresh成立，并且图像中单一类别(如一张图像检测得到的所有烟 雾类别)bbox(Bounding Box，检测框)个数N≥Nt和密集系数δ≥δt均成立，其中Nt为 检测框个数阈值，δt为密集系数阈值，δ由下式(12)给出：
Figure BDA0002891039130000142
其中H，W分别为当前检测图像的高和宽，α为距离放缩因子。最终检测框bboxi提升后的置信度confinc如下式(13)所示：
Figure BDA0002891039130000151
其中λ为松弛因子，σ表示sigmoid函数，如上式(10)所示。经过单一类别多区 域低置信度提升算法，图像中检测得到的多个低置信度的正样本会得以保留，而误检 的负样本由于个数较少并且彼此之间距离较远将不会得到提升，保证了算法的有效性。

Claims (2)

1.一种基于深度学习的火灾及烟雾实时检测方法，其特征在于步骤如下：
步骤1、图像预处理：将火灾或烟雾图像从RGB色彩空间转换为HSI色彩空间，分离出来的亮度I值为连续变换值：
将转换得到的HSI图像分块，原图像尺寸为H*W，分块图像尺寸为h*w，则共有
Figure FDA0002891039120000011
个小块，按照从左到右，从上到下的顺序对图像块进行排序，对每个图像块进行直方图均衡；
Figure FDA0002891039120000012
其中：HE表示直方图均衡处理，Ii表示第i个图像块，
Figure FDA0002891039120000013
表示经过直方图均衡后对应的图像块；
按分块时的顺序将图像块依次拼回，对于每个图像块的相邻处采用双线性插值进行平滑，
按照下式操作，由已知的四个点的像素值得到这四点围成矩形区域中任意一点的像素值；
Figure FDA0002891039120000014
Figure FDA0002891039120000015
Figure FDA0002891039120000016
其中：f(x，y)为插值得到的(x，y)处的像素值，f(x1，y1)为(x1，y1)处的像素值，f(x1，y2)、f(x2，y1)和f(x2，y2)；
将增强后的图像重新映射回RGB颜色空间，即得到视觉特征增强后的火灾和烟雾图像；
步骤2、网络模型的构建及训练：选择ResNet-34、ShuffleNet-V2或者Darknet-53轻量级网络作为主干网络，使用空洞卷积代替普通卷积，从而在特征提取阶段加入丰富的背景信息，加入特征增强处理来提取更具差异性的前景信息，从而获得对图像中火灾和烟雾区域进行高效特征提取的深度网络模型：
特征增强的操作流程为：
Me(F)＝F+Mc(F)+Ms(F+Mc(F))
其中：Me(F)表示注意力模块，Mc(F)表示通道注意力模块，Ms(F)表示空间注意力模块，F表示输入特征图；
所述Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))
其中：MLP表示多层感知机，AvgPool表示平均池化操作，MaxPool表示最大池化操作，σ表示sigmoid函数；
所述σ
Figure FDA0002891039120000021
所述空间注意力Ms(F)
Ms(F)＝σ(f7*7([AvgPool(F)；AMaxPool(F)]))
其中：f7*7表示使用7*7的空洞卷积核对特征图进行卷积，[x1；x2]操作表示将x1与x2在通道维度上进行拼接；
采用分类损失、回归损失和置信度损失构建整个网络模型的损失函数，如下：
Loss＝α*Lcls+β*Lreg+γ*Lobj
其中Lcls为分类损失，Lreg为边界框回归损失，Lobj为置信度损失，α、β和γ分别表示分类损失、回归损失和置信度损失在优化网络的损失函数中所占比重；将标记图片和标记信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的方法训练网络模型；
步骤3、多尺度目标检测：标记好的训练图像改变尺寸为H*H之后送入步骤2所构建的网络模型之中，经过网络模型的卷积、池化和跳跃连接操作，得到的特征图为H/S*H/S，即主干网络的步长为S；将步骤2中的主干网络输出的特征图(H/S*H/S)进行2倍上采样并且与前一尺度的特征图进行拼接便得到了其他两个尺度的特征图(2H/S*2H/S和4H/S*4H/S)，得到了3种尺度的特征图；三个尺度的特征图上分别负责不同尺寸目标的检测，H/S*H/S特征图上进行大目标的检测，2H/S*2H/S特征图负责对中等尺度的目标进行检测，4H/S*4H/S的特征图完成对小目标进行检测。三个尺度的检测完成后，将最终结果融合输出；
步骤4、检测后处理：首先采用非极大值抑制删除冗余的检测框，然后根据同类别的各目标区域的数量和彼此之间的距离远近关系，衡量检测得到的各个目标区域的置信度得分，进而决定是否对当前置信度进行提升；
置信度提升算法的具体步骤：
给定得分阈值score_thresh和低置信度阈值low_conf_thresh；
对于检测框bboxi的置信度conf，如果conf≥low_conf_thresh则直接将检测结果输出；如果socre_thresh≤conf<low_conf_thresh成立；
并且图像中单一类别bbox个数N≥Nt和密集系数δ≥δt均成立，其中Nt为检测框个数阈值；
δt为密集系数阈值：
Figure FDA0002891039120000031
其中：H，W分别为当前检测图像的高和宽，α为距离放缩因子；
最终检测框bboxi提升后的置信度confinc为：
Figure FDA0002891039120000032
其中λ为松弛因子，σ表示sigmoid函数为：
Figure FDA0002891039120000033
经过本步骤，输出经过检测后处理的针对输入图像的火灾和烟雾最终检测结果。
2.根据权利要求1所述基于深度学习的火灾及烟雾实时检测方法，其特征在于：所述将输入图像从RGB颜色空间转至HSI空间的转换式为：
Figure FDA0002891039120000041
Figure FDA0002891039120000042
Figure FDA0002891039120000043
其中R，G，B分别为RGB图像像素点三个通道的值，H，S，I分别为HSI图像像素点三个通道的值，min(·)为取最小值函数；
所述
Figure FDA0002891039120000044
CN202110028029.0A 2021-01-11 2021-01-11 一种基于深度学习的火灾及烟雾实时检测方法 Active CN112861635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110028029.0A CN112861635B (zh) 2021-01-11 2021-01-11 一种基于深度学习的火灾及烟雾实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110028029.0A CN112861635B (zh) 2021-01-11 2021-01-11 一种基于深度学习的火灾及烟雾实时检测方法

Publications (2)

Publication Number Publication Date
CN112861635A true CN112861635A (zh) 2021-05-28
CN112861635B CN112861635B (zh) 2024-05-14

Family

ID=76002109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110028029.0A Active CN112861635B (zh) 2021-01-11 2021-01-11 一种基于深度学习的火灾及烟雾实时检测方法

Country Status (1)

Country Link
CN (1) CN112861635B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221823A (zh) * 2021-05-31 2021-08-06 南通大学 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114092458A (zh) * 2021-11-29 2022-02-25 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN115131622A (zh) * 2022-05-22 2022-09-30 北京工业大学 一种基于视频时序相关性的夜间明火检测方法
CN115862258A (zh) * 2022-11-22 2023-03-28 中国科学院合肥物质科学研究院 一种火灾监测与处置的***、方法、设备及存储介质
CN116977634A (zh) * 2023-07-17 2023-10-31 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法
CN117635643A (zh) * 2023-12-05 2024-03-01 中南大学 改进的双重注意力网络的室内火灾及可燃物自动识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及***
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN112052797A (zh) * 2020-09-07 2020-12-08 合肥科大立安安全技术有限责任公司 基于MaskRCNN的视频火灾识别方法及***
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李晖晖;周康鹏;韩太初;: "基于CReLU和FPN改进的SSD舰船目标检测", 仪器仪表学报, no. 04 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221823A (zh) * 2021-05-31 2021-08-06 南通大学 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法
CN113221823B (zh) * 2021-05-31 2024-06-07 南通大学 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114092458A (zh) * 2021-11-29 2022-02-25 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
CN114092458B (zh) * 2021-11-29 2024-02-27 西安交通大学 一种基于改进NanoDet深度网络的发动机浓烟淡烟自动检测方法
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN115131622B (zh) * 2022-05-22 2024-03-29 北京工业大学 一种基于视频时序相关性的夜间明火检测方法
CN115131622A (zh) * 2022-05-22 2022-09-30 北京工业大学 一种基于视频时序相关性的夜间明火检测方法
CN115862258B (zh) * 2022-11-22 2023-09-22 中国科学院合肥物质科学研究院 一种火灾监测与处置的***、方法、设备及存储介质
CN115862258A (zh) * 2022-11-22 2023-03-28 中国科学院合肥物质科学研究院 一种火灾监测与处置的***、方法、设备及存储介质
CN116977634A (zh) * 2023-07-17 2023-10-31 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法
CN116977634B (zh) * 2023-07-17 2024-01-23 应急管理部沈阳消防研究所 基于激光雷达点云背景减除的火灾烟雾检测方法
CN117635643A (zh) * 2023-12-05 2024-03-01 中南大学 改进的双重注意力网络的室内火灾及可燃物自动识别方法

Also Published As

Publication number Publication date
CN112861635B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN110503112B (zh) 一种增强特征学习的小目标检测及识别方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及***
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
CN107679250A (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN112861917B (zh) 基于图像属性学习的弱监督目标检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN110298297A (zh) 火焰识别方法和装置
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
JP7313828B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Li et al. A review of deep learning methods for pixel-level crack detection
CN114202803A (zh) 一种基于残差网络的多阶段人体异常动作检测方法
CN115512387A (zh) 基于改进yolov5模型的工地安全帽佩戴检测方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115496971A (zh) 一种红外目标检测方法、装置、电子设备及存储介质
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
CN114155186A (zh) 基于无监督学习的缺陷检测***及方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
Sun et al. Flame Image Detection Algorithm Based onComputer Vision.
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant