CN111091072A - 一种基于YOLOv3的火焰及浓烟检测方法 - Google Patents
一种基于YOLOv3的火焰及浓烟检测方法 Download PDFInfo
- Publication number
- CN111091072A CN111091072A CN201911197998.8A CN201911197998A CN111091072A CN 111091072 A CN111091072 A CN 111091072A CN 201911197998 A CN201911197998 A CN 201911197998A CN 111091072 A CN111091072 A CN 111091072A
- Authority
- CN
- China
- Prior art keywords
- flame
- smoke
- dense smoke
- data set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 114
- 238000001514 detection method Methods 0.000 title claims abstract description 101
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 3
- 238000007706 flame test Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010037180 Psychiatric symptoms Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOv3的火焰及浓烟检测方法，包含以下步骤：建立火焰数据集与浓烟数据集；使用随机水平翻转，裁剪，旋转的方式进行数据增强；使用YOLOv3算法分别训练出火焰模型和浓烟模型，融合为最终模型；在现有视频监控***中，增加火焰和烟雾检测模块；基于视频监控***的摄像头实时采集监控场景视频，并基于ffmpeg框架从视频中提取图像帧；采用融合检测模型对每帧图像进行检测，确定图像中有无火焰及浓烟并标出它们的位置；当检测到火情时自动报警，联动自动消防设备，摄像头提供实时监控。本发明可以实现对重要场所火情有效监控和危险预警，该方法具有不依赖手工特征，检测成本低，检测速度快、准确率高等优点。
Description
技术领域
本发明属于计算机视觉和机器学习的交叉研究领域，更具体地，涉及一种基于YOLOv3的火焰及浓烟检测方法。
背景技术
火灾的发生会危及人们的生命财产安全，在变电站、医院、图书馆、森林等重要场所中发生火灾更是会造成不可挽回的损失。在这些重要场所中，火焰及时被识别、预警对专业人员的人身安全和公共财产安全具有重要意义。
火灾发生时，通常伴随产生浓烟、高温、高亮度等。因此，烟雾浓度、火焰亮度、温度等参数常作为火灾探测的重要参量。相应地，烟雾传感器、温度传感器等常被用于火灾检测。但是，传感器易受环境因素影响，且需要特定的应用环境，在森林等场所的火灾检测中无法使用。
随着计算机视觉技术的发展，基于图像的火焰/烟雾检测技术已成为研究热点。与基于传感器的火焰/烟雾检测技术相比，基于图像的火焰/烟雾检测技术不仅可以克服环境的影响，快速及时响应火情，而且可以清楚地提供火灾现场实时情况，便于施救人员处理。
早期的基于图像的火焰检测技术，通常基于火焰的颜色、亮度、纹理、形状等特征实现火焰检测。但是这类根据给定火焰特征的方法，抗干扰能力差、泛化能力不强，而火焰的发生场景、燃烧形态、伴随产生的烟雾的形态等，具有多样性，且容易受环境的影响，从而检测算法在不同场景下误报率高。
随着深度学习技术的不断发展，从更深层次自动挖掘特征并分析，已经成为火灾视频检测领域的新思路。把人工智能和深度学习技术应用到火灾监控中，通过图像处理与识别技术，避免了繁琐而耗时的特征提取过程，可以自动地从火焰和烟雾数据中学习丰富的特征，进一步提高火灾检测的准确率并实现火灾定位。
目标检测算法主要分为基于区域提议的两阶段目标检测算法和基于位置回归的一阶段目标检测算法。两阶段目标检测算法检测精度更高，一阶段目标检测算法检测速度较快，YOLOv3深度学***均检测精度及对小物体的检测效果；使用Logistic函数代替Softmax函数输出预测，支持单目标多标签分类。
发明内容
发明目的：针对现有技术中存在的传感器易受环境因素影响，灵敏度差，可靠性不足的问题，本发明提供了一种基于YOLOv3的火焰及浓烟检测方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：
一种基于YOLOv3的火焰及浓烟检测方法，步骤如下：
步骤1，收集包含火焰和浓烟的图像，建立火焰初始数据集和浓烟初始数据集；
步骤2，分别对火焰和浓烟初始数据集中的图像进行数据增强操作以扩充数据集，对扩充后数据集进行标注，按随机方式分别从扩充后的火焰和浓烟数据集中选择p％作为火焰训练数据集和浓烟训练数据集，对应数据集的剩余部分分别作为火焰测试数据集和浓烟测试数据集；优选的，所述数据增强操作包括随机水平翻转、裁剪、旋转、统一缩放至固定的尺寸；优选的，p％设为70％；
步骤3，使用火焰训练数据集和浓烟训练数据集分别训练YOLOv3卷积神经网络，得到火焰检测模型和浓烟检测模型，并通过模型融合得到火焰和烟雾融合检测模型；
步骤4，在现有视频监控***中，增加火焰和烟雾检测模块；
步骤5，基于视频监控***的摄像头实时采集监控场景视频，并基于ffmpeg框架从视频中提取图像帧；
步骤6，采用融合检测模型对每帧图像进行检测，确定图像中有无火焰及浓烟并标出它们的位置；
步骤7，当检测到火情(火焰或浓烟)时，将检测结果图像传回监控终端并报警，联动自动消防设备，摄像头对火情实时监控。
进一步，所述步骤1具体包括：
步骤1-1，通过自行拍摄和网上爬虫获得包含火焰和浓烟的图像和视频；
步骤1-2，采用ffmpeg框架从火焰视频中提取火焰/浓烟图像帧，对所有图像标注火焰和浓烟区域，分别生成VOC格式的火焰数据集和浓烟数据集。
进一步，所述步骤3具体包括：
步骤3-1，在tensorflow平台下，分别采用火焰训练集和浓烟训练集训练YOLOv3模型；YOLOv3卷积神经网络以数据集中的二维图像作为输入，以与输入二维图像上对应目标的位置和类别预测置信度为输出；
步骤3-2，依据选择的损失函数，利用梯度下降反向传播方法，对YOLOv3模型中的深度卷积神经网络的参数进行迭代更新，将迭代至最大设定次数后得到的网络参数作为最优的网络参数，完成训练，得到初步的火焰检测模型和浓烟检测模型；
步骤3-3，使用测试集对初步的火焰检测模型和浓烟检测模型分别进行测试，根据测试结果调整网络结构，将无法检测或检测错误的图片(即难例)加入训练集，并重新训练直至测试结果达到预期为止，得到最终的火焰检测模型和浓烟检测模型；
步骤3-4，取并集融合火焰检测模型和浓烟检测模型的结果，减少漏检率，得到火焰和烟雾融合检测模型。
进一步，所述步骤5具体包括：
步骤5-1，摄像头通过无线或硬件接线的方式与计算机连接，将实时拍摄的视频输入计算机；
步骤5-2，基于ffmpeg框架每n帧提取一张图像，当现场环境的光通量、亮度和照度效果不满足预期时对提取的图像进行预处理操作；所述预处理操作包括去噪、对比度增强、亮度和饱和度调整；优选的，n取值范围为[25,30]。
进一步，所述YOLOv3卷积神经网络，使用Darknet-53基础卷积网络。
进一步，所述YOLOv3卷积神经网络，采用了3个不同尺度的特征图来进行对象检测。低层的特征图是第26层卷积层的输出，拥有较高的分辨率，几何细节丰富，更容易检测到较小型火焰和浓烟(火焰/浓烟区域的长宽小于原图像尺寸的0.1)；高层的特征图是第52层卷积层的输出，语义清晰，具有更大的感受野，更容易检测到大面积火焰和浓烟(火焰/浓烟区域的长宽超过原图像尺寸的0.5)；中层的特征图是第43层卷积层的输出，具有中等尺度的感受野，适合检测中等火焰和浓烟(火焰/浓烟区域的长宽不小于原图像尺寸的0.1且不超过原图像尺寸的0.5)。
进一步，所述YOLOv3卷积神经网络，使用了9个尺度的先验框，分别是：(10×13)，(16×30)，(33×23)，(30×61)，(62×45)，(59×119)，(116×90)，(156×198)，(373×326)。
进一步，所述YOLOv3卷积神经网络，在预测对象类别时不再使用Softmax函数，改成使用Logistic的输出进行预测，可以预测对象的多个标签，支持多标签对象，在火焰和浓烟混杂的情况下同时检测出两类目标。
进一步，所述训练过程选用的损失函数包括位置损失、类别预测损失和置信度损失，其表达式为：
其中M表示一张图片中的样本总数，λobj标记区域中是否含有目标，当图像中有目标时λobj取1，否则，λobj取0；Lpos表示位置损失，Lcl表示类别损失，Lconf表示置信度损失；
位置损失Lpos的计算方式如下：
其中x、y分别为目标区域中心的横、纵坐标，w、h分别为目标区域的宽度、高度，T代表真实值，P代表预测值；
类别损失Lcl的计算方式如下：
其中cl表示类别，k表示类别数，Ir表示r类别是否为真实目标类别，当类别r为真实目标类别时，Ir为1，否则Ir为0；
置信度损失Lconf的计算方式如下：
Lconf＝(Tconf-Pconf)2
其中conf表示置信度。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明创新性地提出基于YOLOv3的火焰及浓烟检测方法。使用训练好的深度卷积神经网络模型，自动检测重要场所内是否发生火灾，不仅可以自动提取特征，避免人工提取特征的复杂工作，而且具有检测成本低，检测速度快、准确率高等优点。该方法有效的将计算机技术、图像处理技术应用到火灾检测中，可以广泛的应用到电力场所、医院、图书馆、森林等重要场所，为火灾的检测预警和救火援助提供了有效途径。
附图说明
图1是本发明的基于YOLOv3的火焰及浓烟检测方法流程示意图；
图2是YOLOv3模型训练过程；
图3是火焰和烟雾检测样例。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
本发明提供了一种基于YOLOv3的火焰及浓烟检测方法，其通过现场的视频监控***，对重要场所进行火灾监控。在检测到火焰或浓烟自动报警，并显示着火位置，为救火人员提供实时数据。如图1所示，该方法包括如下步骤：
步骤1，收集包含火焰和浓烟的图像，建立火焰初始数据集和浓烟初始数据集；具体包括：
步骤1-1，通过自行拍摄和网上爬虫获得一定量包含火焰和浓烟的图像和视频；
步骤1-2，采用ffmpeg框架从火焰视频中提取火焰/浓烟图像帧，对所有图像标注火焰和浓烟区域，分别生成VOC格式的火焰数据集和浓烟数据集。
步骤2，分别对火焰和浓烟初始数据集中的图像进行数据增强操作以扩充数据集，对扩充后数据集进行标注，按随机方式分别从扩充后的火焰和浓烟数据集中选择70％作为火焰训练数据集和浓烟训练数据集，对应数据集的剩余部分分别作为火焰测试数据集和浓烟测试数据集；所述数据增强操作包括随机水平翻转、裁剪、旋转、统一缩放至固定的尺寸；
步骤3，使用火焰训练数据集和浓烟训练数据集分别训练YOLOv3卷积神经网络，得到火焰检测模型和浓烟检测模型，并通过模型融合得到火焰和烟雾融合检测模型；本实施例中，所述YOLOv3卷积神经网络，采用Darknet-53基础卷积网络，YOLOv3模型训练过程如图2所示，具体包括：
步骤3-1，在tensorflow平台下，分别采用火焰训练集和浓烟训练集训练YOLOv3模型；YOLOv3卷积神经网络以数据集中的二维图像作为输入，以与输入二维图像上对应目标的位置和类别预测置信度为输出；
步骤3-2，依据选择的损失函数，利用梯度下降反向传播方法，对YOLOv3模型中的深度卷积神经网络的参数进行迭代更新，将迭代至最大设定次数后得到的网络参数作为最优的网络参数，完成训练，得到初步的火焰检测模型和浓烟检测模型；
所述训练过程选用的损失函数考虑了位置损失、类别预测损失和置信度损失，其表达式为：
其中M表示一张图片中的样本总数，λobj标记区域中是否含有目标，当图像中有目标时λobj取1，否则，λobj取0；Lpos表示位置损失，Lcl表示类别损失，Lconf表示置信度损失；
位置损失Lpos的计算方式如下：
其中x、y分别为目标区域中心的横、纵坐标，w、h分别为目标区域的宽度、高度，T代表真实值，P代表预测值；
类别损失Lcl的计算方式如下：
其中cl表示类别，k表示类别数，Ir表示r类别是否为真实目标类别，当类别r为真实目标类别时，Ir为1，否则Ir为0；
置信度损失Lconf的计算方式如下：
Lconf＝(Tconf-Pconf)2
其中conf表示置信度；
本实施例中，网络参数设定如下：网络训练时设定学习率为0.001，当迭代到20000次时学习率衰减10倍，当迭代到40000次时再衰减10倍；网络动量参数为0.9；权重衰减正则项为0.0005；批次大小为64，子批次大小为32；训练时阈值为0.5，迭代次数为50000次；
步骤3-3，使用测试集对初步的火焰检测模型和浓烟检测模型分别进行测试，根据测试结果调整网络结构，将无法检测或检测错误的图片(即难例)加入训练集，并重新训练直至测试结果达到预期为止，得到最终的火焰检测模型和浓烟检测模型；
步骤3-4，取并集融合火焰检测模型和浓烟检测模型的结果，减少漏检率，得到火焰和烟雾融合检测模型。
步骤4，在现有视频监控***中，增加火焰和烟雾检测模块；
步骤5，基于视频监控***的摄像头实时采集监控场景视频，并基于ffmpeg框架从视频中提取图像帧；具体包括：
步骤5-1，摄像头通过无线或硬件接线的方式与计算机连接，将实时拍摄的视频输入计算机；
步骤5-2，基于ffmpeg框架每25-30帧提取一张图像，当现场环境的光通量、亮度和照度效果不满足预期时对提取的图像进行预处理操作；所述预处理操作包括去噪、对比度增强、亮度和饱和度调整。
步骤6，采用融合检测模型对每帧图像进行检测，确定图像中有无火焰及浓烟并标出它们的位置，如图3所示。
步骤7，当检测到火情(火焰或浓烟)时，将检测结果图像传回监控终端并报警，联动自动消防设备，摄像头对火情实时监控。
本发明创新性地提出基于YOLOv3的火焰及浓烟检测方法。使用训练好的深度卷积神经网络模型，自动检测是否发生火灾，不仅可以自动提取特征，避免人工提取特征的复杂工作，而且具有检测成本低，检测速度快、准确率高等优点。该方法有效的将计算机技术、图像处理技术应用到火灾检测中，可以广泛的应用到电力场所、医院、图书馆等重要场所，为火灾的检测预警和救火援助提供了有效途径。
熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中，如道路火灾监控、房屋失火监控等。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (9)
1.一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：包括以下步骤：
步骤1，收集包含火焰和浓烟的图像，分别建立火焰初始数据集和浓烟初始数据集；
步骤2，分别对火焰和浓烟初始数据集中的图像进行数据增强操作以扩充数据集，对扩充后数据集进行标注，按随机方式分别从扩充后的火焰和浓烟数据集中选择p％作为火焰训练数据集和浓烟训练数据集，对应数据集的剩余部分分别作为火焰测试数据集和浓烟测试数据集；
步骤3，使用火焰训练数据集和浓烟训练数据集分别训练YOLOv3卷积神经网络，得到火焰检测模型和浓烟检测模型，并通过模型融合得到火焰和烟雾融合检测模型；
步骤4，在现有视频监控***中增加火焰和烟雾检测模块；
步骤5，基于视频监控***的摄像头实时采集监控场景视频，并基于ffmpeg框架从视频中提取图像帧；
步骤6，采用融合检测模型对每帧图像进行检测，确定图像中有无火焰及浓烟并标出它们的位置；
步骤7，当检测到火焰或浓烟时，将检测结果图像传回监控终端并报警，联动自动消防设备，摄像头对火情实时监控。
2.根据权利要求1所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述步骤1具体包括：
步骤1-1，通过自行拍摄和网上爬虫获得包含火焰和浓烟的图像和视频；
步骤1-2，采用ffmpeg框架从火焰视频中提取火焰和浓烟图像帧，对所有图像标注火焰和浓烟区域，分别生成VOC格式的火焰数据集和浓烟数据集。
3.根据权利要求1所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述步骤3具体包括：
步骤3-1，在tensorflow平台下，分别采用火焰训练集和浓烟训练集训练YOLOv3模型；YOLOv3卷积神经网络以数据集中的二维图像作为输入，以与输入二维图像上对应目标的位置和类别预测置信度为输出；
步骤3-2，依据选择的损失函数，利用梯度下降反向传播方法，对YOLOv3模型中的深度卷积神经网络的参数进行迭代更新，将迭代至最大设定次数后得到的网络参数作为最优的网络参数，完成训练，得到初步的火焰检测模型和浓烟检测模型；
步骤3-3，使用测试集对初步的火焰检测模型和浓烟检测模型分别进行测试，根据测试结果调整网络结构，将无法检测或检测错误的图片加入训练集，并重新训练直至测试结果达到预期为止，得到最终的火焰检测模型和浓烟检测模型；
步骤3-4，取并集融合火焰检测模型和浓烟检测模型的结果，得到火焰和烟雾融合检测模型。
4.根据权利要求1所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述步骤5具体包括：
步骤5-1，摄像头通过无线或硬件接线的方式与计算机连接，将实时拍摄的视频输入计算机；
步骤5-2，基于ffmpeg框架每n帧提取一张图像，当现场环境的光通量、亮度和照度效果不满足预期时对提取的图像进行预处理操作；所述预处理操作包括去噪、对比度增强、亮度和饱和度调整。
5.根据权利要求1-4任一所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述YOLOv3卷积神经网络，使用Darknet-53基础卷积网络。
6.根据权利要求5所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述YOLOv3卷积神经网络，采用3个不同尺度的特征图进行对象检测，低层的特征图是第26层卷积层的输出，检测到的火焰/浓烟区域的长宽小于原图像尺寸的0.1；高层的特征图是第52层卷积层的输出，检测到的火焰/浓烟区域的长宽超过原图像尺寸的0.5；中层的特征图是第43层卷积层的输出，检测到的火焰/浓烟区域的长宽不小于原图像尺寸的0.1且不超过原图像尺寸的0.5。
7.根据权利要求6所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述YOLOv3卷积神经网络，使用了9个尺度的先验框，分别是：(10×13)，(16×30)，(33×23)，(30×61)，(62×45)，(59×119)，(116×90)，(156×198)，(373×326)。
8.根据权利要求7所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述YOLOv3卷积神经网络，在预测对象类别时使用Logistic的输出进行预测，预测对象的多个标签，在火焰和浓烟混杂的情况下同时检测出两类目标。
9.根据权利要求3所述的一种基于YOLOv3的火焰及浓烟检测方法，其特征在于：所述训练过程选用的损失函数包括位置损失、类别预测损失和置信度损失，其表达式为：
其中M表示一张图片中的样本总数，λobj标记区域中是否含有目标，当图像中有目标时λobj取1，否则，λobj取0；Lpos表示位置损失，Lcl表示类别损失，Lconf表示置信度损失；
位置损失Lpos的计算方式如下：
其中x、y分别为目标区域中心的横、纵坐标，w、h分别为目标区域的宽度、高度，T代表真实值，P代表预测值；
类别损失Lcl的计算方式如下：
其中cl表示类别，k表示类别数，Ir表示r类别是否为真实目标类别，当类别r为真实目标类别时，Ir为1，否则Ir为0；
置信度损失Lconf的计算方式如下：
Lconf＝(Tconf-Pconf)2
其中conf表示置信度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911197998.8A CN111091072A (zh) | 2019-11-29 | 2019-11-29 | 一种基于YOLOv3的火焰及浓烟检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911197998.8A CN111091072A (zh) | 2019-11-29 | 2019-11-29 | 一种基于YOLOv3的火焰及浓烟检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111091072A true CN111091072A (zh) | 2020-05-01 |
Family
ID=70393189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911197998.8A Pending CN111091072A (zh) | 2019-11-29 | 2019-11-29 | 一种基于YOLOv3的火焰及浓烟检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091072A (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523528A (zh) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | 基于规模识别模型的策略发送方法、装置和计算机设备 |
| CN111599444A (zh) * | 2020-05-18 | 2020-08-28 | 深圳市悦动天下科技有限公司 | 智能舌诊检测方法、装置、智能终端和存储介质 |
| CN111680632A (zh) * | 2020-06-10 | 2020-09-18 | 深延科技(北京)有限公司 | 基于深度学习卷积神经网络的烟火检测方法及*** |
| CN111723656A (zh) * | 2020-05-12 | 2020-09-29 | 中国电子***技术有限公司 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
| CN111860323A (zh) * | 2020-07-20 | 2020-10-30 | 北京华正明天信息技术股份有限公司 | 一种基于yolov3算法识别监控画面中初期火灾的方法 |
| CN111964723A (zh) * | 2020-08-18 | 2020-11-20 | 合肥金果缘视觉科技有限公司 | 一种基于人工智能的花生米短芽检测*** |
| CN111985365A (zh) * | 2020-08-06 | 2020-11-24 | 合肥学院 | 一种基于目标检测技术的秸秆焚烧监测方法和*** |
| CN111986436A (zh) * | 2020-09-02 | 2020-11-24 | 成都指码科技有限公司 | 一种基于紫外、深度神经网络的综合火焰检测方法 |
| CN112036286A (zh) * | 2020-08-25 | 2020-12-04 | 北京华正明天信息技术股份有限公司 | 一种基于yoloV3算法实现温度感应及智能分析识别火焰的方法 |
| CN112107812A (zh) * | 2020-05-21 | 2020-12-22 | 西南科技大学 | 一种基于深度卷积神经网络的森林火灾消防方法及*** |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112149583A (zh) * | 2020-09-27 | 2020-12-29 | 山东产研鲲云人工智能研究院有限公司 | 烟雾检测方法、终端设备及存储介质 |
| CN112241693A (zh) * | 2020-09-25 | 2021-01-19 | 上海荷福人工智能科技（集团）有限公司 | 基于YOLOv3实现的违规焊接动火图像识别方法 |
| CN112488213A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于多尺度特征学习网络的火灾图片分类方法 |
| CN112735083A (zh) * | 2021-01-19 | 2021-04-30 | 齐鲁工业大学 | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN113033553A (zh) * | 2021-03-22 | 2021-06-25 | 深圳市安软科技股份有限公司 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
| CN113706815A (zh) * | 2021-08-31 | 2021-11-26 | 沈阳二一三电子科技有限公司 | 一种结合YOLOv3和光流法的车辆火灾识别方法 |
| CN113743190A (zh) * | 2021-07-13 | 2021-12-03 | 淮阴工学院 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及*** |
| CN113903009A (zh) * | 2021-12-10 | 2022-01-07 | 华东交通大学 | 一种基于改进YOLOv3网络的铁路异物检测方法与*** |
| CN114022850A (zh) * | 2022-01-07 | 2022-02-08 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、***及相关设备 |
| CN114998783A (zh) * | 2022-05-19 | 2022-09-02 | 安徽合为智能科技有限公司 | 一种用于烟火及人员行为视频分析的前端设备 |
| CN115223324A (zh) * | 2022-06-16 | 2022-10-21 | 中电云数智科技有限公司 | 一种烟雾实时监控方法及*** |
| CN115331384A (zh) * | 2022-08-22 | 2022-11-11 | 重庆科技学院 | 基于边缘计算的作业平台火灾事故预警*** |
| CN116503715A (zh) * | 2023-06-12 | 2023-07-28 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN116978207A (zh) * | 2023-09-20 | 2023-10-31 | 张家港江苏科技大学产业技术研究院 | 一种多功能的实验室安全监测与预警*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
-
2019
- 2019-11-29 CN CN201911197998.8A patent/CN111091072A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723656B (zh) * | 2020-05-12 | 2023-08-22 | 中国电子***技术有限公司 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
| CN111723656A (zh) * | 2020-05-12 | 2020-09-29 | 中国电子***技术有限公司 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
| CN111599444A (zh) * | 2020-05-18 | 2020-08-28 | 深圳市悦动天下科技有限公司 | 智能舌诊检测方法、装置、智能终端和存储介质 |
| CN112107812A (zh) * | 2020-05-21 | 2020-12-22 | 西南科技大学 | 一种基于深度卷积神经网络的森林火灾消防方法及*** |
| CN111680632A (zh) * | 2020-06-10 | 2020-09-18 | 深延科技(北京)有限公司 | 基于深度学习卷积神经网络的烟火检测方法及*** |
| CN111523528B (zh) * | 2020-07-03 | 2020-10-20 | 平安国际智慧城市科技股份有限公司 | 基于规模识别模型的策略发送方法、装置和计算机设备 |
| CN111523528A (zh) * | 2020-07-03 | 2020-08-11 | 平安国际智慧城市科技股份有限公司 | 基于规模识别模型的策略发送方法、装置和计算机设备 |
| CN111860323A (zh) * | 2020-07-20 | 2020-10-30 | 北京华正明天信息技术股份有限公司 | 一种基于yolov3算法识别监控画面中初期火灾的方法 |
| CN111985365A (zh) * | 2020-08-06 | 2020-11-24 | 合肥学院 | 一种基于目标检测技术的秸秆焚烧监测方法和*** |
| CN111964723A (zh) * | 2020-08-18 | 2020-11-20 | 合肥金果缘视觉科技有限公司 | 一种基于人工智能的花生米短芽检测*** |
| CN112036286A (zh) * | 2020-08-25 | 2020-12-04 | 北京华正明天信息技术股份有限公司 | 一种基于yoloV3算法实现温度感应及智能分析识别火焰的方法 |
| CN111986436A (zh) * | 2020-09-02 | 2020-11-24 | 成都指码科技有限公司 | 一种基于紫外、深度神经网络的综合火焰检测方法 |
| CN112241693A (zh) * | 2020-09-25 | 2021-01-19 | 上海荷福人工智能科技（集团）有限公司 | 基于YOLOv3实现的违规焊接动火图像识别方法 |
| CN112149583A (zh) * | 2020-09-27 | 2020-12-29 | 山东产研鲲云人工智能研究院有限公司 | 烟雾检测方法、终端设备及存储介质 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112488213A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于多尺度特征学习网络的火灾图片分类方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN112735083A (zh) * | 2021-01-19 | 2021-04-30 | 齐鲁工业大学 | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 |
| CN113033553A (zh) * | 2021-03-22 | 2021-06-25 | 深圳市安软科技股份有限公司 | 多模式融合的火灾检测方法、装置、相关设备及存储介质 |
| CN113743190A (zh) * | 2021-07-13 | 2021-12-03 | 淮阴工学院 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及*** |
| CN113743190B (zh) * | 2021-07-13 | 2023-12-22 | 淮阴工学院 | 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及*** |
| CN113706815A (zh) * | 2021-08-31 | 2021-11-26 | 沈阳二一三电子科技有限公司 | 一种结合YOLOv3和光流法的车辆火灾识别方法 |
| CN113903009A (zh) * | 2021-12-10 | 2022-01-07 | 华东交通大学 | 一种基于改进YOLOv3网络的铁路异物检测方法与*** |
| CN113903009B (zh) * | 2021-12-10 | 2022-07-05 | 华东交通大学 | 一种基于改进YOLOv3网络的铁路异物检测方法与*** |
| CN114022850A (zh) * | 2022-01-07 | 2022-02-08 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、***及相关设备 |
| CN114022850B (zh) * | 2022-01-07 | 2022-05-03 | 深圳市安软慧视科技有限公司 | 变电站火灾监控方法、***及相关设备 |
| CN114998783A (zh) * | 2022-05-19 | 2022-09-02 | 安徽合为智能科技有限公司 | 一种用于烟火及人员行为视频分析的前端设备 |
| CN115223324A (zh) * | 2022-06-16 | 2022-10-21 | 中电云数智科技有限公司 | 一种烟雾实时监控方法及*** |
| CN115331384A (zh) * | 2022-08-22 | 2022-11-11 | 重庆科技学院 | 基于边缘计算的作业平台火灾事故预警*** |
| CN115331384B (zh) * | 2022-08-22 | 2023-06-30 | 重庆科技学院 | 基于边缘计算的作业平台火灾事故预警*** |
| CN116503715A (zh) * | 2023-06-12 | 2023-07-28 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN116503715B (zh) * | 2023-06-12 | 2024-01-23 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN116978207A (zh) * | 2023-09-20 | 2023-10-31 | 张家港江苏科技大学产业技术研究院 | 一种多功能的实验室安全监测与预警*** |
| CN116978207B (zh) * | 2023-09-20 | 2023-12-01 | 张家港江苏科技大学产业技术研究院 | 一种多功能的实验室安全监测与预警*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091072A (zh) | 一种基于YOLOv3的火焰及浓烟检测方法 | |
| Shen et al. | Flame detection using deep learning | |
| Gong et al. | A Real‐Time Fire Detection Method from Video with Multifeature Fusion | |
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| CN110852347B (zh) | 采用改进YOLO v3的火灾检测方法 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN113807276B (zh) | 基于优化的YOLOv4模型的吸烟行为识别方法 | |
| CN106682635A (zh) | 一种基于随机森林特征选择的烟雾检测方法 | |
| CN111985365A (zh) | 一种基于目标检测技术的秸秆焚烧监测方法和*** | |
| CN112699801B (zh) | 基于视频图像的火灾识别方法及*** | |
| CN110827505A (zh) | 一种基于深度学习的烟雾分割方法 | |
| CN113850242A (zh) | 一种基于深度学习算法的仓储异常目标检测方法及*** | |
| CN108229524A (zh) | 一种基于遥感图像的烟囱和冷凝塔检测方法 | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与*** | |
| CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测***及方法 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| Sun et al. | Image recognition technology in texture identification of marine sediment sonar image | |
| CN115719463A (zh) | 一种基于超分辨率重构和自适应挤压激励的烟火检测方法 | |
| CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
| CN113299034B (zh) | 一种适应多场景的火焰识别预警方法 | |
| KR102602439B1 (ko) | 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치 | |
| CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 | |
| CN115049986A (zh) | 基于改进型YOLOv4的火焰检测方法及*** | |
| CN114463681A (zh) | 一种基于视频监控平台的火灾检测方法 | |
| CN115082817A (zh) | 一种基于改进卷积神经网络的火焰识别和检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200501 |