CN112884090A - 基于改进YOLOv3的火灾检测识别方法 - Google Patents

基于改进YOLOv3的火灾检测识别方法 Download PDF

Info

Publication number
CN112884090A
CN112884090A CN202110399557.7A CN202110399557A CN112884090A CN 112884090 A CN112884090 A CN 112884090A CN 202110399557 A CN202110399557 A CN 202110399557A CN 112884090 A CN112884090 A CN 112884090A
Authority
CN
China
Prior art keywords
fire
yolov3
training
data set
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110399557.7A
Other languages
English (en)
Inventor
陈润斌
张若楠
蒋博文
张茂岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202110399557.7A priority Critical patent/CN112884090A/zh
Publication of CN112884090A publication Critical patent/CN112884090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对传统火灾检测方法识别率低、检测时间长、无法实时监测等问题，提出一种基于改进YOLOv3算法的新火灾识别检测方法YOLOv3‑CA。YOLOv3‑CA基于YOLOv3的基本结构，在网络的卷积模块中添加注意力机制模块，以增加特征提取的效果。另引入自适应空间特征融合方法来更加充分的利用高层特征的语义信息和底层特征的细粒度特征。在模型回归部分引入新的损失函数Focalloss。检测方法步骤如下：构建火灾数据集；标注用于训练的数据集；按比例将数据集划分为训练集和测试集；提出一种新的YOLO算法；训练修改后的深度卷积神经网络；利用训练好的模型在测试集上验证模型效果。实验结果表明，改进算法的准确率和召回率分别为85.99％、75.43％，mAP为81.57，fps为25，可以在保证准确率的同时实现快速实时的火灾检测。

Description

基于改进YOLOv3的火灾检测识别方法
技术领域
本发明属于人工智能中的计算机视觉领域，它是一种通过改进YOLOv3来进行火灾检测的方法，本质上是对图像上的火焰进行识别和定位。
背景技术
目前，火灾已经成为威胁生命财产和自然环境的一项重大威胁。有效地检测火灾发生情况，对相关人员及时救火抢险，消灭威胁，减小损失有这积极的意义。
传统的火灾检测一种方法是依靠人力看守，巡查，该方法一方面需要消耗大量人力，另一方面会因天气，坏境，地形，巡查人员的身体状况的情况的影响而制约了检测效率，甚至出现漏查的现象。
另一种方法是使用火灾感应器检测火灾。火灾感应器通过内置的热量、烟雾感应器等判断火情的发生来进行报价，该方法目前广泛运用于火灾检测中。然而，火灾检测器在实际运用中具有一定的局限性。由于火灾检测器接触性检测的性质，检测器必须要等火灾发生了一定时间后，产生了大量火光烟雾后才能识别为发生了火灾，且无法清楚的感知到火灾的大小、详细位置。
为了解决这个问题，检测器必须大量进行铺设以保证检测的精准度，但在森林，仓库等地方这是很难实现的，因此，需要一种低成本、高效率的检测方法。
发明内容
为了克服传统火灾检测技术的缺陷和不足，一种基于改进YOLOv3的火灾检测识别方法，其实现步骤如下：
第一步，构建火灾数据集：通过网页爬取技术获取网络上的火灾图片，然后对火灾图片进行筛选，并用滤波技术对筛选好的图片进行图像增强。处理成功的火灾图片一共有2000张，涵盖了各种环境，如森林、室内、草原等。
第二步，标注用于训练的数据集：本文使用的算法需要对标注图像生成的xml文件的信息进行读取，读取xml文件中图像的宽高以及标注区域的左上角坐标和右下角坐标。在标注图片的时候，我们使用的是labelImg，使用它能够有效地对图像进行标注，并在标注完之后生成VOC格式的xml文件。
第三步，提出一种新的YOLO算法：在YOLOv3的主干网络darknet53中引入了SE残差模块，同时在YOLOv3采用FPN的输出方式的基础上引入自适应空间特征融合技术。
第四步，训练修改后的深度卷积神经网络：基于已有的火灾数据集预训练修改后的神经网络，在训练时对前50个epoch使用冻结训练，后50个epoch 进行解冻训练。
第五步，利用训练好的模型在测试集上验证模型效果。
改进YOLOv3损失函数，修改后的损失函数如下式所示：
Figure BDA0003019589820000021
针对YOLOv3算法在火灾检测方面的不足，本发明提出加入注意力机制SE 模块、引入自适应空间特征融合以及改进损失函数等想法，并通过实验证明了各种想法的可行性。性能相比Faster R-CNN、YOLOv3有了很大的一些提升。
附图说明
图1火灾图片标注
图2 SE残差模块
图3 P-R曲线
图4检测结果
具体实施方式
本发明提供了一种基于改进YOLOv3的火灾检测识别方法，下面通过实例简述本发明实现火灾检测并定位火灾位置的过程。
1)通过网页爬取技术获取网络上的火灾图片，然后对火灾图片进行筛选，并用滤波技术对筛选好的图片进行图像增强。处理成功的火灾图片一共有 2000张，涵盖了各种环境，如森林、室内、草原等。本文使用的算法需要对标注图像生成的xml文件的信息进行读取，读取xml文件中图像的宽高以及标注区域的左上角坐标和右下角坐标。在标注图片的时候，我们使用的是 labelImg，使用它能够有效地对图像进行标注，并在标注完之后生成VOC格式的xml文件。使用标注工具对火灾图片进行标注的过程截图如图1所示。
2)用k-means++聚类算法处理已标注好的火灾数据集得到9个不同大小的锚框，锚框的大小依次为[10,13],[16,30],[33,23],[30,61],[62,45], [59,119],[116,90],[156,198],[373,326]
3)在YOLOv3的主干网络darknet53中引入了SE残差模块，SE残差模块的示意图如图2所示，同时在YOLOv3采用FPN的输出方式的基础上引入自适应空间特征融合技术。
4)改进YOLOv3损失函数，修改后的损失函数如下式所示：
Figure BDA0003019589820000031
5)训练修改后的深度卷积神经网络。
6)利用已训练好的YOLOv3检测模型在测试集上验证模型效果，在验证集上生成的P-R曲线如图3所示，验证集中部分图片的检测效果如图4所示。

Claims (4)

1.一种基于改进YOLOv3的火灾检测识别方法，具体步骤如下：
第一步，构建火灾数据集：通过网页爬取技术获取网络上的火灾图片，然后对火灾图片进行筛选，并用滤波技术对筛选好的图片进行图像增强；处理成功的火灾图片一共有2000张，涵盖了各种环境，如森林、室内、草原等。
第二步，标注用于训练的数据集：本文使用的算法需要对标注图像生成的xml文件的信息进行读取，读取xml文件中图像的宽高以及标注区域的左上角坐标和右下角坐标；在标注图片的时候，我们使用的是labelImg，使用它能够有效地对图像进行标注，并在标注完之后生成VOC格式的xml文件。
第三步，提出一种新的YOLO算法：在YOLOv3的主干网络darknet53中引入了SE残差模块，同时在YOLOv3采用FPN的输出方式的基础上引入自适应空间特征融合技术。
第四步，训练修改后的深度卷积神经网络：基于已有的火灾数据集预训练修改后的神经网络，在训练时对前50个epoch使用冻结训练，后50个epoch进行解冻训练。
第五步，利用训练好的模型在测试集上验证模型效果。
2.根据权利要求1所述的方法，其特征在于，改进YOLOv3主干网络darknet53，在darknet53中引入SE残差模块。
3.根据权利要求1所述的方法，其特征在于，在YOLOv3采用FPN的输出方式的基础上引入自适应空间特征融合技术。
4.根据权利要求1所述的方法，其特征在于，改进YOLOv3损失函数，修改后的损失函数如下式所示：
Figure FDA0003019589810000021
式中：λcoord为坐标预测的惩罚系数，本发明中取5；λnoobj为不包括目标时的置信惩罚系数，本文取0.5；S2为网格数，B为每个单元的预测框数；
Figure FDA0003019589810000022
和
Figure FDA0003019589810000023
表示目标是否落入第i单元的第j个边界框；xi，yi，wi，hi分别表示真实目标中心点横纵坐标及宽度和高度；
Figure FDA0003019589810000024
分别表示预测的目标中心点横纵坐标及宽度和高度；Ci和
Figure FDA0003019589810000025
分别表示第i个网格中目标的真实置信度和预测框的置信度；Pi(c)和
Figure FDA0003019589810000026
分别代表真实框和预测框类别的概率值。
CN202110399557.7A 2021-04-14 2021-04-14 基于改进YOLOv3的火灾检测识别方法 Pending CN112884090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399557.7A CN112884090A (zh) 2021-04-14 2021-04-14 基于改进YOLOv3的火灾检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399557.7A CN112884090A (zh) 2021-04-14 2021-04-14 基于改进YOLOv3的火灾检测识别方法

Publications (1)

Publication Number Publication Date
CN112884090A true CN112884090A (zh) 2021-06-01

Family

ID=76040069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399557.7A Pending CN112884090A (zh) 2021-04-14 2021-04-14 基于改进YOLOv3的火灾检测识别方法

Country Status (1)

Country Link
CN (1) CN112884090A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569956A (zh) * 2021-07-29 2021-10-29 广西电网有限责任公司电力科学研究院 一种基于ai算法的山火灾害勘查识别方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114140732A (zh) * 2021-12-09 2022-03-04 安徽大学 面向小样本条件下的消防火源检测方法、装置及存储介质
CN114200471A (zh) * 2021-12-07 2022-03-18 杭州电子科技大学信息工程学院 基于无人机的森林火源检测***、方法、存储介质、设备
CN114241189A (zh) * 2021-11-30 2022-03-25 东南大学 一种基于深度学习的船舶黑烟识别方法
KR102521725B1 (ko) * 2022-06-30 2023-04-17 주식회사 아이미츠 인공지능 기반의 화재 감지 시스템, 화재 감지 장치 및 그 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214399A (zh) * 2018-10-12 2019-01-15 清华大学深圳研究生院 一种嵌入SENet结构的改进YOLOV3目标识别算法
CN110852347A (zh) * 2019-10-17 2020-02-28 天津大学 采用改进YOLO v3的火灾检测方法
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111428550A (zh) * 2019-11-29 2020-07-17 长沙理工大学 一种基于改进YOLOv3的车辆检测方法
CN111754498A (zh) * 2020-06-29 2020-10-09 河南科技大学 一种基于YOLOv3的传送带托辊检测方法
CN111753787A (zh) * 2020-07-01 2020-10-09 江苏金海星导航科技有限公司 一种分离式的交通标志检测与识别方法
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN112634237A (zh) * 2020-12-25 2021-04-09 福州大学 一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214399A (zh) * 2018-10-12 2019-01-15 清华大学深圳研究生院 一种嵌入SENet结构的改进YOLOV3目标识别算法
CN110852347A (zh) * 2019-10-17 2020-02-28 天津大学 采用改进YOLO v3的火灾检测方法
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111428550A (zh) * 2019-11-29 2020-07-17 长沙理工大学 一种基于改进YOLOv3的车辆检测方法
CN111754498A (zh) * 2020-06-29 2020-10-09 河南科技大学 一种基于YOLOv3的传送带托辊检测方法
CN111753787A (zh) * 2020-07-01 2020-10-09 江苏金海星导航科技有限公司 一种分离式的交通标志检测与识别方法
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN112634237A (zh) * 2020-12-25 2021-04-09 福州大学 一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINBEI JIANG ET AL: "Real-Time Face Mask Detection Method Based on YOLOv3", 《ELECTRONICS》 *
杨熙: "自然场景中的交通标志检测与识别", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
邹承明 等: "融合GIoU和Focal loss的YOLOv3目标检测算法", 《计算机工程与应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569956A (zh) * 2021-07-29 2021-10-29 广西电网有限责任公司电力科学研究院 一种基于ai算法的山火灾害勘查识别方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114241189A (zh) * 2021-11-30 2022-03-25 东南大学 一种基于深度学习的船舶黑烟识别方法
CN114241189B (zh) * 2021-11-30 2024-06-07 东南大学 一种基于深度学习的船舶黑烟识别方法
CN114200471A (zh) * 2021-12-07 2022-03-18 杭州电子科技大学信息工程学院 基于无人机的森林火源检测***、方法、存储介质、设备
CN114140732A (zh) * 2021-12-09 2022-03-04 安徽大学 面向小样本条件下的消防火源检测方法、装置及存储介质
KR102521725B1 (ko) * 2022-06-30 2023-04-17 주식회사 아이미츠 인공지능 기반의 화재 감지 시스템, 화재 감지 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN112884090A (zh) 基于改进YOLOv3的火灾检测识别方法
CN110852347B (zh) 采用改进YOLO v3的火灾检测方法
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及***
CN111274930B (zh) 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN109815904B (zh) 一种基于卷积神经网络的火灾识别方法
CN113283344A (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
Zheng et al. Component identification and defect detection in transmission lines based on deep learning
CN115240069A (zh) 一种全雾天场景下的实时性障碍物检测方法
CN116307740B (zh) 基于数字孪生城市的起火点分析方法及***、设备及介质
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、***及设备
CN116206223A (zh) 一种基于无人机边缘计算的火灾检测方法及***
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN114399719A (zh) 一种变电站火灾视频监测方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
CN114359838A (zh) 一种基于高斯交叉注意力网络的跨模态行人检测方法
Dai et al. Multi-scale video flame detection for early fire warning based on deep learning
CN116577345B (zh) 一种锂电池极耳数量检测方法及***
Wu et al. Post-flood disaster damaged houses classification based on dual-view image fusion and Concentration-Based Attention Module
CN110852174A (zh) 一种基于视频监控的早期烟雾检测方法
CN117197978A (zh) 一种基于深度学习的林火监测预警***
CN115546682A (zh) 一种基于视频的动态烟雾检测方法
CN108647601A (zh) 一种基于卷积网络的火灾场景中烟雾的检测方法
CN114755949A (zh) 一种基于人居环境的农村智慧遥感监控***
CN113673377A (zh) 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210601

WD01 Invention patent application deemed withdrawn after publication