CN111428695B - 一种基于深度学习与地域特征的秸秆燃烧检测方法 - Google Patents

一种基于深度学习与地域特征的秸秆燃烧检测方法 Download PDF

Info

Publication number
CN111428695B
CN111428695B CN202010394290.8A CN202010394290A CN111428695B CN 111428695 B CN111428695 B CN 111428695B CN 202010394290 A CN202010394290 A CN 202010394290A CN 111428695 B CN111428695 B CN 111428695B
Authority
CN
China
Prior art keywords
smoke
area
image
suspected
smokeless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010394290.8A
Other languages
English (en)
Other versions
CN111428695A (zh
Inventor
余锋
姜明华
周昌龙
马乐
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Publication of CN111428695A publication Critical patent/CN111428695A/zh
Application granted granted Critical
Publication of CN111428695B publication Critical patent/CN111428695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明属于环保领域，公开了一种基于深度学习与地域特征的秸秆燃烧检测方法，包括：在观测处采集不同视角的场景的图像，对无烟区进行标定；从拍摄的实时图像序列中获取图像；利用烟雾检测神经网络模型对疑似烟雾图像中的疑似烟雾区域进行识别和定位；对疑似烟雾图像进行视角识别，相对于相同视角的无烟区进行位置重合率计算，进行疑似烟雾候选区的过滤。本发明的烟雾识别方法先利用模型对图像进行检测，再利用视角识别及相同视角的场景的图像中的无烟区进行过滤，提高了烟雾检测的效率，减小了误报率。

Description

一种基于深度学习与地域特征的秸秆燃烧检测方法
技术领域
本发明属于环保领域，具体涉及一种基于深度学习与地域特征的秸秆燃烧检测方法。
背景技术
秸秆的露天焚烧属于低温焚烧，燃烧不完全，其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等造成大气污染，且会在一定程度上加重雾霾的发生。
计算机视觉技术飞速发展，计算机能够识别的场景越来越多，因此越来越多的场合开始使用基于视频分析的检测技术。近年来，出现了基于视频分析的烟雾检测方法。公开号为CN109389185A的中国专利“使用三维卷积神经网络的视频烟雾识别方法”是通过在Faster R-CNN处理得到疑似烟雾区域结果框及烟雾评分，收集目标帧前后一定数量的图像为连续视频帧，再用三维卷积神经网络对视屏帧进行三维特征提取，将提取到的特征向量与结果框的烟雾评分组成新的输入到SVM分类器中，进行是否为烟雾的分类。这种方法复杂度高，需要较大的运算和存储成本，且在秸秆燃烧的检测领域并不一定适用。申请号为CN109490930A的中国专利“一种秸秆燃烧定位***及方法”采用监控中心，定位检测节点，路由检测节点，移动检测节点及移动检测节点和匹配的无人机进行秸秆燃烧的检测。这个方法不能实时的检测秸秆燃烧的情况，同时也需要较大的成本。
发明内容
本发明的技术问题是现有的采用神经网络的烟雾识别方法复杂度高，计算量大，误报率高，现有的采用无人机的秸秆燃烧检测方法成本大，实时性不好。
本发明的目的是解决上述问题，提供一种基于深度学习与地域特征的秸秆燃烧检测方法，判断神经网络模型识别出的疑似烟雾候选区与相同视角的无烟区的重合率，对疑似烟雾候选区进行过滤，从而提高烟雾检测的效率，并减小误报率，用于秸秆燃烧的实时检测。
本发明的技术方案是一种基于深度学习与地域特征的秸秆燃烧检测方法，利用烟雾检测神经网络模型判断实时拍摄的图像是否含有疑似烟雾区域，并利用无烟区对模型检测出的包含有疑似烟雾区域的烟雾图像进行过滤，减小模型的误报率，所述秸秆燃烧检测方法包括以下步骤，
步骤1：在观测处采集不同视角的场景的图像，并对每个视角的场景的图像中不可能出现烟雾的区域进行标定，设为无烟区；
步骤2：从拍摄的实时图像序列中获取图像；
步骤3：利用烟雾检测神经网络模型对步骤2的图像进行烟雾识别并定位出图像中的疑似烟雾区域；
步骤4：将包含有疑似烟雾区域的图像进行视角识别，确定视角后，利用相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤。
所述位置重合率判断，若疑似烟雾候选区与无烟区的重合率超过阈值R，则判断疑似烟雾候选区为无效的候选区。
无烟区为不会产生烟雾的地面客体对象在图像中的位置，不会产生烟雾的地面客体对象包括房屋、湖泊、河流。
优选地，所述烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoIPooling层将输出转换为固定大小。卷积神经网络包括10个conv层、10个rule层，4个Pooling层。
优选的，所述视角识别，将包含有疑似烟雾区域的图像与步骤1的每个视角的场景的图像进行匹配，利用像素点的对比度、亮度，进行相似度计算，找到最相似的场景的图像，确定包含有疑似烟雾区域的图像的视角。利用像素点的方法如峰值信噪比、结构相似性、直方图方法、矩阵分解法。
优选的，所述重合率计算，利用疑似烟雾区域的坐标值与相同视角的无烟区的坐标值进行计算，得到重合区域的坐标值，根据重合区域的面积与无烟区面积的比值即重合区域的占比进行重合率的计算。
优选地，所述阈值R为0.3。
相比现有技术，本发明的有益效果：
1）本发明的烟雾识别方法对神经网络识别出的疑似烟雾候选区进行过滤，提高了烟雾检测的效率，减小了误报率；
2）本发明利用卷积神经网络提取特征图，利用RPN网络进行推荐候选区域，优化了烟雾检测神经网络模型的结构，使得烟雾检测神经网络模型的烟雾检测更高效、可靠；
3）本发明的方法采用少量样本对烟雾检测神经网络模型进行训练即能保证秸秆燃烧的烟雾识别的准确率，解决了样本不充足的问题；
4）本发明方法对采集的烟雾检测区域的视频中的图像进行实时的秸秆燃烧的烟雾检测，实时性好。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为基于深度学习与地域特征的秸秆燃烧检测方法的流程示意图。
图2为场景图像包括无烟区房屋的示意图。
图3为为场景图像包括无烟区单元楼的示意图。
图4为实施例中检测出的包含有疑似烟雾区域的烟雾图像示意图。
图5为实施例中检测出的疑似烟雾区域与无烟区重合的示意图。
图6为实施例的烟雾检测神经网络模型的结构示意图。
具体实施方式
实施例选择30米高的通信塔塔顶作为观测处，在通信塔塔顶安装摄像机，摄像机的镜头可围绕摄像机云台的纵轴水平地旋转以改变摄像机拍摄的视角，摄像机的镜头一次旋转60゜，6次旋转回归到初始视角，拍摄时通过旋转摄像机镜头采集6个不同的视角的场景的图像，摄像机拍摄时采用固定焦距。
如图1所示，一种基于深度学习与地域特征的秸秆燃烧检测方法，采用像素坐标系，判断烟雾检测神经网络模型识别出的疑似烟雾候选区与相同视角的无烟区的重合率，无烟区为不会产生烟雾的地面客体对象在图像中的位置，对疑似烟雾候选区进行过滤，所述秸秆燃烧检测方法包括以下步骤，
步骤1：从不同视角对进行秸杆燃烧检测的户外场景拍摄图像，设定视角序号，对每个视角的场景图像中不可能出现烟雾的区域进行标定，设为无烟区，如图2、图3所示；
步骤2：从拍摄的实时图像序列中获取图像；
步骤3：利用烟雾检测神经网络模型对步骤2的图像进行烟雾识别并定位出图像中的疑似烟雾区域，如图4所示；
步骤4：将包含有疑似烟雾区域的图像进行视角识别，确定视角后，利用相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤。
步骤4的位置重合率判断，若疑似烟雾候选区与无烟对象的目标框的重合率超过0.3，则判断疑似烟雾候选区为无效的候选区。
无烟区的对象包括房屋、湖泊、河流。
步骤4中，视角识别是将包含有疑似烟雾区域的图像与步骤1的每个视角的场景图像进行匹配，利用像素点的对比度、亮度，进行相似度计算，找到最相似的场景图像，确定包含有疑似烟雾区域的图像的视角。利用像素点的方法如峰值信噪比、结构相似性、直方图方法、矩阵分解法。
步骤4的重合率计算，利用疑似烟雾区域的坐标值与相同视角无烟区的坐标值进行计算，得到重合的区域的坐标值，根据重合区域的面积与无烟区面积的比值进行重合率的计算。如图5所示，实施例中识别出的疑似烟雾区与无烟区出现大面积重合，识别出的疑似烟雾区被过滤掉。
如图6所示，实施例的烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小。卷积神经网络包括10个conv层、10个rule层，4个Pooling层。实施例的烟雾检测神经网络模型比Faster R-CNN神经网络模型更加精简，降低了模型的复杂度。
本实施例实施时，采用本发明的疑似烟雾候选区过滤的烟雾检测方法相比不采用疑似烟雾候选区过滤的烟雾检测方法，误报率从77.2%降低为26.1%。

Claims (6)

1.一种基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，在户外观测处采集不同视角的场景的图像，利用烟雾检测神经网络模型判断出实时的场景图像中的疑似烟雾区域，并利用无烟区对模型检测出的包含有疑似烟雾区域的烟雾图像进行过滤，减小模型的误报率，所述秸秆燃烧检测方法包括以下步骤，
步骤1：在观测处采集不同视角的场景的图像，并对每个视角的场景的图像中不可能出现烟雾的区域进行标定，设为无烟区；
在通信塔塔顶安装摄像机，摄像机的镜头可围绕摄像机云台的纵轴水平地旋转以改变摄像机拍摄的视角，摄像机的镜头一次旋转60°，6次旋转回归到初始视角，拍摄时通过旋转摄像机镜头采集6个不同的视角的场景的图像，摄像机拍摄时采用固定焦距；
步骤2：从拍摄的实时图像序列中获取图像；
步骤3：利用烟雾检测神经网络模型对步骤2的图像进行烟雾识别并定位出图像中的疑似烟雾区域；
步骤4：将包含有疑似烟雾区域的图像进行视角识别，确定视角后，相对于相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤；
所述烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小；卷积神经网络包括10个conv层、10个relu层，4个Pooling层。
2.根据权利要求1所述的基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，所述位置重合率判断，若疑似烟雾候选区与无烟区的重合率超过阈值R，则判断疑似烟雾候选区为无效的候选区。
3.根据权利要求1所述的基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，无烟区为不会产生烟雾的地面客体对象在图像中的位置，不会产生烟雾的地面客体对象包括房屋、湖泊、河流。
4.根据权利要求1所述的基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，所述视角识别，将包含有疑似烟雾区域的图像与步骤1的每个视角的场景的图像进行匹配，利用像素点的对比度、亮度，进行相似度计算，找到最相似的场景的图像，确定包含有疑似烟雾区域的图像的视角。
5.根据权利要求1所述的基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，所述重合率计算，利用疑似烟雾区域的坐标值与相同视角的无烟区的坐标值进行计算，得到重合区域的坐标值，根据重合区域的面积与无烟区面积的比值即重合区域的占比进行重合率的计算。
6.根据权利要求2所述的基于深度学习与地域特征的秸秆燃烧检测方法，其特征在于，所述阈值R为0.3。
CN202010394290.8A 2019-11-01 2020-05-11 一种基于深度学习与地域特征的秸秆燃烧检测方法 Active CN111428695B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019110578701 2019-11-01
CN201911057870 2019-11-01

Publications (2)

Publication Number Publication Date
CN111428695A CN111428695A (zh) 2020-07-17
CN111428695B true CN111428695B (zh) 2023-04-07

Family

ID=71552767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394290.8A Active CN111428695B (zh) 2019-11-01 2020-05-11 一种基于深度学习与地域特征的秸秆燃烧检测方法

Country Status (1)

Country Link
CN (1) CN111428695B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283332A (zh) * 2021-05-20 2021-08-20 国电南瑞科技股份有限公司 一种消防机器人火焰识别方法、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997461B (zh) * 2017-03-28 2019-09-17 浙江大华技术股份有限公司 一种烟火检测方法及装置
CN109147254B (zh) * 2018-07-18 2021-05-18 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Also Published As

Publication number Publication date
CN111428695A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
US11410002B2 (en) Ship identity recognition method based on fusion of AIS data and video data
CN106802113B (zh) 基于多弹孔模式识别算法的智能报靶***和方法
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和***
CN107977018A (zh) 基于双目立体视觉和无人机的秸秆焚烧监测方法
CN110570461A (zh) 一种社区照明网与云平台社区人口信息库结合实现自动寻人追踪的方法
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及***
CN109165602B (zh) 一种基于视频分析的黑烟车检测方法
CN111046728A (zh) 一种基于特征金字塔网络的秸秆燃烧检测方法
CN112257554B (zh) 基于多光谱的森林火灾识别方法、***、程序及存储介质
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及***
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与***
CN112668557A (zh) 一种行人再识别***中防御图像噪声攻击的方法
CN112949439A (zh) 一种油罐车重点区域人员入侵监测方法和***
CN111428695B (zh) 一种基于深度学习与地域特征的秸秆燃烧检测方法
CN115690564A (zh) 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法
CN111897993A (zh) 一种基于行人再识别的高效目标人物轨迹生成方法
CN116977937A (zh) 一种行人重识别的方法及***
CN115171336A (zh) 一种海滩监控溺水防护***
CN113657250A (zh) 一种基于监控视频的火焰检测方法及***
CN112836608B (zh) 森林火灾源头的估计模型训练方法、估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant