CN110969205A - 一种基于目标检测的森林烟火检测方法、存储介质和设备 - Google Patents
一种基于目标检测的森林烟火检测方法、存储介质和设备 Download PDFInfo
- Publication number
- CN110969205A CN110969205A CN201911200889.7A CN201911200889A CN110969205A CN 110969205 A CN110969205 A CN 110969205A CN 201911200889 A CN201911200889 A CN 201911200889A CN 110969205 A CN110969205 A CN 110969205A
- Authority
- CN
- China
- Prior art keywords
- fire
- forest
- smoke
- network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000003062 neural network model Methods 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000011410 subtraction method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于目标检测的森林烟火检测方法、存储介质和设备，属于计算机视觉目标检测和森林烟火视频监测领域。该方法首先获取森林烟火图像；然后采用包括多级网络的神经网络模型对所述森林烟火图像执行前向计算，得到烟火区域及其置信度；将所述置信度与置信度阈值进行比较，当置信度大于置信度阈值时，认为发生火灾，当置信度小于或等于置信度阈值时，则认为未发生火灾。本发明利用小样本得到精度高的网络模型，受环境的影响小，检测准确率高，不易发生误报，还可以获得烟火区域的边界框，从而能够判断火灾发生位置，使得消防人员能够快速到达火灾区域，将火灾扑灭。同时公开的存储介质以及设备，可直接部署，用于森林烟火检测。
Description
技术领域
本发明属于计算机视觉目标检测和森林烟火视频监测领域，具体涉及一种基于目标检测的森林烟火检测方法、存储介质和设备。
背景技术
森林火灾是一种常见的自然灾害，每年世界上因森林火灾造成的人员伤亡和财产损失都非常巨大，例如近年的美国加州森林大火、印尼森林大火、亚马逊森林大火等，不仅造成了大量的人员伤亡和财产损失，更对自然环境造成了严重的影响。在火灾扑救过程中，投入了大量的人力物力，依然难以有效地对森林大火进行扑灭，森林大火对人类和动物的生存造成了严重的威胁。我国是一个多森林国家，每年因为森林火灾导致的人员伤亡数以万记，财产损失数以亿计，每年为森林火灾预防和扑救投入的人力物力数量更是非常庞大。
对于森林火灾，早期发现可以有效降低扑灭难度，减少林业资源的损失且可以有效减少人员伤亡。通过护林员来发现森林火灾，很难对大面积的森林进行有效果管理，因此随着计算机技术和视频技术的发展，通过视频监控***，可以远程对森林火灾进行监测，有效地降低了人力投入，提高了监控效率。传统单纯通过监控***检测森林火灾，仍需要人员实时地观看视频图像，以确定火灾的发生情况，但随着机器视觉和深度学习的发展，可以通过设计森林烟火检测算法来对森林图像进行分析处理，自动判断森林火灾情况，从而将人从重复单调的工作中解脱出来。
在进行森林烟火检测时，目前常用的方法是图片分类方法，即通过对图片分类，判断是否发生火灾。但图片分类方法视野小，只能获取局部的信息，无法将待检测处的信息与全局信息结合，若遇到局部光照条件特殊或者位于天空与森林等反差较大的分界线处时，易引发误报，因此采用图片分类的方法进行森林烟火检测时，容易受环境条件影响，准确率较低。此外，检测模型训练时，样本数据集中，通常被标注的烟气部分只能占据样本图像一小部分，样本图像的一大部分是背景，当采用图片分类方法，需要大量的样本才能对森林烟火进行判断，因此模型的搭建和训练过程对计算机硬件的要求较高。并且采用图像分类的方法时，不能准确地检测到烟火发生的具***置，因此在森林发生火灾时，扑救人员难以快速到达指定位置，从而对森林火灾进行扑救。
综上，现有的森林烟火检测方法容易受外界环境影响，检测的准确率较低，并且不能准确检测森林烟火的发生位置，从而影响森林火灾扑救。
发明内容
技术问题：本发明提供一种基于目标检测的森林烟火检测方法，旨在能够采用少量样本，即能训练得到准确判断森林烟火的模型，能够不受外界环境影响，准确地对森林烟火情况进行判断，并能判断森林火灾的发生位置，从而使得消防人员能够对森林火灾快速进行扑救。同时，本发明还提供一种存储介质以及包括该存储介质设备，用于工程部署，进行森林烟火检测。
技术方案：本发明的基于目标检测的森林烟火检测方法，首先获取森林烟火图像；
采用包括多级网络的神经网络模型对所述森林烟火图像执行前向计算，得到烟火区域及其置信度；
将所述置信度与置信度阈值进行比较，当置信度大于置信度阈值时，认为发生火灾，当置信度小于或等于置信度阈值时，则认为未发生火灾。
进一步地，搭建并训练所述多级神经网络模型包括以下步骤：
S1：建立森林烟火图像样本数据集，将样本图像中的烟火区域用坐标形式进行边界框标注，并将标注的边界框转化为量化信息；
S2：构建包括多级网络的神经网络模型，所述神经网络模型能够进行提取图像特征信息、提取帧间信息的时间特征并进行帧间信息交换、利用特征信息判断森林烟火发生位置；
S3：采用开源数据集训练与所述烟火样本数据集对神经网络模型进行训练，确定网络模型参数，并保存权值文件。
进一步地，所述神经网络模型包括三级，第一级网络为基础网络，用于提取图像特征信息；第二级网络为帧间信息交流网络，用于提取帧间信息的时间特征进行帧间信息交换；第三级网络为目标检测与边界框回归网络，用于判断森林烟火发生位置。
进一步地，所述基础网络采用VGG、Mobilenet、Resnet、Eficientnet、S-Enet或Densenet网络模型结构；帧间信息交流网络采用LSTM或GRU网络模型结构，包括多个LSTM层或GRU层；目标检测与边界框回归网络采用Faster RCNN、SSD、CenterNet或YOLOv3网络模型结构。
进一步地，对网络模型进行训练按以下步骤：
S3.1：采用Imagenet数据集对基础网络进行预训练，训练基础网络的权值参数；
S3.2：去掉基础网络的全连接层，并连接帧间信息交流网络，并连接一个平均池化层、一个全连接层、一个Softmax分类器，采用森林烟火图像样本数据集进行训练，得到帧间信息交流网络的权值参数；
S3.3：去掉步骤S3.2中的平均池化层、全连接层和Softmax分类器，然后连接目标检测与边界框回归网络，并采用森林烟火图像样本数据集再次进行训练，得到整个神经网络模型的权值参数，根据测试精度挑选表现最优的模型，并保存权值文件。
进一步地，所述基础网络采用Mobilenet网络中的Mobilenetv2网络模型。
进一步地，所述帧间信息交流网络采用LSTM网络，包括2个LSTM层、1个卷积层。
进一步地，所述目标检测与边界框回归网络采用YOLOv3。
进一步地，在采用神经网络模型进行前向计算之前，采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。
进一步地，所述动态区域检测算法为帧间法或背景减除法。
进一步地，所述步骤S1中，每个森林烟火样本包括连续若干帧图像。
本发明存储介质，存储用于执行所述的森林烟火检测方法的计算机程序指令，所述指令被执行时使得该介质能够：
获取森林烟火图像；
采用所述神经网络模型对所述图像序列执行前向计算，得到烟火区域及其置信度；
将所述置信度与置信度阈值进行比较，判断是否发生火灾；
当进行动态检测时，该介质能够采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。
本发明的设备，包括一个或多个所述的用于森林烟火检测的存储介质。
有益效果：本发明与现有技术相比，具有以下优点：
本发明的基于目标检测的森林烟火检测方法，是基于目标检测方法对森林烟火进行检测判断。目标检测方法能基于较大区域的信息来找出局部的烟点，拥有较完整的背景信息，从而对于局部光照变化与反差大的分界处有较好的鲁棒性，因此，受外界环境影响相对较小，从而有效地提高烟火检测的准确率。本发明中，建立了包括多级网络的神经网络模型，且优选的神经网络模型中，包括三级网络。搭建的神经网络模型首先用基础网络提取图像特征信息，然后用帧间信息交流网络提取帧间信息的时间特征进行帧间信息交换，最后再用目标检测与边界框回归网络，用于判断森林烟火发生位置，这种网络结构模型能够充分利用上下文信息，并能进行帧间信息交流，使得烟火识别率得以提高。采用该网络模型时，能够基于待检测部分的边界框，确定烟火发生的位置，并且图像的标注部分大部分区域均为待检测部分，被标注的背景部分少，视野更大，相关信息更多，并能够应用少量样本即能得到检测精度高的模型，从而有效地降低了对计算机硬件的需求，有效地提高了深林烟火的准确率。此外本发明的方法，能够获得烟火区域的边界框，进而判断森林火灾发生的位置，从而使得消防人员能够快速到达火灾区域，将火灾扑灭，进而减少了人力物力的投入，减少人员和财产损失。当采用部署了该方法的设备进行森林烟火检测时，能够快速准确的判断森林火灾情况，从而能够及早地发现森林火灾，尽早进行扑救。
附图说明
图1为本发明的基于目标检测的森林烟火检测方法的实施流程图；
图2为本发明的方法采用的三级级神经网络结构的示意图；
图3为本发明的实施例中搭建的三级神经网络结构图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
结合图1所示，对本发明的基于目标检测的森林烟火检测方法的具体实施过程进行详细说明，该方法通过森林烟火视频监控***或去森林烟火图像，然后采用神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域及其置信度，然后根据置信度对森林火灾情况进行判断，该方法的主要部分在于神经网络模型的搭建和训练。按图1中虚线框部分，搭建和训练神经网络模型的过程如下：
S1：建立森林烟火图像样本数据集
基于森林烟火监控***，通过手工收集或自动收集的方法收集森林烟火图像样本，建立森林烟火图样样本数据集。为了能够进行上下文学习，图像样本需要是序列图像形式，即每个样本包括多帧图像，为此单个样本采用连续N帧图像构成图像序列，同时，在收集图像样本时，如果进行连续采样，为了避免帧间相似度过大，可以间隔若干帧采集一个样本，具体根据情况选择间隔的帧数。
因为本发明是基于目标检测的方法来检测烟火区域，因此样本的制作不同于图像分类方法，在样本的标注中，需将烟火区域用坐标形式进行标注，并将标注的边界框转化为量化信息，这些量化信息主要是边界框的左下角以及右上角的坐标值，因为这些数据会被用于模型训练中，通常借助标注工具来对图像进行标注，常用的标注工具可以将边界框信息转化为量化信息，其中所述的边界框就是一个矩形框，能够将烟火区域框出。
为了使森林烟火样本数据集具有足够的代表性，在进行森林烟火样本采集时，综合考虑森林场景的地形地貌、距离、光照、摄像机拍摄角度等因素，实现对森林场景的全面覆盖。森林烟火样本数据集建立完成后，将其分划分为测试集和训练集。
S2：构建包括多级网络的神经网络模型
搭建的神经网络模型能够进行提取图像特征信息、提取帧间信息的时间特征并进行帧间信息交换、利用特征信息判断森林烟火发生位置。在本发明的一种实施例中，神经网络模型包括三级，第一级网络为基础网络，用于提取图像特征信息；第二级网络为帧间信息交流网络，用于提取帧间信息的时间特征进行帧间信息交换；第三级网络为目标检测与边界框回归网络，用于判断森林烟火发生位置，网络结构示意图如图2所示。
搭建基础网络时，采用VGG、Mobilenet、Resnet、Eficientnet、S-Enet或Densenet网络模型结构，帧间信息交流网络采用LSTM或GRU网络模型结构，包括多个LSTM层或GRU层；目标检测与边界框回归网络采用Faster RCNN、SSD、CenterNet或YOLOv3网络模型结构。
例如在本发明的一个实施例中，如图3所示，基础网络采用Mobilenet网络系列的Mobilenetv2网络模型，在实际的网络中，需要将全连接层去掉，才能连接下一级网络；帧间信息交流网络采用LSTM网络模型，具体的包括2个LSTM层和1个卷积层；目标检测与边界框回归网络采用YOLOv3网络模型。因此整个神经网络模型的结构是：Mobilenetv2去掉全连接层，然后依次连接1个LSTM层、1个卷积层、1个LSTM层，再连接YOLOv3网络。因为每个图像样本包括N帧，所以当将N帧连续图像输入到网络模型后，在网络内部进行计算时，N帧图像并行处理，并且每帧之间存在信息交流。图中的t为当前所处理的帧的序号，t-n帧为当前帧前n帧的帧的序号，例如t为10，n为2，则t为当前帧，即第10帧的序号，t-n为第8帧的序号。
搭建的神经网络模型输入的是尺寸为N×W×H序列图像样本，输出的烟火区域边界框的参数与置信度，其中N表示图像样本的帧数，W表示单帧图像的宽度，H表示单帧图像的高度。N是在收集样本时即确定的，当N确定后，图像的尺寸可以用W×H表示，即单帧图像的尺寸。
当然，在本发明的其他实施例中，搭建的神经网络模型可采用其他形式，例如基础网络采用Mobilenet，帧间交流网络采用LSTM，目标检测和边界框回归网络采用SSD；基础网络采用Resent，帧间交流网络采用LSTM，目标检测和边界框回归网络采用YOLOv3；基础网络采用Mobilenet，帧间交流网络采用GRU，目标检测和边界框回归网络采用YOLOv3。但并不局限于所列举的组合形式，还可以进行根据每一级可采用的网络模型进行组合。
S3：训练神经网络模型
搭建完神经网络模型之后，需要对模型进行训练，以确定网络模型的最优权值参数。因为本发明的神经网络模型包括多级，因此在进行网络训练的时候，选择逐级进行训练的方式进行，结合实施例中的三级网络模型进行说明，具体按如下步骤进行：
S3.1：采用Imagenet数据集对基础网络进行预训练，训练基础网络的权值参数；
S3.2：去掉基础网络的全连接层，并连接帧间信息交流网络，并连接一个平均池化层、一个全连接层、一个Softmax分类器，采用森林烟火图像样本数据集进行训练，得到帧间信息交流网络的权值参数；
S3.3：去掉步骤S3.2中的平均池化层、全连接层和Softmax分类器，然后连接目标检测与边界框回归网络，并采用森林烟火图像样本数据集再次进行训练，得到整个神经网络模型的权值参数，根据测试精度挑选表现最优的模型，并保存权值文件。
值得说明的是，在进行步骤S3.2时，由于基础网络的权值参数已经基本确定，因此步骤S3.2中主要训练的是第二级网络，即帧间信息交流网络的权值参数，但是基础网络的参数也会进行微调。同样在进行步骤S3.3时，前两级网络的参数已经基本确定，主要训练的是第三级网络，即目标检测与边界框回归网络的权值参数，但是前两级网络的权值参数也会进行微调。在进行模型训练时，模型权值参数迭代优化，学习率、迭代次数等超参数可根据模型精度进行调整。
为了降低计算量，采用本发明的方法时，当获取到森林烟火图像后，可以先获取有可能为烟火区域的待检测区域。实际应用中，大多数时间图像是处于静止状态的，这时可采用动态区域检测方法可以作为前置算法，例如帧间法或背景减除法，获取森林烟火图像中疑似烟火区域作为待检测区域，其中以变化较大的运动区域作为疑似烟火区域，使得整体算法的计算量得以减少，加强算法的实时性。然后，保持区域中心不变，以1:1的纵横比扩大待测区域，获取到待检测区域连续多帧图像序列后，用训练好的神经网络模型对烟火图像执行前向计算，即可得到该疑似烟区中的烟火区域与其置信度，完成烟火检测。通常，会设定置信度阈值，一般为0.5，当输出的置信度值大于设定的置信度阈值时，即认为发生森林火灾，反之，当输出的置信度值小于或等于设定的置信度阈值时，即认为未发生森林火灾。
按上述步骤，构建一个包含2400个样本图像的样本数据集，每个样本图像的序列长度N为10，单帧图像尺寸为224×224，并使用三折交叉验证的方法2:1比例划分训练集和测试集,即将样本数据集分成3份，2份作为训练集，1份作为测试集。然后采用所搭建的如图3的网络模型，完成模型训练，保存权值文件。然后将森林烟火图像输入模型，并采用背景减除法确定待检测区域，然后保持区域中心不变，以1:1的纵横比扩大待测区域，获取待检测区域连续多帧图像序列后，用网络模型执行前向计算，完成烟火检测。经测试，此例中mAP(mean Average Precision)精度可达到85.7％，具备较高的精度，并且得到烟火区域的边界框，从而判断火灾的发生位置。
本发明的方法通过计算机编写成为可执行的程序指令，训练好的神经网络模型的权值文件存储在存储介质中，当指令被执行后，能够完成如下操作：
获取森林烟火图像；
读取训练好的神经网络模型的权值文件，调用神经网络模型，对所述图像序列执行前向计算，得到森林烟火区域及置信度；
将所述置信度与置信度阈值进行比较，判断是否发生火灾；
当进行动态检测时，能够采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。
同时，本发明还提供了一种用于森林烟火检测的设备，该设备中包括一个或多个上述的存储介质，实际工程中，直接部署该设备，完成森林烟火的检测。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
Claims (13)
1.一种基于目标检测的森林烟火检测方法，其特征在于，获取森林烟火图像；
采用包括多级网络的神经网络模型对所述森林烟火图像执行前向计算，得到烟火区域及其置信度；
将所述置信度与置信度阈值进行比较，当置信度大于置信度阈值时，认为发生火灾，当置信度小于或等于置信度阈值时，则认为未发生火灾。
2.根据权利要求1所述的一种基于目标检测的森林烟火检测方法，其特征在于，搭建并训练所述多级神经网络模型包括以下步骤：
S1：建立森林烟火图像样本数据集，将样本图像中的烟火区域用坐标形式进行边界框标注，并将标注的边界框转化为量化信息；
S2：构建包括多级网络的神经网络模型，所述神经网络模型能够进行提取图像特征信息、提取帧间信息的时间特征并进行帧间信息交换、利用特征信息判断森林烟火发生位置；
S3：采用开源数据集训练与所述烟火样本数据集对神经网络模型进行训练，确定网络模型参数，并保存权值文件。
3.根据权利要求2所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述神经网络模型包括三级，第一级网络为基础网络，用于提取图像特征信息；第二级网络为帧间信息交流网络，用于提取帧间信息的时间特征进行帧间信息交换；第三级网络为目标检测与边界框回归网络，用于判断森林烟火发生位置。
4.根据权利要求3所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述基础网络采用VGG、Mobilenet、Resnet、Eficientnet、S-Enet或Densenet网络模型结构；帧间信息交流网络采用LSTM或GRU网络模型结构，包括多个LSTM层或GRU层；目标检测与边界框回归网络采用Faster RCNN、SSD、CenterNet或YOLOv3网络模型结构。
5.根据权利要求4所述的一种基于目标检测的森林烟火检测方法，其特征在于，对网络模型进行训练按以下步骤：
S3.1：采用Imagenet数据集对基础网络进行预训练，训练基础网络的权值参数；
S3.2：去掉基础网络的全连接层，并连接帧间信息交流网络，并连接一个平均池化层、一个全连接层、一个Softmax分类器，采用森林烟火图像样本数据集进行训练，得到帧间信息交流网络的权值参数；
S3.3：去掉步骤S3.2中的平均池化层、全连接层和Softmax分类器，然后连接目标检测与边界框回归网络，并采用森林烟火图像样本数据集再次进行训练，得到整个神经网络模型的权值参数，根据测试精度挑选表现最优的模型，并保存权值文件。
6.根据权利要求4所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述基础网络采用Mobilenet网络中的Mobilenetv2网络模型。
7.根据权利要求4所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述帧间信息交流网络采用LSTM网络，包括2个LSTM层、1个卷积层。
8.根据权利要求4所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述目标检测与边界框回归网络采用YOLOv3。
9.根据权利要求1所述的一种基于目标检测的森林烟火检测方法，其特征在于，在采用神经网络模型进行前向计算之前，采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。
10.根据权利要求9所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述动态区域检测算法为帧间法或背景减除法。
11.根据权利要求2所述的一种基于目标检测的森林烟火检测方法，其特征在于，所述步骤S1中，每个森林烟火样本包括连续若干帧图像。
12.一种存储介质，其特征在于，存储用于执行权利要求1-11任一项所述的森林烟火检测方法的计算机程序指令，所述指令被执行时使得该介质能够：
获取森林烟火图像；
采用所述神经网络模型对所述图像序列执行前向计算，得到烟火区域及其置信度；
将所述置信度与置信度阈值进行比较，判断是否发生火灾；
当进行动态检测时，该介质能够采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。
13.一种设备，其特征在于，包括一个或多个权利要求12所述的存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911200889.7A CN110969205A (zh) | 2019-11-29 | 2019-11-29 | 一种基于目标检测的森林烟火检测方法、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911200889.7A CN110969205A (zh) | 2019-11-29 | 2019-11-29 | 一种基于目标检测的森林烟火检测方法、存储介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110969205A true CN110969205A (zh) | 2020-04-07 |
Family
ID=70032118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911200889.7A Pending CN110969205A (zh) | 2019-11-29 | 2019-11-29 | 一种基于目标检测的森林烟火检测方法、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969205A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598843A (zh) * | 2020-04-24 | 2020-08-28 | 国电南瑞科技股份有限公司 | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 |
| CN111914818A (zh) * | 2020-09-21 | 2020-11-10 | 北京林业大学 | 一种基于多帧离散置信度森林火灾烟雾根节点检测方法 |
| CN112115941A (zh) * | 2020-09-11 | 2020-12-22 | 北京锐安科技有限公司 | 火灾检测方法、装置、设备及存储介质 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112149583A (zh) * | 2020-09-27 | 2020-12-29 | 山东产研鲲云人工智能研究院有限公司 | 烟雾检测方法、终端设备及存储介质 |
| CN112309068A (zh) * | 2020-10-29 | 2021-02-02 | 电子科技大学中山学院 | 一种基于深度学习的森林火灾预警方法 |
| CN112766206A (zh) * | 2021-01-28 | 2021-05-07 | 深圳市捷顺科技实业股份有限公司 | 一种高位视频车辆检测方法、装置、电子设备和存储介质 |
| CN112801148A (zh) * | 2021-01-14 | 2021-05-14 | 西安电子科技大学 | 基于深度学习的火情识别定位***及方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN112906481A (zh) * | 2021-01-23 | 2021-06-04 | 招商新智科技有限公司 | 一种基于无人机实现森林火情检测的方法 |
| CN113469050A (zh) * | 2021-07-01 | 2021-10-01 | 安徽大学 | 基于图像细分类的火焰检测方法 |
| CN113515989A (zh) * | 2020-07-20 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 移动对象、烟火检测方法、设备及存储介质 |
| CN113822368A (zh) * | 2021-09-29 | 2021-12-21 | 成都信息工程大学 | 一种基于无锚的增量式目标检测方法 |
| CN114078218A (zh) * | 2021-11-24 | 2022-02-22 | 南京林业大学 | 一种自适应融合的森林烟火识别数据增广方法 |
| CN116091935A (zh) * | 2023-04-07 | 2023-05-09 | 四川三思德科技有限公司 | 森林防火烟雾报警抗农业作业干扰处理方法及装置和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180096457A1 (en) * | 2016-09-08 | 2018-04-05 | Carnegie Mellon University | Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network |
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
| CN110443969A (zh) * | 2018-05-03 | 2019-11-12 | 中移(苏州)软件技术有限公司 | 一种火点检测方法、装置、电子设备及存储介质 |
| CN110490043A (zh) * | 2019-06-10 | 2019-11-22 | 东南大学 | 一种基于区域划分和特征提取的森林烟火检测方法 |
-
2019
- 2019-11-29 CN CN201911200889.7A patent/CN110969205A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180096457A1 (en) * | 2016-09-08 | 2018-04-05 | Carnegie Mellon University | Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network |
| CN110443969A (zh) * | 2018-05-03 | 2019-11-12 | 中移(苏州)软件技术有限公司 | 一种火点检测方法、装置、电子设备及存储介质 |
| CN110490043A (zh) * | 2019-06-10 | 2019-11-22 | 东南大学 | 一种基于区域划分和特征提取的森林烟火检测方法 |
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
Non-Patent Citations (2)
| Title |
|---|
| MOHAMMADREZA ZOLFAGHARI等: "《ECO: Efficient Convolutional Network for Online Video Understanding》", pages 1 - 24 * |
| 黄心汉: "《微装配机器人》", 国防工业出版社, pages: 112 - 117 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598843B (zh) * | 2020-04-24 | 2022-11-11 | 国电南瑞科技股份有限公司 | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 |
| CN111598843A (zh) * | 2020-04-24 | 2020-08-28 | 国电南瑞科技股份有限公司 | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 |
| CN113515989A (zh) * | 2020-07-20 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 移动对象、烟火检测方法、设备及存储介质 |
| CN112115941A (zh) * | 2020-09-11 | 2020-12-22 | 北京锐安科技有限公司 | 火灾检测方法、装置、设备及存储介质 |
| CN112115941B (zh) * | 2020-09-11 | 2023-12-05 | 北京锐安科技有限公司 | 火灾检测方法、装置、设备及存储介质 |
| CN111914818A (zh) * | 2020-09-21 | 2020-11-10 | 北京林业大学 | 一种基于多帧离散置信度森林火灾烟雾根节点检测方法 |
| CN111914818B (zh) * | 2020-09-21 | 2024-05-24 | 北京林业大学 | 一种基于多帧离散置信度森林火灾烟雾根节点检测方法 |
| CN112149583A (zh) * | 2020-09-27 | 2020-12-29 | 山东产研鲲云人工智能研究院有限公司 | 烟雾检测方法、终端设备及存储介质 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112309068A (zh) * | 2020-10-29 | 2021-02-02 | 电子科技大学中山学院 | 一种基于深度学习的森林火灾预警方法 |
| CN112801148A (zh) * | 2021-01-14 | 2021-05-14 | 西安电子科技大学 | 基于深度学习的火情识别定位***及方法 |
| CN112906481A (zh) * | 2021-01-23 | 2021-06-04 | 招商新智科技有限公司 | 一种基于无人机实现森林火情检测的方法 |
| CN112766206B (zh) * | 2021-01-28 | 2024-05-28 | 深圳市捷顺科技实业股份有限公司 | 一种高位视频车辆检测方法、装置、电子设备和存储介质 |
| CN112766206A (zh) * | 2021-01-28 | 2021-05-07 | 深圳市捷顺科技实业股份有限公司 | 一种高位视频车辆检测方法、装置、电子设备和存储介质 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN113469050A (zh) * | 2021-07-01 | 2021-10-01 | 安徽大学 | 基于图像细分类的火焰检测方法 |
| CN113822368A (zh) * | 2021-09-29 | 2021-12-21 | 成都信息工程大学 | 一种基于无锚的增量式目标检测方法 |
| CN114078218B (zh) * | 2021-11-24 | 2024-03-29 | 南京林业大学 | 一种自适应融合的森林烟火识别数据增广方法 |
| CN114078218A (zh) * | 2021-11-24 | 2022-02-22 | 南京林业大学 | 一种自适应融合的森林烟火识别数据增广方法 |
| CN116091935B (zh) * | 2023-04-07 | 2023-08-01 | 四川三思德科技有限公司 | 森林防火烟雾报警抗农业作业干扰处理方法及装置和介质 |
| CN116091935A (zh) * | 2023-04-07 | 2023-05-09 | 四川三思德科技有限公司 | 森林防火烟雾报警抗农业作业干扰处理方法及装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969205A (zh) | 一种基于目标检测的森林烟火检测方法、存储介质和设备 | |
| CN109147254B (zh) | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 | |
| Zhan et al. | A high-precision forest fire smoke detection approach based on ARGNet | |
| CN110688925B (zh) | 基于深度学习的级联目标识别方法及*** | |
| Lestari et al. | Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation | |
| CN111062429A (zh) | 基于深度学习的厨师帽和口罩佩戴的检测方法 | |
| CN111626188B (zh) | 一种室内不可控明火监测方法及*** | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及*** | |
| KR102149832B1 (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
| CN111047565A (zh) | 一种用于森林云雾图像分割的方法、存储介质和设备 | |
| Wang et al. | Early forest fire region segmentation based on deep learning | |
| CN115761627A (zh) | 一种火灾烟雾火焰图像识别方法 | |
| CN111079572A (zh) | 一种基于视频理解的森林烟火检测方法、存储介质和设备 | |
| CN105139429A (zh) | 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 | |
| CN112257643A (zh) | 一种基于视频流的抽烟行为和打电话行为识别方法 | |
| CN115424171A (zh) | 火焰和烟雾检测方法、装置和存储介质 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
| CN112836608B (zh) | 森林火灾源头的估计模型训练方法、估计方法及*** | |
| Agrawal et al. | Classification of natural disaster using satellite & drone images with CNN using transfer learning | |
| CN117292247A (zh) | 基于YOLOv8算法和跟踪算法的改进型室内危险场景检测方法 | |
| CN116152745A (zh) | 一种抽烟行为检测方法、装置、设备及存储介质 | |
| CN114821486B (zh) | 一种电力作业场景下人员识别方法 | |
| CN111126230A (zh) | 一种烟雾浓度的量化评价方法及应用该方法的电子设备 | |
| CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |