CN114399719B - 一种变电站火灾视频监测方法 - Google Patents
一种变电站火灾视频监测方法 Download PDFInfo
- Publication number
- CN114399719B CN114399719B CN202210297974.5A CN202210297974A CN114399719B CN 114399719 B CN114399719 B CN 114399719B CN 202210297974 A CN202210297974 A CN 202210297974A CN 114399719 B CN114399719 B CN 114399719B
- Authority
- CN
- China
- Prior art keywords
- fire
- smoke
- transformer substation
- network
- open fire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000779 smoke Substances 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 230000003068 static effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种变电站火灾视频监测方法，与现有技术相比解决了对于变电站监测视频图像中小尺度明火和烟雾的识别精度低、对火灾预警不精准的缺陷。本发明包括以下步骤：变电站视频监测数据的获取；构建并训练多尺度区域图像提取网络；构建并训练变电站火灾检测模型；变电站实时视频数据的获取；变电站火灾视频的监测预警。本发明通过多尺度特征融合网络，有效地学习到变电站视频图像中丰富的小尺度明火和烟雾区域特征；并利用级联区域卷积神经网络，准确判断视频图像中是否有明火或者烟雾，以及明火和烟雾区域的位置和大小。
Description
技术领域
本发明涉及变电站火灾监测技术领域，具体来说是一种变电站火灾视频监测方法。
背景技术
传统的变电站明火检测大多通过传感器收集火焰的烟雾颗粒、环境温度和相对湿度等数据，以进行判断和火灾报警。但是基于传感器的火灾预警需要将传感器放置在明火附近，同时周围环境不能对传感器有较大干扰，因此对变电站所在的宽阔空间和复杂场景，基于传感器的明火检测方法不适应。此外，基于传感器的明火检测方法难以反馈火势位置、火势大小等信息，为及时的火灾预防和消防带来困难。
随着视频监控***的发展，在现有视频监控***的基础上结合计算机视觉技术不仅能够完成变电站火灾监测和预警的任务，还可以降低成本、提升抗干扰能力，能够很好地适应变电站条件下的空间大、气流多的复杂环境。
现有的基于计算机视觉技术火灾监测方法大多基于传统的图像处理方法提取感兴趣区域，然后利用分类器判别是明火还是烟雾。当前的明火检测方法需要进一步改善，比如对早期变电站火灾预警，早期的火焰范围非常小，不易察觉和检测，从而错失挽救的机会；且缺乏地火情检测结果是否达到灾情预警的判别机制，使得火势可控条件下报警的资源浪费。但传统的视频识别技术，无法实现早期火焰识别、对烟雾的识别率低，无法满足实际使用需要。
因此，如何设计出一种能够针对变电站早期火灾预警的图像识别方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中对于变电站监测视频图像中小尺度明火和烟雾的识别精度低、对火灾预警不精准的缺陷，提供一种变电站火灾视频监测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种变电站火灾视频监测方法，包括以下步骤：
变电站视频监测数据的获取：获取变电站视频数据，并提取每一帧静态图像数据，随机选择明火或烟雾图像，并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应标签，将其作为训练集；
构建并训练多尺度区域图像提取网络：基于特征提取网络构建多尺度区域图像提取网络，将获取的变电站静态图像输入到多尺度区域图像提取网络进行训练，并从中提取出明火或烟雾图像的特征图像；
构建并训练变电站火灾检测模型：基于级联区域卷积神经网络构建变电站火灾检测模型，并对变电站火灾检测模型进行训练；
变电站实时视频数据的获取：获取变电站实时视频数据并进行预处理；
变电站火灾视频的监测预警：将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像后，输入训练后的变电站火灾检测模型，进行火灾监测预警。
所述构建并训练多尺度区域图像提取网络包括以下步骤：
设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络，其中，深度残差网络作为图像特征提取网络的基准网络，设定深度残差网络提取的明火图像特征输入多尺度特征融合网络，以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特征信息；
设定多尺度特征融合网络包括三个并列的网络分支，
其中，第一个网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为1的膨胀卷积；
第二网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为3的膨胀卷积；
第三网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为5的膨胀卷积；
将变电站静态图像输入到多尺度区域图像提取网络进行训练：
变电站静态图像输入深度残差网络，深度残差网络输出提取的明火图像特征；
明火图像特征输入多尺度特征融合网络，多尺度特征融合网络的三个网络分支输出的变电站区域明火图像特征图，通过对应像素点相加，实现特征的融合，得到明火或烟雾图像的特征图像。
所述构建并训练变电站火灾检测模型包括以下步骤：
设定变电站火灾检测模型基于级联区域卷积神经网络结构，级联区域卷积神经网络结构由两阶段区域卷积神经网络级联；
设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷积层，其中卷积核大小为
、膨胀率为3；并列的分类层和回归层采用卷积核为
的卷积层，分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、输出4个神经元用于表示明火或烟雾区域的位置坐标信息，通过第一阶段的区域卷积神经网络的分类层和输出的结果获取图像中明火或烟雾感兴趣区域；
设定第二阶段的区域卷积神经网络输入为图像中明火或烟雾感兴趣区域，输出为感兴趣区域的具体类别，是明火或烟雾；
设定第二阶段的区域卷积神经网络包括一层自适应卷积层和两层并列的分类层和回归层，其中，分类层采用卷积核
，输出通道数为
，用于输出明火和烟雾的类别置信度信息，回归层采用卷积核为
，输出通道数为
，输出明火和烟雾区域的位置信息；
将明火或烟雾图像的特征图像输入变电站火灾检测模型进行训练，级联区域卷积神经网络模型的训练包括正负训练样本的确定、损失函数的定义和模型参数学习；
采用基于交并比的匹配方法确定训练样本，
当训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.5，则该样本为正样本、否则为负样本；对于第二阶段的区域卷积神经网络，训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.7；
用下式所示的级联区域卷积神经网络模型的损失函数计算网络预测与真实样本之间的损失值L：
其中，
表示第一阶段的回归损失，
表示第二阶段的回归损失，
为分类损失，参数
为平衡级联区域卷积神经网络模型的分类损失和回归损失的超参数；
分类损失函数采用交叉熵损失函数
，定义如下：
其中，N表示训练样本量，
表示第
样本的正负标签，正样本为1，负样本为0，
表示样本预测为明火区域的置信度；
回归损失函数采用交并比损失函数
，定义如下：
其中，P表示级联区域卷积神经网络模型预测的明火区域边界框，G表示真实标注的明火区域边界框，
表示P和G之间的交集，
表示P和G之间的并集；
采用BP算法对级联区域卷积神经网络的进行训练，对网络的权重W和偏置参数B进行学习，迭代N次至网络参数达到最优：
其中，l表示级联区域卷积神经网络的级联数，
表示第l阶段的权值矩阵，
表示第l阶段的偏置参数，
表示学习率。
所述变电站火灾视频的监测预警包括以下步骤：
将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像；
利用提取的特征图像，输入到训练后的变电站火灾检测模型，输出明火或烟雾区域分类信息(c, s)，
其中c表示是明火或烟雾类别，s对应分类的置信度及对应的位置信息(x, y, w,h), 其中，(x, y)和(w, h)分别表示对应的明火或烟雾区域的中心点坐标和其边界框的长和宽；
根据获取的明火或烟雾区域的位置信息，计算变电站明火视频中连续两帧静态图像中明火或烟雾区域的面积
，其分别表示当前帧和下一帧中对应的明火或者烟雾区域的面积，其中明火或烟雾的面积A由其区域边界框的信息计算如下：
计算连续帧的明火和烟雾区域的火势增长速率
：
根据连续f帧的增长速率情况判断是否火灾报警，具体包括以下步骤：
若明火或烟雾区域的面积的增长速率
大于阈值T，变量C加1，公式定义为：
其中，对于明火T设置为1.2，烟雾设置为1.5；
当C=f时，也就是连续f帧明火或者烟雾的区域面积增长速率大于设定阈值，则可判定视频监测现场含有火灾，触发火灾报警；否则仅在监控后台进行火情警告提示。
有益效果
本发明的一种变电站火灾视频监测方法，与现有技术相比通过多尺度特征融合网络，有效地学习到变电站视频图像中丰富的小尺度明火和烟雾区域特征；并利用级联区域卷积神经网络，准确判断视频图像中是否有明火或者烟雾，以及明火和烟雾区域的位置和大小。
本发明通过对视频中明火和烟雾检测的结果判断火情的严重程度以分级处理、是否需要火灾报警或仅在视频监控后台发出火情警告，增加了火灾预警的可靠性和实时性，从而减低火灾带来的灾害。
附图说明
图1为本发明的方法顺序图；
图2为本发明中变电站火灾视频的监测预警的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种变电站火灾视频监测方法，包括以下步骤：
第一步，变电站视频监测数据的获取。
获取变电站视频数据，并提取每一帧静态图像数据，随机选择明火或烟雾图像，并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应标签，将其作为训练集。在实验室阶段，可以将选取的变电站区域静态图像样本按照8:2随机挑选，分别作为训练集和测试集。
第二步，构建并训练多尺度区域图像提取网络。基于特征提取网络构建多尺度区域图像提取网络，将获取的变电站静态图像输入到多尺度区域图像提取网络进行训练，并从中提取出明火或烟雾图像的特征图像。变电站火灾视频中烟雾或明火在初期表现不明显，也就是明火或烟雾尺度较小，难以识别和检测，我们针对这种情况采用多尺度区域特征提取网络，通过对尺度特征融合网络能够提取到丰富的小尺度明火和烟雾特征，极大地提升变电站中小尺度烟雾和明火的识别和检测精度，有效地对变电站火灾进行预警。
构建并训练多尺度区域图像提取网络具体步骤如下：
（1）设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络，其中，深度残差网络作为图像特征提取网络的基准网络，设定深度残差网络提取的明火图像特征输入多尺度特征融合网络，以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特征信息。
（2）设定多尺度特征融合网络包括三个并列的网络分支，
其中，第一个网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为1的膨胀卷积；
第二网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为3的膨胀卷积；
第三网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为5的膨胀卷积。
（3）将变电站静态图像输入到多尺度区域图像提取网络进行训练：
A1）变电站静态图像输入深度残差网络，深度残差网络输出提取的明火图像特征；
A2）明火图像特征输入多尺度特征融合网络，多尺度特征融合网络的三个网络分支输出的变电站区域明火图像特征图，通过对应像素点相加，实现特征的融合，得到明火或烟雾图像的特征图像。
第三步，构建并训练变电站火灾检测模型：基于级联区域卷积神经网络构建变电站火灾检测模型，并对变电站火灾检测模型进行训练。
由于在实际变电站场景中，检测视频中的明火或烟雾通常尺度较小，因此，背景区域远远多于明火或者烟雾区域，导致背景与目标前景之间存在严重的样本不平衡问题，因此本发明采用级联区域卷积神经网络对明火或烟雾进行检测，通过这种由粗到细的调整，达到明火或烟雾区域的准确识别和定位的目的，提升变电站火灾精准预警。
构建并训练变电站火灾检测模型包括以下步骤：
（1）设定变电站火灾检测模型基于级联区域卷积神经网络结构，级联区域卷积神经网络结构由两阶段区域卷积神经网络级联。
（2）设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷积层，其中卷积核大小为
、膨胀率为3；并列的分类层和回归层，采用卷积核为
的卷积层，分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、输出4个神经元用于表示明火或烟雾区域的位置坐标信息，通过第一阶段的区域卷积神经网络的分类层和输出的结果获取图像中明火或烟雾感兴趣区域。
（3）设定第二阶段的区域卷积神经网络输入为图像中明火或烟雾感兴趣区域，输出为感兴趣区域的具体类别，是明火或烟雾；
设定第二阶段的区域卷积神经网络具体包括一层自适应卷积层和两层并列的分类层和回归层，其中，分类层采用卷积核
，输出通道数为
，用于输出明火和烟雾的类别置信度信息，回归层采用卷积核为
，输出通道数为
，输出明火和烟雾区域的位置信息。为了实现两阶段级联逐渐提升检测质量，对于第二阶段的区域卷积神经网络的阈值t的设置比第一阶段种的阈值设置更高，以选择更高质量的训练样本。
（4）将明火或烟雾图像的特征图像输入变电站火灾检测模型进行训练，级联区域卷积神经网络模型的训练包括正负训练样本的确定，损失函数的定义和模型参数学习；
B1）采用基于交并比的匹配方法确定训练样本，
当训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.5，则该样本为正样本、否则为负样本；对于第二阶段的区域卷积神经网络，训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.7，以选择更高质量的训练样本。
B2）用下式所示的级联区域卷积神经网络模型的损失函数计算网络预测与真实样本之间的损失值L：
其中，
表示第一阶段的回归损失，
表示第二阶段的回归损失，
为分类损失，参数
为平衡级联区域卷积神经网络模型的分类损失和回归损失的超参数；
分类损失函数采用交叉熵损失函数
，定义如下：
其中，N表示训练样本量，
表示第
样本的正负标签，正样本为1，负样本为0，
表示样本预测为明火区域的置信度；
回归损失函数采用交并比损失函数
，定义如下：
其中，P表示级联区域卷积神经网络模型预测的明火区域边界框，G表示真实标注的明火区域边界框，
表示P和G之间的交集，
表示P和G之间的并集。
B3）采用BP算法对级联区域卷积神经网络的进行训练，对网络的权重W和偏置参数B进行学习，迭代N次，至网络参数达到最优：
其中，l表示级联区域卷积神经网络的级联数，
表示第l阶段的权值矩阵，
表示第l阶段的偏置参数，
表示学习率。
第四步，变电站实时视频数据的获取：获取变电站实时视频数据，并根据视频数据的实际获取情况进行传统的预处理工作。
第五步，变电站火灾视频的监测预警：如图2所示，将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像后，输入训练后的变电站火灾检测模型，进行火灾监测预警。其具体步骤如下：
（1）将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像。
（2）利用提取的特征图像，输入到训练后的变电站火灾检测模型，输出明火或烟雾区域分类信息(c, s)，
其中c表示是明火或烟雾类别，s对应分类的置信度及对应的位置信息(x, y, w,h), 其中，(x, y)和(w, h)分别表示对应的明火或烟雾区域的中心点坐标和其边界框的长和宽。
（3）根据获取的明火或烟雾区域的位置信息，计算变电站明火视频中连续两帧静态图像中明火或烟雾区域的面积
，其分别表示当前帧和下一帧中对应的明火或者烟雾区域的面积，其中明火或烟雾的面积A由其区域边界框的信息计算如下：
（4）计算连续帧的明火和烟雾区域的火势增长速率
：
（5）根据连续f帧的增长速率情况判断是否火灾报警，具体包括以下步骤：
C1）若明火或烟雾区域的面积的增长速率
大于阈值T，变量C加1，公式定义为：
其中，对于明火T设置为1.2，烟雾设置为1.5；
C2）当C=f时，也就是连续f帧明火或者烟雾的区域面积增长速率大于设定阈值，则可判定视频监测现场含有火灾，触发火灾报警；否则仅在监控后台进行火情警告提示。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (1)
1.一种变电站火灾视频监测方法，其特征在于，包括以下步骤：
11）变电站视频监测数据的获取：获取变电站视频数据，并提取每一帧静态图像数据，随机选择明火或烟雾图像，并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应标签，将其作为训练集；
12）构建并训练多尺度区域图像提取网络：基于特征提取网络构建多尺度区域图像提取网络，将获取的变电站静态图像输入到多尺度区域图像提取网络进行训练，并从中提取出明火或烟雾图像的特征图像；
所述构建并训练多尺度区域图像提取网络包括以下步骤：
121）设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络，其中，深度残差网络作为图像特征提取网络的基准网络，设定深度残差网络提取的明火图像特征输入多尺度特征融合网络，以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特征信息；
122）设定多尺度特征融合网络包括三个并列的网络分支，
其中，第一个网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为1的膨胀卷积；
第二网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为3的膨胀卷积；
第三网络分支是卷积核大小为
的标准卷积和卷积核大小为
、膨胀率为5的膨胀卷积；
123）将变电站静态图像输入到多尺度区域图像提取网络进行训练：
1231）变电站静态图像输入深度残差网络，深度残差网络输出提取的明火图像特征；
1232）明火图像特征输入多尺度特征融合网络，多尺度特征融合网络的三个网络分支输出的变电站区域明火图像特征图，通过对应像素点相加，实现特征的融合，得到明火或烟雾图像的特征图像；
13）构建并训练变电站火灾检测模型：基于级联区域卷积神经网络构建变电站火灾检测模型，并对变电站火灾检测模型进行训练；
所述构建并训练变电站火灾检测模型包括以下步骤：
131）设定变电站火灾检测模型基于级联区域卷积神经网络结构，级联区域卷积神经网络结构由两阶段区域卷积神经网络级联；
132）设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷积层，其中卷积核大小为
、膨胀率为3；并列的分类层和回归层采用卷积核为
的卷积层，分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、输出4个神经元用于表示明火或烟雾区域的位置坐标信息，通过第一阶段的区域卷积神经网络的分类层和输出的结果获取图像中明火或烟雾感兴趣区域；
133）设定第二阶段的区域卷积神经网络输入为图像中明火或烟雾感兴趣区域，输出为感兴趣区域的具体类别，是明火或烟雾；
设定第二阶段的区域卷积神经网络包括一层自适应卷积层和两层并列的分类层和回归层，其中，分类层采用卷积核
，输出通道数为
，用于输出明火和烟雾的类别置信度信息，回归层采用卷积核为
，输出通道数为
，输出明火和烟雾区域的位置信息；
134）将明火或烟雾图像的特征图像输入变电站火灾检测模型进行训练，级联区域卷积神经网络模型的训练包括正负训练样本的确定、损失函数的定义和模型参数学习；
1341）采用基于交并比的匹配方法确定训练样本，
对于第一阶段的区域卷积神经网络，当训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.5，则该样本为正样本、否则为负样本；对于第二阶段的区域卷积神经网络，当训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.7，则该样本为正样本、否则为负样本；
1342）用下式所示的级联区域卷积神经网络模型的损失函数计算网络预测与真实样本之间的损失值L：
其中，
表示第一阶段的回归损失，
表示第二阶段的回归损失，
为分类损失，参数
为平衡级联区域卷积神经网络模型的分类损失和回归损失的超参数；
分类损失函数采用交叉熵损失函数
，定义如下：
其中，N表示训练样本量，
表示第
样本的正负标签，正样本为1，负样本为0，
表示样本预测为明火区域的置信度；
回归损失函数采用交并比损失函数
，定义如下：
其中，P表示级联区域卷积神经网络模型预测的明火区域边界框，G表示真实标注的明火区域边界框，
表示P和G之间的交集，
表示P和G之间的并集；
1343）采用BP算法对级联区域卷积神经网络的进行训练，对网络的权重W和偏置参数B进行学习，迭代N次至网络参数达到最优；
14）变电站实时视频数据的获取：获取变电站实时视频数据并进行预处理；
15）变电站火灾视频的监测预警：将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像后，输入训练后的变电站火灾检测模型，进行火灾监测预警；
所述变电站火灾视频的监测预警包括以下步骤：
151）将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像；
152）利用提取的特征图像，输入到训练后的变电站火灾检测模型，输出明火或烟雾区域分类信息(c, s)，
其中c表示是明火或烟雾类别，s对应分类的置信度及对应的位置信息(x, y, w, h),其中，(x, y)和(w, h)分别表示对应的明火或烟雾区域的中心点坐标和其边界框的长和宽；
153）根据获取的明火或烟雾区域的位置信息，计算变电站明火视频中连续两帧静态图像中明火或烟雾区域的面积
，其分别表示当前帧和下一帧中对应的明火或者烟雾区域的面积，其中明火或烟雾的面积A由其区域边界框的信息计算如下：
154）计算连续帧的明火和烟雾区域的火势增长速率
：
155）根据连续f帧的增长速率情况判断是否火灾报警，具体包括以下步骤：
1551）若明火或烟雾区域的面积的增长速率
大于阈值T，变量C加1，公式定义为：
其中，对于明火T设置为1.2，烟雾设置为1.5；
1552）当C=f时，也就是连续f帧明火或者烟雾的区域面积增长速率大于设定阈值，则可判定视频监测现场含有火灾，触发火灾报警；否则仅在监控后台进行火情警告提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210297974.5A CN114399719B (zh) | 2022-03-25 | 2022-03-25 | 一种变电站火灾视频监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210297974.5A CN114399719B (zh) | 2022-03-25 | 2022-03-25 | 一种变电站火灾视频监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114399719A CN114399719A (zh) | 2022-04-26 |
| CN114399719B true CN114399719B (zh) | 2022-06-17 |
Family
ID=81234149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210297974.5A Active CN114399719B (zh) | 2022-03-25 | 2022-03-25 | 一种变电站火灾视频监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399719B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050159A (zh) * | 2022-06-08 | 2022-09-13 | 重庆工商大学 | 化工化学实验室防火预警方法及*** |
| CN115909645B (zh) * | 2023-01-09 | 2023-06-06 | 西安易诺敬业电子科技有限责任公司 | 一种车间生产安全预警***和预警方法 |
| CN116311751B (zh) * | 2023-05-16 | 2023-12-08 | 陕西开来机电设备制造有限公司 | 一种煤矿井下使用防灭火电控*** |
| CN117876874A (zh) * | 2024-01-15 | 2024-04-12 | 西南交通大学 | 基于高点监控视频的森林火灾检测和定位方法及*** |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10354159B2 (en) * | 2016-09-06 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network |
| DE102017120729A1 (de) * | 2017-09-08 | 2019-03-14 | Connaught Electronics Ltd. | Freiraumdetektion in einem Fahrerassistenzsystem eines Kraftfahrzeugs mit einem neuralen Netzwerk |
| CN109544534B (zh) * | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
| CN109711288B (zh) * | 2018-12-13 | 2021-05-04 | 西安电子科技大学 | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 |
| CN109670452A (zh) * | 2018-12-20 | 2019-04-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、电子设备和人脸检测模型 |
| CN109840905A (zh) * | 2019-01-28 | 2019-06-04 | 山东鲁能软件技术有限公司 | 电力设备锈迹检测方法及*** |
| CN109903507A (zh) * | 2019-03-04 | 2019-06-18 | 上海海事大学 | 一种基于深度学习的火灾智能监控***及其方法 |
| CN110348390B (zh) * | 2019-07-12 | 2023-05-16 | 创新奇智(重庆)科技有限公司 | 一种火焰检测模型的训练方法、计算机可读介质及*** |
| CN110516609B (zh) * | 2019-08-28 | 2022-04-22 | 南京邮电大学 | 一种基于图像多特征融合的火灾视频检测及预警方法 |
| CN111462451B (zh) * | 2019-11-01 | 2022-04-26 | 武汉纺织大学 | 基于视频信息的秸秆焚烧检测报警*** |
| CN111310615A (zh) * | 2020-01-23 | 2020-06-19 | 天津大学 | 基于多尺度信息和残差网络的小目标交通标志检测方法 |
| CN111444828B (zh) * | 2020-03-25 | 2023-06-20 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、目标检测的方法、装置及存储介质 |
| CN111639620B (zh) * | 2020-06-08 | 2023-11-10 | 深圳航天智慧城市***技术研究院有限公司 | 一种基于可见光图像识别的火灾分析方法及*** |
| EP3940454A1 (en) * | 2020-07-16 | 2022-01-19 | Goodrich Corporation | Helicopter search light and method for detection and tracking of anomalous or suspicious behaviour |
| CN111967480A (zh) * | 2020-09-07 | 2020-11-20 | 上海海事大学 | 基于权重共享的多尺度自注意力目标检测方法 |
| CN112465821A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
| CN112686190A (zh) * | 2021-01-05 | 2021-04-20 | 北京林业大学 | 一种基于自适应目标检测的森林火灾烟雾自动识别方法 |
| CN112861635B (zh) * | 2021-01-11 | 2024-05-14 | 西北工业大学 | 一种基于深度学习的火灾及烟雾实时检测方法 |
| CN112950634B (zh) * | 2021-04-22 | 2023-06-30 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 基于无人机巡检的风力机叶片损伤识别方法、设备和*** |
| CN113469951B (zh) * | 2021-06-08 | 2022-08-16 | 燕山大学 | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 |
| CN114048789A (zh) * | 2021-07-19 | 2022-02-15 | 青岛科技大学 | 基于改进Cascade R-CNN的酒瓶瑕疵检测 |
| CN114092785A (zh) * | 2021-10-20 | 2022-02-25 | 杭州电子科技大学 | 一种野外火灾烟雾检测方法 |
-
2022
- 2022-03-25 CN CN202210297974.5A patent/CN114399719B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114399719A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114399719B (zh) | 一种变电站火灾视频监测方法 | |
| CN111126136B (zh) | 一种基于图像识别的烟雾浓度量化方法 | |
| CN110688925B (zh) | 基于深度学习的级联目标识别方法及*** | |
| Su et al. | RCAG-Net: Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms | |
| CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及*** | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN113469050B (zh) | 基于图像细分类的火焰检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| Yandouzi et al. | Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring | |
| CN114202803A (zh) | 一种基于残差网络的多阶段人体异常动作检测方法 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN115984543A (zh) | 一种基于红外与可见光图像的目标检测算法 | |
| CN115526852A (zh) | 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用 | |
| CN115272882A (zh) | 一种基于遥感影像的离散建筑物检测方法及*** | |
| CN112967335A (zh) | 气泡尺寸监测方法及装置 | |
| KR102602439B1 (ko) | 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN114596273B (zh) | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 | |
| CN111627018A (zh) | 一种基于双流神经网络模型的钢板表面缺陷分类方法 | |
| CN111767919A (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
| CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及*** | |
| CN111274894A (zh) | 一种基于改进YOLOv3的人员在岗状态检测方法 | |
| CN112633162A (zh) | 适于高速公路外场遮挡条件下的行人快速检测及跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |