CN115841642B - 动态特征辅助的可见光火情检测识别方法、设备及介质 - Google Patents
动态特征辅助的可见光火情检测识别方法、设备及介质 Download PDFInfo
- Publication number
- CN115841642B CN115841642B CN202211517483.3A CN202211517483A CN115841642B CN 115841642 B CN115841642 B CN 115841642B CN 202211517483 A CN202211517483 A CN 202211517483A CN 115841642 B CN115841642 B CN 115841642B
- Authority
- CN
- China
- Prior art keywords
- fire
- frame
- dynamic
- detection
- forward motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000033001 locomotion Effects 0.000 claims abstract description 67
- 230000026058 directional locomotion Effects 0.000 claims abstract description 13
- 238000002485 combustion reaction Methods 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002776 aggregation Effects 0.000 abstract 1
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000003068 static effect Effects 0.000 description 9
- 239000000779 smoke Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种动态特征辅助的可见光火情检测识别方法、设备及介质，属于火情检测识别领域，包括：通过固定可见光摄像头拍摄的火***，利用火情燃烧过程中具有的方向性运动特征，提取正向运动显著帧，并利用该显著帧和当前帧的动态特征对当前帧中的火情检测识别任务进行辅助，用以提升火情检测识别效果；还提出了基于条件卷积的运动特征辅助模块，将该模块和改进的S型PANet(Path Aggregation Network)结构嵌入到端到端实时智能目标检测识别算法中，实现火***数据特征在时间维度和空间维度上的有机结合，提高早期火情识别准确率，并降低火情误报率。
Description
技术领域
本发明涉及火情检测识别领域，更为具体的，涉及一种动态特征辅助的可见光火情检测识别方法、设备及介质。
背景技术
火灾是一种发生频率较高且极具毁灭性的灾害，它直接危及人类的生命和财产，并造成环境污染，破坏生态平衡。随着现代社会的发展，城市规模逐渐扩大，人员密集场所增多，偏远山区设备设施长期无人照看等情况，都带来较大火灾隐患。在有限的人力和物力条件下，利用可见光摄像头对火灾进行监控，及早发现火情并及时处置，是一种有效降低火灾危害的方法。对摄像头拍摄的数以万计的可见光图像进行火情自动识别，可以帮助人们降低工作量，有效减少人员力量的投入，并且可实现全时段对可能发生火情的位置进行监控。
视频火灾检测技术需要对火焰和烟雾进行检测。传统检测识别方法中，烟雾检测主要利用烟雾的颜色特征、小波系数特征和动态特征，结合分类器、阈值筛选等策略进行识别，火焰检测主要基于火焰颜色、火焰闪烁频率特征以及动态边缘特征等模型方法进行识别。这些基于人工特征提取算子的传统特征提取方法对真实场景中***的火情的适应性较差。随着人工智能技术的广泛应用,目标检测技术从传统图像特征提取算子结合机器学习的方法,逐渐发展到利用深度学习的方法,且检测的效果也逐步提高。现阶段，针对基于光电视频图像的火情识别任务中，有研究人员将深度卷积神经网络和YCbCr空间模型相结合来对水面火焰进行检测，有效克服了传统算法中水面火焰的漏检；有作者采用经典目标检测识别智能算法-YOLOv3对图像中的火焰和烟雾进行检测识别的方法，大大提升了火情识别率；此外，也有采用Unet深度分割网络对火情区域进行像素级提取的方法，可以提高火情定位准确率。
然而，火情检测识别算法仍然存在不少难点。特别是在火灾的早期，火灾判别算法要综合考虑准确率和误报率，而火灾早期产生的火焰和烟雾特征都较为弱小，很难被目标检测识别算法中的特征提取模块充分挖掘，容易造成火情的漏检。此外，火情发生时的典型目标火焰和烟雾，因为其均为非刚体目标，外形特征差异较大，且烟雾颜色、纹理特征较弱，容易和其他目标混淆发生误报。
发明内容
本发明的目的在于克服现有技术的不足，提供一种动态特征辅助的可见光火情检测识别方法、设备及介质，提升火情检测识别效果和提高早期火情识别准确率，并降低火情误报率。
本发明的目的是通过以下方案实现的：
一种动态特征辅助的可见光火情检测识别方法，包括：
通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧，再结合选定时刻图像帧来获得火情燃烧过程中考虑视频时间上下文动态信息的动态特征；利用所述动态特征辅助对图像帧的火情检测识别。
进一步地，所述通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，包括子步骤：
S1，获取火***图像；
S2，利用光流法和光流方向统计将当前时刻前获得的时间长度T内连续视频帧中发生的非向下运动的图像帧提取出来，将该类图像帧命为正向运动显著帧；
S3，利用正向运动显著帧和当前时刻帧进行动态特征提取。
进一步地，在步骤S2中，所述正向运动显著帧的提取流程，包括如下子步骤：
S21，通过光流法对当前时刻前时间长度T内已获得的视频图像帧进行采样光流提取；
S22，利用聚类方法对获得的每一帧图像的光流方向进行聚类，聚类个数为N，其中属于正向运动的聚类类别个数为M，M<N，非正向运动类别个数为N-M；
S23，统计正向运动光流比例γ：其中ki、kj分别表示属于第i、j类的光流个数；将正向运动光流比例γ较大的图像帧作为正向运动显著帧。
进一步地，在步骤S3中，所述利用正向运动显著帧和当前时刻帧进行动态特征提取，包括子步骤：
S31，对当前帧进行运动前景区域提取；
S32，对提取的前景区域进行基于火情图像特征的筛选；
S33，将筛选出来的前景区域进行归一化，获得动态特征。
进一步地，所述利用所述动态特征辅助对图像帧的火情检测识别，包括子步骤：
步骤S4：搭建智能火情目标检测识别模型整体框架，在智能火情目标检测识别模型中加入动态特征辅助流程，动态特征辅助流程具体步骤如下：
1)，将提取的动态特征和当前帧分别进行空间注意力特征分析；
2)，利用全连接和激活函数将注意力特征映射为卷积算子组的加权权重并更新参数。
进一步地，在步骤S4中，所述智能火情目标检测识别模型整体框架，包括主干网络、连接Neck和检测头；主干网络采用嵌入条件卷积的Darknet53主干结构；所述连接Neck采用S型PANet结构：将原始PANet结构的U型特征传递回路扩展至S型特征传递回路得到S型PANet结构，用于加深智能火情目标检测模型主干网络和检测头之间的连接；检测头采用基于多尺度锚点设计的检测输出层。
进一步地，在步骤2)中，包括子步骤：将动态特征的空间注意力特征表示为Z，当前帧的空间注意力特征表示为X，具体映射流程如下：
步骤a)，将动态特征的空间注意力特征Z输入由FC和Sigmoid构成的映射函数中，得到映射权重向量
步骤b)，将当前帧的空间注意力特征X输入另一组由FC和Sigmoid构成的映射函数中，得到映射权重向量
步骤c)，将映射权重向量和映射权重向量/>利用点乘结合起来，获得加权权重：
步骤d)，将加权权重和卷积算子组的卷积参数通过点乘运算结合，并更新卷积参数为：Wi＝ci*Wi，其中ci为加权权重向量中的单个数值。
进一步地，在搭建完成智能火情目标检测识别模型整体框架后，包括步骤：
步骤S5：利用训练数据对基于动态特征辅助流程的智能火情目标检测识别模型进行训练，测试数据对训练完成的的模型进行测试；训练和测试过程中，在动态特征辅助流程输入动态特征，在智能火情目标检测识别模型输入端输入当前帧；利用最大值抑制的后处理对智能火情识别模型的输出进行过滤，获得最终的火情检测结果。
一种动态特征辅助的可见光火情检测识别设备，包括：
动态特征获取模块，通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，获得火情燃烧过程中考虑了视频时间上下文动态信息的动态特征；
动态特征辅助模块，利用所述动态特征辅助对图像帧的火情检测识别。
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如上任一项所述的方法。
本发明的有益效果包括：
本发明实施例技术方案解决了基于光电视频的传统火情目标检测识别方法未充分挖掘视频时间上下文动态信息，依赖单帧图像外形、颜色等静态特征，造成火情检测识别准确率提升难的技术问题，通过固定摄像头拍摄的火***，挖掘火情燃烧过程中具有的方向性运动特征，利用动态特征辅助模块对当前图像帧的火情检测识别进行辅助，提升了火情检测识别效果。
本发明实施例技术方案提出了基于条件卷积的运动特征辅助模块，进一步将该模块和改进的S型PANet结构嵌入到端到端实时智能目标检测识别算法中，实现火***数据特征在时间维度和空间维度上的有机结合，提高早期火情识别准确率，并降低火情误报率。
本发明实施例技术方案基于动态特征辅助模块的智能火情识别模型，充分利用了火***中的时间上下文信息，可以更好的与单帧图像中的静态目标特征进行互补和确认，对因静态特征弱小而漏掉的火情目标、因颜色纹理与火情相似的错误目标均有较好的抑制作用，可以提高火情的正确检测识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于动态特征辅助的智能火情识别方法流程图；
图2为本发明实施例的正向运动显著帧提取流程图
图3为本发明实施例的动态特征辅助模块结构示意图；
图4为本发明实施例的基于动态特征辅助模块的智能火情识别模型结构示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
鉴于背景中的问题，本发明的发明人经历了创造性思考后发现，现有基于人工智能的火情识别方法，主要利用了单帧图像静态特征，未充分挖掘连续帧之间的动态信息，更没有将动态信息用于辅助静态特征的分类，从而造成深度学习类火情智能识别算法难以有效解决早期火情识别率不够、误报率高等问题。
在认识到以上技术问题后，针对火情识别难点，本发明实施例技术方案提出一种基于动态特征辅助的智能火情检测识别技术方案。该技术方案通过设计正向运动显著帧提取方法，将正向运动显著帧和当前帧之间的运动特征提取出来，实现模型对动态特征的有效利用；搭建动态特征辅助模块，将动态特征用于辅助基于光电图像帧的火情检测识别任务，实现视频帧时间上下文信息和单帧图像静态信息的有机结合，进而提高火情识别率；此外，在本发明实施例技术方案的另一种发明构思中，再提出改进的S型PANet结构，将原始PANet结构的U型特征传递回路扩展为S型传递回路，增加PANet的特征提取能力，提高智能检测识别模型的检测准确率。
在进一步的发明构思中，本发明实施例技术方案旨在针对基于光电视频的传统火情目标检测识别方法未充分挖掘视频时间上下文动态信息，依赖单帧图像外形、颜色等静态特征，造成火情检测识别准确率提升难的技术问题，提供一种利用时间上下文动态特征辅助的智能火情检测识别方法。通过固定摄像头拍摄的火***，挖掘火情燃烧过程中具有的方向性运动特征，利用动态特征辅助模块对当前图像帧的火情检测识别进行辅助，用以提升火情检测识别效果，具体步骤如下：
步骤S1：通过固定可见光摄像头获取火***图像；
步骤S2：利用光流法和光流方向统计将当前时刻前获得的连续视频帧中(时间长度T内)发生明显非向下(向上、向左、向右等)运动的图像帧提取出来，将该类图像帧称为正向运动显著帧。该正向运动显著帧提取流程为：
1)通过光流法对当前时刻前、时间长度T内已获得的视频图像帧进行采样光流提取；
2)利用聚类方法对获得的每一帧图像的光流方向进行聚类，聚类个数为N，其中属于正向运动的聚类类别个数为M(M<N)，非正向运动类别个数为N-M。
3)统计正向运动光流比例γ：其中ki、kj分别表示属于第i、j类的光流个数。将正向运动光流比例γ较大的图像帧作为正向运动显著帧。
步骤S3：利用正向运动显著帧和当前时刻帧进行动态特征提取。提取过程为：
1)对当前帧进行运动前景区域提取；
2)对提取的前景区域进行基于火情图像特征的筛选；
3)将筛选出来的前景区域进行归一化，获得动态特征。
步骤S4：搭建一种基于动态特征辅助模块的智能火情识别模型。该模型的创新点在于在常见的目标智能检测识别模型中加入了动态特征辅助模块，以及还进一步设计了S型PANet结构。
其中，动态特征辅助模块工作流程为：
1)将提取的动态特征和当前帧分别进行空间注意力特征分析，空间注意力由全局平均池化(GAP)、全连接(FC)、ReLU激活函数等算子组成；
2)利用全连接和Sigmoid激活函数将注意力特征映射为卷积算子组的加权权重并更新动态特征辅助模块的参数。将动态特征的空间注意力特征表示为Z，当前帧的空间注意力特征表示为X，映射流程为：
a)将动态特征的空间注意力特征Z输入由FC和Sigmoid构成的映射函数中，得到映射权重向量
b)将当前帧的空间注意力特征X输入另一组由FC和Sigmoid构成的映射函数中,得到映射权重向量
c)将映射权重向量和映射权重向量/>利用点乘结合起来，获得加权权重：
d)将加权权重和卷积算子组的卷积参数通过点乘运算结合，并更新卷积参数为：Wi＝ci*Wi，其中ci为加权权重向量中的单个数值。
提出的S型PANet结构和原始PANet结构之间的区别在于：将PANet结构由原来的U型特征传递回路扩展至S型特征传递回路，加深了智能检测模型主干和检测头之间的连接，有助于多尺度特征的学习提取。S型PANet结构具体模块组成和连接方式如图4所示。
步骤S5：利用训练数据对基于动态特征辅助模块的智能火情识别模型进行训练，测试数据对训练完成的的模型进行测试。训练和测试过程中，在动态特征辅助模块输入动态特征，在智能模型输入端输入当前帧。利用最大值抑制的后处理对智能火情识别模型的输出进行过滤，获得最终的火情检测结果。
在本发明实施例技术方案的其他实施方式中，包括如下步骤：
首先，通过架设在支架上的固定可见光摄像头获取火***图像。得到火情可见光视频图像后，对视频进行抽帧标注，将图像中存在火焰的位置用矩形框标注出来，用于智能检测识别模型的训练。
利用光流法和方向统计量提取历史时刻里的正向运动显著帧。本实施采用Lucas-Kanade光流法，对原始图像通过最小二乘法来求解像素点在周围邻域内的光流方程从而获得光流。具体来说，将前一帧图像I中的某个像素点表示为u＝[ux,uy]T，后一帧图像中某个像素点v＝[ux+dx,uy+dy]T与之相匹配，即灰度差最小，则d＝[dx,dy]T为图像I在点d处的光流。
利用k-means聚类方法对获得的图像的光流方向进行聚类，聚类个数为N＝8，其中属于正向运动的聚类类别个数为M＝5，非正向运动类别个数为N-M＝3。统计正向运动光流比例γ：将正向运动光流比例γ较大的图像帧作为正向运动显著帧。
利用正向运动显著帧和当前时刻帧进行动态特征提取，在本实施方式中提取方法采用改进的基于RGB通道筛选的ViBe算法。即包括步骤：首先，对当前帧进行运动前景区域提取：计算像素点x的像素值V(x)到样本集中各像素点的欧式距离，每到一个点的距离阈值小于等于阈值R，则计为相似样本点数，若相似样本点数大于最小样本点数，将点x判断为背景点，否则是前景点。其次，利用图像在RGB三个颜色通道上的数值，筛选出前景点中具有和火焰及烟雾相近的颜色的前景点，滤除其他前景点；最后，将筛选出来的前景区域进行归一化，获得动态特征图。
搭建基于动态特征辅助模块的智能火情检测识别模型。在本实施方式中包括步骤：首先，搭建智能火情目标检测识别模型整体框架，该模型采用端对端目标检测识别网络结构，该结构主要由主干网络、连接Neck、检测头等部分组成。主干网络采用嵌入了条件卷积的Darknet53主干，具体包含条件卷积算子，残差块结构，SPP结构等，各个结构之间的连接关系和条件卷积嵌入位置如图4所示。连接Neck采用改进的S型PANet结构，和原始PANet结构之间的区别在于将PANet结构由原来的U型特征传递回路扩展至S型回路。
将标注好的视频图像帧输入基于动态特征辅助模块的智能火情识别模型中进行训练。训练过程中，采用YOLOv5(You Only Look Once v5)中常用的训练参数设置，并结合极大值抑制作为后处理。将训练完成后的模型保存下来，输入测试视频对其进行测试，获得最终的火情检测结果。
本实施例提供的基于动态特征辅助模块的智能火情识别模型，充分利用了火***中的时间上下文信息，可以更好的与单帧图像中的静态目标特征进行互补和确认，对因静态特征弱小而漏掉的火情目标、因颜色纹理与火情相似的错误目标均有较好的抑制作用，可以提高火情的检测识别率。
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
实施例1
一种动态特征辅助的可见光火情检测识别方法，包括：
通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧，再结合选定时刻图像帧来获得火情燃烧过程中考虑视频时间上下文动态信息的动态特征；利用所述动态特征辅助对图像帧的火情检测识别。
实施例2
在实施例1的基础上，所述通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，包括子步骤：
S1，获取火***图像；
S2，利用光流法和光流方向统计将当前时刻前获得的时间长度T内连续视频帧中发生的非向下运动的图像帧提取出来，将该类图像帧命为正向运动显著帧；
S3，利用正向运动显著帧和当前时刻帧进行动态特征提取。
实施例3
在实施例2的基础上，在步骤S2中，所述正向运动显著帧的提取流程，包括如下子步骤：
S21，通过光流法对当前时刻前时间长度T内已获得的视频图像帧进行采样光流提取；
S22，利用聚类方法对获得的每一帧图像的光流方向进行聚类，聚类个数为N，其中属于正向运动的聚类类别个数为M，M<N，非正向运动类别个数为N-M；
S23，统计正向运动光流比例γ：其中ki、kj分别表示属于第i、j类的光流个数；将正向运动光流比例γ较大的图像帧作为正向运动显著帧。
实施例4
在实施例2的基础上，在步骤S3中，所述利用正向运动显著帧和当前时刻帧进行动态特征提取，包括子步骤：
S31，对当前帧进行运动前景区域提取；
S32，对提取的前景区域进行基于火情图像特征的筛选；
S33，将筛选出来的前景区域进行归一化，获得动态特征。
实施例5
在实施例1的基础上，所述利用所述动态特征辅助对图像帧的火情检测识别，包括子步骤：
步骤S4：搭建智能火情目标检测识别模型整体框架，在智能火情目标检测识别模型中加入动态特征辅助流程，动态特征辅助流程具体步骤如下：
1)，将提取的动态特征和当前帧分别进行空间注意力特征分析；
2)，利用全连接和激活函数将注意力特征映射为卷积算子组的加权权重并更新参数。
实施例6
在实施例5的基础上，在步骤S4中，所述智能火情目标检测识别模型整体框架，包括主干网络、连接Neck和检测头；主干网络采用嵌入条件卷积的Darknet53主干结构；所述连接Neck采用改进的S型PANet结构：将原始PANet结构的U型特征传递回路扩展至S型特征传递回路得到S型PANet结构，用于加深智能火情目标检测模型主干网络和检测头之间的连接；检测头采用基于多尺度锚点设计的检测输出层。
实施例7
在实施例5的基础上，在步骤2)中，包括子步骤：将动态特征的空间注意力特征表示为Z，当前帧的空间注意力特征表示为X，具体映射流程如下：
步骤a)，将动态特征的空间注意力特征Z输入由FC和Sigmoid构成的映射函数中，得到映射权重向量
步骤b)，将当前帧的空间注意力特征X输入另一组由FC和Sigmoid构成的映射函数中，得到映射权重向量
步骤c)，将映射权重向量和映射权重向量/>利用点乘结合起来，获得加权权重：
步骤d)，将加权权重和卷积算子组的卷积参数通过点乘运算结合，并更新卷积参数为：Wi＝ci*Wi，其中ci为加权权重向量中的单个数值。
实施例8
在实施例6的基础上，在搭建完成智能火情目标检测识别模型整体框架后，包括步骤：
步骤S5：利用训练数据对基于动态特征辅助流程的智能火情目标检测识别模型进行训练，测试数据对训练完成的的模型进行测试；训练和测试过程中，在动态特征辅助流程输入动态特征，在智能火情目标检测识别模型输入端输入当前帧；利用最大值抑制的后处理对智能火情识别模型的输出进行过滤，获得最终的火情检测结果。
实施例9
一种动态特征辅助的可见光火情检测识别设备，动态特征获取模块，通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，获得火情燃烧过程中考虑了视频时间上下文动态信息的动态特征；
动态特征辅助模块，利用所述动态特征辅助对图像帧的火情检测识别。
实施例10
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～实施例8任一项所述的方法。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.一种动态特征辅助的可见光火情检测识别方法，其特征在于，包括：
通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧，再结合选定时刻图像帧来获得火情燃烧过程中考虑视频时间上下文动态信息的动态特征；利用所述动态特征辅助对图像帧的火情检测识别；
所述通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，包括子步骤：
S1，获取火***图像；
S2，利用光流法和光流方向统计将当前时刻前获得的时间长度T内连续视频帧中发生的非向下运动的图像帧提取出来，将该类图像帧命为正向运动显著帧；
S3，利用正向运动显著帧和当前时刻帧进行动态特征提取；
在步骤S2中，所述正向运动显著帧的提取流程，包括如下子步骤：
S21，通过光流法对当前时刻前时间长度T内已获得的视频图像帧进行采样光流提取；
S22，利用聚类方法对获得的每一帧图像的光流方向进行聚类，聚类个数为N，其中属于正向运动的聚类类别个数为M，M<N，非正向运动类别个数为N-M；
S23，统计正向运动光流比例：/>，其中/>、/>分别表示属于第i、j类的光流个数；将正向运动光流比例/>较大的图像帧作为正向运动显著帧。
2.根据权利要求1所述的动态特征辅助的可见光火情检测识别方法，其特征在于，在步骤S3中，所述利用正向运动显著帧和当前时刻帧进行动态特征提取，包括子步骤：
S31，对当前帧进行运动前景区域提取；
S32，对提取的前景区域进行基于火情图像特征的筛选；
S33，将筛选出来的前景区域进行归一化，获得动态特征。
3.根据权利要求1所述的动态特征辅助的可见光火情检测识别方法，其特征在于，利用所述动态特征辅助对图像帧的火情检测识别，包括子步骤：
步骤S4：搭建智能火情目标检测识别模型整体框架，在智能火情目标检测识别模型中加入动态特征辅助流程，动态特征辅助流程具体步骤如下：
1），将提取的动态特征和当前帧分别进行空间注意力特征分析；
2），利用全连接和激活函数将注意力特征映射为卷积算子组的加权权重并更新参数；
在步骤S4中，所述智能火情目标检测识别模型整体框架，包括主干网络、连接Neck和检测头；主干网络采用嵌入条件卷积的Darknet53主干结构；所述连接Neck采用改进的S型PANet结构：将原始PANet结构的U型特征传递回路扩展至S型特征传递回路得到S型PANet结构，用于加深智能火情目标检测模型主干网络和检测头之间的连接；检测头采用基于多尺度锚点设计的检测输出层。
4.根据权利要求3所述的动态特征辅助的可见光火情检测识别方法，其特征在于，在步骤2）中，包括子步骤：将动态特征的空间注意力特征表示为Z，当前帧的空间注意力特征表示为X，具体映射流程如下：
步骤a），将动态特征的空间注意力特征Z输入由FC和Sigmoid构成的映射函数中，得到映射权重向量；
步骤b），将当前帧的空间注意力特征X输入另一组由FC和Sigmoid构成的映射函数中，得到映射权重向量；
步骤c），将映射权重向量和映射权重向量/>利用点乘结合起来，获得加权权重：；
步骤d），将加权权重和卷积算子组的卷积参数通过点乘运算结合，并更新卷积参数为：，其中/>为加权权重向量/>中的单个数值。
5.根据权利要求3所述的动态特征辅助的可见光火情检测识别方法，其特征在于，在搭建完成智能火情目标检测识别模型整体框架后，包括步骤：
步骤S5：利用训练数据对基于动态特征辅助流程的智能火情目标检测识别模型进行训练，测试数据对训练完成的的模型进行测试；训练和测试过程中，在动态特征辅助流程输入动态特征，在智能火情目标检测识别模型输入端输入当前帧；利用最大值抑制的后处理对智能火情识别模型的输出进行过滤，获得最终的火情检测结果。
6.一种动态特征辅助的可见光火情检测识别设备，其特征在于，包括：
动态特征获取模块，通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，获得火情燃烧过程中考虑了视频时间上下文动态信息的动态特征；所述通过火***提取视频帧中选定时间范围内具有方向性运动特征的图像帧并结合选定时刻图像帧，包括子步骤：
S1，获取火***图像；
S2，利用光流法和光流方向统计将当前时刻前获得的时间长度T内连续视频帧中发生的非向下运动的图像帧提取出来，将该类图像帧命为正向运动显著帧；
S3，利用正向运动显著帧和当前时刻帧进行动态特征提取；在步骤S2中，所述正向运动显著帧的提取流程，包括如下子步骤：
S21，通过光流法对当前时刻前时间长度T内已获得的视频图像帧进行采样光流提取；
S22，利用聚类方法对获得的每一帧图像的光流方向进行聚类，聚类个数为N，其中属于正向运动的聚类类别个数为M，M<N，非正向运动类别个数为N-M；
S23，统计正向运动光流比例：/>，其中/>、/>分别表示属于第i、j类的光流个数；将正向运动光流比例/>较大的图像帧作为正向运动显著帧；
动态特征辅助模块，利用所述动态特征辅助对图像帧的火情检测识别。
7.一种可读存储介质，其特征在于，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如权利要求1~5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517483.3A CN115841642B (zh) | 2022-11-30 | 2022-11-30 | 动态特征辅助的可见光火情检测识别方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517483.3A CN115841642B (zh) | 2022-11-30 | 2022-11-30 | 动态特征辅助的可见光火情检测识别方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115841642A CN115841642A (zh) | 2023-03-24 |
| CN115841642B true CN115841642B (zh) | 2023-11-07 |
Family
ID=85576278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211517483.3A Active CN115841642B (zh) | 2022-11-30 | 2022-11-30 | 动态特征辅助的可见光火情检测识别方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115841642B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
| CN108399359A (zh) * | 2018-01-18 | 2018-08-14 | 中山大学 | 一种视频序列下实时火灾检测预警方法 |
| CN109961019A (zh) * | 2019-02-28 | 2019-07-02 | 华中科技大学 | 一种时空行为检测方法 |
| CN109978756A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 目标检测方法、***、装置、存储介质和计算机设备 |
| CN112766179A (zh) * | 2021-01-22 | 2021-05-07 | 郑州轻工业大学 | 一种基于运动特征混合深度网络的火灾烟雾检测方法 |
| CN113963301A (zh) * | 2021-11-04 | 2022-01-21 | 西安邮电大学 | 一种时空特征融合的视频火灾烟雾探测方法及*** |
-
2022
- 2022-11-30 CN CN202211517483.3A patent/CN115841642B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869442B1 (ko) * | 2017-11-22 | 2018-06-20 | 공주대학교 산학협력단 | 화재 감지 장치 및 방법 |
| CN108399359A (zh) * | 2018-01-18 | 2018-08-14 | 中山大学 | 一种视频序列下实时火灾检测预警方法 |
| CN109961019A (zh) * | 2019-02-28 | 2019-07-02 | 华中科技大学 | 一种时空行为检测方法 |
| CN109978756A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 目标检测方法、***、装置、存储介质和计算机设备 |
| CN112766179A (zh) * | 2021-01-22 | 2021-05-07 | 郑州轻工业大学 | 一种基于运动特征混合深度网络的火灾烟雾检测方法 |
| CN113963301A (zh) * | 2021-11-04 | 2022-01-21 | 西安邮电大学 | 一种时空特征融合的视频火灾烟雾探测方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 《基于光流动态特征与SVM 的阴燃火检测方法》;侯新国 等;《海军工程大学学报》;第31卷(第1期);第67-73页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115841642A (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| Chen et al. | Multi-feature fusion based fast video flame detection | |
| Zhang et al. | Moving vehicles detection based on adaptive motion histogram | |
| CN111339883A (zh) | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 | |
| CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN103020985B (zh) | 一种基于场量分析的视频图像显著性检测方法 | |
| CN103069434A (zh) | 多模式视频事件索引 | |
| CN113553979B (zh) | 一种基于改进yolo v5的安全服检测方法和*** | |
| CN111553403B (zh) | 基于伪3d卷积神经网络的烟雾检测方法及*** | |
| CN112270331A (zh) | 一种基于yolov5改进的广告牌检测方法 | |
| CN111126293A (zh) | 一种火焰和烟雾异常情况检测方法及*** | |
| CN106815576B (zh) | 基于连续时空置信图和半监督极限学习机的目标追踪方法 | |
| CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
| CN113313037A (zh) | 一种基于自注意力机制的生成对抗网络视频异常检测方法 | |
| Janku et al. | Fire detection in video stream by using simple artificial neural network | |
| Zhang et al. | Transmission line abnormal target detection based on machine learning yolo v3 | |
| CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
| CN111798435A (zh) | 图像处理方法、工程车辆侵入输电线路监测方法及*** | |
| Zheng et al. | A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery | |
| CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 | |
| CN115841642B (zh) | 动态特征辅助的可见光火情检测识别方法、设备及介质 | |
| CN112487926A (zh) | 一种基于时空图卷积网络的景区投喂行为识别方法 | |
| CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 | |
| Savakis et al. | Semantic background estimation in video sequences | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |