CN114419558B - 火灾视频图像识别方法、***、计算机设备及存储介质 - Google Patents

火灾视频图像识别方法、***、计算机设备及存储介质 Download PDF

Info

Publication number
CN114419558B
CN114419558B CN202210327700.6A CN202210327700A CN114419558B CN 114419558 B CN114419558 B CN 114419558B CN 202210327700 A CN202210327700 A CN 202210327700A CN 114419558 B CN114419558 B CN 114419558B
Authority
CN
China
Prior art keywords
layer
module
video image
block
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210327700.6A
Other languages
English (en)
Other versions
CN114419558A (zh
Inventor
柯峰
方恩权
杨利萍
庄泽升
彭东亮
马跃
何冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Metro Group Co Ltd
Shenzhen Launch Digital Technology Co Ltd
Original Assignee
South China University of Technology SCUT
Guangzhou Metro Group Co Ltd
Shenzhen Launch Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Metro Group Co Ltd, Shenzhen Launch Digital Technology Co Ltd filed Critical South China University of Technology SCUT
Priority to PCT/CN2022/084441 priority Critical patent/WO2023184350A1/zh
Priority to CN202210327700.6A priority patent/CN114419558B/zh
Publication of CN114419558A publication Critical patent/CN114419558A/zh
Application granted granted Critical
Publication of CN114419558B publication Critical patent/CN114419558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种火灾视频图像识别方法、***、计算机设备及存储介质，所述火灾视频图像识别方法包括：获取数据集，所述数据集为火灾与非火灾的视频图像数据集；构建卷积神经网络；利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。本发明能够在减少网络模型参数量的同时，提高网络模型的检测效率与准确率，实现对火灾视频图像的快速识别，从而能够及时发现火灾隐患，保证人身财产安全。

Description

火灾视频图像识别方法、***、计算机设备及存储介质
技术领域
本发明涉及一种火灾视频图像识别方法、***、计算机设备及存储介质，属于计算机视觉领域。
背景技术
随着我国经济和科技水平的提高，人口数量不断增多，建筑物不断增多密集。电力和燃料的持续使用增加了火灾的风险，火灾造成的破坏也增加了。火灾不仅造成社会的经济损失，同时也危害着大众的安全，因此，有必要对火灾检测技术进行专门研究，使其在火灾初燃时便对火灾进行识别，尽可能地降低火灾带来的损失，保护人们的安全。
传统的火灾检测技术主要为烟感型检测、温感型检测、光感型检测和气体型检测，主要是依据火灾时的物理特征来识别火灾的发生，如产生的烟雾浓度、环境的温度、火焰的光照强度以及燃烧消耗的O2和产生的CO、CO2等气体的浓度。传统的火灾检测技术具有一定局限性：一是仅局限于封闭的环境，如果在面积较大的场所里，物理特征变化不明显，传感器检测效率降低，同时气体、颗粒等物理特征传输到传感器的时间随着距离的增大而变长，检测时间变长，无法做到及时播报；二是易受环境的影响，雨雪、风速等环境因素的变化，会影响火灾现场的物理特征，进而影响传感器检测的准确率；三是成本高，传感器的价格高，且容易受到腐蚀老化甚至损坏。
随着信息时代的发展，人们开始朝着智能化方向发展火灾探测技术，利用图像处理、人工智能等技术，对提取到的火焰特征进行检测识别。与此同时，视频监控技术不断发展，大部分地区实现监控全覆盖。图像可以非常直观地发现火灾源和火势等情况，基于视频的火灾探测技术日益受到重视。但目前基于人工智能的火灾检测技术模型复杂、参数量过大和检测效率低，不利于火灾的快速检测。为此，寻找一种模型简单、参数量较小、检测效率较高的火灾识别模型成为研究人员重点关注的问题。
发明内容
有鉴于此，本发明提供了一种火灾视频图像识别方法、***、计算机设备及存储介质，其通过融合多尺度特征信息、网络残差结构与深度可分离卷积操作的结合，构成新的模块来搭建火灾视频图像识别模型，该网络不仅减少了网络模型参数数量，而且提高了网络模型的检测效率与准确率。
本发明的第一个目的在于提供一种火灾视频图像识别方法。
本发明的第二个目的在于提供一种火灾视频图像识别***。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种火灾视频图像识别方法，所述方法包括：
获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
进一步的，三层模块B分别为第一模块B、第二模块B和第三模块B，两层模块C分别为第一模块C和第二模块C，两层1×1卷积块A分别为第一1×1卷积块A和第二1×1卷积块A，四层最大池化层分别为第一池化层、第二池化层、第三池化层和第四池化层；
所述构建卷积神经网络，具体如下：
依次连接输入层、模块A、第一最大池化层、第一模块B、第一1×1卷积块A、第二最大池化层、第一模块C、第三最大池化层、第二1×1卷积块A、第二模块B、第四最大池化层、第二模块C、第三模块B、自适应平均池化层、dropout层、flatten层、全连接层、softmax分类层，进而构建得到卷积神经网络。
进一步的，所述模块A包括输入层、第一特征提取层和输出层；所述模块B包括输入层、第二特征提取层和输出层；所述模块C包括输入层、第三特征提取层和输出层。
进一步的，所述第一特征提取层包括第一输入通道、第一输出通道、第二输出通道和第三输出通道；
所述第一输入通道为第一3×3卷积块A、第二3×3卷积块A、第三3×3卷积块A依次连接；
所述第一输出通道输出第一3×3卷积块A的特征信息矩阵；
所述第二输出通道输出第二3×3卷积块A的特征信息矩阵；
所述第三输出通道输出第三3×3卷积块A的特征信息矩阵。
进一步的，所述第二特征提取层包括第二输入通道、第三输入通道、第四输入通道、第四输出通道、第五输出通道、第六输出通道、第七输出通道和第八输出通道；
所述第二输入通道为第三1×1卷积块A；
所述第三输入通道，具体为：先将第一3×3卷积块B和第二3×3卷积块B依次连接，并将第一3×3卷积块B的特征信息矩阵输出和第二3×3卷积块B的特征信息矩阵输出相加之后，再与第一激活层和第三3×3卷积块B依次连接；
所述第四输入通道为第五最大池化层和第四1×1卷积块A依次连接；
所述第四输出通道输出第三1×1卷积块A的特征信息矩阵；
所述第五输出通道输出第一3×3卷积块B的特征信息矩阵；
所述第六输出通道输出第二3×3卷积块B的特征信息矩阵；
所述第七输出通道输出第三3×3卷积块B的特征信息矩阵；
所述第八输出通道输出第四1×1卷积块A的特征信息矩阵。
进一步的，所述第三特征提取层包括第一输入输出通道、第二输入输出通道、第三输入输出通道、第四输入输出通道和第五输入输出通道；
所述第一输入输出通道为第五1×1卷积块A；
所述第二输入输出通道为第四3×3卷积块B和第六1×1卷积块A依次连接；
所述第三输入输出通道为第五3×3卷积块B、第六3×3卷积块B、第七1×1卷积块A依次连接；
所述第四输入输出通道为第七3×3卷积块B、第八3×3卷积块B、第九3×3卷积块B、第八1×1卷积块A依次连接；
所述第五输入输出通道为第六最大池化层和第九1×1卷积块A依次连接。
进一步的，所述卷积块B包括依次连接的卷积层、批量归一化层和第二激活层；
所述第二激活层采用的激活函数是：RELU6，RELU6(x)=min(max(x,0),6)；
所述卷积块B中的卷积层采用的是深度可分离卷积操作。
进一步的，所述输出层的输入对对应特征提取层中输出的全部特征信息矩阵进行深度上的拼接。
本发明的第二个目的可以通过采取如下技术方案达到：
一种火灾视频图像识别***，所述***包括：
第一获取单元，用于获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建单元，用于构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
训练单元，用于利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
第二获取单元，用于获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
识别单元，用于将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的火灾视频图像识别方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的火灾视频图像识别方法。
本发明相对于现有技术具有如下的有益效果：
（1）本发明搭建的火灾视频图像识别模型不仅能够减少网络模型参数量，而且还能提高网络模型的检测效率与准确率，进而实现对火灾视频图像的快速识别，从而能够及时发现火灾隐患，保证人身财产安全。
（2）本发明通过对采集到的视频进行分帧处理，得到视频图像数据集，再对视频图像数据进行预处理，从而有效解决了监控设备采集过程中存在的光照不足和阴影等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的火灾视频图像识别方法的流程图。
图2为本发明实施例1的火灾视频图像识别模型的框架图。
图3为本发明实施例1的模块A的框架图。
图4为本发明实施例1的模块B的框架图。
图5为本发明实施例1的模块C的框架图。
图6为本发明实施例1的卷积块A与B的框架图。
图7为本发明实施例1的各网络模型参数量的条形统计图。
图8为本发明实施例1的各网络模型火灾识别准确率的曲线统计图。
图9为本发明实施例2的火灾视频图像识别***的流程图。
图10为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种火灾视频图像识别方法，该方法包括以下步骤：
S101、获取数据集。
本实施例通过网络采集火焰与非火焰的视频，然后通过opencv库对采集到的火焰与非火焰的视频进行分帧处理（以12帧为一个单位），从而得到带有标签的火灾与非火灾的视频图像数据集。
进一步地，本实施例利用脚本将上述数据集划分为训练集和测试集，并对训练集进行数据增强，其中数据增强包括随机旋转、镜像和随机裁剪。
S102、构建卷积神经网络。
如图2所示，本实施例中的卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；其中三层模块B分别为第一模块B、第二模块B和第三模块B，两层模块C分别为第一模块C和第二模块C，两层1×1卷积块A分别为第一1×1卷积块A和第二1×1卷积块A，四层最大池化层分别为第一池化层、第二池化层、第三池化层和第四池化层。
本实施例将输入层、模块A、第一最大池化层、第一模块B、第一1×1卷积块A、第二最大池化层、第一模块C、第三最大池化层、第二1×1卷积块A、第二模块B、第四最大池化层、第二模块C、第三模块B、自适应平均池化层、dropout层、flatten层、全连接层、softmax分类层依次连接，进而构建得到卷积神经网络。
本实施例中的第一1×1卷积块A和第二1×1卷积块A使用到的卷积层，步距均为1，填充均为0。
进一步地，如图3所示，本实施例中的模块A包括输入层、第一特征提取层和输出层；其中第一特征提取层包括第一输入通道、第一输出通道、第二输出通道和第三输出通道。具体地，第一输入通道为第一3×3卷积块A、第二3×3卷积块A、第三3×3卷积块A依次连接；第一输出通道输出第一3×3卷积块A的特征信息矩阵；第二输出通道输出第二3×3卷积块A的特征信息矩阵；第三输出通道输出第三3×3卷积块A的特征信息矩阵。
在模块A中，第一3×3卷积块A使用到的卷积层，步距为2，填充为1；第二3×3卷积块A、第三3×3卷积块A使用到的卷积层，步距均为1，填充均为1。
进一步地，如图4所示，本实施例中的模块B包括输入层、第二特征提取层和输出层；其中第二特征提取层包括第二输入通道、第三输入通道、第四输入通道、第四输出通道、第五输出通道、第六输出通道、第七输出通道和第八输出通道。具体地，第二输入通道为第三1×1卷积块A；第三输入通道，具体为：先将第一3×3卷积块B和第二3×3卷积块B依次连接，并将第一3×3卷积块B的特征信息矩阵输出和第二3×3卷积块B的特征信息矩阵输出相加之后，再与第一激活层和第三3×3卷积块B依次连接；第四输入通道为第五最大池化层和第四1×1卷积块A依次连接；第四输出通道输出第二输入通道中第三1×1卷积块A的特征信息矩阵；第五输出通道输出第一3×3卷积块B的特征信息矩阵；第六输出通道输出第二3×3卷积块B的特征信息矩阵；第七输出通道输出第三3×3卷积块B的特征信息矩阵；第八输出通道输出第四输入通道中第四1×1卷积块A的特征信息矩阵。
在模块B中，第一3×3卷积块B、第二3×3卷积块B和第三3×3卷积块B使用到的卷积层，步距均为1，填充均为1；第三1×1卷积块A和第四1×1卷积块A使用到的卷积层，步距均为1，无填充。
进一步地，如图5所示，本实施例中的模块C包括输入层、第三特征提取层和输出层；其中第三特征提取层包括第一输入输出通道、第二输入输出通道、第三输入输出通道、第四输入输出通道和第五输入输出通道。具体地，第一输入输出通道为第五1×1卷积块A；第二输入输出通道为第四3×3卷积块B和第六1×1卷积块A依次连接；第三输入输出通道为第五3×3卷积块B、第六3×3卷积块B、第七1×1卷积块A依次连接；第四输入输出通道为第七3×3卷积块B、第八3×3卷积块B、第九3×3卷积块B、第八1×1卷积块A依次连接；第五输入输出通道为第六最大池化层和第九1×1卷积块A依次连接。
在模块C中，第四3×3卷积块B、第五3×3卷积块B、第六3×3卷积块B、第七3×3卷积块B、第八3×3卷积块B、第九3×3卷积块B使用到的卷积层，步距均为1，填充均为1；第五1×1卷积块A、第六1×1卷积块A、第七1×1卷积块A、第八1×1卷积块A、第九1×1卷积块A使用到的卷积层，步距均为1，无填充。
本实施例中的第一激活层是模块B中的激活层，第二激活层是卷积块A 和卷积块B中的激活层。
本实施例中的输入层均用来接收上一层的输出；输出层的输入对对应特征提取层中输出的全部特征信息矩阵进行深度上的拼接，具体为：在模块A中，输出层的输入为这三个输出通道输出的特征信息矩阵进行深度上的拼接；在模块B中，输出层的输入为这五个输出通道输出的特征信息矩阵进行深度上的拼接；在模块C中，同理，不再赘述。
更进一步地，如图6所示，卷积块A和卷积块B均包括依次连接的卷积层、批量归一化（BN）层和第二激活层；其中，卷积块A中的卷积层采用的是普通卷积操作，卷积块B中的卷积层采用的是深度可分离卷积操作，第二激活层采用的激活函数都是RELU6，RELU6(x)=min(max(x,0),6)。
本实施例中的深度可分离卷积，具体为：卷积核的通道数为1，同时，输入特征矩阵的通道数=卷积核的个数=输出特征矩阵的通道数。
本实施例中的第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层、第五最大池化层、第六最大池化层大小均为3×3，步距为1，填充为1；dropout层随机失活神经元的数目为40%；全连接层神经元个数为2。
本实施例中的卷积神经网络的具体参数情况如表1所示：
表1为卷积神经网络的具体参数情况
Figure DEST_PATH_IMAGE001
其中：3×3-1A、3×3-2A和3×3-3A分别表示模块A中第一、第二、第三3×3卷积块A；1×1-1B和1×1-2B分别表示模块B中第四输出通道中第三1×1卷积块A的数目和第八输出通道中第四1×1卷积块A；1×1-1C、1×1-2C、1×1-3C、1×1-4C和1×1-5C分别表示模块C中第一输入输出通道中第五1×1卷积块A、第二输入输出通道中第六1×1卷积块A、第三输入输出通道中第七1×1卷积块A、第四输入输出通道中第八1×1卷积块A和第五输入输出通道中第九1×1卷积块A；1×1表示1×1卷积块。
S103、利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型。
将从步骤S101得到的训练集输入到火灾视频图像识别模型中进行训练，并调整网络参数，从而得到预训练模型（训练好的火灾视频图像识别模型），将从步骤S101得到的测试集输入到预训练模型中，得到识别准确率。
对火灾视频图像识别模型进行性能测试，具体结果如下：
如图7所示，火灾视频图像识别模型参数量远远少于其他经典的卷积神经网络模型，其模型参数量是VGG19模型参数量的1.02%，是GoogleNet模型参数量的23.80%，是resnet34模型参数量的6.68%。
如图8所示，火灾视频图像识别模型在测试集上的表现远比其他经典的卷积神经网络模型在测试集上的表现要好，具体为：在同样迭代300个epoch的情况下，火灾视频图像识别模型的火灾识别最高准确率为97.06%，比经典卷积神经网络模型GoogleNet高2.31%，比经典卷积神经网络模型resnet34高0.85%。
S104、获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像。
S105、将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图9所示，本实施例提供了一种火灾视频图像识别***，该***包括第一获取单元901、构建单元902、训练单元903、第二获取单元904和识别单元905，各个单元的具体功能如下：
第一获取单元901，用于获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建单元902，用于构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
训练单元903，用于利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
第二获取单元904，用于获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
识别单元905，用于将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的***仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
如图10所示，本实施例提供了一种计算机设备，其包括通过***总线1001连接的处理器1002、存储器、输入装置1003、显示装置1004和网络接口1005。其中，处理器1002用于提供计算和控制能力，存储器包括非易失性存储介质1006和内存储器1007，该非易失性存储介质1006存储有操作***、计算机程序和数据库，该内存储器1007为非易失性存储介质1006中的操作***和计算机程序的运行提供环境，计算机程序被处理器1002执行时，实现上述实施例1的火灾视频图像识别方法，如下：
获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
实施例4：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的火灾视频图像识别方法，如下：
获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
综上所述，本发明通过对采集到的视频进行分帧处理，得到视频图像数据集，再对视频图像数据进行预处理，从而有效解决了监控设备采集过程中存在的光照不足和阴影等问题；此外，搭建的火灾视频图像识别模型不仅能够减少网络模型参数量，而且还能提高网络模型的检测效率与准确率，进而实现对火灾视频图像的快速识别，从而能够及时发现火灾隐患，保证人身财产安全。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (8)

1.一种火灾视频图像识别方法，其特征在于，所述方法包括：
获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别；
所述模块A包括输入层、第一特征提取层和输出层；所述模块B包括输入层、第二特征提取层和输出层；所述模块C包括输入层、第三特征提取层和输出层；
所述第一特征提取层包括第一输入通道、第一输出通道、第二输出通道和第三输出通道；
所述第一输入通道为第一3×3卷积块A、第二3×3卷积块A、第三3×3卷积块A依次连接；
所述第一输出通道输出第一3×3卷积块A的特征信息矩阵；
所述第二输出通道输出第二3×3卷积块A的特征信息矩阵；
所述第三输出通道输出第三3×3卷积块A的特征信息矩阵。
2.根据权利要求1所述的火灾视频图像识别方法，其特征在于，三层模块B分别为第一模块B、第二模块B和第三模块B，两层模块C分别为第一模块C和第二模块C，两层1×1卷积块A分别为第一1×1卷积块A和第二1×1卷积块A，四层最大池化层分别为第一池化层、第二池化层、第三池化层和第四池化层；
所述构建卷积神经网络，具体如下：
依次连接输入层、模块A、第一最大池化层、第一模块B、第一1×1卷积块A、第二最大池化层、第一模块C、第三最大池化层、第二1×1卷积块A、第二模块B、第四最大池化层、第二模块C、第三模块B、自适应平均池化层、dropout层、flatten层、全连接层、softmax分类层，进而构建得到卷积神经网络。
3.根据权利要求1所述的火灾视频图像识别方法，其特征在于，所述第二特征提取层包括第二输入通道、第三输入通道、第四输入通道、第四输出通道、第五输出通道、第六输出通道、第七输出通道和第八输出通道；
所述第二输入通道为第三1×1卷积块A；
所述第三输入通道，具体为：先将第一3×3卷积块B和第二3×3卷积块B依次连接，并将第一3×3卷积块B的特征信息矩阵输出和第二3×3卷积块B的特征信息矩阵输出相加之后，再与第一激活层和第三3×3卷积块B依次连接；
所述第四输入通道为第五最大池化层和第四1×1卷积块A依次连接；
所述第四输出通道输出第三1×1卷积块A的特征信息矩阵；
所述第五输出通道输出第一3×3卷积块B的特征信息矩阵；
所述第六输出通道输出第二3×3卷积块B的特征信息矩阵；
所述第七输出通道输出第三3×3卷积块B的特征信息矩阵；
所述第八输出通道输出第四1×1卷积块A的特征信息矩阵。
4.根据权利要求1所述的火灾视频图像识别方法，其特征在于，所述第三特征提取层包括第一输入输出通道、第二输入输出通道、第三输入输出通道、第四输入输出通道和第五输入输出通道；
所述第一输入输出通道为第五1×1卷积块A；
所述第二输入输出通道为第四3×3卷积块B和第六1×1卷积块A依次连接；
所述第三输入输出通道为第五3×3卷积块B、第六3×3卷积块B、第七1×1卷积块A依次连接；
所述第四输入输出通道为第七3×3卷积块B、第八3×3卷积块B、第九3×3卷积块B、第八1×1卷积块A依次连接；
所述第五输入输出通道为第六最大池化层和第九1×1卷积块A依次连接。
5.根据权利要求3-4任一项所述的火灾视频图像识别方法，其特征在于，所述卷积块B包括依次连接的卷积层、批量归一化层和第二激活层；
所述第二激活层采用的激活函数是：RELU6，RELU6(x)=min(max(x,0),6)；
所述卷积块B中的卷积层采用的是深度可分离卷积操作。
6.根据权利要求1所述的火灾视频图像识别方法，其特征在于，所述输出层的输入对对应特征提取层中输出的全部特征信息矩阵进行深度上的拼接。
7.一种火灾视频图像识别***，其特征在于，所述***包括：
第一获取单元，用于获取数据集，所述数据集为火灾与非火灾的视频图像数据集；
构建单元，用于构建卷积神经网络，所述卷积神经网络包括一层输入层、一层模块A、三层模块B、两层模块C、两层1×1卷积块A、四层最大池化层、一层自适应平均池化层、一层flatten层、一层dropout层、一层全连接层和一层softmax分类层；
训练单元，用于利用数据集对卷积神经网络进行训练，得到火灾视频图像识别模型；
第二获取单元，用于获取待识别视频，并对待识别视频进行分帧处理，得到待识别视频图像；
识别单元，用于将待识别视频图像输入火灾视频图像识别模型，实现火灾视频图像识别；
所述模块A包括输入层、第一特征提取层和输出层；所述模块B包括输入层、第二特征提取层和输出层；所述模块C包括输入层、第三特征提取层和输出层；
所述第一特征提取层包括第一输入通道、第一输出通道、第二输出通道和第三输出通道；
所述第一输入通道为第一3×3卷积块A、第二3×3卷积块A、第三3×3卷积块A依次连接；
所述第一输出通道输出第一3×3卷积块A的特征信息矩阵；
所述第二输出通道输出第二3×3卷积块A的特征信息矩阵；
所述第三输出通道输出第三3×3卷积块A的特征信息矩阵。
8.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6任一项所述的火灾视频图像识别方法。
CN202210327700.6A 2022-03-31 2022-03-31 火灾视频图像识别方法、***、计算机设备及存储介质 Active CN114419558B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/084441 WO2023184350A1 (zh) 2022-03-31 2022-03-31 火灾视频图像识别方法、***、计算机设备及存储介质
CN202210327700.6A CN114419558B (zh) 2022-03-31 2022-03-31 火灾视频图像识别方法、***、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210327700.6A CN114419558B (zh) 2022-03-31 2022-03-31 火灾视频图像识别方法、***、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114419558A CN114419558A (zh) 2022-04-29
CN114419558B true CN114419558B (zh) 2022-07-05

Family

ID=81264231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210327700.6A Active CN114419558B (zh) 2022-03-31 2022-03-31 火灾视频图像识别方法、***、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN114419558B (zh)
WO (1) WO2023184350A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593610B (zh) * 2024-01-17 2024-04-26 上海秋葵扩视仪器有限公司 图像识别网络训练及部署、识别方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292298A (zh) * 2017-08-09 2017-10-24 北方民族大学 基于卷积神经网络和分类器模型的牛脸识别方法
CN109063728A (zh) * 2018-06-20 2018-12-21 燕山大学 一种火灾图像深度学习模式识别方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111507962A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于深度视觉的棉花内杂物识别***
CN111553298A (zh) * 2020-05-07 2020-08-18 北京天仪百康科贸有限公司 一种基于区块链的火灾识别方法及***
CN112231974A (zh) * 2020-09-30 2021-01-15 山东大学 基于深度学习的tbm破岩震源地震波场特征恢复方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3561788B1 (en) * 2016-12-21 2023-08-09 Hochiki Corporation Fire monitoring system
US11182611B2 (en) * 2019-10-11 2021-11-23 International Business Machines Corporation Fire detection via remote sensing and mobile sensors
CN111639571B (zh) * 2020-05-20 2023-05-23 浙江工商大学 基于轮廓卷积神经网络的视频动作识别方法
CN112419650A (zh) * 2020-11-11 2021-02-26 国网福建省电力有限公司电力科学研究院 基于神经网络与图像识别技术的火灾探测方法及***
CN113591591A (zh) * 2021-07-05 2021-11-02 北京瑞博众成科技有限公司 人工智能现场行为识别***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292298A (zh) * 2017-08-09 2017-10-24 北方民族大学 基于卷积神经网络和分类器模型的牛脸识别方法
CN109063728A (zh) * 2018-06-20 2018-12-21 燕山大学 一种火灾图像深度学习模式识别方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111507962A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于深度视觉的棉花内杂物识别***
CN111553298A (zh) * 2020-05-07 2020-08-18 北京天仪百康科贸有限公司 一种基于区块链的火灾识别方法及***
CN112231974A (zh) * 2020-09-30 2021-01-15 山东大学 基于深度学习的tbm破岩震源地震波场特征恢复方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G Ciaburro.Sound event detection in underground parking garage using convolutional neural network.《Big Data and Cognitive Computing》.2020,第4卷(第3期), *
史海山等.基于遗传神经网络的火灾图像识别及应用.《计算机科学》.2006,(第11期), *
吴喆.基于深度学习的动态背景下航道船舶检测识别与跟踪研究.《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》.2020,(第3期), *
吴雪等.基于数据增强的卷积神经网络火灾识别.《科学技术与工程》.2020,(第03期), *

Also Published As

Publication number Publication date
CN114419558A (zh) 2022-04-29
WO2023184350A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
CN109492612A (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及***
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及***、存储介质、电子装置
CN110162462A (zh) 基于场景的人脸识别***的测试方法、***和计算机设备
Liu et al. Visual smoke detection based on ensemble deep cnns
CN114419558B (zh) 火灾视频图像识别方法、***、计算机设备及存储介质
CN116343301B (zh) 基于人脸识别的人员信息智能校验***
CN115358952B (zh) 一种基于元学习的图像增强方法、***、设备和存储介质
CN111242868A (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
Zhao et al. FSDF: A high-performance fire detection framework
CN113239825A (zh) 一种复杂场景下高精度烟草甲虫检测方法
CN116563762A (zh) 一种油气站火灾检测方法、***、介质、设备及终端
CN117040109A (zh) 一种基于异构数据特征融合的配电站房风险预警方法
Chen et al. A novel smoke detection algorithm based on improved mixed Gaussian and YOLOv5 for textile workshop environments
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
Zheng et al. A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery
CN114282258A (zh) 截屏数据脱敏方法、装置、计算机设备及存储介质
CN114067268A (zh) 一种电力作业现场安全帽检测及身份识别方法及装置
CN112989932A (zh) 基于改进原型网络的少样本森林火灾烟雾识别方法及装置
CN116543333A (zh) 电力***的目标识别方法、训练方法、装置、设备和介质
CN115346169B (zh) 一种睡岗行为检测方法及***
CN115760616A (zh) 一种人体点云修复方法、装置、电子设备及存储介质
CN114299475A (zh) 一种防振锤锈蚀检测方法及相关设备
CN114881103A (zh) 一种基于通用扰动贴纸的对抗样本检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant