CN112949453A - 烟火检测模型的训练方法、烟火检测方法及设备 - Google Patents

烟火检测模型的训练方法、烟火检测方法及设备 Download PDF

Info

Publication number
CN112949453A
CN112949453A CN202110215838.2A CN202110215838A CN112949453A CN 112949453 A CN112949453 A CN 112949453A CN 202110215838 A CN202110215838 A CN 202110215838A CN 112949453 A CN112949453 A CN 112949453A
Authority
CN
China
Prior art keywords
firework
smoke
motion
weak
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110215838.2A
Other languages
English (en)
Other versions
CN112949453B (zh
Inventor
曹毅超
孙飞
施燕平
李溯
陈斌锋
封晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING ENBO TECHNOLOGY CO LTD
Original Assignee
NANJING ENBO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING ENBO TECHNOLOGY CO LTD filed Critical NANJING ENBO TECHNOLOGY CO LTD
Priority to CN202110215838.2A priority Critical patent/CN112949453B/zh
Publication of CN112949453A publication Critical patent/CN112949453A/zh
Application granted granted Critical
Publication of CN112949453B publication Critical patent/CN112949453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种烟火检测模型的训练方法、烟火检测方法及设备，属于烟火检测技术领域。训练方法包括：构建视频烟火样本数据集；将输入图像输入纹理支路进行特征提取，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；计算输入图像与参考图像的帧差图像，将帧差图像输入运动支路计算运动注意力权重图；对纹理特征进行运动感知增强；利用弱注意力模块生成弱烟火目标掩码；根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图，并进行烟火目标检测。并且提出了利用所训练出的模型进行烟火检测的方法，以及执行所述烟火检测方法的设备。本发明能够有效地提高烟火的检测准确率，并且计算成本低，便于部署。

Description

烟火检测模型的训练方法、烟火检测方法及设备
技术领域
本发明属于烟火检测技术领域，具体涉及一种烟火检测模型的训练方法、烟火检测方法及设备。
背景技术
火灾的发生不仅会造成财产损失，还会严重危害人们的生命安全，一旦发生重、特大火灾，造成的直接产业损失往往更为巨大，甚至，若火灾发生在首脑机关、通讯纽带、涉外单位、古建筑、风景区等区域的火灾，往往会造成严峻的政治影响，影响全国甚至涉及世界。随着深度学习技术的发展，计算视觉技术取得了长足发展，深度学习技术在目标检测、行为识别、超分辨率等领域取得巨大成功，通过计算机视觉技术进行火灾和烟雾探测获得了学术界和工业界的广泛关注。
然而，烟火目标不同于通用的刚体目标检测，其边缘具有模糊和半透明的性质，属于一种特殊的流体目标。另外，颜色和纹理在不同的光照条件下也会存在较大差异。现有的烟火检测方法，按照输入数据的维度，可以划分基于图像和基于视频两类。基于图像的检测方法通常关注烟火目标的静态纹理、边缘、轮廓等信息。基于视频的检测算法则更多地关注烟火目标的扩散速度、频率变化等动态特征。因为动态信息的缺失，相比于基于视频的方法，基于图像的检测算法通常会造成更高的漏报率和误报率，因此，目前很多烟火检测方法采用基于视频的方法。对于基于视频的烟火检测方法，需要考虑烟火检测的准确性，并且，在大部分的应用场景中，还需要考虑方法的部署。
发明内容
技术问题：针对现有的基于视频的烟火检测方法，准确性不高的问题，本发明首先提出了一种烟火检测模型的训练方法，从而可以训练出一种识别准确性较高的烟火检测模型；然后，基于所训练出的烟火检测模型，提出一种能够对烟火进行准确识别的烟火检测方法；进一步地，提出一种用于实施所述烟火检测方法的设备，从而能够进行部署，对烟火进行准确检测；此外，本发明计算成本低，便于部署。
技术方案：本发明一方面提供了一种烟火检测模型的训练方法，烟火检测模型包括纹理支路和运动支路，所述方法包括：
构建视频烟火样本数据集，所述视频烟火样本数据集包括若干样本，每个样本包括输入图像和参考图像；
将输入图像输入纹理支路进行特征提取，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；
计算输入图像与参考图像的帧差图像，将帧差图像输入运动支路计算运动注意力权重图；
对纹理特征进行运动感知增强；
利用弱注意力模块生成弱烟火目标掩码；
根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图，并进行烟火目标检测。
进一步地，所述将帧差图像输入运动支路计算运动注意力权重图的方法包括：
将帧差图像进行降采样；
将降采样后的帧差图像进行灰度化；
将灰度化后的图像输入标准残差块，计算得到运动注意力权重图。
进一步地，所述对纹理特征进行运动感知增强的方法为：
Fm＝Fa+Fa*Am
其中，Fm为运动感知增强后的纹理特征，Fa为运动感知增强前的纹理特征，Am为运动注意力权重图，*为逐通道相乘，使用Am单个元素与Fa中该位置的通道元素相乘。
进一步地，所述利用弱注意力模块生成弱烟火目标掩码的方法包括：
在输入图像的数据标注框中，随机采样若干烟火目标和非烟火目标的像素点，构建烟火像素数据集；
将RGB三个通道作为特征，训练随机森林模型；
利用训练好的随机森林模型对输入图像中的标注框内的像素进行分类，得到标注框内的掩码；
以1表示烟火区域的像素值，以0表示非烟火区域的像素值，根据标注框所在位置，将标注框内的掩码粘贴到一张全为0的掩码上，得到完整的弱烟火目标掩码。
进一步地，所述根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图的方法为：
Fw＝Fm*Aw+Fr
其中，Fw表示烟火特征图，Aw表示弱烟火目标掩码，Fm表示运动感知增强后的纹理特征，Fr表示补偿残差。
进一步地，所述视频烟火样本数据集中的样本包括正样本和负样本，其中：
正样本为视频中有烟火目标的帧，对于每个正样本，选择任一帧作为输入图像，在该帧前后200ms～5s范围内随机抽取一帧作为对应的参考图像，并对输入图像进行烟火目标边界框标注；
负样本为视频中没有烟火目标的帧，对于每个负样本，选择任一帧作为输入图像，在该帧前后200ms～5s范围内随机抽取一帧作为对应的参考图像。
另一方面，本发明提供了一种烟火检测方法，利用所述的训练方法训练得到烟火检测模型，所述烟火检测模型包括纹理支路和运动支路；该方法包括：
获取烟火视频图像，对于任一帧视频输入图像，随机抽取该帧图像前后设定时间范围内的一帧作为对应的参考图像，并计算输入图像与参考图像的帧差图像；
将输入图像输入纹理支路，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；
将帧差图像输入运动支路计算运动注意力权重图；
对纹理特征进行运动感知增强；
根据运动感知增强后纹理特征预测弱烟火目标掩码；
根据运动感知增强后的纹理特征、弱烟火目标掩码，得到烟火特征图，并检测出烟火目标。
进一步地，所述根据帧差图像输入运动支路计算运动注意力权重图的方法包括：
将帧差图像进行降采样；
将降采样后的帧差图像进行灰度化；
将灰度化后的图像输入标准残差块，计算得到运动注意力权重图。
进一步地，所述对纹理特征进行运动感知增强的方法为：
Fm＝Fa+Fa*Am
其中，Fm为运动感知增强后的纹理特征，Fa为运动感知增强前的纹理特征，Am为运动注意力权重图，*为逐通道相乘，使用Am单个元素与Fa中该位置的通道元素相乘。
进一步地，所述根据运动感知增强后纹理特征预测弱烟火目标掩码的方法包括：
利用标准的Focal Loss进行优化。
进一步地，所述根据运动感知增强后的纹理特征、弱烟火目标掩码，得到烟火特征图的方法为：
Fw＝Fm*Aw+Fr
其中，Fw表示烟火特征图，Aw表示弱烟火目标掩码，Fm表示运动感知增强后的纹理特征，Fr表示补偿残差。
再一方面，本发明提供一种烟火检测设备，包括：
图像采集装置，用于采集烟火视频图像；
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行权利要求7-10任一项所述的烟火检测方法。
有益效果：本发明与现有技术相比，具有以下优点：
(1)利用本发明的烟火检测模型的训练方法训练出的模型，具有双路的网络，能够避免传统的单帧检测方法的动态信息丢失问题，并且能够凸显烟火区域的动态特征，使得模型对于不明显烟火目标具有较强的识别能力和对抗干扰因素的判别能力，从而训练出的对烟火具有较高的识别准确性，从而在应用利用该方法训练出的模型进行烟火检测时，能够对烟火进行准确识别。而且，训练出的模型只需要输入两帧图像，即可完成烟火目标的准确检测，保证了模型具有较低的计算成本，从而便于工程部署。
此外，在模型的训练时，引入了弱引导注意力模块，实现了对于半透明烟雾区域的掩码生成，解决了对于半透明烟火目标人工标注可能产生的分歧。利用弱引导注意力模块，利用多任务的学习策略，提升了模型对于烟火目标像素级的关注程度，使得模型能更充分地利用训练数据，从而提高了模型对烟火目标的检测准确率。
(2)本发明的烟火检测方法，利用了本发明所提出的烟火检测模型训练方法训练出的烟火检测模型，由于训练出的烟火检测模型具有双路的网络，能够避免传统的单帧检测方法的动态信息丢失问题，并且能够凸显烟火区域的动态特征，对于不明显烟火目标具有较强的识别能力和对抗干扰因素的判别能力，对烟火具有较高的识别准确性，从而在进行烟火目标检测时，能够更加准确地检测烟火目标。并且，由于烟火检测模型对于烟火目标像素级的具有较高的关注程度，能更充分地利用训练数据，从而烟火检测准确率进一步地提高。此外，由于模型的计算成本较低，便于该方法的应用和部署。
(3)利用本发明所提出的烟火检测设备，能够更加准确地检测烟火目标，当部署在具体的应用场景中时，能够准确地检测出烟火目标，从而能够及时的发现火情，降低因火灾带来的人员伤亡和财产损失。
附图说明
图1为本发明的实施例中的网络结构框架图；
图2为本发明的实施例中的烟火检测模型训练方法的流程图；
图3为本发明的实施例中模型训练时弱引导注意力模块生成弱烟火目标掩码的流程图；
图4为本发明的实施例中进行模型训练时其中五个样本在不同阶段的可视化结果图；
图5为本发明的实施例中烟火检测方法的流程图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
首先对本发明的实施例中所涉及的烟火检测模型的结构进行说明，结合图1所示，本发明的实施例中，烟火检测模型是一个双路网络，称为双帧运动感知主干网络，该模型包括两个支路，分别是用于处理输入图像的纹理支路和用于处理帧差图像的运动支路。其中，在本发明的一个实施例中，纹理支路采用的是MobileNetV3的网络结构，运动支路包括降采样模块、灰度化模块以及卷积神经网络残差块，在本发明的一个实施例中，采用的是MobileNetV2的残差块，说明的是，在其他的实施例中，纹理支路以及运行支路中的残差块，本领域技术人员可以利用现有的其他网络进行替换。
结合图1和图2，对本发明的烟火检测模型的训练方法的实施例进行说明，该训练方法包括：
S100：构建视频烟火样本数据集。在本发明的实施例中，视频烟火样本数据集中包括若干个正样本和负样本，其中，正样本为视频中有烟火目标的帧，对于每个正样本，选择任一帧作为输入图像，在该帧前后200ms～5s范围内随机抽取一帧作为对应的参考图像，并对输入图像进行烟火目标边界框标注；负样本为视频中没有烟火目标的帧，并采用同样的方法，抽取负样本的输入图像和参考图像，并且无需对负样本的输入图像进行标注。
S110：将输入图像输入纹理支路进行特征提取，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征。在本发明的一个实施例中，纹理支路采用MobileNetV3的网络结构，用公式表示如下：
Figure BDA0002953065040000051
该实施例中的纹理支路可以产生四种尺度的特征表示，其中，IF为输入图像，其尺寸为3×H×W，彩色图像通道数为3，H和W分别为输入图像的高和宽，
Figure BDA0002953065040000052
分别为纹理支路中四种尺度的特征图，在该实施例中，纹理支路对输入图像进行特征提取后，得到了四个尺度的特征表示。然后通过特征金子塔FPN将四个尺度的特征进行表示融合为纹理特征Fa，表示为：
Figure BDA0002953065040000061
在本发明的实施例中，特征金字塔采用的是标准的特征金字塔，通过纹理支路提取输入图像的多尺度特征表示，并用特征金字塔将多尺度特征表示进行融合，从而提取到输入图像的纹理特征Fa，并且，纹理特征Fa的尺寸为
Figure BDA0002953065040000062
S120：计算输入图像与参考图像的帧差图像，将帧差图像输入运动支路计算运动注意力权重图。
在本发明的一个实施例中，帧差图像是通过将输入图像与参考图像作差即可得到，计算帧差图像是为了凸显烟火图像中的变化区域。由于帧差图像的信息比较稀疏，如果不作处理会导致计算量比较大，因此，在本发明的一个实施例中，帧差图像输入运动支路后，首先将3×H×W的帧差图像降采样到
Figure BDA0002953065040000063
然后灰度化到
Figure BDA0002953065040000064
然后将灰度化后的图像输入标准残差块，计算得到运动注意力权重图Am，运动支路的计算流程可以公式化如下：
Am＝fMC{grayscale[downscale(IF-RF)]}
其中，Am表示运动注意力权重图，downscale表示长宽四倍降采样，grayscale表示对彩色帧差图像的灰度化，fMC表示运动支路的标准残差块的计算过程，IF表示输入图像，RF表示参考图像，则IF-RF表示帧差图像。在该实施例中，通过运动支路，计算得尺寸为
Figure BDA0002953065040000065
的运动注意力权重图Am。
说明的是，在本发明的其他实施例中，步骤S110和S120可以同步进行，也可以先执行步骤S120，后执行步骤S110。
S130：对纹理特征进行运动感知增强。当得到注意力权重图Am后，利用注意力权重图对输入图像的纹理特征Fa进行运动感知增强，在本发明的一个实施例中，进行运动感知增强的方法为：
Fm＝Fa+Fa*Am
其中，Fm为运动感知增强后的纹理特征，Fa为运动感知增强前的纹理特征，Am为运动注意力权重图，*为逐通道相乘，使用Am单个元素与Fa中该位置的通道元素相乘，Fm的尺寸与Fa相同。通过上述过程，图像中运动区域所对应的特征会得到增强。
S140：利用弱注意力模块生成弱烟火目标掩码。在本发明的实施例中，为了提升模型对于烟火区域的关注度，引入了弱引导注意力模块，用于生成弱烟火目标掩码来引导模型对于烟火区域的识别。具体的，在本发明的一个实施例中，在弱注意力模块中生成弱烟火目标掩码的方法为，如图3所示：
S1401：在输入图像的数据标注框中，随机采样若干烟火目标和非烟火目标的像素点，构建烟火像素数据集；
S1402：将RGB三个通道作为特征，训练随机森林模型；
S1403：利用训练好的随机森林模型对输入图像中的标注框内的像素进行分类，得到标注框内的掩码，例如，在一个实施例中，通过这种方式，得到图1所示的标注框内的掩码
Figure BDA0002953065040000071
S1404：以1表示烟火区域的像素值，以0表示非烟火区域的像素值，根据标注框所在位置，将标注框内的掩码粘贴到一张全为0的掩码上，得到完整的弱烟火目标掩码。在本发明的一个实施例中，弱烟火目标掩码的尺寸与运动注意力权重图的尺寸一致，例如当运动注意力权重图的尺寸为
Figure BDA0002953065040000072
时，弱烟火目标掩码的尺寸也为
Figure BDA0002953065040000073
S150：根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图，并进行烟火目标检测。具体的，在本发明的实施例中，具体方法为：
Fw＝Fm*Aw+Fr
其中，Fw表示烟火特征图，Aw表示弱烟火目标掩码，Fm表示运动感知增强后的纹理特征，Fr表示补偿残差。
从上述方法可以看出，弱烟火目标掩码Aw被再一次用于对特征图Fm进行调节。补偿残差Fr的作用在于，Aw的乘法操作可能会丢失一部分细节信息，因此增加补偿分量来保留细节特征信息。最后得到的特征为弱引导的烟火特征图Fw，其尺寸仍然与Am一致。
在模型的训练过程中，可以利用运动感知增强后的纹理特征来预测出Aw和Fr，在进行预测时，可以类似于多任务监督过程，采用标准的Focal Loss进行优化，从而得到Aw及Fr，但训练过程中，对于Aw采用的是利用弱引导注意力模块得到的，而不通过预测得到的，Fr采用的是通过预测得到。
在本发明的实施例中，进行烟火目标检测时，可以采用Anchor-free的CenterNet检测头进行烟火目标检测。
图4给出了模型在训练时，视频图像的各个状态，其中图4中第(a)行表示的是输入图像，第(b)行表示的是残差图像，第(c)行表示的是运动注意力权重图Am；第(d)行表示的是弱烟火目标掩码Aw，第(e)行表示的是烟火特征图Fw。其中图4共给出了五个样本的示例，前三列为正样本，后两列为负样本。
利用本发明的烟火检测模型的训练方法训练出的模型，具有双路的网络，能够避免传统的单帧检测方法的动态信息丢失问题，并且能够凸显烟火区域的动态特征，使得模型对于不明显烟火目标具有较强的识别能力和对抗干扰因素的判别能力，从而训练出的对烟火具有较高的识别准确性，从而在应用利用该方法训练出的模型进行烟火检测时，能够对烟火进行准确识别。而且，训练出的模型只需要输入两帧图像，即可完成烟火目标的准确检测，保证了模型具有较低的计算成本，从而便于工程部署。
此外，在模型的训练时，引入了弱引导注意力模块，实现了对于半透明烟雾区域的掩码生成，解决了对于半透明烟火目标人工标注可能产生的分歧。利用弱引导注意力模块，利用多任务的学习策略，提升了模型对于烟火目标像素级的关注程度，使得模型能更充分地利用训练数据，从而提高了模型对烟火目标的检测准确率。
基于上述的训练方法，可以训练得到检测准确率较高的烟火检测模型，利用训练好的烟火检测模型，本发明提供了一种烟火检测方法，如图5所示，该方法包括：
S200：获取烟火视频图像，对于任一帧视频输入图像，随机抽取该帧图像前后设定时间范围内的一帧作为对应的参考图像，并计算输入图像与参考图像的帧差图像。在具体的方法实施过程中，可以采用摄像机等视频采集设备来获取烟火视频图像，通常情况，具体场景中部署的烟火检测***是实时工作的，要对周围场景进行连续的检测，因此，对于获取的烟火视频图像，每一帧都会输入到烟火检测模型中进行检测，因此，可以在该帧图像前后200ms～5s范围内随机抽取一帧作为对应的参考图像。
S210：将输入图像输入纹理支路，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；具体的，该步骤的具体操作与模型训练方法中的步骤S110的操作方式相同，此处不再赘述。
S220：将帧差图像输入运动支路计算运动注意力权重图；该步骤的具体操作与模型训练方法中的步骤S220的操作方式相同，及首先将帧差图像进行降采样，然后将降采样后的帧差图像进行灰度化，最后将灰度化后的图像输入标准残差块，计算得到运动注意力权重图，更具体的，此处就不再赘述。
与模型的训练过程相似，在其他的实施例中，步骤S210和S220可以同步执行，也可以先执行S220，再执行S210。
S230：对纹理特征进行运动感知增强；该步骤的具体操作与模型训练方法中的步骤S220的操作方式相同，此处不再赘述。
S240：根据运动感知增强后纹理特征预测弱烟火目标掩码；不同于烟火检测模型的训练方法，在进行烟火目标检测时，需要通过运动感知增强后纹理特征来预测弱烟火目标掩码，而不是借助弱引导注意力模块来生成弱烟火注意力掩码。在本发明的一个实施例中，利用标准的Focal Loss进行优化，类似于多任务监督的过程，预测出弱烟火注意力掩码Aw。在预测弱烟火注意力掩码的同时，会同时预测出补偿残差Fr。
S250：根据运动感知增强后的纹理特征、弱烟火目标掩码，得到烟火特征图，并检测出烟火目标。具体的，该步骤的具体操作与模型训练方法中的步骤S110的操作方式相同，此处不再赘述。在本发明的实施例中，采用采用Anchor-free的CenterNet检测头进行烟火目标检测。
本发明的烟火检测方法，利用了本发明所提出的烟火检测模型训练方法训练出的烟火检测模型，由于训练出的烟火检测模型具有双路的网络，能够避免传统的单帧检测方法的动态信息丢失问题，并且能够凸显烟火区域的动态特征，对于不明显烟火目标具有较强的识别能力和对抗干扰因素的判别能力，对烟火具有较高的识别准确性，从而在进行烟火目标检测时，能够更加准确地检测烟火目标。并且，由于烟火检测模型对于烟火目标像素级的具有较高的关注程度，能更充分地利用训练数据，从而烟火检测准确率进一步地提高。此外，由于模型的计算成本较低，便于该方法的应用和部署。
进一步地，本发明提供了一种烟火检测设备，包括图像采集装置、处理器及存储器，其中，图像采集装置用于采集烟火视频图像，例如可采用摄像机采集烟火视频图像；储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得所述处理器执行本发明的实施例中的烟火检测方法。
处理器可以为一个或多个，可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器同样可以为一个或多个，存储器可以为各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本申请的实施例中的烟火检测方法。并且，存储器也可以存储在进行烟火检测过程中各阶段产生的图像。
利用本发明所提出的烟火检测设备，能够更加准确地检测烟火目标，当部署在具体的应用场景中时，能够准确地检测出烟火目标，从而能够及时的发现火情，降低因火灾带来的人员伤亡和财产损失。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (12)

1.一种烟火检测模型的训练方法，其特征在于，烟火检测模型包括纹理支路和运动支路，所述方法包括：
构建视频烟火样本数据集，所述视频烟火样本数据集包括若干样本，每个样本包括输入图像和参考图像；
将输入图像输入纹理支路进行特征提取，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；
计算输入图像与参考图像的帧差图像，将帧差图像输入运动支路计算运动注意力权重图；
对纹理特征进行运动感知增强；
利用弱注意力模块生成弱烟火目标掩码；
根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图，并进行烟火目标检测。
2.根据权利要求1所述的训练方法，其特征在于，所述将帧差图像输入运动支路计算运动注意力权重图的方法包括：
将帧差图像进行降采样；
将降采样后的帧差图像进行灰度化；
将灰度化后的图像输入标准残差块，计算得到运动注意力权重图。
3.根据权利要求1所述的训练方法，其特征在于，所述对纹理特征进行运动感知增强的方法为：
Fm＝Fa+Fa*Am
其中，Fm为运动感知增强后的纹理特征，Fa为运动感知增强前的纹理特征，Am为运动注意力权重图，*为逐通道相乘，使用Am单个元素与Fa中该位置的通道元素相乘。
4.根据权利要求1所述的训练方法，其特征在于，所述利用弱注意力模块生成弱烟火目标掩码的方法包括：
在输入图像的数据标注框中，随机采样若干烟火目标和非烟火目标的像素点，构建烟火像素数据集；
将RGB三个通道作为特征，训练随机森林模型；
利用训练好的随机森林模型对输入图像中的标注框内的像素进行分类，得到标注框内的掩码；
以1表示烟火区域的像素值，以0表示非烟火区域的像素值，根据标注框所在位置，将标注框内的掩码粘贴到一张全为0的掩码上，得到完整的弱烟火目标掩码。
5.根据权利要求1所述的训练方法，其特征在于，所述根据运动感知增强后的纹理特征和弱烟火目标掩码，得到烟火特征图的方法为：
Fw＝Fm*Aw+Fr
其中，Fw表示烟火特征图，Aw表示弱烟火目标掩码，Fm表示运动感知增强后的纹理特征，Fr表示补偿残差。
6.根据权利要求1-5任一项所述的训练方法，其特征在于，所述视频烟火样本数据集中的样本包括正样本和负样本，其中：
正样本为视频中有烟火目标的帧，对于每个正样本，选择任一帧作为输入图像，在该帧前后200ms～5s范围内随机抽取一帧作为对应的参考图像，并对输入图像进行烟火目标边界框标注；
负样本为视频中没有烟火目标的帧，对于每个负样本，选择任一帧作为输入图像，在该帧前后200ms～5s范围内随机抽取一帧作为对应的参考图像。
7.一种烟火检测方法，其特征在于，利用权利要求1-6任一项所述的训练方法训练得到烟火检测模型，所述烟火检测模型包括纹理支路和运动支路；该方法包括：
获取烟火视频图像，对于任一帧视频输入图像，随机抽取该帧图像前后设定时间范围内的一帧作为对应的参考图像，并计算输入图像与参考图像的帧差图像；
将输入图像输入纹理支路，得到多尺度特征表示，并通过特征金字塔将多尺度特征表示融合为纹理特征；
将帧差图像输入运动支路计算运动注意力权重图；
对纹理特征进行运动感知增强；
根据运动感知增强后纹理特征预测弱烟火目标掩码；
根据运动感知增强后的纹理特征、弱烟火目标掩码，得到烟火特征图，并检测出烟火目标。
8.根据权利要求7所述的方法，其特征在于，所述根据帧差图像输入运动支路计算运动注意力权重图的方法包括：
将帧差图像进行降采样；
将降采样后的帧差图像进行灰度化；
将灰度化后的图像输入标准残差块，计算得到运动注意力权重图。
9.根据权利要求7所述的方法，其特征在于，所述对纹理特征进行运动感知增强的方法为：
Fm＝Fa+Fa*Am
其中，Fm为运动感知增强后的纹理特征，Fa为运动感知增强前的纹理特征，Am为运动注意力权重图，*为逐通道相乘，使用Am单个元素与Fa中该位置的通道元素相乘。
10.根据权利要求7所述的方法，其特征在于，所述根据运动感知增强后纹理特征预测弱烟火目标掩码的方法包括：
利用标准的Focal Loss进行优化。
11.根据权利要求10所述的方法，其特征在于，所述根据运动感知增强后的纹理特征、弱烟火目标掩码，得到烟火特征图的方法为：
Fw＝Fm*Aw+Fr
其中，Fw表示烟火特征图，Aw表示弱烟火目标掩码，Fm表示运动感知增强后的纹理特征，Fr表示补偿残差。
12.一种烟火检测设备，其特征在于，包括：
图像采集装置，用于采集烟火视频图像；
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行权利要求7-11任一项所述的烟火检测方法。
CN202110215838.2A 2021-02-26 2021-02-26 烟火检测模型的训练方法、烟火检测方法及设备 Active CN112949453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215838.2A CN112949453B (zh) 2021-02-26 2021-02-26 烟火检测模型的训练方法、烟火检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215838.2A CN112949453B (zh) 2021-02-26 2021-02-26 烟火检测模型的训练方法、烟火检测方法及设备

Publications (2)

Publication Number Publication Date
CN112949453A true CN112949453A (zh) 2021-06-11
CN112949453B CN112949453B (zh) 2023-12-26

Family

ID=76246365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215838.2A Active CN112949453B (zh) 2021-02-26 2021-02-26 烟火检测模型的训练方法、烟火检测方法及设备

Country Status (1)

Country Link
CN (1) CN112949453B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN116468974A (zh) * 2023-06-14 2023-07-21 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094699A1 (en) * 2011-10-12 2013-04-18 Industry Academic Cooperation Foundation Keimyung University Forest fire smoke detection method using random forest classification
CN105139429A (zh) * 2015-08-14 2015-12-09 大连理工大学 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
CN110874592A (zh) * 2019-10-21 2020-03-10 南京信息职业技术学院 一种基于总有界变分的森林火灾烟雾图像检测方法
CN111145222A (zh) * 2019-12-30 2020-05-12 浙江中创天成科技有限公司 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111464814A (zh) * 2020-03-12 2020-07-28 天津大学 一种基于视差引导融合的虚拟参考帧生成方法
CN111523410A (zh) * 2020-04-09 2020-08-11 哈尔滨工业大学 一种基于注意力机制的视频显著性目标检测方法
CN111860398A (zh) * 2020-07-28 2020-10-30 河北师范大学 遥感图像目标检测方法、***及终端设备
CN111860504A (zh) * 2020-07-20 2020-10-30 青岛科技大学 基于深度学习的视觉多目标跟踪方法及装置
DE102020118241A1 (de) * 2019-07-22 2021-01-28 Samsung Electronics Co., Ltd. Videotiefenschätzung auf der grundlage der temporalen aufmerksamkeit

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094699A1 (en) * 2011-10-12 2013-04-18 Industry Academic Cooperation Foundation Keimyung University Forest fire smoke detection method using random forest classification
CN105139429A (zh) * 2015-08-14 2015-12-09 大连理工大学 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
DE102020118241A1 (de) * 2019-07-22 2021-01-28 Samsung Electronics Co., Ltd. Videotiefenschätzung auf der grundlage der temporalen aufmerksamkeit
CN110874592A (zh) * 2019-10-21 2020-03-10 南京信息职业技术学院 一种基于总有界变分的森林火灾烟雾图像检测方法
CN111145222A (zh) * 2019-12-30 2020-05-12 浙江中创天成科技有限公司 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111464814A (zh) * 2020-03-12 2020-07-28 天津大学 一种基于视差引导融合的虚拟参考帧生成方法
CN111523410A (zh) * 2020-04-09 2020-08-11 哈尔滨工业大学 一种基于注意力机制的视频显著性目标检测方法
CN111860504A (zh) * 2020-07-20 2020-10-30 青岛科技大学 基于深度学习的视觉多目标跟踪方法及装置
CN111860398A (zh) * 2020-07-28 2020-10-30 河北师范大学 遥感图像目标检测方法、***及终端设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN116468974A (zh) * 2023-06-14 2023-07-21 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质
CN116468974B (zh) * 2023-06-14 2023-10-13 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN112949453B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN107301383B (zh) 一种基于Fast R-CNN的路面交通标志识别方法
EP3937481A1 (en) Image display method and device
EP3598736B1 (en) Method and apparatus for processing image
CN112949453A (zh) 烟火检测模型的训练方法、烟火检测方法及设备
CN111046880A (zh) 一种红外目标图像分割方法、***、电子设备及存储介质
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN111401324A (zh) 图像质量评估方法、装置、存储介质及电子设备
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110135446B (zh) 文本检测方法及计算机存储介质
CN110781962B (zh) 基于轻量级卷积神经网络的目标检测方法
CN112102141B (zh) 水印的检测方法、装置、存储介质以及电子设备
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111539456B (zh) 一种目标识别方法及设备
CN113052170A (zh) 一种无约束场景下的小目标车牌识别方法
CN115620022A (zh) 一种对象检测方法、装置、设备及存储介质
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN115049675A (zh) 生成区域确定及光斑生成方法、设备、介质及程序产品
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法
CN111815529B (zh) 一种基于模型融合和数据增强的低质图像分类增强方法
CN113658197A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN116612272A (zh) 一种图像处理智能数字化的检测***及其检测方法
CN114821356B (zh) 一种精确定位的光学遥感目标检测方法
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant