CN113469050B - 基于图像细分类的火焰检测方法 - Google Patents

Abstract

本发明涉及图像处理、深度学习技术领域，涉及一种基于图像细分类的火焰检测方法，包括以下步骤：步骤1、收集火焰图像，对数据预处理，制作成火焰数据集；步骤2、根据火焰数据集，训练CenterNet检测器，保存最佳的模型；步骤3、准备火焰与非火焰的二分类数据集；步骤4、在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM，训练二分类模型；步骤5、CenterNet检测出图像的前景目标K，然后将前景目标K裁剪成图像块送入分类模型中，进行细分类，以滤除与火焰相似的误检物体。本发明不仅可以实现远距离的火灾监测，而且检测效果更好。

Description

基于图像细分类的火焰检测方法

技术领域

本发明涉及图像处理、深度学习技术领域，具体地说，涉及一种基于图像细分类的火焰检测方法。

背景技术

传统的火焰检测方法基于光能、热能原理，通过传感器来捕捉火焰燃烧时发出的光能、热能，将能量转换为电信号以此进行检测。该方法有一定的局限性，其一，要求检测设备必须与火灾发生点保持较近的距离，其二，检测设备灵敏度不高，从火灾的发生到预警，往往需要一定的等待时间。因此，传统的火焰检测方法无法满足重点场所下火灾的安防需求。

近年来，许多研究者将深度学习算法应用于火灾预警领域，比如用VGGNet、ResNet等分类模型去单独识别是否有火灾发生，用FasterR-CNN、YOLO系列的目标检测器去检测火灾是否发生，并定位火灾发生的具***置。虽然上述模型对火灾检测具有一定的效果，但是，以往的火焰检测方法误检较多。在真实场景下，环境复杂多变，火焰极易与外观相似的物体或光源混淆，因此无法准确判断火灾的发生。

发明内容

本发明的内容是提供一种基于图像细分类的火焰检测方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种基于图像细分类的火焰检测方法，其包括以下步骤：

步骤1、收集火焰图像，对数据预处理，制作成火焰数据集；

步骤2、根据火焰数据集，训练CenterNet检测器，保存最佳的模型；

步骤3、准备火焰与非火焰的二分类数据集；

步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块，训练二分类模型；

步骤5、CenterNet检测出图像的前景目标K，然后将前景目标K裁剪成图像块送入分类模型中，进行细分类，以滤除与火焰相似的误检物体。

作为优选，步骤1中，火焰数据集的制作方法为：

步骤1.1、搜集火焰的图像资源、视频资源，并将视频处理成帧，剔除模糊不清、高度相似的图像，对图像数据进行整理后，使用labellmg软件进行数据标注；

步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声，使用cutout数据增强方法，利用固定大小的矩形对原图像进行遮挡，并将矩形范围内的值设置为0，得到处理后的火焰数据集。

作为优选，步骤2中，训练CenterNet检测器，保存最佳的模型的方法为：

步骤2.1、首先，将输入图像I∈R^C×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征；然后，生成的特征图经过3个检测层，每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积，得到三种特征图的输出，分别为热力图信息、目标的宽高、偏移信息；

步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号；首先将图像上的目标框box缩放至128*128尺寸，可以得到box的中心坐标(p_x,p_y)，然后计算高斯核分布σ为目标尺度自适应的标准方差，最后将分布中关键点的信息覆盖到热力图/>上，其中W、H、C分别为输入图像的宽、高、通道数，R为下采样倍数，取4；

步骤2.3、使用Focal loss计算预测的热力图Y_xyc与监督信号Y_xyc之间的类别损失L_k，L1 loss分别计算宽高损失L_size与偏移量损失L_off；通过迭代的方式，对检测网络的参数进行更新、优化，并保存最优的模型；

CenterNet的总体优化函数L_det为：

L_det＝L_k+λ_sizeL_size+λ_offL_off；

其中，宽高损失系数λ_size取0.1，偏移量损失系数λ_off取1。

作为优选，步骤3中，准备火焰与非火焰的二分类数据集的方法为：

步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来，整理作为分类模型的正样本；

步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中，以置信度0.2作为阈值对其进行检测，将检测到的误检目标进行裁剪，整理作为分类模型的负样本。

作为优选，步骤4中，MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成；分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块；

其中，倒置残差模块由PW、DW、PW-Liner三部分构成：PW即通过1*1的卷积核将通道数进行扩张；DW即通过3*3卷积，步长s＝2的卷积核提取特征，使得特征图的大小减半，而通道数保持不变；PW-Liners通过1*1的卷积核对通道数进行压缩。

作为优选，步骤4中，BAM注意力模块由一个通道注意力M_C、一个空间注意力M_S组成；首先，设输入的中间特征层F∈R^C×H×W，为了聚合每个通道上的特征图，先对F采取全局平均池化得到F_c∈R^C×1×1向量，然后使用含单隐藏层的多层感知器来估计F_c通道间的注意力，再添加一个批量标准化BN层根据空间注意力分支的输出调整大小；通道注意力M_C的计算公式如下：

M_c(F)＝BN(MLP(AvgPool(F)))＝BN(W₁(W₀AvgPool(F)+b₀)+b₁)；

W₀、W₁分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵，b₀、b₁分别为对应的偏置向量；

空间注意力包含4个卷积层，第一个卷积层f₀和第四个卷积层f₃使用1*1的卷积核将通道数进行缩减，中间两个卷积层f₁、f₂利用3*3的空洞卷积用于聚合具有大感受野的上下文信息；空间注意力模块的计算公式如下：

M_s(F)＝BN(f₃ ^1×1(f₂ ^3×3(f₁ ^3×3(f₀ ^1×1)))))；

然后，将通道注意力与空间注意力两个分支进行融合，得到注意力特征图M(F)∈R^C×H×W，计算公式如下：

M(F)＝σ(M_C(F)+M_S(F))；

其中，σ为Sigmoid函数；

因此，输入的中间特征层F经过BAM注意力模块处理，细化后的特征图P计算公式为：

作为优选，步骤4中，在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM，训练二分类模型的方法为：

步骤4.1、输入图像I∈R^C×224×224首先经过大小k＝3，步长s＝2的卷积核，得到112*112维度的特征图，然后经过17个连续的倒置残差模块，得到7*7维度的特征图；其中，分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块；之后，将提取到的特征先经过一个1*1的卷积层和平均池化层后，然后将多维度的特征展平成一维，送入全连接层中，得到最终的类别分数；

步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值，再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算，以此对分类网络的参数进行迭代、优化，并保存最佳模型。

作为优选，步骤5中，包括：

步骤5.1、将检测框包含的前景目标进行裁剪，得到的图像尺寸更改为224*224，送入训练好的分类模型，提取特征，根据输出的类别概率值判断输入的图像块是否为火焰，若分类结果为火焰，将预测的边界框信息保留，若分类结果为非火焰，将该边界框信息丢弃；

步骤5.2、将保留的边界框在原图像中以矩形框进行显示，得到最终的检测结果。

与现有的技术相比，本发明的有益效果体现在：

1)本发明对数据进行随机平移、添加高斯噪声、cutout，实现对数据的扩充，提高检测模型的泛化能力；使用带热重启的余弦退火学习率的方式，使得模型在训练过程中更容易收敛，识别效果更佳。

2)在分类模型MobileNetV2中加入多层BAM注意力机制，突出火焰目标的关键特征，并对不重要的特征信息进行抑制、弱化。注意力层的加入不仅有效提高识别火焰和非火焰目标的准确率，而且不会带来太多的计算开销和参数量。

3)使用CenterNet检测器用于提取前景目标，无须提前预设anchor框，减少了大量的调参操作，并且与yolo系列等单阶段的检测器相比，训练周期更短；使用MobileNetV2轻量级的分类网络对疑似火焰区域的目标作细分类，不仅可以有效滤除误检目标，也缩减对前景目标进行后处理的时间，达到实时性。

4)本发明先对输入图像进行检测，获取疑似火焰区域，再对该图像块作细分类，可以滤除非火焰物体，纠正检测器的检测效果，降低火焰检测模型的误检率。

附图说明

图1为实施例1中一种基于图像细分类的火焰检测方法的流程图；

图2为实施例1中改进的MobileNetV2网络结构图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

如图1所示，本实施例提供了一种基于图像细分类的火焰检测方法，其包括以下步骤：

步骤1、收集火焰图像，对数据预处理，制作成火焰数据集；

步骤1.1、搜集火焰的图像资源、视频资源，并将视频处理成帧，剔除模糊不清、高度相似的图像，对图像数据进行整理后，使用labellmg软件进行数据标注；

步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声，使用cutout数据增强方法，利用固定大小的矩形对原图像进行遮挡，并将矩形范围内的值设置为0(填充为黑色)，得到处理后的火焰数据集。

步骤2、根据火焰数据集，训练CenterNet检测器，保存最佳的模型；

步骤2.1、首先，将输入图像I∈R^C×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征；然后，生成的特征图经过3个检测层，每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积，得到三种特征图的输出，分别为热力图信息、目标的宽高、偏移信息。其中，热力图表示每个类别目标的关键点信息，宽高信息、偏移信息可以确定目标框的尺寸大小；

步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号；首先将图像上的目标框box缩放至128*128尺寸，然后计算高斯核分布(σ为目标尺度自适应的标准方差)，将分布中关键点的信息覆盖到热力图/>上，其中W、H、C分别为输入图像的宽、高、通道数，R为下采样倍数，取4；

步骤2.3、使用Focal loss计算预测的热力图Y_xyc与监督信号Y_xyc之间的类别损失L_k，L1 loss分别计算宽高损失L_size与偏移量损失L_off；通过迭代的方式，对检测网络的参数进行更新、优化，并保存最优的模型；

CenterNet的总体优化函数L_det为：

L_det＝L_k+λ_sizeL_size+λ_offL_off；

其中，宽高损失系数λ_size取0.1，偏移量损失系数λ_off取1。

步骤3、准备火焰与非火焰的二分类数据集；

步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来，整理作为分类模型的正样本；

步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中，以置信度0.2作为阈值对其进行检测，将检测到的误检目标进行裁剪，整理作为分类模型的负样本。

步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块，训练二分类模型；

MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成；分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块；改进的MobileNetV2网络结构见图2；

其中，倒置残差模块由PW、DW、PW-Liner三部分构成：PW即通过1*1的卷积核将通道数进行扩张；DW即通过3*3卷积，步长s＝2的卷积核提取特征，使得特征图的大小减半，而通道数保持不变；PW-Liners通过1*1的卷积核对通道数进行压缩。

BAM注意力模块由一个通道注意力M_C、一个空间注意力M_S组成；首先，设输入的中间特征层F∈R^C×H×W，为了聚合每个通道上的特征图，先对F采取全局平均池化得到F_c∈R^C×1×1向量，然后使用含单隐藏层的多层感知器来估计F_c通道间的注意力，再添加一个批量标准化BN层根据空间注意力分支的输出调整大小；通道注意力M_C的计算公式如下：

M_c(F)＝BN(MLP(AvgPool(F)))＝BN(W₁(W₀AvgPool(F)+b₀)+b₁)；

W₀、W₁分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵，b₀、b₁分别为对应的偏置向量；

空间注意力包含4个卷积层，第一个卷积层f₀和第四个卷积层f₃使用1*1的卷积核将通道数进行缩减，中间两个卷积层f₁、f₂利用3*3的空洞卷积用于聚合具有大感受野的上下文信息；空间注意力模块的计算公式如下：

M_s(F)＝BN(f₃ ^1×1(f₂ ^3×3(f₁ ^3×3(f₀ ^1×1)))))；

然后，将通道注意力与空间注意力两个分支进行融合，得到注意力特征图M(F)∈R^C×H×W，计算公式如下：

M(F)＝σ(M_C(F)+M_S(F))；

其中，σ为Sigmoid函数；

因此，输入的中间特征层F经过BAM注意力模块处理，细化后的特征图P计算公式为：

步骤4中，在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM，训练二分类模型的方法为：

步骤4.1、输入图像I∈R^C×224×224首先经过大小k＝3，步长s＝2的卷积核，得到112*112维度的特征图，然后经过17个连续的倒置残差模块，得到7*7维度的特征图；其中，分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块；之后，将提取到的特征先经过一个1*1的卷积层和平均池化层后，然后将多维度的特征展平成一维，送入全连接层中，得到最终的类别分数；

步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值，再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算，以此对分类网络的参数进行迭代、优化，并保存最佳模型。

步骤5、获取监控设备的原始视频流，并转换为图像序列，将每帧图像送入保存的最佳检测模型中，CenterNet检测出图像的前景目标K，然后将前景目标K裁剪成图像块送入分类模型中，进行细分类，以滤除与火焰相似的误检物体；

步骤5.1、将检测框包含的前景目标进行裁剪，得到的图像尺寸更改为224*224，送入训练好的分类模型，提取特征，根据输出的类别概率值判断输入的图像块是否为火焰，若分类结果为火焰，将预测的边界框信息保留，若分类结果为非火焰，将该边界框信息丢弃；

步骤5.2、将保留的边界框在原图像中以矩形框进行显示，得到最终的检测结果。

本实施例采用检测器与分类器组合的思路，首先，使用CenterNet检测器对输入图像进行火焰检测，再将疑似火焰区域送到分类模型作细分类，其中，在原有分类网络中添加多层注意力机制，增强关键特征，抑制或弱化冗余特征，从而保留火焰的关键特征，以区分火焰与非火焰物体。该方法不仅可以实现远距离的火灾监测，而且检测效果也比传统方法更好。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.基于图像细分类的火焰检测方法，其特征在于：包括以下步骤：

步骤1、收集火焰图像，对数据预处理，制作成火焰数据集；

步骤2、根据火焰数据集，训练CenterNet检测器，保存最佳的模型；

步骤3、准备火焰与非火焰的二分类数据集；

步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块，训练二分类模型；

步骤4中，MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成；分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块；

其中，倒置残差模块由PW、DW、PW-Liner三部分构成：PW即通过1*1的卷积核将通道数进行扩张；DW即通过3*3卷积，步长s＝2的卷积核提取特征，使得特征图的大小减半，而通道数保持不变；PW-Liners通过1*1的卷积核对通道数进行压缩；

步骤4中，在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM，训练二分类模型的方法为：

步骤4.1、输入图像I∈R^C×224×224首先经过大小k＝3，步长s＝2的卷积核，得到112*112维度的特征图，然后经过17个连续的倒置残差模块，得到7*7维度的特征图；其中，分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块；之后，将提取到的特征先经过一个1*1的卷积层和平均池化层后，然后将多维度的特征展平成一维，送入全连接层中，得到最终的类别分数；

步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值，再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算，以此对分类网络的参数进行迭代、优化，并保存最佳模型；

步骤5、获取监控设备的原始视频流，并转换为图像序列，将每帧图像送入保存的最佳检测模型中，CenterNet检测出图像的前景目标K，然后将前景目标K裁剪成图像块送入分类模型中，进行细分类，以滤除与火焰相似的误检物体。

2.根据权利要求1所述的基于图像细分类的火焰检测方法，其特征在于：步骤1中，火焰数据集的制作方法为：

步骤1.1、搜集火焰的图像资源、视频资源，并将视频处理成帧，剔除模糊不清、高度相似的图像，对图像数据进行整理后，使用labellmg软件进行数据标注；

步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声，使用cutout数据增强方法，利用固定大小的矩形对原图像进行遮挡，并将矩形范围内的值设置为0，得到处理后的火焰数据集。

3.根据权利要求2所述的基于图像细分类的火焰检测方法，其特征在于：步骤2中，训练CenterNet检测器，保存最佳的模型的方法为：

步骤2.1、首先，将输入图像I∈R^C×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征；然后，生成的特征图经过3个检测层，每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积，得到三种特征图的输出，分别为热力图信息、目标的宽高、偏移信息；

步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号；首先将图像上的目标框box缩放至128*128尺寸，可以得到box的中心坐标(p_x,p_y)，然后计算高斯核分布σ为目标尺度自适应的标准方差，最后将分布中关键点的信息覆盖到热力图/>上，其中W、H、C分别为输入图像的宽、高、通道数，R为下采样倍数，取4；

步骤2.3、使用Focal loss计算预测的热力图与监督信号Y_xyc之间的类别损失L_k，L1loss分别计算宽高损失L_size与偏移量损失L_off；通过迭代的方式，对检测网络的参数进行更新、优化，并保存最优的模型；

CenterNet的总体优化函数L_det为：

L_det＝L_k+λ_sizeL_size+λ_offL_off；

其中，宽高损失系数λ_size取0.1，偏移量损失系数λ_off取1。

4.根据权利要求3所述的基于图像细分类的火焰检测方法，其特征在于：步骤3中，准备火焰与非火焰的二分类数据集的方法为：

步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来，整理作为分类模型的正样本；

步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中，以置信度0.2作为阈值对其进行检测，将检测到的误检目标进行裁剪，整理作为分类模型的负样本。

5.根据权利要求4所述的基于图像细分类的火焰检测方法，其特征在于：步骤4中，BAM注意力模块由一个通道注意力M_C、一个空间注意力M_S组成；首先，设输入的中间特征层F∈R^{C ×H×W}，先对F采取全局平均池化得到F_c∈R^C×1×1向量，然后使用含单隐藏层的多层感知器来估计F_c通道间的注意力，再添加一个批量标准化BN层根据空间注意力分支的输出调整大小；通道注意力M_C的计算公式如下：

M_c(F)＝BN(MLP(AvgPool(F)))＝BN(W₁(W₀AvgPool(F)+b₀)+b₁)；

W₀、W₁分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵，b₀、b₁分别为对应的偏置向量；

空间注意力包含4个卷积层，第一个卷积层f₀和第四个卷积层f₃使用1*1的卷积核将通道数进行缩减，中间两个卷积层f₁、f₂利用3*3的空洞卷积用于聚合具有大感受野的上下文信息；空间注意力模块的计算公式如下：

然后，将通道注意力与空间注意力两个分支进行融合，得到注意力特征图M(F)∈R^{C ×H×W}，计算公式如下：

M(F)＝σ(M_C(F)+M_S(F))；

其中，σ为Sigmoid函数；

因此，输入的中间特征层F经过BAM注意力模块处理，细化后的特征图P计算公式为：

6.根据权利要求5所述的基于图像细分类的火焰检测方法，其特征在于：步骤5中，包括：

步骤5.1、将检测框包含的前景目标进行裁剪，得到的图像尺寸更改为224*224，送入训练好的分类模型，提取特征，根据输出的类别概率值判断输入的图像块是否为火焰，若分类结果为火焰，将预测的边界框信息保留，若分类结果为非火焰，将该边界框信息丢弃；

步骤5.2、将保留的边界框在原图像中以矩形框进行显示，得到最终的检测结果。