CN115311601A - 一种基于视频分析技术的火灾探测分析方法 - Google Patents

Abstract

本发明提供一种基于视频分析技术的火灾探测分析方法，包括根据获取的用于集合实时图像采集设备火灾场景和火灾尺度生成实际采集场景的火灾数据集；基于卷积神经网络，构建针对不同阶段的火灾数据集中目标火灾信息进行分析研判的卷积神经网络模型；以目标火灾信息作为训练特征信息代入至卷积神经网络模型训练，实现对目标火灾信息的多尺度目标检测；基于嵌入式计算机，分别在仅使用CPU进行测试的场景和使用CPU和GPU进行测试的场景对卷积神经网络模型进行调试；以依据优化后的算法模型展示的对目标火灾信息的多尺度目标检测数据作为确定输出的目标结果。本发明通过YOLOv4‑Tiny模型实现了火灾的多尺度目标探测，基于YOLOv4‑Tiny算法降低了计算复杂性和参数。

Description

一种基于视频分析技术的火灾探测分析方法

技术领域

本发明涉及火灾信息分析技术领域，具体为一种基于视频分析技术的火灾探测分析方法。

背景技术

随着社会的不断进步，城市规模的扩大和人口密度的增加，火灾已成为最经常、最普遍地威胁公众安全和社会发展的主要灾害之一。根据数据分析发现，火灾主要集中在人员密集场所、仓储物流及高大建筑物内，造成了极大的人员和经济损失，社会影响也越来越大。

而通过采用视频分析技术，建立视频分析模型和算法，对视频数据的深度分析和研判，在火灾发生早期发现火灾并及预警，可以极大程度上减少人身财产安全损失，同时，也可以弥补目前广泛使用的感温型、感烟型和感光型探测器技术缺陷。

举例来说，感温、感烟和感光探测器受限于传感器的安装位置及探测有效距离，其探测范围受到制约，如高大空间建筑、长通道建筑里的火灾，通常难以及时探测到，且传感器判断基于单一特征，易受到环境光照、气流等干扰，从而产生误报或漏报，稳定性难以保证。此外，火灾产生的温度、烟雾、辐射等参量的传播需要时间，这也造成了响应的延迟。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于视频分析技术的火灾探测分析方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于视频分析技术的火灾探测分析方法，包括以下步骤：

第一步，数据准备

根据获取的用于集合实时图像采集设备火灾场景和火灾尺度生成实际采集场景的火灾数据集；

第二步，预设算法模型

基于卷积神经网络，构建针对不同阶段的火灾数据集中目标火灾信息进行分析研判的卷积神经网络模型；

第三步，实时对目标火灾信息进行检测

以目标火灾信息作为训练特征信息代入至卷积神经网络模型训练得到至少一个具备高语义信息的特征层，以实现对所述目标火灾信息的多尺度目标检测；

第四步，优化算法模型

基于嵌入式计算机，分别在仅使用CPU进行测试的场景和使用CPU和GPU进行测试的场景对所述卷积神经网络模型进行调试，以提高卷积神经网络模型对目标火灾信息的准确性；且，分别通过计算目标检测评估指标对卷积神经网络模型在所有类别上进行优劣衡量，得到优化算法模型后顺序执行第三步；

第五步，以依据优化后的算法模型所展示的目标火灾信息的多尺度目标检测数据作为确定输出的目标结果。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，第二步中，所述目标火灾信息包括实际采集场景中的烟雾图像信息和火焰图像信息，其中，采用YOLOv4-Tiny算法建立卷积神经网络模型以训练目标火灾信息，卷积神经网络模型的具体构建方式为：

S2-1、获取训练样本，其中，所述训练样本中至少标注有第一训练特征信息和第二训练特征信息，所述第一训练特征信息用于表征烟雾图像信息，所述第二训练特征信息用于表征烟雾图像信息；

S2-2、采用所述第一训练特征信息和第二训练特征信息输入至YOLOv4-Tiny算法网络同时进行训练，得到卷积神经网络模型。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，在步骤S2-1中，获取训练样本时，需要基于shuffle洗牌算法，对所获取的火灾数据集中的火灾信息进行随机排列，以对卷积神经网络模型的训练真实性进行判断。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，第二步中，以YOLOv4-Tiny算法建立的卷积神经网络模型采用CSPDarknet53作为骨干网络，且首先需要对其进行卷积、归一化和激活函数处理，其次，需要基于CSPBlock对其进行堆叠网络，以提高对目标火灾信息测的实时性，方便嵌入式应用于计算机，其中，激活函数为LeakyReLU激活函数，其数学表达式为：

式中，其中，a_i是(1，+∞)区间内的固定参数，表示为常数。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，第三步中，得到至少一个具备高语义信息的特征层的方式是依据卷积神经网络模型采用的CSPDarknet53骨干网络所生成，且在得到所述具备高语义信息的特征层后，需要对其进行进行分类和回归预测预处理，以提高对目标火灾信息测的实时性。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，第四步中，目标检测评估指标包括YOLOv4-Tiny的评价指标mAP、P-R曲线、以及AP值，其中，

所述AP值用于衡量卷积神经网络模型在每个类别上的好坏；

所述评价指标mAP用于衡量卷积神经网络模型在所有类别上的好坏，且，在得到AP值后，所述评价指标mAP的计算方式为对所有AP取平均值。

作为对本发明中所述一种基于视频分析技术的火灾探测分析方法的改进，第五步中，在得到以目标火灾信息的多尺度目标检测数据作为确定输出的目标结果后，还需要对所述多尺度目标检测数据进行标记，其中，对所述多尺度目标检测数据进行标记的具体实施方式为：

基于VOC2007数据集的格式，创建Annotations、JPEGImages以及ImageSets文件夹，以用于存储标签文件、标签文件对应的图像文件以及火灾数据集的索引；

同时，使用labelImg标注图像工具对目标结果中包含火焰图像信息和烟雾图像信息的图片进行标注：标明位置和类型；

再将Annotations文件夹中存储的标签文件为XML格式，并使用代码将VOC格式转换为YOLO格式，得到包含对象类型和位置信息的文档，以作为新的训练特征数据，进行后续训练。

在本发明提出的一种可能实现方式中，在得到目标火灾信息之后，且在以目标火灾信息作为训练特征信息代入至卷积神经网络模型进行训练之前，需要对目标火灾信息中的图像进行防失真处理，其具体处理方式为：

需要采用YOLOv4-Tiny算法在图像边缘添加灰度条后调整输入图像的大小，并将图像划分为不同大小的网格，以用于检测不同大小的对象，其中，根据划分的网格进行每个网格点负责单个区域的检测，若待检测图像的中心点落在该区域内，则该检测图像由该网格点进行标识。

与现有技术相比，本发明的有益效果：

首先，本发明通过YOLOv4-Tiny模型实现了火灾的多尺度目标探测，基于YOLOv4-Tiny算法降低了计算复杂性和参数；

其次，本发明所采用的算法与同类型其他对象检测方法进行比较，结果表明YOLOv4-Tiny算法可以有效地检测火灾和烟雾，其检测效果可与SSD、YOLOv3和YOLO4相比，其检测速度远快于SSD，因此，YOLOv4-Tiny算法比SSD、YOLOv3和YOLO4具有更好的实时性能和适用性；

最后，通过使用的YOLOv4-Tiny算法可以更好地满足火灾嵌入式部署的要求和实时目标检测的需要，同时根据模型大小、(时间)效率和其他指标进行综合考虑，可部署于机器人和无人机，以快速识别和定位火灾和烟雾，达到对火灾探测和设施保护。

附图说明

参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：

图1为本发明一实施例中所采用的卷积神经网络结构示意图；

图2为本发明一实施例中所提出基于CSPBlock对卷积神经网络模型进行堆叠时的CSPBlock结构示意图；

图3为本发明一实施例中所提出的YOLOv4-Tiny算法网络的整体结构示意图；

图4为本发明一实施例中所提出的火灾数据集中包含烟雾图片和火焰图片信息示意图；

图5为本发明一实施例中所提出YOLOv4-Tiny算法的实际应用场景示意图；

图6为本发明一实施例中所提出YOLOv4-Tiny算法模型在结合精度、召回率、F1和P-R曲线指标对烟雾进行探测时的具体指标数据示意图；

图7为本发明一实施例中所提出YOLOv4-Tiny算法结果对比示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

作为本发明的一个实施例，本发明提供技术方案：一种基于视频分析技术的火灾探测分析方法，包括以下步骤：

第一步，数据准备

如图4所示，根据获取的用于集合实时图像采集设备火灾场景和火灾尺度生成实际采集场景的火灾数据集，需说明的是，在具体实施的过程中，为了检测各种大小的火灾和烟雾，需要前期通过摄像机等图像采集设备通过对火灾图像的采集、拍摄和排序构建了一个多场景、多尺度的火灾数据集，一共为38000张图片，同时为了进行对比试验，解决前期训练时样本的稀疏性，需要对38000张图片基于shuffle洗牌算法，对所获取的火灾数据集中的火灾信息(包含烟雾图像信息和火焰图像信息的火灾图片)进行随机排列，优选为选择其中的10％作为测试集，即，3800张图片，剩下的作为训练集(34200张图片，其中34200张图片中的3420张作为验证集)可以理解的是，验证集用于验证模型性能的样本集合，不同神经网络在训练集上训练结束后，通过验证集来比较判断各个模型的性能；测试机针对训练完成的神经网络，客观的评价神经网络的性能。

第二步，预设算法模型

需要说明的是，由第一步通过摄像机实时采集场景视频信息(目标火灾信息)后，需要再由计算机进行图像分析与检测，结合图像处理、计算机视觉、机器学习等技术达到对烟雾、火焰等进行分析和判断，因此，

需要基于卷积神经网络，构建针对不同阶段的火灾数据集中目标火灾信息进行分析研判的卷积神经网络模型，其中，火灾发生分为初始、发展、猛烈及下降四个阶段，在实际应用中需要对四个阶段的火灾分别进行分析和研判，目的在于，将火灾及时控制、消灭在初始阶段。

基于上述技术构思，可以理解的是目标火灾信息包括实际采集场景中的烟雾图像信息和火焰图像信息，其中，本发明采用，YOLOv4-Tiny算法建立卷积神经网络模型以训练目标火灾信息，

如图1所示，作为进一步对本发明技术构思的理解，CNN(卷积神经网络)是深度学习的代表算法之一，它由输入层、卷积层、池化层、全连接层和输出层组成，在目标检测中，输出层可以设计为输出对象的中心坐标、大小和分类，同时，CNN可以避免图像的复杂预处理，可以直接输入原始火图像，并进行多层分析：有鉴于此，作为本发明的一实施例，

卷积神经网络模型的具体构建方式为：

S2-1、获取训练样本，其中，训练样本中至少标注有第一训练特征信息和第二训练特征信息，第一训练特征信息用于表征烟雾图像信息，第二训练特征信息用于表征烟雾图像信息；

S2-2、采用第一训练特征信息和第二训练特征信息输入至YOLOv4-Tiny算法网络同时进行训练，得到卷积神经网络模型，可以理解的是，基于YOLOv4算法对各种环境中的火灾和烟雾的检测实验，使用YOLOV4中的CSPDarknet53(CrossStagePartialNetworksDarknet53)算法对火灾和烟雾进行识别和分析，达到对火灾信息的初始研判。

如图2所示，在具体构建的卷积神经网络模型中，本发明以YOLOv4-Tiny算法建立的卷积神经网络模型采用CSPDarknet53作为骨干网络，且对其进行卷积、归一化和激活函数处理，其次，基于CSPBlock对其进行堆叠网络，以提高对目标火灾信息测的实时性，方便嵌入式应用于计算机，其中，激活函数为LeakyReLU激活函数，其数学表达式为：

式中，其中，a_i是(1，+∞)区间内的固定参数，

表示为常数。

第三步，实时对目标火灾信息进行检测

以目标火灾信息作为训练特征信息代入至卷积神经网络模型训练得到至少一个具备高语义信息的特征层，以实现对目标火灾信息的多尺度目标检测，需要理解的是，为提高对目标火灾信息测的实时性，得到至少一个具备高语义信息的特征层的方式是依据卷积神经网络模型采用的CSPDarknet53骨干网络所生成，且在得到具备高语义信息的特征层后，需要对其进行进行分类和回归预测预处理，这样神经网络模型拟合出来的函数也能适应复杂函数起伏，拟合的更好；

基于上述技术构思，可以理解的是，采用YOLOv4-Tiny算法，简化了YOLOv4中的特征金字塔网络(FPN)，故而，从YOLOv4-Tiny的主干，就可以生成两个有效的特征层，通过这两个具有高语义信息的特征层，就可以实现火灾的多尺度目标检测。

与此同时，在具体实施中，由于只识别了火和烟，YOLOHead的最终维度为21＝3*(5+2)，(3为每个feature map中的anchors数量，5为置信度与参数之和，2是类别的数量)，其YOLOv4-Tiny网络的整体结构如图3所示，因此，为了进一步提高提高火灾物体检测的实时性能并促进嵌入式应用，还需要对算法模型进行调试：

第四步，优化算法模型

可以理解的是，一般嵌入式计算机分为两种情况：只有中央处理器(CPU)和都有CPU和GPU，因此，在具体实施式，需要基于嵌入式计算机，分别在仅使用CPU进行测试的场景和使用CPU和GPU进行测试的场景对卷积神经网络模型进行调试，这样就可以权衡YOLOv4-Tiny网络在物体检测火灾上的准确性和实时性，进而提高卷积神经网络模型对目标火灾信息的准确性；同时，

计算机的配置往往对训练时间、每秒帧数(FPS)和批次大小产生重要影响，故而，本发明提出计算机配置如表1所示：

解决实际应用中计算机的配置对训练时间、每秒帧数(FPS)和批次大小产生重要影响的问题；此外，

卷积神经网络模型经过训练后，分析整个测试集的结果，也可以达到对所构建的模型的进一步分析，在此，本发明分别通过计算目标检测评估指标对卷积神经网络模型在所有类别上进行优劣衡量，在得到优化算法模型后顺序执行第三步，

如图5-6所示，对经过训练后的卷积神经网络模型进行整个测试集的结果分析(Threshold＝0.5)，发现YOLOv4-Tiny的mAP(评价指标)为87.10％，具体来说，精度不适合假阴性，召回不适用于假阳性，P-R曲线(模型评估指标P-R曲线)综合考虑假阴性和误报，故而得出火灾的AP(AP衡量的是学出来的模型在每个类别上的好坏，mAP衡量的是学出的模型在所有类别上的好坏，得到AP后mAP的计算就变得很简单了，就是取所有AP的平均值)为88.98％，烟雾的AP为85.22％，为此，

为进一步分析模型，结合精度、召回率、F1和P-R曲线指标进行分析，发现YOLOv4-Tiny的火灾精度为96.05％，烟雾精度为91.40％，检测火焰的召回率为81.50％，检测烟雾的召回率为71.96％。故而得出，在YOLOv4-Tiny模型中，用于检测烟雾的AP、精度、召回率和F1通常比用于探测火灾的传感器等设备要低，这是由于烟雾的特征不像火一样明显，而且它们比火更容易受到环境的干扰。

可以理解的是，通过上述对测试集的实验结果表明，使用CPU的算法的性能与使用CPU和GPU的性能相似，而GPU的加入大大加快了识别过程，在仅使用CPU的情况下，YOLOv4-Tiny算法上的FPS为6，在相同条件下，此结果仍然远远优于其他方法。如图7所示，为本发明一实施例中所提出YOLOv4-Tiny算法结果对比示意图。

此外，YOLOv4-Tiny的型号尺寸为23,004KB，也比其他型号小得多(例如，SSD为93,292KB，YOLOv3为240，642KB，YOLOv4为250,180KB)。故而，通过使用的YOLOv4-Tiny算法可以更好地满足火灾嵌入式部署的要求和实时目标检测的需要，同时，根据模型大小、时间效率和其他指标进行综合考虑，可部署于机器人和无人机，以快速识别和定位火灾和烟雾，达到对火灾探测和设施保护。

第五步，以依据优化后的算法模型展示的对目标火灾信息的多尺度目标检测数据作为确定输出的目标结果，需要说明的是，在得到以目标火灾信息的多尺度目标检测数据作为确定输出的目标结果后，还需要对多尺度目标检测数据进行标记，其中，对多尺度目标检测数据进行标记的具体实施方式为：

基于VOC2007数据集的格式，创建Annotations、JPEGImages以及ImageSets文件夹，以用于存储标签文件、标签文件对应的图像文件以及火灾数据集的索引；

同时，使用labelImg标注图像工具对目标结果中包含火焰图像信息和烟雾图像信息的图片进行标注：标明位置和类型；

再将Annotations文件夹中存储的标签文件为XML格式，并使用代码将VOC格式转换为YOLO格式，得到包含对象类型和位置信息的文档，以作为新的训练特征数据，进行后续训练。

在本发明的一种实施例中，在得到目标火灾信息之后，且在以目标火灾信息作为训练特征信息代入至卷积神经网络模型进行训练之前，需要对目标火灾信息中的图像进行防失真处理，其具体处理方式为：

需要采用YOLOv4-Tiny算法在图像边缘添加灰度条后调整输入图像的大小，并将图像划分为不同大小的网格，以用于检测不同大小的对象，其中，根据划分的网格进行每个网格点负责单个区域的检测，若待检测图像的中心点落在该区域内，则该检测图像由该网格点进行标识。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。

Claims (8)

1.一种基于视频分析技术的火灾探测分析方法，其特征在于：包括以下步骤：

第一步，数据准备

根据获取的用于集合实时图像采集设备火灾场景和火灾尺度生成实际采集场景的火灾数据集；

第二步，预设算法模型

基于卷积神经网络，构建针对不同阶段的火灾数据集中目标火灾信息进行分析研判的卷积神经网络模型；

第三步，实时对目标火灾信息进行检测

以目标火灾信息作为训练特征信息代入至卷积神经网络模型训练得到至少一个具备高语义信息的特征层，以实现对所述目标火灾信息的多尺度目标检测；

第四步，优化算法模型

基于嵌入式计算机，分别在仅使用CPU进行测试的场景和使用CPU和GPU进行测试的场景对所述卷积神经网络模型进行调试，以提高卷积神经网络模型对目标火灾信息的准确性；且，分别通过计算目标检测评估指标对卷积神经网络模型在所有类别上进行优劣衡量，得到优化算法模型后顺序执行第三步；

第五步，以依据优化后的算法模型所展示的目标火灾信息的多尺度目标检测数据作为确定输出的目标结果。

2.根据权利要求1所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：第二步中，所述目标火灾信息包括实际采集场景中的烟雾图像信息和火焰图像信息，其中，采用YOLOv4-Tiny算法建立卷积神经网络模型以训练目标火灾信息，卷积神经网络模型的具体构建方式为：

S2-1、获取训练样本，其中，所述训练样本中至少标注有第一训练特征信息和第二训练特征信息，所述第一训练特征信息用于表征烟雾图像信息，所述第二训练特征信息用于表征烟雾图像信息；

S2-2、采用所述第一训练特征信息和第二训练特征信息输入至YOLOv4-Tiny算法网络同时进行训练，得到卷积神经网络模型。

3.根据权利要求2所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：在步骤S2-1中，获取训练样本时，需要基于shuffle洗牌算法，对所获取的火灾数据集中的火灾信息进行随机排列，以对卷积神经网络模型的训练真实性进行判断。

4.根据权利要求2所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：第二步中，以YOLOv4-Tiny算法建立的卷积神经网络模型采用CSPDarknet53作为骨干网络，且首先需要对其进行卷积、归一化和激活函数处理，其次，需要基于CSPBlock对其进行堆叠网络，以提高对目标火灾信息测的实时性，方便嵌入式应用于计算机，其中，激活函数为LeakyReLU激活函数，其数学表达式为：

式中，其中，a_i是(1，+∞)区间内的固定参数，表示为常数。

5.根据权利要求1或4所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：第三步中，得到至少一个具备高语义信息的特征层的方式是依据卷积神经网络模型采用的CSPDarknet53骨干网络所生成，且在得到所述具备高语义信息的特征层后，需要对其进行进行分类和回归预测预处理，以提高对目标火灾信息测的实时性。

6.根据权利要求1或所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：第四步中，目标检测评估指标包括YOLOv4-Tiny的评价指标mAP、P-R曲线、以及AP值，其中，

所述AP值用于衡量卷积神经网络模型在每个类别上的好坏；

所述评价指标mAP用于衡量卷积神经网络模型在所有类别上的好坏，且，在得到AP值后，所述评价指标mAP的计算方式为对所有AP取平均值。

7.根据权利要求1所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：第五步中，在得到以目标火灾信息的多尺度目标检测数据作为确定输出的目标结果后，还需要对所述多尺度目标检测数据进行标记，其中，对所述多尺度目标检测数据进行标记的具体实施方式为：

基于VOC2007数据集的格式，创建Annotations、JPEGImages以及ImageSets文件夹，以用于存储标签文件、标签文件对应的图像文件以及火灾数据集的索引；

同时，使用labelImg标注图像工具对目标结果中包含火焰图像信息和烟雾图像信息的图片进行标注：标明位置和类型；

再将Annotations文件夹中存储的标签文件为XML格式，并使用代码将VOC格式转换为YOLO格式，得到包含对象类型和位置信息的文档，以作为新的训练特征数据，进行后续训练。

8.根据权利要求1所述的一种基于视频分析技术的火灾探测分析方法，其特征在于：在得到目标火灾信息之后，且，在以目标火灾信息作为训练特征信息代入至卷积神经网络模型进行训练之前，需要对目标火灾信息中的图像进行防失真处理，其具体处理方式为：

需要采用YOLOv4-Tiny算法在图像边缘添加灰度条后调整输入图像的大小，并将图像划分为不同大小的网格，以用于检测不同大小的对象，其中，根据划分的网格进行每个网格点负责单个区域的检测，若待检测图像的中心点落在该区域内，则该检测图像由该网格点进行标识。

Images