CN109903507A - 一种基于深度学习的火灾智能监控***及其方法 - Google Patents

Abstract

本发明公开一种基于深度学习的火灾智能监控***及其方法，包含：图像采集模块，通过双目摄像头进行实时监控；图像分析模块，利用深度学习模型对监控视频图像中的火焰实时检测；报警模块，提醒监控人员观察监控视频图像中的火情；火焰定位模块，接收深度学习模型检测到的火焰像素位置信息，利用双目立体视觉定位算法将火焰像素位置信息映射到空间，得到火焰空间位置信息；定点灭火模块，在报警模块无应答而导致持续报警的条件下，经过预设的间隔时间，接收火焰空间位置信息。本发明将深度学习和摄像头定位算法结合用于火焰识别，并提出新的卷积核模块，特征提取能力更强，还能在测到火焰时报警，在监控人员无反应情况自动对火焰区域定点灭火。

Description

一种基于深度学习的火灾智能监控***及其方法

技术领域

本发明涉及图像识别与计算机视觉领域，特别涉及一种基于深度学习的火灾智能监控***及其方法。

背景技术

火灾是最常见的灾害之一，如果不能在早期及时控制，进一步引起大面积火灾的发生，将会造成不可挽回的生命财产损失。尤其是在一些特殊的禁烟场所，如汽车站、加油站、物流仓库等，一旦因为人为吸烟或其他因素引起火灾，后果非常严重。因此对吸烟行为的监控和火灾的早期探测十分有必要。

火焰是火灾早期的物理现象，早期火焰探测技术主要有感温、感烟和感光三种，现已得到了广泛的应用，但依然存在灵敏度低、易受环境因素干扰、检测范围有限等技术缺陷，难以适应大空间或复杂环境的火焰探测要求。

图像型火焰探测技术是一种新型火焰探测技术，改善了早期火焰探测技术的缺陷，有效提高了火焰检测的准确度，减少了漏报和误报。图像型火焰检测技术主要利用模式识别的方法，需要人工设计火焰的特征提取器，但由于火焰的多变性、复杂性，往往提取到的特征不具有代表性，难以对小目标火焰和多类型火焰进行检测。

中国专利申请CN201510319446.5提出了“基于北斗***的火灾监控***”，其旨在保护生态环境，能够对森林火灾险情进行有效监控。但监控***中的图像处理单元依然采用人工提取火焰的形态学特征和颜色特征作为分类依据，难以对室内场所、禁烟场所小型火灾的发生做出有效监控。

综上所述，如何克服现有图像型火焰检测技术的不足以及提出一套完整的基于深度学习的火灾智能监控***十分有必要。

发明内容

本发明的目的在于提供一种基于深度学习的火灾智能监控***及其方法，将深度学习和摄像头定位算法进行结合用于火焰识别，进一步提出了新的卷积核模块，具有特征提取能力更强的优势，同时还设计了完整的禁烟场所火灾智能监控***，能够在检测到火焰时报警，并在监控人员没有反应的情况下自动对火焰区域进行定点灭火。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于深度学习的火灾智能监控***，包含：

图像采集模块，通过双目摄像头在不同场所下进行实时监控，采集监控视频图像的数据；

图像分析模块，利用训练好的深度学习模型对所述监控视频图像中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；

火焰定位模块，接收所述深度学习模型检测到的火焰像素位置信息，利用双目定位映射方法将所述火焰像素位置信息映射到空间，得到火焰空间位置信息，最终找到火焰位置。

优选地，所述双目定位映射方法进一步包含：

对于空间上的任意一火焰点P，所述火焰点P在第一摄像机C1下拍摄的图像平面上的投影是点C_L，所述火焰点P在第二摄像机C2下拍摄的图像平面上的投影是点C_R，其中，点C1和点C_L相连的直线为l₁，点C2和点C_R相连的直线为l₂，则火焰点P是直线l₁和直线l₂的交点，即空间的火焰点P的位置信息唯一确定。

优选地，当检测到火焰时，通过触发监控室的报警器，提醒监控人员观察所述监控视频图像中的火情。

优选地，所述的火灾智能监控***进一步包含定点灭火模块，所述定点灭火模块在所述报警器无人应答而导致持续报警的条件下，经过预设的间隔时间，接收所述火焰空间位置信息，通过控制器控制消防***来实现定点灭火。

优选地，所述深度学习模型为Mask R-CNN模型。

优选地，所述深度学习模型包含：

特征提取层，提取目标图像的特征信息并生成多尺度的特征图；

候选区域生成网络，用于生成目标图像的候选区域；

全连接层，用于目标分类和边界框回归；

RoIAlign层，其将得到的所述候选区域映射到特征图上的相对应区域，并对该区域进行下采样处理得到固定维度的特征向量，再将所述特征向量传入所述全连接层进行信息整理，最终实现目标分类和边界框回归。

优选地，所述特征提取层采用特征金字塔网络，所述特征金字塔网络由ResNet卷积神经网络搭建而成，所述ResNet卷积神经网络采用并行连接和跳远连接相结合的方式。

优选地，所述深度学习模型在所述RoIAlign层后增添一掩码分支，用于生成目标图像的分割掩码。

本发明还提供了一种基于如上文所述的火灾智能监控***的火灾智能监控方法，该方法包含以下过程：

通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据，并将采集的所述监控视频图像数据传入服务器上训练好的深度学习模型；

利用训练好的深度学习模型对所述监控视频图像数据中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；

采用双目定位映射方法将所述火焰像素位置信息映射到空间得到火焰空间位置信息；

将所述火焰空间位置信息传递到一控制器，所述控制器控制消防***来实现定点灭火。

优选地，所述的火灾智能监控方法进一步包含：当检测到火焰时，通过触发监控室报警器，提醒监控人员观察监控视频中火情并进行处理；当无人应答所述报警器而导致持续报警时，经过预设的间隔时间，接收所述火焰空间位置信息，实现定点灭火。

与现有技术相比，本发明的有益效果为：(1)本发明提出了基于深度学习模型MaskR-CNN的火焰检测方法，改善了传统模式识别的方法提取特征不全、提取的特征不具有代表性、难以对多变的火焰进行识别的状况；并创新性地提出了结合现有ResNet和现有Inception特性的新卷积模块，相对单独的Inception卷积模块具有防止网络因层数过深出现过拟合的优点；相对单独的ResNet卷积模块，因为采用了并行连接网络的思想，用不同尺寸卷积核提取特征再进行通道融合，具有特征提取能力更强的优势；(2)本发明提出了基于深度学习的匹配算法，将深度学习模型和双目立体视觉算法结合，基于对传统立体匹配算法难以兼顾匹配精度和匹配速度的考虑，使用深度学习模型检测框的坐标进行立体匹配，在保证匹配精度的基础上，兼顾匹配速度，而传统定位方法找匹配点很重要，在背景复杂的情况下很难有效的找到匹配点，过程复杂且耗时；(3)本发明设计了完整的火灾智能监控***，该***不仅能够在检测到火焰时报警，而且能够在监控人员没有反应的情况下自动对火焰区域进行定点灭火。

附图说明

图1为本发明的基于深度学习的火灾智能监控***总体设计示意图；

图2为本发明的深度学习模型结构示意图；

图3为本发明的改进ResNet网络结构示意图；

图4为本发明的loss变化示意图；

图5为本发明的双目摄像头定位原理示意图；

图6为本发明的摄像头捕捉到的含有火焰的图像示意图；

图7为本发明的深度学习模型检测到火焰的图像示意图；

图8a为本发明第一个摄像头视角的火焰检测框像素坐标信息的示意图；

图8b为本发明第二个摄像头视角的火焰检测框像素坐标信息的示意图。

具体实施方式

为了使本发明更加明显易懂，以下结合附图和具体实施方式对本发明做进一步说明。

如图1所示，本发明公开了一种基于深度学习的火灾智能监控***，主要包含图像采集模块、图像分析模块、报警模块、火焰定位模块和定点灭火模块这五个模块。

所述图像采集模块通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据；所述图像分析模块主要是利用训练好的深度学习模型MaskR-CNN对监控视频图像数据中的火焰进行实时检测，并得到火焰像素位置信息；在所述报警模块中，一旦检测到火焰时便会触发监控室报警器，提醒监控人员观察监控视频中火情并进行处理；所述火焰定位模块接收深度学习模型检测到的火焰像素位置信息，利用双目定位映射算法将接收到的所述火焰像素位置信息映射到空间得到火焰空间位置信息；所述定点灭火模块在所述报警模块无人应答而导致持续报警的条件下，经过预设的间隔时间，接收所述火焰定位模块得到的火焰空间位置信息，并将火焰空间位置信息传递到控制器，通过控制器控制消防***(例如消防水炮)来实现定点灭火。

因此，本发明的深度学习模型的目的是判断视频图像中是否出现火焰以及火焰在图片中的位置信息。摄像头的作用主要是对禁烟场所进行实时监控，采集视频图像数据，并将数据传入服务器上训练好的深度学习模型，利用深度学习模型得到的火焰在图像中的位置信息，找到火焰在空间中的位置。

如图2所示为本发明的深度学习模型结构示意图，例如深度学习目标检测模型Mask R-CNN，主要包括特征提取层、候选区域生成网络(RegionProposal Network，RPN)、RoIAlign层和全连接层。

所述特征提取层采用特征金字塔网络(Feature Pyramid Network，FPN)提取目标图像的特征信息并生成多尺度的特征图(Feature Map)；所述候选区域生成网络用于生成目标图像的候选区域；所述RoIAlign层将得到的候选区域映射到特征图上的相对应区域，并对该区域进行下采样处理得到固定维度的特征向量，然后将特征向量传入所述全连接层进行信息整理，最终实现目标分类和边界框回归。同时，深度学习模型还可在RoIAlign层后增添了一个掩码分支(Maskbranch)，用于生成目标图像的分割掩码。

其中，所述特征金字塔网络是Mask R-CNN模型的核心组成部分，其可由ResNet等通用卷积神经网络(Convolution Neural Network，CNN)搭建而成，卷积层卷积神经网络(CNN)基于层级表达学习方式，具有高度的非线性表达能力，能够根据数据自适应的构造特征提取器。

示例地，本发明的特征金字塔网络可由改进的ResNet网络搭建而成，改进的ResNet网络采用了并行连接和跳远连接相结合的方式，具有特征提取能力强，防止网络因层数过深出现过拟合等优点。

如图3所示为本发明的改进ResNet结构示意图，具体如下：

(1)首先，本发明改进的ResNet网络采用并行连接的方式(类似于一条溪流分为三个支路，最后汇总在一起，这样的好处是在支路上可以有不同形状的卷积核，能够提取不同的特征，最后再进行通道融合，汇总在一起，特征提取能力变强)增强网络的特征提取能力。其中，1×1卷积核的作用是降维(控制输出的通道数)，激活函数的作用是增加模型的非线性表达能力，3×3、5×5等是不同尺寸的卷积核，能提取不同的特征，最后将提取到的特征拼接融合。

(2)同时，本发明改进的ResNet网络结构中使用跳远连接的方式，即又保留了原有ResNet的优势，其中，F(x)-x即为残差映射，x为恒等映射，随着模型深度的增加，会出现梯度消失的问题(通常模型层数越深，模型参数量增加，表达能力或者特征提取能力变强)，模型的性能反而降低，本发明的优势是通过跳远连接方式使这一状况得到有效地解决，能够使模型的收敛速度变快。

作为本发明的一个实施例，深度学习模型训练的步骤如下：

(a)深度学习训练数据、测试数据的获得与处理；

(b)建立深度学习模型；

(c)数据标注(例如labelme工具)；

(d)基于迁移学习方法，采用大规模数据集ImageNet预训练参数作为深度学习模型的参数初始化，将标注后的训练数据、测试数据传入所述深度学习模型；并完成对深度学习模型的训练与评价；

(e)将训练好的深度学习模型储存在服务器中。

如图4所示为本发明的深度学习模型训练过程中的Loss值变化，其中，横坐标(Epoch)表示模型训练的迭代次数，纵坐标(Loss值)表示预测值与期望值之间的差异(预测值即模型的输出值，期望值是实际值，Validationloss是验证集的Loss，Train loss是训练集的Loss)，Loss值越来越小，说明模型也逐渐收敛，模型训练完成。在手工标注数据时就已经确定实际值，实际值反映了图像中目标的位置、类别。

双目视觉类似于利用双眼获取环境的三维信息，由于双目定位技术从一个目标的两个不同角度拍摄照片上找匹配点，过程很复杂，也会受到环境因素的干扰。

由上可知，本发明的深度学习模型的作用是检测并判断摄像头拍摄图像中有没有出现火焰以及火焰的区域在哪里，如图6所示；若出现火焰，深度学习模型会将火焰的区域用矩形框(即边界框)标注出来，如图7所示，即本发明创新性提出了直接用深度学习模型检测出的边界框点作为匹配点，用于后续映射定位，其中，边界框的坐标为四个角点的坐标。

如图8a和图8b所示，基于双目摄像头定位，可得到两个不同视角的火焰检测框像素坐标信息，直接采用检测框的像素坐标信息作为匹配点，并利用双目定位映射算法映射到空间找到火焰位置。如图5所示为本发明的双目摄像头定位原理示意图，双目定位映射方法的原理如下：

空间上的火焰点P在一台摄像机C1拍摄的图像平面上的投影是C_L，P与C_L连接线上的点都投影在点C_L上，无法根据C_L这一单独的点坐标得出P的位置深度信息。如果再加上另一台摄像机C2，同时C_R是P在摄像机C2拍摄的图像平面上的投影，那么P就是直线l₁(即点C1和点C_L相连所在的直线)和直线l₂(即点C2和点C_R相连所在的直线)的交点。所以，空间火焰点P的位置信息就能够唯一确定。

本发明提供了一种基于深度学习的火灾智能监控方法，该火灾智能监控方法包含以下过程：

图像采集模块通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据，并将数据传入服务器上训练好的深度学习模型；

图像分析模块利用训练好的深度学习模型对监控视频图像数据中的火焰进行实时检测，并得到火焰像素位置信息；

火焰定位模块接收深度学习模型检测到的火焰像素位置信息，利用双目立体视觉定位算法将接收到的火焰像素位置信息映射到空间得到火焰空间位置信息；其中，一旦检测到火焰时便会触发监控室报警器，提醒监控人员观察监控视频中火情并进行处理；

定点灭火模块在报警器无人应答而导致持续报警的条件下，经过预设的间隔时间，接收火焰定位模块得到的火焰空间位置信息，并将火焰空间位置信息传递到控制器，通过控制器控制消防***来实现定点灭火。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于深度学习的火灾智能监控***，其特征在于，包含：

图像采集模块，通过双目摄像头在不同场所下进行实时监控，采集监控视频图像的数据；

图像分析模块，利用训练好的深度学习模型对所述监控视频图像中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；

火焰定位模块，接收所述深度学习模型检测到的火焰像素位置信息，利用双目定位映射方法将所述火焰像素位置信息映射到空间，得到火焰空间位置信息，最终找到火焰位置。

2.如权利要求1所述的火灾智能监控***，其特征在于，

所述双目定位映射方法进一步包含：

对于空间上的任意一火焰点P，所述火焰点P在第一摄像机C1下拍摄的图像平面上的投影是点C_L，所述火焰点P在第二摄像机C2下拍摄的图像平面上的投影是点C_R，其中，点C1和点C_L相连的直线为l₁，点C2和点C_R相连的直线为l₂，则火焰点P是直线l₁和直线l₂的交点，即空间的火焰点P的位置信息唯一确定。

3.如权利要求1所述的火灾智能监控***，其特征在于，进一步包含：

当检测到火焰时，通过触发监控室的报警器，提醒监控人员观察所述监控视频图像中的火情。

4.如权利要求3所述的火灾智能监控***，其特征在于，进一步包含定点灭火模块，所述定点灭火模块在所述报警器无人应答而导致持续报警的条件下，经过预设的间隔时间，接收所述火焰空间位置信息，通过控制器控制消防***来实现定点灭火。

5.如权利要求1所述的火灾智能监控***，其特征在于，

所述深度学习模型为Mask R-CNN模型。

6.如权利要求1或5所述的火灾智能监控***，其特征在于，

所述深度学习模型包含：

特征提取层，提取目标图像的特征信息并生成多尺度的特征图；

候选区域生成网络，用于生成目标图像的候选区域；

全连接层，用于目标分类和边界框回归；

RoIAlign层，其将得到的所述候选区域映射到特征图上的相对应区域，并对该区域进行下采样处理得到固定维度的特征向量，再将所述特征向量传入所述全连接层进行信息整理，最终实现目标分类和边界框回归。

7.如权利要求6所述的火灾智能监控***，其特征在于，

所述特征提取层采用特征金字塔网络，所述特征金字塔网络由ResNet卷积神经网络搭建而成，所述ResNet卷积神经网络采用并行连接和跳远连接相结合的方式。

8.如权利要求6所述的火灾智能监控***，其特征在于，

所述深度学习模型在所述RoIAlign层后增添一掩码分支，用于生成目标图像的分割掩码。

9.一种基于如权利要求1-8任意一项所述的火灾智能监控***的火灾智能监控方法，其特征在于，该方法包含以下过程：

通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据，并将采集的所述监控视频图像数据传入服务器上训练好的深度学习模型；

利用训练好的深度学习模型对所述监控视频图像数据中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；

采用双目定位映射方法将所述火焰像素位置信息映射到空间得到火焰空间位置信息；

将所述火焰空间位置信息传递到一控制器，所述控制器控制消防***来实现定点灭火。

10.如权利要求9所述的火灾智能监控方法，其特征在于，进一步包含：

当检测到火焰时，通过触发监控室报警器，提醒监控人员观察监控视频中火情并进行处理；

当无人应答所述报警器而导致持续报警时，经过预设的间隔时间，接收所述火焰空间位置信息，实现定点灭火。