CN109815863B - 基于深度学习和图像识别的烟火检测方法和*** - Google Patents

Abstract

本公开涉及一种基于深度学习和图像识别的烟火检测方法，包括以下步骤：步骤1、从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取所述视频帧内的部分像素集合，形成一个或多个预处理区域供识别；步骤2、将提取出的预处理区域截取成图片，作为烟火检测模型的输入；步骤3、通过所述烟火检测模型，从所述图片提取特征；步骤4、根据所提取的特征来确定所述图片中存在烟火场景的置信度；步骤5、如果所述置信度超过置信度阈值，则将所述图片对应的区域在所述视频帧中标记出来。

Description

基于深度学习和图像识别的烟火检测方法和***

技术领域

本公开涉及计算机数据处理技术领域，具体地，涉及计算机视觉、模式识别和智能监控领域中的目标检测与定位技术，更具体地，涉及一种基于深度学习和图像识别的烟火检测方法。

背景技术

烟火检测是安防的重要方面，如果能在火灾发生初期就能检测到烟火，就能提前预警，将灾害降到最低。在室内等环境中，烟火检测一般都用的是物理(光测度)和化学的(电离)方法，这也是目前的烟火报警器所广泛使用的。然而，在特殊的场景，例如在场景较大的场合中(比如森林大火的预警)，物理和化学的方法不易使用，基于机器视觉的检测方法更加适合。

首先，对烟火的检测识别，基于机器视觉的方法主要分为两类：一是在静止的孤立图片中进行烟火识别，二是从视频中对具有运动特征的烟火进行检测。由于前者仅利用了孤立的静止图片，丢失了视频中很多运动信息，而运动信息恰恰是视频中烟火很重要的组成部分，因此对烟火的检测的发展方向主要是利用机器视觉对视频中的烟火进行检测。

现有技术方案(1)(参见参考文献1)

该方案提出了一种基于时空特征的隐马尔科夫模型和基于亮度显著图的混合火焰检测算法。本算法首先通过运动区域检测和颜色特征分析得到候选火焰区域，然后结合隐马尔科夫模型和视觉注意模型的亮度显著图检测火焰的闪烁特征以及火焰局部的亮度变化特征分析候选火焰区域，最终判别可疑区域是否为真实的火焰。对于烟雾检测，该方案首先检测运动区域和灰度直方图得到候选烟雾区域，然后利用小波变换进一步检测候选烟雾区域和背景区域的高频能量来确定烟雾。

然而，技术方案(1)具有以下缺点：

一、隐马尔科夫模型是一个概率统计模型，用来描述一个含有隐含未知参数的马尔可夫过程，其难点是从可观察的参数中确定该过程的隐含参数。在对火焰的检测上，该模型参数的确定具有一定的随机性，并未证明该算法模型相比其他模型的有效性和稳定性。

二、视觉注意模型一直是机器视觉研究的领域，也是一个非常重要但尚在研究的课题，虽然有一定的理论支撑，但是在实际的运用中，还是缺少说服力，目前的视觉注意模型并不能准确预测。

第三：该烟火检测算法整个过程耗时比较长，不能部署到ARM上实现实时的烟火检测。

现有技术方案(2)(参见参考文献2)

该方案对于火焰和烟气分别设计了基于HSI与运动累积特性的火焰检测算法和于视频模糊度与聚类特性的烟气检测算法。火焰检测首先对采集到的视频图像进行预处理达到去噪和色彩调整的目的，然后提取火焰的颜色特征，最后提取火焰的动态特征，最终确定图像中火焰区域。烟气检测首先对采集到的图像进行预处理，然后进行图像模糊度特征提取，包括对比度、均匀度和能量等，最后提取聚类特征，最终确定图像中是否存在烟气。

然而，技术方案(2)具有以下缺点：

一、通过提取火焰的颜色特征和动态特征来实现对火焰的特征存在大量的误检情况，而且对阈值的设定非常苛刻，不能实现对火焰的真正检测。

二、在对烟气的检测上，通过图像模糊度提取特征，也存在误检的情况，例如平时的水雾在图片上的模糊度成像特征和烟气十分接近，不能区分两者，有一定情况的误检发生。

现有技术方案(3)(参见参考文献3)

该方案通过以下几个步骤来实现烟火检测：图像锐化、运动区域检测、特征提取、特征分类。在图像锐化中，应对雾霾环境使用图像去雾霾技术，应对低光照环境使用图像低照度增强技术。在特征提取中，我们进行烟火颜色分析、烟的区域上升、生长分析、以及烟的区域形状分析。

然而，技术方案3具有以下缺点：

一、该方案对火的检测主要通过颜色分析，不能完全体现火的特征，会存在大量的误检误报。

二、由于烟火的形态无特定的规则形态，只通过烟的区域上升、生长分析和烟的区域形状分析不能全面的描述烟的形态，会有漏检的发生。

总之，在烟火检测识别的问题中，由于烟火形态的差异比较大，在视觉上和夕阳、雾霾较相似，因此利用现有技术对图片进行分析检测，很容易出出现误检和漏检的情况。

发明内容

考虑到现有技术的上述问题，发明人提出了本发明，其提供了基于运动信息和深度学习的烟火检测新技术。

根据本发明的实施例，提供了基于深度学习和图像识别的烟火检测方法，包括以下步骤：步骤1、从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取所述视频帧内的部分像素集合，形成一个或多个预处理区域供识别；步骤2、将提取出的预处理区域截取成图片，作为烟火检测模型的输入；步骤3、通过所述烟火检测模型，从所述图片提取特征；步骤4、根据所提取的特征来确定所述图片中存在烟火场景的置信度；步骤5、如果所述置信度超过置信度阈值，则将所述图片对应的区域在所述视频帧中标记出来。

本发明的有益效果包括：

1、该方法利用烟火的运动和颜色信息，在第一阶段能过滤掉大部分非烟火的图片，效率高，每张图片(320*240)耗时在0.0015s左右；

2、在第二阶段再利用深度学习模型对疑似烟火区域进一步检测，使得检测效果得到较大的提高，准确度也有一定的保证；

3、通过上述两个阶段的结合，使得检测的效率得到进一步的提高，***的稳定性的也有很大的提高，并能部署到arm机器上，实现实时的烟火检测。

附图说明

图1为根据本发明的实施例的基于深度学习和图像识别的烟火检测方法的原理示意图；

图2为说明根据本发明的实施例的基于深度学习和图像识别的烟火检测方法的流程示意图；

图3为说明根据本发明的实施例的基于深度学习和图像识别的烟火检测***的功能模块示意图；

图4为根据本发明实施例的安装了应用程序的***的运行环境的示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下文中，将描述用于进行本发明的实施例。注意，将以下面的次序给出描述：1、发明构思的概要(图1)；2、基于深度学习和图像识别的烟火检测方法(图2)；3、基于深度学习和图像识别的烟火检测***(图3)；4、根据本发明的实施例的安装了应用程序的***(图4)。

1、发明构思的概要

图1为根据本发明的实施例的基于深度学习和图像识别的烟火检测方法的原理示意图。

如图1所示，考虑到烟火图像的特性，该方法的第一阶段检测的主要判断依据是单帧图像的RGB模型和视频帧间差。其中，RGB判据筛选出三通道颜色均处于典型火焰RGB阈值内的像素区域；此外，由于实际情况中烟火往往不会处于完全静止的状态，反应在视频中即为像素内容的改变，因此为了提高检测的可靠性，还需利用帧间差判据筛选出视频内容中的运动区域。将RGB判断的结果与帧间差判断的结果相结合，得到疑似烟火区域，即，复合判定标准的像素点连接/围合形成的区域，例如，以其外接矩形作为最终截取区域，作为疑似烟火区域，一帧图像中可以有一个或多个疑似烟火区域。

第二阶段的检测主要是利用深度学习模型，对疑似烟火区域的图片，依据训练好的深度模型提取特征，并进行烟火区域的检测判别，可以满足烟火检测在速度和精度上的要求。

下面具体说明本发明的基于深度学习和图像识别的烟火检测方法的实现方式。

2、基于深度学习和图像识别的烟火检测方法

图2为说明根据本发明的实施例的基于深度学习和图像识别的烟火检测方法的流程示意图。

如图2所示，该方法主要包括以下步骤：

步骤S100、从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取出一个或多个区域供识别；

步骤S200、将提取出的区域截取成图片，作为烟火检测模型的输入；

步骤S300、通过所述烟火检测模型，从所述图片提取特征；

步骤S400、根据所提取的特征来识别所述图片的场景中存在烟火的概率；

步骤S500、如果所述概率超过预定阈值，则将所述图片对应的区域在所述视频中标记出来，同时显示所述概率。

具体地，作为预处理阶段，步骤S100包括：

步骤S110、提取所述视频帧的RGB三通道图像(即，每个像素的红色分量(R)、绿色分量(G)和蓝色分量(B))，逐像素判定是否满足下列条件：

条件1：R≥G≥B

条件2：R≥R_T

条件3：S≥(255-R)*S_T/R_T

其中，R_T表示红色分量阈值，S表示像素的饱和度，S_T表示饱和度阈值。其中，R_T和S_T均为根据经验设定的阈值。饱和度S可按照如下公式进行计算：

S＝1-3*min(R,G,B)/(R+G+B)

步骤S120、当当前像素满足全部条件1至条件3时，可在第一二值图像中标出其位置，用于形成第一筛选区域；

例如，第一二值图像与视频帧具有同样的大小，其中每个像素与视频帧中的每个像素一一对应，第一二值图像中的像素的取值(如1)表示该像素是否满足上述三个条件(是否属于疑似区域，以供进一步筛选)。

步骤S130、计算所述视频帧的前一帧与所述视频帧的帧间差(两个图像的对应像素值相减)，与帧间差阈值进行比较，对于超过帧间差阈值的像素，在第二二值图像中标出其位置，

例如，第二二值图像与视频帧具有同样的大小，其中每个像素与视频帧中的每个像素一一对应，第二二值图像中的像素的取值(如1)表示帧间差是否大于帧间差阈值。以此，能够确定视频内容中发生变化的区域，即为可能的运动区域。

换句话说，上述对于帧间差的判定，也可被定义为条件4，即，

条件4：该像素的像素值与前一帧的相应像素值的差＞帧间差阈值。

步骤S140、将第一二值图像与第二二值图像进行取交集处理(即，筛选出条件1至4的像素)，形成第三二值图像；

由此，在步骤S200中，将第三二值图像中的有效像素(取值为1)取外接矩形，形成截取区域的位置，由此在视频帧中截取对应区域，形成矩形图片。

此外，如果第三二值图像中的有效像素并不连续(距离超过了阈值)，则可在第三二值图像中划分多个区域，即，形成多个矩形图片，作为预处理的结果，输入后续网络进行检测。

可选地，在步骤S200中，取第三二值图像中的有效像素的中心点(像素位置取平均)，作为截取区域的中心点，然后，根据经验值(例如，根据当前拍摄场景的在画面中的大小、与在真实世界中的实际大小的对应关系，例如，其取决于摄像机的拍摄焦距、取景范围等参数)，截取适当大小的矩形区域。

具体地，如下生成步骤S300中的所述烟火检测模型：

步骤3a、生成特征提取网络。该网络由六个卷积模块组成，前5个卷积模块进行了2倍下采样操作。第一个卷积模块由2层3*3的卷积组成，第2层卷积的步长为2，输出的卷积通道数为48；对于第二、三个卷积模块，都由1*1以及3*3的残差块组成(残差块由下采样卷积层、归一化层、激活层、上采样卷积层、归一化层、激活层依次连接构成)，输出的卷积通道数分别为96、192；第四、五个卷积模块由两层1*1和3*3的残差块堆叠而成，输出的通道数分别384、768；最后一个卷积模块也是由1*1和3*3的残差块组成，输入和输出通道数都为768。

其中，附加连接残差块的卷积层总共含有23层卷积层。最终输出的768维特征向量为所需的第一尺度的特征图，384维卷积层输出的向量与第一尺度上采样获得的向量叠加构成第二尺度特征图，192维卷积层输出的向量与第二尺度上采样获得的向量叠加构成第三尺度特征图。三种尺度的特征图用于后续检测。

步骤3b、制作数据集，收集含有烟火的图片，进行标注，并将数据集按照一定比例(例如4:1)分为训练集和测试集。

步骤3c、训练模型，将制作好的数据集作为模型的输入，配置好模型的训练文件，训练模型。

步骤3d、调整模型参数，利用测试集测试模型的效果，不断调整训练文件的参数，使模型在测试集上达到最好的效果。

其中，所述视频帧来自通过摄像头实时采集的视频流数据，将摄像头采集的视频流数据解码为YUV420格式的视频流，再将视频流中的每一帧(RGB图片)作为烟火检测***的输入。

其中，在处理的过程中，可将截取的矩形图片的宽高缩放到同等大小，例如224*224，然后模型读取图片数据，进行特征的提取。提取特征的过程包括一系列的卷积、池化、上采样等操作，之后会输出一系列候选框，候选框的参数为：中心点坐标(x，y)、宽高(w，h)和置信度。置信度是一个0-1的范围，我们选取0.45，对置信度大于0.45的候选框视为检测有效的候选区域，对置信度小于0.45的视为无效。最后将有效的候选区域输出，作为烟火检测的最终结果。

根据本发明的实施例，该方法利用烟火的运动和颜色信息，能过滤掉大部分非烟火的图片，而且效率非常高，每张图片(320*240)耗时在0.0015s左右；再利用深度学习模型对疑似烟火区域进一步检测，使得检测效果得到较大的提高，准确度也有一定的保证；二者结合，使得检测的效率得到较大的提高，***的稳定性的也有很大的提高，并能部署到arm机器上，实现实时的烟火检测。

3、基于深度学习和图像识别的烟火检测***

图3为根据本发明的实施例的基于深度学习和图像识别的烟火检测***的功能模块示意图。

本发明的实施例提供了一种基于深度学习和图像识别的烟火检测***，主要包括以下功能模块：

预处理模块，用于从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取出一个或多个区域供识别；

区域截取模块，用于将提取出的区域截取成图片，作为烟火检测模型的输入；

特征提取模块，用于通过所述烟火检测模型，从所述图片提取特征；

识别模块，用于根据所提取的特征来识别所述图片的场景中存在烟火的概率；

标记模块，用于在所述概率超过预定阈值的情况下，将所述图片对应的区域在所述视频中标记出来，同时显示所述概率。

此外，本发明的不同实施例也可以通过软件模块或存储在一个或多个计算机可读介质上的计算机可读指令的方式实现，其中，所述计算机可读指令是当被处理器或设备组件执行时，执行本发明所述的不同的实施例。类似地，软件模块、计算机可读介质和硬件部件的任意组合都是本发明预期的。所述软件模块可以被存储在任意类型的计算机可读存储介质上，例如RAM、EPROM、EEPROM、闪存、寄存器、硬盘、CD-ROM、DVD等等。

4、根据本发明的实施例的安装了应用程序的***

参照图4，其示出了根据本发明实施例的安装了应用程序的***的运行环境。

在本实施例中，所述的安装应用程序的***安装并运行于电子装置中。所述电子装置可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置可包括但不限于存储器、处理器及显示器。该图仅示出了具有上述组件的电子装置，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器在一些实施例中可以是所述电子装置的内部存储单元，例如该电子装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述电子装置的外部存储设备，例如所述电子装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述电子装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述电子装置的应用软件及各类数据，例如所述安装应用程序的***的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器在一些实施例中可以是中央处理单元(Central Processing Unit，CPU)、微处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述安装应用程序的***等。

所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器用于显示在所述电子装置中处理的信息以及用于显示可视化的客户界面，例如应用菜单界面、应用图标界面等。所述电子装置的部件通过***总线相互通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解，上述实施方式中的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来，该计算机软件商品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、或者网络设备等)执行本发明本申请各个实施例所述的方法。

也就是说，根据本发明的实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于执行根据本发明的实施例的所述方法的程序，所述程序被处理器执行时，执行所述方法的各个步骤。

由上，将理解，为了说明的目的，这里已描述了本发明的具体实施例，但是，可作出各个修改，而不会背离本发明的范围。本领域的技术人员将理解，流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地，可重新安排步骤的次序，可并行执行步骤，可省略步骤，可包括其它步骤，可作出例程的各种组合或省略。因而，本发明仅由所附权利要求限制。

参考文献列表

1、王理强.智能视频监控烟火检测研究与实现[D].电子科技大学,2011.

2、蔡百会.基于视频图像的烟、火检测***研究[D].大连海事大学,2013.

3、济南中维世纪科技有限公司.一种基于视频分析的烟火检测方法及装置:中国，G06K9/32.2017-06-27[2018-12-28]。

Claims (4)

1.一种基于深度学习和图像识别的烟火检测方法，包括以下步骤：

步骤1、从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取所述视频帧内的部分像素集合，形成一个或多个预处理区域供识别，其中，所述视频帧间的像素的差异特征包括所述视频帧的前一帧与所述视频帧的对应像素的帧间差，其中，将所述视频帧内的像素的颜色特征与典型火焰的图像特征进行比较，比较结果作为形成所述预处理区域的依据之一；

步骤2、将提取出的预处理区域截取成图片，作为烟火检测模型的输入；

步骤3、通过所述烟火检测模型，从所述图片提取特征；

步骤4、根据所提取的特征来确定所述图片中存在烟火场景的置信度；

步骤5、如果所述置信度超过置信度阈值，则将所述图片对应的区域在所述视频帧中标记出来，

其中，步骤1包括：

步骤1-1、提取所述视频帧的RGB三通道图像，逐像素判定是否满足下列条件：

条件1：R≥G≥B，

条件2：R≥R_T，

条件3：S≥(255-R)*S_T/R_T，

条件4：所述视频帧的前一帧与所述视频帧的帧间差超过帧间差阈值，

其中，R_T表示红色分量阈值，S表示像素的饱和度，S_T表示饱和度阈值，按照如下公式计算所述饱和度S：

S＝1-3*min(R,G,B)/(R+G+B)，

步骤1-2、记录满足全部条件1至条件4的像素，作为所述部分像素集合，

其中，所述预处理区域是所述部分像素集合的外接矩形，所述预处理区域是以所述部分像素集合的中心像素为中心、具有预定大小的矩形，其中，根据所述部分像素集合中像素的位置，将所述部分像素集合进一步划分为多个子集，每个子集各自形成一个预处理区域，其中，一个预处理区域内的像素与另一个预处理区域内的像素之间的距离大于距离阈值，

其中，如下生成所述烟火检测模型：

步骤3a、生成特征提取网络，提取图像特征，

其中，该特征提取网络由六个卷积模块组成，前5个卷积模块进行了2倍下采样操作，第一个卷积模块由2层3*3的卷积组成，第2层卷积的步长为2，输出的卷积通道数为48；对于第二、三个卷积模块，都由1*1以及3*3的残差块组成，输出的卷积通道数分别为96、192；第四、五个卷积模块由两层1*1和3*3的残差块堆叠而成，输出的通道数分别384、768；最后一个卷积模块也是由1*1和3*3的残差块组成，输入和输出通道数都为768，

其中，附加连接残差块的卷积层以及全连接层总共含有23层卷积层，最终输出的768维特征向量为所需的第一尺度的特征图，384维卷积层输出的向量与第一尺度上采样获得的向量叠加构成第二尺度特征图，192维卷积层输出的向量与第二尺度上采样获得的向量叠加构成第三尺度特征图，所述第一至第三尺度特征图作为后续步骤4中的特征，

步骤3b、收集含有烟火的图片，进行标注，形成数据集，并按照一定比例分为训练集和测试集；

步骤3c、将所述训练集作为所述烟火检测模型的输入，训练模型；

步骤3d、利用测试集测试所述烟火检测模型的效果，同时调整模型参数。

2.根据权利要求1所述的烟火检测方法，其中，所述置信度阈值为0.45。

3.用于实现根据权利要求1或2所述的烟火检测方法的烟火检测***，包括：

预处理模块，用于从待识别的视频中读取视频帧，根据所述视频帧内的像素的颜色特征、以及视频帧间的像素的差异特征，提取出一个或多个区域供识别；

区域截取模块，用于将提取出的区域截取成图片，作为烟火检测模型的输入；

特征提取模块，用于通过所述烟火检测模型，从所述图片提取特征；

识别模块，用于根据所提取的特征来识别所述图片的场景中存在烟火的概率；

标记模块，用于在所述概率超过预定阈值的情况下，将所述图片对应的区域在所述视频中标记出来，同时显示所述概率。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于执行根据权利要求1或2所述的方法的程序，所述程序被处理器执行时，执行所述方法的步骤。

Images