CN108399359B - 一种视频序列下实时火灾检测预警方法 - Google Patents

Abstract

本发明提供一种视频序列下实时火灾检测预警方法，S1：读取一帧视频序列，采用帧差法提取视频中的运动区域；若未检测到运动区域，则返回步骤S1；S2：同时检测火焰区域和烟雾区域，将运动区域的运动像素点与火焰颜色特征模型和烟雾颜色特征模型进行匹配，从而识别出火焰区域和烟雾区域；如果未提取到火焰区域和烟雾区域，则返回步骤S1；S3：如果检测到火焰区域或烟雾区域，则表示有火焰或烟雾发生，此时进行火灾预警，然后读取下一帧。本发明采用了静态和动态特征结合的方法，根据不同场景下火灾燃烧情况，对火焰和烟雾进行双重检测。可以提高检测火灾的敏感性，降低误报率。

Description

一种视频序列下实时火灾检测预警方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种视频序列下实时火灾检测预警方法。

背景技术

New Scientist杂志中说有一句话：“有太多的摄像头，然而却缺少监控它们的眼睛”。视频监控一直被广泛运用于安防领域，世界上各个角落有不计其数的摄像头，很明显，让背后的安防工作者们一直盯着每一个监视器是不现实的。往往当安全事件发生过后，人们才会调出相应区域的摄像头的录像进行排查。所以，基于计算机视觉的智能视频监控被提出，希望能够借助于计算机强大的处理速度和能力，在一些不正常的行为或事件发生前就能够帮助我们及时分析并提供必要的预警信息。

火灾异常是其中一种重要的异常情况，使用传统的传感探测器件在探测范围和抗干扰等方面还存在很多问题，近年来基于计算机视觉的火灾检测逐渐兴起。为了避免大范围的火焰和烟雾引起的灾害，其检测的实时性和准确性是相当重要的。现有的火焰或烟雾检测基本分为4个阶段：前景检测、区域分析、动态特性检测及决策阶段。近年来在这方面的研究层出不穷，但由于火灾检测技术容易受复杂场景、类似干扰物和光照条件的影响，从而使得算法的可靠性不高。各种方法的侧重点不同，检测速度和准确率也都不尽相同。

发明内容

针对现有火灾检测方法的不足，本发明提出了一种视频序列下实时火灾检测预警方法，在低消耗的情况下，能够准确、快速地检测识别视频中的火焰或烟雾区域，并及时发出预警。

为解决上述技术问题，本发明的技术方案如下：

一种视频序列下实时火灾检测预警方法，包括以下步骤：

S1：读取一帧视频序列，采用帧差法提取视频中的运动区域；若未检测到运动区域，则返回步骤S1；

S2：同时检测火焰区域和烟雾区域，将运动区域的运动像素点与火焰颜色特征模型和烟雾颜色特征模型进行匹配，从而识别出火焰区域和烟雾区域；如果未提取到火焰区域和烟雾区域，则返回步骤S1；

S3：如果检测到火焰区域或烟雾区域，则表示有火焰或烟雾发生，此时进行火灾预警，然后读取下一帧。

优选地，采用一种改进的帧差法提取视频中的运动区域，其具体方法包括以下步骤：

S1.1：对图像做分块处理，将图像分成28*28大小的块(block)，

S1.2：计算出该块(block)内相邻两帧内所有像素点的像素值的变化，使用log函数将变化值映射到[0，8]的空间内，对这些值进行统计相加后，如果大于一定的阈值L，我们才认为当前块是一个运动的块。L的取值可手工设定，以作为检测敏感度，特别地，本发明的L取值为28*28*3＝2352。

能够有效减少噪声点对block的运动判断的影响，传统的基于膨胀腐蚀的噪声消除费时费力，使用该方法能够有效降低运算的时间复杂度。

优选地，对于火焰区域检测，选取闪烁频率符合火焰闪烁频率的类着火点作为候选点；提取候选点的纹理特征，并依据已有着火区域的纹理特征利用SVM分类；根据SVM分类结果判定是否有火焰；

对于烟雾检测，使用光流法提取烟雾运动区域的运动向量；使用事先训练的SVM分类结果判断是否有烟雾。

优选地，所述颜色特征匹配模型如下：

火焰颜色匹配模型：使用了HIS颜色空间模型，即色调H(Hue)，饱和度S(Saturation)，亮度I(Intensity)，具体模型为(1)0≤H≤60°(2)125≤I≤255(3)0≤S≤0.15。

烟雾颜色匹配模型：设max为R，G，B中的最大值，min为R，G，B中的最小值。实验表明，5<max-min<15，在HIS颜色空间中，75≤I≤145或185≤I≤255。

优选地，步骤S1、步骤S2中返回步骤S1后读取下一帧，采用了慢读取，快恢复的机制，当读取到第k帧时，步骤S1未提取出运动区域，或者步骤S2检测到火焰区域和烟雾区域，则认为当前场景处于一种safe(安全)状态，此时不再读取第k+1帧，而是读取k+δ帧，δ以2，3，4……μ的取值范围逐渐增大，其中峰值μ的值为fps(当前视频源每秒的帧数)，即以一种跳跃的方式来读帧；

当步骤S2检测到火焰区域或者烟雾区域时，则认为当前区域处于dangerous(危险)状态，δ立即修改为1，即开始恢复逐帧读取。

与现有技术相比，本发明技术方案的有益效果是：本发明提供一种视频序列下实时火灾检测预警方法，S1：读取一帧视频序列，采用帧差法提取视频中的运动区域；若未检测到运动区域，则返回步骤S1；S2：同时检测火焰区域和烟雾区域，将运动区域的运动像素点与火焰颜色特征模型和烟雾颜色特征模型进行匹配，从而识别出火焰区域和烟雾区域；如果未提取到火焰区域和烟雾区域，则返回步骤S1；S3：如果检测到火焰区域或烟雾区域，则表示有火焰或烟雾发生，此时进行火灾预警，然后读取下一帧。本发明采用了静态和动态特征结合的方法，根据不同场景下火灾燃烧情况，对火焰和烟雾进行双重检测。可以提高检测火灾的敏感性，降低误报率。

附图说明

图1为本发明所涉及方法的流程图。

图2为“慢读取，快恢复”读帧机制的示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种视频序列下实时火灾检测预警方法，包括以下步骤：

步骤1：针对推流来的视频源，读取一帧视频序列。

步骤2：提取视频中的运动区域：

传统的基于帧间差的运动检测描述如下：

diff(x,y,k)＝|v(x,y,k)-v(x,y,k-1)|

其中，v(x,y,k)代表第k帧时刻点(x,y)的像素值。Move(x,y,k)代表第k帧时刻点(x,y)的运动情况，1代表运动，0代表静止。L是一个阈值。显然，L的取值是一个问题，取值偏小时，将有大量的噪音点被检测为运动像素点。当L偏大时，部分真正运动的像素点又无法被检测出来。所以，为了减少噪声的影响，我们不从像素的维度上进行运动检测，而是图像做分块处理，将图像分成28*28像素大小的小块，对于第k帧第j个小块B(k,j)，有

BDiff(k,j)＝∑_{(x,y)∈B(k,j)}diff(x,y,k)

BDiff(k,j)统计该block里的像素变化之和，BMove(k,j)代表小块B(k,j)的运动情况，1代表运动，0代表静止。然而，像素块里的噪声像素点将极大地影响我们对B(k,j)运动的判断。这里，我们对diff(x,y,k)做一层映射。令

mapDiff(x,y,k)＝log₂(diff(x,y,k)+1)

将diff的取值范围从[0,255]映射到[0,8]。经过转换后，像素块里的大部分噪声将被过滤掉，不至于影响到当前块的运动与否的判断。所以改进后的BDiff(k,j)计算方法为：

BDiff(k,j)＝∑_{(x,y)∈B(k,j)}mapDiff(x,y,k)

步骤3：使用颜色模型匹配分割出类着火点区域和类烟雾区域

提取完运动区域块后，我们使用颜色特征匹配分割出里面的类着火点区域和类烟雾区域。经过大量实验得出，火焰和烟雾的颜色模型如下所示。

3-1火焰颜色匹配模型(HIS颜色空间)

0≤H≤60°

125≤I≤255

0≤S≤0.15

3-2烟雾颜色匹配模型

烟雾在视觉效果中呈一种灰色系，实验表明，烟雾颜色模型可以如下定义：设max为R,G,B中的最大值，min为R,G,B中的最小值。则5<max-min<15，在HIS颜色空间中，75≤I≤145或185≤I≤255。

这一步如果匹配到的像素点数小于一定的阈值，则认为没有相应的类火焰点和类烟雾点，此时则返回步骤1，继续读取下一帧。

步骤4.识别火焰区域

4-1火焰闪烁性分析。火焰的频闪特征是火焰非常重要的动态特征之一，成为我们检测和识别火焰的一个重要依据。在频率域识别火焰频闪特征，比如傅里叶频谱、火焰轮廓脉动信息度量模型等方法，在很大程度上都将增加算法的运算量，影响***的实时性。而相关研究已经表明，尽管火焰的活动在直观上有着不规则性，但是晃动的火焰的闪烁频率大约在10Hz，而且火焰的闪烁频率不会被燃烧材料明显影响。经过实验测试，我们选定了一个范围，即在本发明提出的方法，我们认为某点检测到的闪烁频率在7Hz至10Hz之间就是候选像素点。

4-2纹理特征的提取。LBP(local Binary Pattern)特征是Ojala教授在1994年提出的一种用来描述图像局部纹理特征的算子。LBP是一种具有计算简便、分辨能力强、灰度不变性等显著优势的算子。静态纹理LBP算子是通过比较图像中心像素点与其周围3×3邻域灰度值大小，以中心值为阈值，周围像素点如果大于中心值则置为1，否则置为0，然后把比较的结果按照某种顺序作为一个二进制数，对所有的二进制数转换成十进制，然后做直方图归一化就可以用作图像的纹理特征。这里使用了一种具有旋转不变性的局部二值特征，即选用八组二进制值中最小的二进制值作为最后的LBP值，对候选像素点的纹理进行特征提取。

4-3根据局部二值特征的分类结果，来判断当前场景是否出现火焰。

步骤5：识别烟雾区域

5-1光流法提取烟雾特征。烟雾在热气流的作用下，呈向上的趋势且运动相对缓慢和稳定。稠密的光流可以看成是连续两帧的位移向量场，使用Farneback法可以计算类烟雾区域运动的光流序列，使用SVM分类训练，以区别出水蒸气的干扰。为了表示一个帧序列的运动，将运动区域连续T帧的平均光流序列结合成长度为2T的光流序列作为SVM的输入进行训练和预测，在本发明里，T＝5。

5-2根据事先训练的SVM分类器进行判断是否有烟雾。

步骤6：如果识别出当前场景有火焰或者烟雾，则进行报警。然后读取下一帧。

此外，本发明中“读取下一帧”采用了一种“慢读取，快恢复”读帧机制，描述如下：

步骤2、步骤3中返回步骤1后“读取下一帧”，采用了一种“慢读取，快恢复”的机制，如说明书附图2所示。当读取到第k帧时，步骤2未提取出运动区域，或者步骤3未匹配到相应的火焰区域和烟雾区域，我们认为当前场景处于一种safe(安全)状态，此时我们不再读取第k+1帧，而是读取k+δ帧，δ以2,3,4……μ的取值范围逐渐增大，其中峰值μ的值为fps(当前视频源每秒的帧数)，即以一种跳跃的方式来读帧。当步骤3匹配到相应的火焰区域或者烟雾区域时，我们认为当前区域处于dangerous(危险)状态，δ立即修改为1，即开始恢复逐帧读取。这样，在视频源较多但服务器资源有限的情况下，safe状态的场景可以让出计算资源给dangerous状态的场景，这样可以进一步提升处理速度，并降低服务器的计算消耗。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种视频序列下实时火灾检测预警方法，其特征在于，包括以下步骤：

S1：读取一帧视频序列，采用帧差法提取视频中的运动区域；若未检测到运动区域，则返回步骤S1；

返回步骤S1后读取下一帧，采用慢读取，快恢复的机制，当读取到第k帧时，步骤S1未提取出运动区域，或者步骤S2检测到火焰区域和烟雾区域，则认为当前场景处于一种safe状态，此时不再读取第k+1帧，而是读取k+δ帧，δ以2，3，4……μ的取值范围逐渐增大，其中峰值μ的值为fps，即以一种跳跃的方式来读帧；

当步骤S2检测到火焰区域或者烟雾区域时，则认为当前区域处于dangerous状态，δ立即修改为1，即开始恢复逐帧读取；

S2：同时检测火焰区域和烟雾区域，将运动区域的运动像素点与火焰颜色特征模型和烟雾颜色特征模型进行匹配，从而识别出火焰区域和烟雾区域；如果未提取到火焰区域和烟雾区域，则返回步骤S1；

S3：如果检测到火焰区域或烟雾区域，则表示有火焰或烟雾发生，此时进行火灾预警，然后读取下一帧；

步骤S1中，采用一种改进的帧差法提取视频中的运动区域，其具体方法包括以下步骤：

S1.1：对图像做分块处理，将图像分成28*28大小的块；

S1.2：计算出该块内相邻两帧内所有像素点的像素值的变化，使用log函数将变化值映射到[0，8]的空间内，对这些值进行统计相加后，如果大于一定的阈值L，才认为当前块是一个运动的块，其中L为预设的检测敏感度。

2.根据权利要求1所述的视频序列下实时火灾检测预警方法，其特征在于，L取值为28*28*3＝2352。

3.根据权利要求1所述的视频序列下实时火灾检测预警方法，其特征在于，步骤S2中，对于火焰区域检测，选取闪烁频率符合火焰闪烁频率的类着火点作为候选点；提取候选点的纹理特征，并依据已有着火区域的纹理特征利用SVM分类；根据SVM分类结果判定是否有火焰；

对于烟雾检测，使用光流法提取烟雾运动区域的运动向量；使用事先训练的SVM分类结果判断是否有烟雾。

4.根据权利要求1所述的视频序列下实时火灾检测预警方法，其特征在于，步骤S2中，所述颜色特征匹配模型如下：

火焰颜色匹配模型：使用了HIS颜色空间模型，即色调H，饱和度S，亮度I具体模型为(1)0≤H≤60^°(2)125≤I≤255(3)0≤S≤0.15；

烟雾颜色匹配模型：设max为R，G，B中的最大值，min为R，G，B中的最小值；实验表明，5<max-min<15，在HIS颜色空间中，75≤I≤145或185≤I≤255。

Images