CN108280409B - 一种基于多特征融合的大空间视频烟雾检测方法 - Google Patents

Abstract

一种基于多特征融合的大空间视频烟雾检测方法，包括如下步骤：步骤1：用大空间视频监控摄像头获取大空间视频图像并确定疑似烟雾区域；步骤2：疑似烟雾区域块分割处理；步骤3：使用离散小波变换、均匀局部二进制模式ULBP分析每个处理块并提取特征值，融合处理块特征向；步骤4：将通过离散小波变换计算出的高频及低频派生特征向量，即W_H、W_L和通过ULBP提取的特征向量U，融合为处理块的融合特征向量B＝{W_H,W_L,U}，将B输入Real AdaBoost分类器进行训练及分类，根据分类器返回值标记当前处理块是否包含烟雾；步骤5：根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾。本发明误报率较低、漏报率较低。

Description

一种基于多特征融合的大空间视频烟雾检测方法

技术领域

本发明涉及智能火灾监控领域，尤其涉及一种对大空间视频烟雾进行检测的方法。

背景技术

针对大空间视频火灾的智能图像处理技术是一个新的研究领域。为了较早的发现火灾发生，避免火势的蔓延，实时性和精确性对火灾检测至关重要。可见火灾发生初。期常伴随烟雾产生，通过检测烟雾的方法可以在火灾发生初期做出迅速的反应，有利于火灾的早期预警和控制，能将火灾危害程度降低。

现有火灾烟雾检测技术大多通过颜色、形状、面积增长运动、烟雾运动方向，空气成分作为特征进行烟雾判断，然而这些特征在大空间视频火灾烟雾检测中，由于大空间视频空间宽广及环境条件变化，如风，光照，雾，白云干扰，会使这些特征变得不再可靠。少数检测方法通过使用小波变换或灰度共生矩阵提取纹理特征进行判断，但由于视频监控的图像中烟雾区域常常包含背景区域，对这些区域进行纹理特征提取，纹理特征会包含背景纹理，这将会降低烟雾检测准确性,因此现有的算法依然存在高误报率和高漏报率，为了降低误报和高漏报算，对已有算法做出改进以提升性能是必要的。

发明内容

为了克服已有现有大空间视频火灾烟雾的检测存在高误报率和高漏报率问题，本发明提供一种误报率较低、漏报率较低的基于多特征融大空间视频烟雾检测方法，融合离散小波特征、ULBP(局部二进制)纹理特征及早期烟雾面积变化特征进行早期大空间视频火灾烟雾检测。

本发明解决其技术问题所采用的技术方案是：

一种基于多特征融合的大空间视频烟雾检测方法，所述检测方法包括如下步骤：

步骤1：用大空间视频监控摄像头获取大空间视频图像并确定疑似烟雾区域，过程如下；

步骤1.1、将从监控摄像头获取的视频图像帧转化成矩阵数据，并对矩阵数据进行预处理去除噪声；

步骤1.2将采集到的图像数据建立混合高斯背景模型，为帧图像中的每个像素点构建K个高斯分布，K个高斯分布的叠加和用来描述监控场景；K选取范围为3～5，其值根据处理设备性能调整；

步骤1.3随后根据设定阈值的范围对图像像素点进行灰度值匹配，符合匹配的条件的像素标记为背景像素，否则标记为前景像素；

步骤1.4将前景区域从RGB颜色空间转换到YUV颜色空间，在YUV颜色空间中对前景区域进行烟雾颜色过滤后进行形态学处理，最后确定疑似烟雾区域；

步骤2：疑似烟雾区域块分割处理，过程如下：

将当前帧疑似烟雾区域分割为48*48像素大小图像块，称之为处理块，并根据疑似烟雾区域形状重心提取一个同尺寸大小的处理块；

步骤3：使用离散小波变换、均匀局部二进制模式ULBP分析每个处理块并提取特征值，融合处理块特征向量，过程如下：

步骤3.1、对处理块进行离散小波变化分析，小波变换基函数定义为：

其中，f(a,b)称为母小波函数，a是缩放系数，b是平移系数，

是使变换信号具有相同能量的归一化因子；离散小波变换DWT对处理块图像进行多分辨率分析和时频分解，处理块经过一层DWT后分解成四个部分，即处理块图像水平方向细节子图HL₁、对角线方向细节子图HH₁好、垂直方向细节子图LH₁和一个低频部分处理块图像的近似子图LL₁，选择二阶矩作为母小波进行二维离散小波分解获得所有高频及低频子带系数；

步骤3.2、计算所有子带系数的算术平均、几何平均、标准偏差、熵值，组成小波派生特征，高频部分派生特征组成的小波特征向量为：

低频部分派生特征组成的小波特征向量为：

式中，hf表示子带系数的细节，即高频部分，lf表示子带系数的近似，即低频部分，i取H、V、D分别表示水平、垂直、对角线方向，j＝1,2.取1表示一级离散小波分解，j取2表示二级离散小波分解；

步骤3.3、对处理块进行均匀局部二值模式分析，均匀局部二值模式该模式将局部二进制的二进制模式看作一个首尾相连的环形，当其相邻两位从0/1或1/0的跳变次数U不超过2次时称该模式为均匀模式，其余归为非均匀模式；由于U值表示二进制模式中在圆周上相邻两个二元值0/1或1/0转移次数，因此U值能反应局部结构的一种均匀性度量，U值越大表示结构趋向于不均匀，变化频率较高，U值越小则反之；其计算表达式为

其中，(x_c，y_c)是中心像素，i_c是中心像素灰度值，i_p是相邻像素的灰度值，P表示邻域像素点个数，即中心像素到邻域点的欧氏距离，R为领域半径，ULBP描述子特征直方图维数为59；因此处理块的ULBP特征向量表示为

U＝{ULBP₁,ULBP₂···,ULBP₅₉}

其中ULBP_n表示ULBP描述子特征直方图的第n维值；

步骤4：将通过离散小波变换计算出的高频及低频派生特征向量，即W_H、W_L和通过ULBP提取的特征向量U，融合为处理块的融合特征向量B＝{W_H,W_L,U}，将B输入RealAdaBoost分类器进行训练及分类，根据分类器返回值标记当前处理块是否包含烟雾；

步骤5：根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾。

进一步，所述步骤1中，所述疑似烟雾区域提取方法为：首先通过高斯混合模型提取前景运动区域，之后将前景运动区域从RBG颜色空间转换到到YUV颜色空间中进行颜色过滤，该过滤方法由以下三个规则组成：

规则一：

规则二：

规则三：

式中，U(x，y)和V(x，y)是每个像素处的U和V分量的强度，I_rgb(x,y)为前景运动区域RGB图像，T_U、T_V为阈值，其值分别为60和40。

再进一步，所述的疑似烟雾处理块小波分析提取特征过程为：选择Daubechies二阶矩作为母小波对处理块进行离散二维小波变换得到高频及低频子带系数，即分水平、垂直和对角方向的细节系数及二级分解后低频近似系数，通过计算离散小波变换后各系数的算术平均m、几何平均g、标准偏差s、熵h获得派生特征，高频部分派生特征组成的小波特征向量为：

低频部分派生特征组成的小波特征向量为：

式中，中hf表示子带系数的细节(高频)，lf表示子带系数的近似(低频)，i取H、V、D分别表示水平、垂直、对角线方向，j＝1,2.取1表示一级离散小波分解，j取2表示二级离散小波分解。

所述步骤4中，根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾的过程如下：

4.1)计算前后两帧面积变化标记，其定义如下：

式中，s_T为面积阈值，s_p-1为P-1帧候选烟雾区域面积，s_p为P帧候选烟雾区域面积；

4.2)计算当前帧第i个候选烟雾区域烟雾标记，其定义如下：

式中，

表示P帧第i个候选区域处理块中被判为烟雾块的数量，

为第i个候选区域所有处理块数量，α∈[0.4,0.6]，最后当满足

时，则判定当前帧存在烟雾，否者当前帧不存在烟雾。

本发明的有益效果主要表现在：误报率较低、漏报率较低。

附图说明

图1是基于多特征融合的大空间视频烟雾检测方法的流程图。

图2是高斯混合模型建立背景。

图3是高斯混合模型提取前景区域。

图4是疑似烟雾区域。

图5是疑似烟雾区域分割后的处理块。

图6是二维离散小波图像分解示意图。

图7是ULBP特征直方图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种基于多特征融合早期大空间视频火灾烟雾检测方法，所述检测方法包括如下步骤：

步骤1：用大空间视频监控摄像头获取视频并提取疑似烟雾区域，过程如下：

步骤1.1、将从CCD获取的视频帧像转化成矩阵数据，并对矩阵数据进行预处理去除噪声；

步骤1.2根据采集到的图像数据建立混合高斯背景模型，为矩阵数据中的每个像素点构建K个高斯分布，K个高斯分布的叠加和用来描述监控场景；K选取范围为3～5，其值根据处理设备性能调整，高斯混合背景模型如附图2；

步骤1.3根据设定阈值的范围对图像像素点进行灰度值匹配，符合匹配的条件的像素属于背景像素，否则属于前景像素，高斯混合模型确定的前景区域如附图3；

步骤1.4将前景区域从RGB颜色空间转换到YUV颜色空间，在YUV颜色空间中对前景区域进行烟雾颜色过滤并进行形态学处理，最后提取疑似烟雾区域如附图4；

步骤2：疑似烟雾区域块分割处理，过程如下：

将当前帧的疑似烟雾区域分割为48*48像素大小的处理块，并根据疑似烟雾区域形状的重心提取另外提取一个相同尺度小的处理块，疑似烟雾区域块分割后的处理块如附图5；

步骤3：对使用离散小波变换、均匀局部二进制模式ULBP分析每个处理块并提取特征值，融合处理块特征向量，过程如下：

步骤3.1、对处理块进行小波变换分析，小波变换基函数定义为：

其中f(a,b)称为母小波函数，a是缩放系数，b是平移系数，

是使变换信号具有相同能量的归一化因子。选择Daubechies二阶矩(db2)作为母小波对处理块进行二级小波变换得到各级分解的的水平，垂直和对角方向细节系数及二级分解近似系数，二级小波图像分解如附图5所示。

步骤3.2、计算所有子带系数的算术平均、几何平均、标准偏差、熵值，组成小波派生特征，高频部分派生特征组成的小波特征向量为

低频部分派生特征组成的小波特征向量为

式中，hf表示子带系数的细节(高频)，lf表示子带系数的近似(低频)，i取值H、V、D分别表示水平、垂直、对角线方向，j＝1,2.j为1时表示一级分解，2时表示二级分解。

步骤3.3、计算处理块ULBP特征，均匀局部二值模式(Uniform Local BinaryPatterns，ULBP)，其计算方式如下：

其中(x_c，y_c)是中心像素，i_c是中心像素灰度值，i_p是相邻像素的灰度值，P表示邻域像素点个数，即中心像素到邻域点的欧氏距离，R为领域半径。ULBP描述子特征直方图维数为59。ULBP特征向量表示为：

U＝{ULBP₁,ULBP₂···,ULBP₅₉}

其中，ULBP_n表示ULBP描述子特征直方图的第n维值。ULBP直方特征如附图6所示。

步骤4：将通过离散小波变换计算出的高频及低频派生特征向量，即W_H、W_L和通过ULBP提取的特征向量，融合为处理块的融合特征向量B＝{W_H,W_L,U}，将B输入Real AdaBoost分类器进行训练及分类，根据分类器返回值标记当前处理块是否包含烟雾。

步骤5：根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾。

进一步，所述步骤1中，所述疑似烟雾区域提取方法为：首先通过高斯混合模型提取前景运动区域，之后将前景运动区域从RBG颜色空间转换到到YUV颜色空间中进行颜色过滤，该过滤方法由以下三个规则组成：

规则一：

规则二：

规则三：

式中，U(x，y)和V(x，y)是每个像素处的U和V分量的强度，I_rgb(x,y)为前景运动区域RGB图像，T_U、T_V为阈值，其值分别为60和40。

再进一步，所述的疑似烟雾处理块小波分析提取特征过程为：选择Daubechies二阶矩作为母小波对处理块进行离散二维小波变换得到高频及低频子带系数，即分水平、垂直和对角方向的细节系数及二级分解后低频近似系数，通过计算离散小波变换后各系数的算术平均m、几何平均g、标准偏差s、熵h获得派生特征，高频部分派生特征组成的小波特征向量为：

低频部分派生特征组成的小波特征向量为：

式中，中hf表示子带系数的细节(高频)，lf表示子带系数的近似(低频)，i取H、V、D分别表示水平、垂直、对角线方向，j＝1,2.取1表示一级离散小波分解，j取2表示二级离散小波分解。

所述步骤4中，根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾的过程如下：

4.1)计算前后两帧面积变化标记，其定义如下：

式中，s_T为面积阈值，s_p-1为P-1帧候选烟雾区域面积，s_p为P帧候选烟雾区域面积；

4.2)计算当前帧第i个候选烟雾区域烟雾标记，其定义如下：

式中，

表示P帧第i个候选区域处理块中被判为烟雾块的数量，

为第i个候选区域所有处理块数量，α∈[0.4,0.6]，最后当满足

时，则判定当前帧存在烟雾，否者当前帧不存在烟雾。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种基于多特征融合的大空间视频烟雾检测方法，其特征在于：所述检测方法包括如下步骤：

步骤1：用大空间视频监控摄像头获取大空间视频图像并确定疑似烟雾区域，过程如下；

步骤1.1、将从监控摄像头获取的视频图像帧转化成矩阵数据，并对矩阵数据进行预处理去除噪声；

步骤1.2将采集到的图像数据建立混合高斯背景模型，为帧图像中的每个像素点构建K个高斯分布，K个高斯分布的叠加和用来描述监控场景；K选取范围为3～5，其值根据处理设备性能调整；

步骤1.3随后根据设定阈值的范围对图像像素点进行灰度值匹配，符合匹配的条件的像素标记为背景像素，否则标记为前景像素；

步骤1.4将前景区域从RGB颜色空间转换到YUV颜色空间，在YUV颜色空间中对前景区域进行烟雾颜色过滤后进行形态学处理，最后确定疑似烟雾区域；

步骤2：疑似烟雾区域块分割处理，过程如下：

将当前帧疑似烟雾区域分割为48*48像素大小图像块，称之为处理块，并根据疑似烟雾区域形状重心提取一个同尺寸大小的处理块；

步骤3：使用离散小波变换、均匀局部二进制模式ULBP分析每个处理块并提取特征值，融合处理块特征向量，过程如下：

步骤3.1、对处理块进行离散小波变化分析，小波变换基函数定义为：

其中，f(a,b)称为母小波函数，a是缩放系数，b是平移系数，

是使变换信号具有相同能量的归一化因子；离散小波变换DWT对处理块图像进行多分辨率分析和时频分解，处理块经过一层DWT后分解成四个部分，即处理块图像水平方向细节子图HL₁、对角线方向细节子图HH₁好、垂直方向细节子图LH₁和一个低频部分处理块图像的近似子图LL₁，选择二阶矩作为母小波进行二维离散小波分解，获得所有高频及低频子带系数；

步骤3.2、计算所有子带系数的算术平均、几何平均、标准偏差、熵值，组成小波派生特征，高频部分派生特征组成的小波特征向量为：

低频部分派生特征组成的小波特征向量为：

式中，hf表示子带系数的细节，即高频部分，lf表示子带系数的近似，即低频部分，i取H、V、D分别表示水平、垂直、对角线方向，j＝1,2.取1表示一级离散小波分解，j取2表示二级离散小波分解；

步骤3.3、对处理块进行均匀局部二值模式分析，均匀局部二值模式该模式将局部二进制的二进制模式看作一个首尾相连的环形，当其相邻两位从0/1或1/0的跳变次数U不超过2次时称该模式为均匀模式，其余归为非均匀模式；由于U值表示二进制模式中在圆周上相邻两个二元值0/1或1/0转移次数，因此U值能反应局部结构的一种均匀性度量，U值越大表示结构趋向于不均匀，变化频率较高，U值越小则反之；其计算表达式为

其中，(x_c，y_c)是中心像素，i_c是中心像素灰度值，i_p是相邻像素的灰度值，P表示邻域像素点个数，即中心像素到邻域点的欧氏距离，R为领域半径，ULBP描述子特征直方图维数为59；因此处理块的ULBP特征向量表示为

U＝{ULBP₁,ULBP₂…,ULBP₅₉}

其中ULBP_n表示ULBP描述子特征直方图的第n维值；

步骤4：将通过离散小波变换计算出的高频及低频派生特征向量，即W_H、W_L和通过ULBP提取的特征向量U，融合为处理块的融合特征向量B＝{W_H,W_L,U}，将B输入Real AdaBoost分类器进行训练及分类，根据分类器返回值标记当前处理块是否包含烟雾；

步骤5：根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾。

2.根据权利要求1所述的基于多特征融合的大空间视频烟雾检测方法，其特征在于，所述步骤1中，所述疑似烟雾区域提取方法为：首先通过高斯混合模型提取前景运动区域，之后将前景运动区域从RBG颜色空间转换到到YUV颜色空间中进行颜色过滤，该过滤方法由以下三个规则组成：

规则一：

规则二：

规则三：

式中，U(x，y)和V(x，y)是每个像素处的U和V分量的强度，I_rgb(x,y)为前景运动区域RGB图像，T_U、T_V为阈值，其值分别为60和40。

3.根据权利要求1或2所述的基于多特征融合的大空间视频烟雾检测方法，其特征在于，所述的疑似烟雾处理块小波分析提取特征过程为：选择Daubechies二阶矩作为母小波对处理块进行离散二维小波变换得到高频及低频子带系数，即分水平、垂直和对角方向的细节系数及二级分解后低频近似系数，通过计算离散小波变换后各系数的算术平均m、几何平均g、标准偏差s、熵h获得派生特征，高频部分派生特征组成的小波特征向量为：

低频部分派生特征组成的小波特征向量为：

式中，中hf表示子带系数的细节(高频)，lf表示子带系数的近似(低频)，i取H、V、D分别表示水平、垂直、对角线方向，j＝1,2.取1表示一级离散小波分解，j取2表示二级离散小波分解。

4.根据权利要求1或2所述的基于多特征融合的大空间视频烟雾检测方法，其特征在于，所述步骤4中，根据疑似烟雾区面积变化、处理块分类结果判断当前图像帧是否包含烟雾的过程如下：

4.1)计算前后两帧面积变化标记，其定义如下：

式中，s_T为面积阈值，s_p-1为P-1帧候选烟雾区域面积，s_p为P帧候选烟雾区域面积；

4.2)计算当前帧第i个候选烟雾区域烟雾标记，其定义如下：

式中，

表示P帧第i个候选区域处理块中被判为烟雾块的数量，b^count为第i个候选区域所有处理块数量，α∈[0.4,0.6]，最后当满足

时，则判定当前帧存在烟雾，否者当前帧不存在烟雾。

Images