CN108363992B - 一种基于机器学习监测视频图像烟雾的火情预警方法 - Google Patents

Abstract

本发明公开了一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，包括如下步骤：步骤1)收集并标记各种烟雾场景的图片数据集，其中非火情预警烟雾场景归为A类，火情预警烟雾场景归为B类；步骤2)上下文目标检测层非火灾预警烟雾场景训练：步骤3)上下文目标检测层火情预警烟雾场景训练，重复步骤2)，训练图片为B类火情预警烟雾图片；步骤4)疑似火情烟雾图片检测。本发明所达到的有益效果：解决了传统机器学习方法分类器无法准确区分所检测的烟雾是否为火灾导致的问题。本发明利用上下文目标检测的方法，判断烟雾所在区域的上下文关系，在提高火情预警率的前提下压低虚警、漏警率。

Description

一种基于机器学习监测视频图像烟雾的火情预警方法

技术领域

本发明涉及一种基于机器学习监测视频图像烟雾的火情预警方法，属于视频图像处理技术领域。

背景技术

众所周知，在火灾发生的初期处于阴燃阶段或者火焰较小时就已经有烟雾产生，烟雾具有在范围较大的空间中信息传播速度快的特点。随着计算机视觉、数字图像处理、机器学习等技术的发展，人工智能摄像头的铺设，基于视频的火灾探测预警技术逐渐得到了研究和进展。基于视频图像的火灾探测预警技术是一种基于数字图像处理和分析的新型火灾探测预警方法，基于数字图像处理的火灾探测成本低、准确度高、信息量大。

目前视频烟雾检测方法根据烟雾的特性，可以分为烟雾的静态特征检测和动态特征检测。静态特征包括：烟雾颜色矩、高频能量以及运动区域的紧凑度等；动态特征值包括：烟雾的运动方向、运动速度以及运动区域面积的增长速度等。基于机器学习分类器，根据特征向量将烟雾与非烟雾区别开来，依据正负训练样本的特征数据构建2类支持分类器，即烟雾和非烟雾两类。但是，火灾烟雾也与雾霾(特别是浓雾和重霾)具有较高的相似性，且视频图像中的烟雾也未必一定意味着火灾的发生，因此如何智能地判定烟雾与火情的关系，从而在提高火情预警率的前提下压低虚警、漏警率是一个技术难题。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于机器学习监测视频图像烟雾的火情预警方法，解决了传统机器学习方法分类器无法准确区分所检测的烟雾是否为火灾导致的问题。

为了实现上述目标，本发明采用如下的技术方案：

一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，包括如下步骤：

步骤1)收集并标记各种烟雾场景的图片数据集，其中非火情预警烟雾场景归为A类，火情预警烟雾场景归为B类；

步骤2)上下文目标检测层非火灾预警烟雾场景训练：

21)将标注好的A类烟雾场景图片作为训练集；

22)获得所给图像的Gist特征；

23)对图片的场景进行划分；

24)单一基础目标检测；

25)子场景下的子树模型学习；

26)子树型模型参数的学习；

步骤3)上下文目标检测层火情预警烟雾场景训练，重复步骤2)，训练图片为B类火情预警烟雾图片；

步骤4)疑似火情烟雾图片检测：

41)进行场景选择；

42)利用单一基础检测器DPM获得每个目标的检测窗口和分值；

43)利用获得的基于上下文信息的多层目标检测模型推理出目标位置和目标出现的判断是否正确。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤1)中非火情预警烟雾场景归为A类，包括：燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景；火情预警烟雾场景归为B类，包括：建筑物失火场景、森林失火场景、仓库失火场景、厂房失火场景和田野失火场景。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤22)具体内容为：

a)利用一组不同尺度和方向的Gabor滤波器组对图像进行滤波，得到一组经过处理滤波之后的图像；

b)把滤波后的图像按照大小进行无重叠的网格划分，并对图像划分后的每个网格求取均值；

c)把图像组获得的每个网格均值级联形成全局特征，获得图像最终的Gist特征：

x^j表示第j个样本图像的Gist特征，cat表示特征级联，I^j表示划分网格后的第j个图像灰度图，

表示图像灰度图与Gabor滤波器的卷积运算；g代表Gabor滤波器，二维Gabor滤波器定义为一个用高斯函数调制的复指函数，即

其中x，y为二维图像像素点坐标值，λ为正弦函数波长，θ为Gabor核函数方向，

为相位偏移，σ为高斯函数的标准差，γ为空间的宽高比，i为虚数单位。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤23)的具体内容为：

231)利用机器学习中随机森林分类器获得表示训练集中每个样本之间相似性的相似矩阵；

232)将该相似矩阵作为输入，利用谱聚类的方法，对训练集图片进行聚类；

233)图片场景的划分，分为燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤24)的具体内容为：

241)利用单一目标基础检测器DPM获得每个目标检测的窗口和分值；

242)给出先验目标位置和出现的判断结果，检测到每个场景下目标对。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤25)的具体内容为：

251)子场景下图像训练集中标注的烟雾作为父节点，与其他目标形成目标对，统计所有目标对m的共生性和一致性，计算所有目标对的交互信息S_m；

252)对父子节点是否具有一致性进行判断，对交互信息S_m增加权重：S_m＝S_m×(1+sigm(θ_mt))，其中，θ_mt为目标对m与场景t的相关性，其中

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤26)的具体内容为：

261)预备模型参数训练：

其中N(μ，σ)表示正态分布，P()表示满足括号中条件的概率；b_i表示目标类i是否在图像中出现，b_pa(i)表示目标类i父节点是否在图像中出现，μ_i,σ_i分别表示上式中i类目标位置的平均值和方差；L_i为目标类i的位置，L_pa(i)为父节点pa(i)的位置，符合高斯分布；如果b_i＝1,b_pa(i)＝1，L_i依赖于父节点pa(i)的位置，d_ipa(i)为父子节点的相对偏移；如果b_i＝1,b_pa(i)＝0，目标位置与父节点位置无关；如果b_i＝0，则其位置表示为子集图像中所有i类目标的平均位置；

262)整合模型参数学习：

其中g为全局特征，采用逻辑回归的方法来估计p(b_i|g),整合步骤4)中单一基础检测器相应结果，得到正确检测的概率p(c_ik|b_i)：

其中，c_ik为在第k个实例中是否正确检测目标，1表示正确，0表示错误，b_i为目标类i是否出现，1表示出现，0表示不出现；sum(c_ik＝1)为第k个实例中正确检测目标的总次数，sum(b_i＝1)为目标类i出现的总次数；

检测窗口的位置概率为p(W_ik|c_ik＝1,L_i),其中

和

是对应目标类i的第k个实例的检测窗口的垂直位置和尺度；

其中，如果检测窗口是正确的，c_ik＝1，则W_ik等于N(W_ik|L_i,Δ_i)，Δ_i为目标预测位置的方差，如果窗口检测是错误的，则W_ik不依靠L_i，表示为一个常量const；

对于基础检测器的分值概率p(s_ik|c_ik),其中s_ik表示图像中局部检测器获得的目标类i的第k高的分值，其依靠于正确检测的结果c_ik；利用贝叶斯准则：

其中，p(c_ik|s_ik)使用机器学习中的逻辑回归(LogicRegression)方法进行拟合。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤41)的具体内容为：

411)计算输入图片的Gist特征；

412)获得该图片的Gist特征与各个子场景的聚类中心的距离倒数；

413)计算步骤412)获得的值之和；

414)获得412)、413)两者比值，表示子场景空间的选择函数的概率：

得到p(z_t|x_gc)；其中x_gc为图片的Gist特征，z_t为各个子场景，d_t ^-1为图片的Gist特征与各个子场景的聚类中心的距离倒数，

为图片的Gist特征与各个子场景的聚类中心的距离倒数之和，T为子场景的总数；取最大概率值，选择对应场景。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤43)的判断方法为：

如果场景选择为B类，且步骤43)判断结果正确，则图片判断为火情预警图片，发出预警，并将图片添加入相应场景，训练特征值；

如果场景选择为A类，且步骤43)判断结果正确，则图片判断为非火情预警图片，不发出预警,并将图片添加入相应场景，训练特征值；

如果场景选择不为A类且不为B类，则发出预警，人为干预判断，将图片添加入新的场景，并对其特征进行训练。

前述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述参数λ＝10，θ＝0，

γ＝0.5，σ＝0.56λ。

本发明所达到的有益效果：解决了传统机器学习方法分类器无法准确区分所检测的烟雾是否为火灾导致的问题。本发明利用上下文目标检测的方法，判断烟雾所在区域的上下文关系，在提高火情预警率的前提下压低虚警、漏警率。

附图说明

图1是本方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本方法具体包括如下步骤：

步骤1)收集并标记各种烟雾场景的图片数据集，其中非火情预警烟雾场景归为A类，火情预警烟雾场景归为B类。

非火情预警烟雾场景归为A类，包括：燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景等户外有烟雾场景；火情预警烟雾场景归为B类，包括：建筑物失火场景、森林失火场景、仓库失火场景、厂房失火场景和田野失火场景等户外失火场景。

步骤2)上下文目标检测层非火灾预警烟雾场景训练：

21)将标注好的A类烟雾场景图片作为训练集；

22)获得所给图像的Gist特征，具体步骤为：

a)利用一组不同尺度和方向的Gabor滤波器组对图像进行滤波，得到一组经过处理滤波之后的图像；

b)把滤波后的图像按照大小进行无重叠的网格划分，并对图像划分后的每个网格求取均值；

c)把图像组获得的每个网格均值级联形成全局特征，获得图像最终的Gist特征：

x^j表示第j个样本图像的Gist特征，cat表示特征级联，Iⁱ表示划分网格后的第j个图像灰度图，

表示图像灰度图与Gabor滤波器的卷积运算；g代表Gabor滤波器，二维Gabor滤波器定义为一个用高斯函数调制的复指函数，即

其中λ为正弦函数波长，θ为Gabor核函数方向，

为相位偏移，σ为高斯函数的标准差，γ为空间的宽高比。

参数配置一般情况下取默认值，λ＝10，θ＝0，

γ＝0.5，σ＝0.56λ。

23)对图片的场景进行划分，具体内容为：

231)利用机器学习分类器随机森林获得表示训练集中每个样本之间相似性的相似矩阵；

232)将该相似矩阵作为输入，利用谱聚类的方法，对训练集图片进行聚类；

233)图片场景的划分，分为燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景。

24)单一基础目标检测，具体内容为：

241)利用单一目标基础检测器DPM获得每个目标检测的窗口和分值；

242)给出先验目标位置和出现的判断结果，检测到每个场景下目标对。

25)子场景下的子树模型学习，具体内容为：

251)子场景下图像训练集中标注的烟雾作为父节点，与其他目标形成目标对，统计所有目标对m的共生性和一致性，计算所有目标对的交互信息S_m；

252)对父子节点是否具有一致性进行判断，对交互信息S_m增加权重：S_m＝S_m×(1+sigm(θ_mt))，其中，θ_mt为目标对m与场景t的相关性，其中

26)子树型模型参数的学习，具体内容为：

261)先验模型参数训练：

其中N(μ，σ)表示正态分布，P()表示满足括号中条件的概率；b_i表示目标类i是否在图像中出现，b_pa(i)表示目标类i父节点是否在图像中出现，μ_i,σ_i分别表示上式中i类目标位置的平均值和方差；L_i为目标类i的位置，L_pa(i)为父节点pa(i)的位置，符合高斯分布；如果b_i＝1,b_pa(i)＝1，L_i依赖于父节点pa(i)的位置，d_ipa(i)为父子节点的相对偏移；如果b_i＝1,b_pa(i)＝0，目标位置与父节点位置无关；如果b_i＝0，则其位置表示为子集图像中所有i类目标的平均位置；

262)整合模型参数学习：

其中g为全局特征，采用机器学习的逻辑回归(Logic Regression)方法来估计p(b_i|g),整合步骤4)中单一基础检测器相应结果，得到正确检测的概率p(c_ik|b_i)：

其中，c_ik为在第k个实例中是否正确检测目标，1表示正确，0表示错误，b_i为目标类i是否出现，1表示出现，0表示不出现；

检测窗口的位置概率为p(W_ik|c_ik＝1,L_i),其中

这里

和

是对应目标类i的第k个实例的检测窗口的垂直位置和尺度；

其中，如果检测窗口是正确的，c_ik＝1，则W_ik等于N(W_ik|L_i,Δ_i)，Δ_i为目标预测位置的方差，如果窗口检测是错误的，则W_ik不依靠L_i，表示为一个常量；

最后，对于基础检测器的分值概率p(s_ik|c_ik),其中s_ik表示图像中局部检测器获得的目标类i的第k高的分值，其依靠于正确检测的结果c_ik；

利用贝叶斯准则：

其中，p(c_ik|s_ik)使用逻辑回归进行拟合。

步骤3)上下文目标检测层火情预警烟雾场景训练，重复步骤2)，训练图片为B类火情预警烟雾图片。场景包括：建筑物失火场景、森林失火场景、仓库失火场景、厂房失火场景、田野失火场景等。

步骤4)疑似火情烟雾图片检测：

输入：疑似火情预警烟雾图片

41)进行场景选择，具体内容为：

411)计算输入图片的Gist特征；

412)获得该图片的Gist特征与各个子场景的聚类中心的距离倒数；

413)计算步骤412)获得的值之和；

414)获得412)、413)两者比值，表示子场景空间的选择函数的概率：

得到p(z_t|x_gc),取最大概率值，选择对应场景。

42)利用单一基础检测器DPM获得每个目标的检测窗口和分值；

43)利用获得的基于上下文信息的多层目标检测模型推理出目标位置和目标出现的判断是否正确，具体判断方法为：

如果场景选择为B类，且步骤43)判断结果正确，则图片判断为火情预警图片，发出预警，并将图片添加入相应场景，训练特征值；

如果场景选择为A类，且步骤43)判断结果正确，则图片判断为非火情预警图片，不发出预警,并将图片添加入相应场景，训练特征值；

如果场景选择不为A类且不为B类，则发出预警，人为干预判断，将图片添加入新的场景，并对其特征进行训练。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，包括如下步骤：

步骤1)收集并标记各种烟雾场景的图片数据集，其中非火情预警烟雾场景归为A类，火情预警烟雾场景归为B类；

步骤2)上下文目标检测层非火灾预警烟雾场景训练：

21)将标注好的A类烟雾场景图片作为训练集；

22)获得所给图像的Gist特征；

23)对图片的场景进行划分；

24)单一基础目标检测；

25)子场景下的子树模型学习；

26)子树型模型参数的学习；

步骤3)上下文目标检测层火情预警烟雾场景训练，重复步骤2)，训练图片为B类火情预警烟雾图片；

步骤4)疑似火情烟雾图片检测：

41)进行场景选择；

42)利用单一基础检测器DPM获得每个目标的检测窗口和分值；

43)利用获得的基于上下文信息的多层目标检测模型推理出目标位置和目标出现的判断是否正确；

所述步骤43)的判断方法为：

如果场景选择为B类，且步骤43)判断结果正确，则图片判断为火情预警图片，发出预警，并将图片添加入相应场景，训练特征值；

如果场景选择为A类，且步骤43)判断结果正确，则图片判断为非火情预警图片，不发出预警,并将图片添加入相应场景，训练特征值；

如果场景选择不为A类且不为B类，则发出预警，人为干预判断，将图片添加入新的场景，并对其特征进行训练。

2.根据权利要求1所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤1)中非火情预警烟雾场景归为A类，包括：燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景；火情预警烟雾场景归为B类，包括：建筑物失火场景、森林失火场景、仓库失火场景、厂房失火场景和田野失火场景。

3.根据权利要求1所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤22)具体内容为：

a)利用一组不同尺度和方向的Gabor滤波器组对图像进行滤波，得到一组经过处理滤波之后的图像；

b)把滤波后的图像按照大小进行无重叠的网格划分，并对图像划分后的每个网格求取均值；

c)把图像组获得的每个网格均值级联形成全局特征，获得图像最终的Gist特征：

x^j表示第j个样本图像的Gist特征，cat表示特征级联，I^j表示划分网格后的第j个图像灰度图，

表示图像灰度图与Gabor滤波器的卷积运算；g代表Gabor滤波器，二维Gabor滤波器定义为一个用高斯函数调制的复指函数，即

其中x，y为二维图像像素点坐标值，λ为正弦函数波长，θ为Gabor核函数方向，

为相位偏移，σ为高斯函数的标准差，γ为空间的宽高比，i为虚数单位。

4.根据权利要求3所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤23)的具体内容为：

231)利用机器学习中随机森林分类器获得表示训练集中每个样本之间相似性的相似矩阵；

232)将该相似矩阵作为输入，利用谱聚类的方法，对训练集图片进行聚类；

233)图片场景的划分，分为燃放爆竹场景、汽车尾气排放场景、已有消防人员灭火场景、寺庙焚香冒烟场景、野炊生火冒烟场景和烟囱冒烟场景。

5.根据权利要求4所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤24)的具体内容为：

241)利用单一目标基础检测器DPM获得每个目标检测的窗口和分值；

242)给出先验目标位置和出现的判断结果，检测到每个场景下目标对。

6.根据权利要求5所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤25)的具体内容为：

251)子场景下图像训练集中标注的烟雾作为父节点，与其他目标形成目标对，统计所有目标对m的共生性和一致性，计算所有目标对的交互信息S_m；

252)对父子节点是否具有一致性进行判断，对交互信息S_m增加权重：S_m＝S_m×(1+sigm(θ_mt))，其中，θ_mt为目标对m与场景t的相关性，其中

7.根据权利要求6所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤26)的具体内容为：

261)预备模型参数训练：

其中N(μ，σ)表示正态分布，P()表示满足括号中条件的概率；b_i表示目标类i是否在图像中出现，b_pa(i)表示目标类i父节点是否在图像中出现，μ_i，σ_i分别表示上式中i类目标位置的平均值和方差；L_i为目标类i的位置，L_pa(i)为父节点pa(i)的位置，符合高斯分布；如果b_i＝1，b_pa(i)＝1，L_i依赖于父节点pa(i)的位置，d_ipa(i)为父子节点的相对偏移；如果b_i＝1，b_pa(i)＝0，目标位置与父节点位置无关；如果b_i＝0，则其位置表示为子集图像中所有i类目标的平均位置；

262)整合模型参数学习：

其中g为全局特征，采用逻辑回归的方法来估计p(b_i|g)，整合步骤4)中单一基础检测器相应结果，得到正确检测的概率p(c_ik|b_i)：

其中，c_ik为在第k个实例中是否正确检测目标，1表示正确，0表示错误，b_i为目标类i是否出现，1表示出现，0表示不出现；sum(c_ik＝1)为第k个实例中正确检测目标的总次数，sum(b_i＝1)为目标类i出现的总次数；

检测窗口的位置概率为p(W_ik|c_ik＝1，L_i)，其中

和

是对应目标类i的第k个实例的检测窗口的垂直位置和尺度；

其中，如果检测窗口是正确的，c_ik＝1，则W_ik等于N(W_ik|L_i，Δ_i)，Δ_i为目标预测位置的方差，如果窗口检测是错误的，则W_ik不依靠L_i，表示为一个常量const；

对于基础检测器的分值概率p(s_ik|c_ik)，其中s_ik表示图像中局部检测器获得的目标类i的第k高的分值，其依靠于正确检测的结果c_ik；利用贝叶斯准则：

其中，p(c_ik|s_ik)使用机器学习中的逻辑回归方法进行拟合。

8.根据权利要求7所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述步骤41)的具体内容为：

411)计算输入图片的Gist特征；

412)获得该图片的Gist特征与各个子场景的聚类中心的距离倒数；

413)计算步骤412)获得的值之和；

414)获得412)、413)两者比值，表示子场景空间的选择函数的概率：

得到p(z_t|x_gc)；其中x_gc为图片的Gist特征，z_t为各个子场景，d_t ^-1为图片的Gist特征与各个子场景的聚类中心的距离倒数，

为图片的Gist特征与各个子场景的聚类中心的距离倒数之和，T为子场景的总数；取最大概率值，选择对应场景。

9.根据权利要求3所述的一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，所述参数λ＝10，θ＝0，

γ＝0.5，σ＝0.56λ。

Images