CN104408469A - 基于图像深度学习的烟火识别方法及*** - Google Patents

Abstract

本发明公开了一种基于图像深度学习的烟火识别方法及***，包括：步骤1，采集无标签样本图像集和有标签样本图像集；步骤2，获得无标签训练数据集和有标签训练数据集；步骤3，对训练数据的白化预处理；步骤4，基于白化预处理后的无标签训练数据，采用无监督学习构建基于稀疏自编码的深度神经网络，并提取无标签训练数据的基本图像特征集；步骤5，将基本图像特征卷积与池化图像数据；步骤6，基于卷积和池化后的有标签训练数据集训练Softmax分类器；步骤7，将卷积和池化后的待识别图像输入已训练的Softmax分类器获得识别结果。本发明可有效提高烟火与相似目标的视觉识别率，可实现更高精度的烟火自动识别。

Description

基于图像深度学习的烟火识别方法及***

技术领域

本发明属于基于数字图像的火灾智能监测与烟火目标自动识别技术领域，尤其涉及一种基于图像深度学习的烟火识别方法及***。

背景技术

基于数字图像的烟火智能监测是一个与图像处理、计算机视觉、人工智能、机器学习等诸多领域相关的经典问题，目前已有一些自动识别烟火对象的文献，识别过程一般可分为目标分割、特征提取、综合判断等几个阶段。

阶段一，目标分割。

烟火自动目标分割大致分为阈值分割、边缘检测分割、区域特性分割、特征空间聚类分割等方法。阈值分割法主要包括直方图阈值、最大类间方差(Otsu)阈值、二维最大熵值、模糊阈值、共生矩阵阈值等；边缘检测分割法主要包括Sobel算子、Canny算子、Laplacan算子、Roberts算子、Prewitt算子、Susan算子、活动轮廓模型、分水岭算法、水平集方法等；区域特性分割法主要包括区域增长、区域分开与合并、数学形态学等；特征空间聚类分割法主要包括K均值、模糊C均值、Mean-Shift等。具体而言，烟火目标的获取常常借助颜色分割，如火的彩色范围与烟的灰度范围，而常用颜色模型包括RGB、HSI、YCbCr等。

阶段二，特征提取。

烟火目标的视觉特征主要包括颜色、形状、纹理、空间关系等特征。颜色特征不受图像旋转和平移变化影响，进一步归一化还可不受尺度变化影响，常用的颜色特征有颜色直方图、颜色集、颜色矩、颜色聚合向量和颜色相关图等。形状特征包括轮廓特征与区域特征两类，轮廓特征主要针对物体边界，而区域特征关系到整个物体区域，常用的形状特征有边界链码、傅里叶描述符、几何形状参数、形状不变矩和小波相对矩等。纹理特征对噪声有较强的抵抗能力，但会受到分辨率、方向性、先验假设等相关因素的影响，常用纹理分析法有统计分析、几何分析和频谱分析等。空间关系指多目标之间相互的位置或方向关系，可以加强对图像内容描述的区分能力，但对目标旋转、尺度变化等比较敏感，在实际应用中仅使用空间关系信息往往是不够的。上述各种烟火特征的表达经常需要借助一定的数学工具，如拉普拉斯算子、傅立叶变换、灰度共生矩阵、隐马尔科夫模型、LBP算子、离散小波分析等。

阶段三，综合判断。

烟火目标综合判断就是基于提取的多种特征给出是否存在火灾的结论，即模式识别分类器的设计与使用。常用于综合判断的烟火图像特征包括亮度值、颜色分布值、纹理参数、质心、面积、平均密度、圆形度、曲率、偏心度、尖角数、分形编码、透过率等。模式分类包括有监督和无监督两种类型，可在信息层、特征层、决策层三个层次单独或联合进行。针对烟火的模式分类主要在特征层实现，常用方法包括投票法、最小均方融合、Bayes分类器、模糊逻辑、人工神经网络、支持向量机等。

上述方法在在建筑物火灾监测等场合验证了其有效性，但是在自然场景中，有时会存在与烟火相似的物体，例如类似火的红花、红叶、红旗，类似烟的雾、云、霾等。这些物体的客观存在导致烟火识别精度较低，漏报率与误报率较高。因此，火灾智能监测领域亟需一种精度更高的烟火目标识别方法。近年来，机器学习领域的深度学习技术已逐步应用到图像处理与模式识别中，深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。到目前为止，尚未有将深度学习与烟火识别相结合的研究出现。

发明内容

针对现有技术存在的不足，本发明将深度学习与烟火识别相结合，提供了一种基于图像深度学习的烟火识别方法及***，用以实现更高精度的烟火自动识别。

为解决上述技术问题，本发明采用如下的技术方案：

基于图像深度学习的烟火识别方法，包括步骤：

步骤1，采集样本图像集，包括(1)未分类标记的目标图像及目标相似物图像构成的无标签样本图像集和(2)分类标记的目标图像及目标相似物图像构成的有标签样本图像集；

步骤2，分别从无标签样本图像集和有标签样本图像集中随机获取单元图像块，构成无标签训练数据集和有标签训练数据集；

步骤3，对无标签训练数据集和有标签训练数据集中训练数据进行白化预处理，所述的训练数据为单元图像块对应的RGB三色通道的颜色值矩阵；

步骤4，基于白化预处理后的无标签训练数据，采用无监督学习构建基于稀疏自编码的深度神经网络，并提取无标签训练数据的基本图像特征集；

步骤5，将无标签训练数据的基本图像特征卷积与池化图像数据，所述的图像数据包括有标签训练数据和待识别图像；

步骤6，基于卷积和池化后的有标签训练数据集训练Softmax分类器；

步骤7，将卷积和池化后的待识别图像输入已训练的Softmax分类器获得识别结果。

上述步骤3中所述的白化预处理为ZCA白化预处理或PCA白化预处理。

上述步骤4进一步包括子步骤：

4.1构造深度神经网络，包括单输入层、多隐藏层和单输出层；

4.2以白化预处理后的无标签训练数据作为深度神经网络的输入和输出，通过训练基于稀疏自编码的深度神经网络进行无监督学习；

4.3基于训练的深度神经网络提取无标签训练数据的基本图像特征集。

子步骤4.2中所述的通过训练基于稀疏自编码的深度神经网络进行无监督学习，具体为：

4.2.1获得神经元输入值加权和和神经元输出值；

4.2.2设定加入稀疏性限制的目标代价函数；

4.2.3设定深度神经网络的权重系数向量和偏置项向量的梯度下降方向，即迭代规则；

4.2.4采用LBFGS参数训练算法，按设定的迭代规则迭代求解权重系数向量和偏置项向量。

上述步骤5进一步包括子步骤：

5.1将无标签训练数据的基本图像特征分别与图像数据的各颜色通道进行卷积运算得到卷积图像；

5.2利用自然图像中局部区域统计特征，通过均值池化实现卷积图像的特征降维。

上述步骤6进一步包括子步骤：

6.1以卷积和池化后的有标签训练数据集作为训练样本；

6.2构造Softmax分类器回归模型；

6.3设定回归模型参数的梯度，即迭代规则；

6.4采用LBFGS参数训练算法，按设定的迭代规则迭代求解模型参数θ。

上述基于图像深度学习的烟火识别方法对应的***，包括：

样本图像采集模块，用来采集样本图像集，包括(1)未分类标记的目标图像及目标相似物图像构成的无标签样本图像集和(2)分类标记的目标图像及目标相似物图像构成的有标签样本图像集；

训练数据获得模块，用来分别从无标签样本图像集和有标签样本图像集中随机获取单元图像块，构成无标签训练数据集和有标签训练数据集；

白化预处理模块，用来对无标签训练数据集和有标签训练数据集中训练数据进行白化预处理，所述的训练数据为单元图像块对应的RGB三色通道的颜色值矩阵；

无监督学习模块，用来基于白化预处理后的无标签训练数据，采用无监督学习构建基于稀疏自编码的深度神经网络，并提取无标签训练数据的基本图像特征集；

卷积和池化模块，用来将无标签训练数据的基本图像特征卷积与池化图像数据，所述的图像数据包括有标签训练数据和待识别图像；

分类器训练模块，用来基于卷积和池化后的有标签训练数据集训练Softmax分类器；

识别模块，用来将卷积和池化后的待识别图像输入已训练的Softmax分类器获得识别结果。

与现有技术相比，本发明具有以下优点和积极效果：

(1)深度学习通过学习深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，拥有强大的从大样本集中学习数据本质特征的能力，因此稀疏自编码深度神经网络的分类准确率高于传统的神经网络。

(2)采用的ZCA技术用于数据降维，白化技术用于降低输入图像像素间相关联度，从而有利于提高无监督学习的速度。

(3)采用的卷积技术有助于减少神经网络需要训练的参数并简化特征提取过程，池化技术有助于利用局部区域统计特征实现特征降维并防止出现过拟合。

(4)采用的Softmax分类器是二分类方法的扩展，能够解决多分类问题，有利于实现烟火与更多种类相似目标的识别。

附图说明

图1为样本图像与深度神经网络学习到的基本图像特征集。

具体实施方式

本发明的技术方案可由本领域技术人员采用计算机软件手段实现，下面以具体实施例对本发明作进一步说明。

本发明具体步骤如下：

步骤1，获得由无标签样本图像集和有标签样本图像集构成的样本图像集，基于样本图像集获得无标签训练数据集和有标签训练数据集。

本步骤进一步包括以下子步骤：

步骤1.1，采集无标签样本图像构成无标签样本图像集。

无标签样本图像集包括未经分类标记的目标图像及目标相似物图像，目标即火和烟，目标相似物指与火和烟相似的物体。例如，红花、红叶、红旗等即火的相似物；雾、云、霾等即烟的相似物。本子步骤中，将大量火、红花、红叶、红旗的图像组成第一类无标签样本图像集，将大量烟、雾、云、霾的图像组成第二类无标签样本图像集。

步骤1.2，采集有标签样本图像构成有标签样本图像集。

有标签样本图像集包括经分类标记的目标图像及目标相似物图像，如经分类标记的火、红花、红叶、红旗的图像组成的第一类有标签样本图像集，经分类标记的烟、雾、云、霾的图像组成的第二类有标签样本图像集。

步骤1.3，基于样本图像集获得无标签训练数据集和有标签训练数据集。

从无标签样本图像中随机获取固定尺寸(例如8像素×8像素)的单元图像块，作为无标签训练数据集；从有标签样本图像中，随机获取固定尺寸(例如8像素×8像素)的单元图像块，作为有标签训练数据集。

步骤2，无标签训练数据集和有标签训练数据集中训练数据的白化预处理，所述的训练数据即步骤1.3获得的单元图像块，即单元图像块对应的RGB三色通道的颜色值矩阵。

本具体实施方式中对训练数据进行ZCA白化预处理，依次包括以下子步骤：

步骤2.1，训练数据的零均值化。

各维减去该维平均值得到xⁱ，并归一化训练数据到[0,1]范围内，设m为训练数据数量，可得训练数据的协方差矩阵∑：

$\mathrm{\Σ}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}[x^i\·{\left(x^i\right)}^T]---\left(1\right)$

步骤2.2，计算零均值化后的训练数据在新维度下的向量基。

对协方差矩阵∑作奇异值分解得到特征值对角矩阵S和n维特征向量U＝[u₁u₂…u_n]，其中，u₁是∑的主特征向量，u₂是次特征向量，u_n是最次特征向量，这些特征向量构成了新的维度坐标下的一组向量基。

步骤2.3，获取新维度下的训练数据。

将训练数据进行维度转换得到新数据x^r＝U^T·xⁱ，显然x^r中各维间相互独立，再将x^r除以标准差得到各维方差为1，从而满足白化的均值接近0与方差相等两个必要条件，设ε为ZCA白化参数，本具体实施中ε取10^-5，最终的ZCA白化结果为

$x^t=U\·\frac{x^r}{\sqrt{S+\mathrm{\ϵ}}}\·U^T---\left(2\right)$

本发明中训练数据预处理并不限于ZCA白化，也可以采用PCA白化等其他常规白化技术。

步骤3，对无标签训练数据进行无监督学习，基于稀疏自编码构建深度神经网络。

本步骤进一步包括以下子步骤：

步骤3.1，构造深度神经网络，包括输入层、隐藏层和输出层，输入层和输出层均为单层，隐藏层为多层，并将无标签训练数据作为深度神经网络的输入与输出。

步骤3.2，基于训练深度神经网络进行无监督学习，即获得深度神经网络的权重系数向量和偏置项向量。

步骤3.2.1，获得神经元输入值加权和：

设表示连接神经网络第l层第j个神经元和第l+1层第i个神经元的权重系数，表示第l+1层第i个神经元的偏置项，S_l表示第l层的神经元总数，表示第l+1层中第i个神经元的输入值加权和，则：

$z_i^{l+1}=\underset{j=1}{\overset{S_l}{\mathrm{\Σ}}}\left(w_{\mathrm{ij}}^l{x}_j^l\right)+b_i^{l+1}---\left(3\right)$

步骤3.2.2，获得神经元输出值：

已知神经元激活函数为表示神经网络第l层中第i个神经元的输出值即让无标签训练数据x^t，即自编码深度神经网络的输入样本与输出结果y^t相等，即y^t＝x^t，设M为无标签训练数据x^t数量，t为无标签训练数据编号，则1≤t≤M；设表示输入样本为x^t情况下第l层第j个神经元的输出值，则隐藏层第j个神经元的平均输出值为：

步骤3.2.3，定义深度神经网络目标代价函数：

为深度神经网络加入稀疏性限制，即令ρ为稀疏性参数，稀疏性参数为接近于0的正数，一般在0～0.05间取值，本具体实施中取ρ＝0.035。就是说，要使隐藏层第j个神经元的平均输出值接近ρ，为了实现稀疏性限制，定义代价目标函数J(w,b)：

代价目标函数由三部分的和组成，第一部分是均方差项，第二部分是规则化项，第三部分是惩罚项，用于惩罚那些和ρ显著不同的情况以实现对神经网络的稀疏性限制。其中，N为自编码深度神经网络层数；λ是规则化系数，本具体实施中λ＝0.003；h_w,b(xⁱ)是输入样本x^t对应的神经网络输出层的输出值；β是控制稀疏性限制惩罚项的系数，本具体实施中β＝5；w与b分别为深度神经网络的权重系数向量和偏置项向量。是与ρ之间的相对熵，用于测量两个分布间的差异，作为凸函数，相对熵计算公式为：

步骤3.2.4，求解目标代价函数：

针对深度神经网络的权重系数向量和偏置项向量，定义它们的梯度下降方向：

$\left\{\begin{array}{c}{\▿w}^l=\frac{1}{M}\·{\mathrm{\σ}}^{l+1}\·{\left(a^l\right)}^T+{\mathrm{\λw}}^l\\ {\▿b}^l=\frac{1}{M}\underset{t=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\σ}}_t^{l+1}\end{array}\right.---\left(7\right)$

式(7)中，表示第l层权重系数向量的梯度下降方向，示第l层偏置项向量的梯度下降方向；w^l表示第l层权重系数向量；a^l为神经网络第l层的输出向量，为输入样本x^t在第l+1层对应的残差值，σ^l+1为该层的残差向量。

公式(7)确定了w和b的迭代规则，本具体实施中采用LBFGS参数训练算法迭代求解w和b，待迭代收敛或达到最大迭代次数时的当前权重系数向量w和偏置项向量b，即训练的稀疏自编码深度神经网络的权重系数向量w和偏置项向量b。迭代收敛标准和最大迭代次数根据实际需求预先设定。获得了权重系数向量w和偏置项向量b，即完成了稀疏自编码深度神经网络的训练。

步骤3.3，基于训练的深度神经网络提取表达无标签训练数据的基本图像特征集。

基本图像特征集指能构成复杂图像的基本图像特征的集合，见图1，左上是用于训练的样本图像之一(1)，右边是所有样本图像经深度神经网络学习得到的基本图像特征集(3)，而基本图像特征的组合能够表达样本图像中的任一单元图像块(2)。

步骤4，利用基本图像特征集卷积与池化图像数据，所述的图像数据包括有标签训练数据和待识别图像数据。

本步骤进一步包括子步骤：

步骤4.1，将基本图像特征分别与各图像数据的各颜色通道进行卷积运算，即对卷积模版范围内的图像像素求均值并以该平均值为目标值，将三个颜色通道的卷积结果加起来，即得到卷积图像。

步骤4.2，利用自然图像中局部区域统计特征，通过均值池化实现卷积图像的特征降维，即将卷积图像分区域，求各区域像素均值，并采用各区域像素均值代表该区域。

局部区域统计特征是自然图像的固有特性，即自然图像一部分的统计特性与其它部分是类似的。例如，风景图像某区域与其它区域具有相似性。这意味着图像某部分学习的特征也能应用于另部分上，而均值池化则是具体的实现方法。

步骤5，基于有标签训练数据集训练Softmax分类器。

本步骤进一步包括子步骤：

步骤5.1，构建Softmax分类器训练样本集。

将卷积与池化后的有标签训练数据组成训练样本集{(x¹,y¹),(x²,y²),...,(x^K,y^K)}，K为有标签训练样本数量，xⁱ表示第i个训练样本，即卷积与池化后的有标签训练数据，yⁱ为训练样本xⁱ对应的分类标记。设Softmax分类器用于解决k分类问题，则yⁱ∈{1,2,...,k}。

步骤5.2，构造Softmax分类器回归模型。

设θ为模型参数，为待估值； $h_{\mathrm{\θ}}\left(x^i\right)=\left[\begin{array}{c}p(y^i=1|x^i;\mathrm{\θ})\\ p(y^i=2|x^i;\mathrm{\θ})\\ .\\ .\\ .\\ p(y^i=k|x^i;\mathrm{\θ})\end{array}\right]$ 是模型参数θ的估值函数，其中估值函数h_θ(xⁱ)的代价函数J(θ)为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{K}\left[\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\right[f(y^i=j)\log h_{\mathrm{\θ}}\left(x^i\right)\left]\right]---\left(8\right)$

其中，f(yⁱ＝j)是指示函数，取值为0或1，若第i个训练样本xⁱ标签为类别j，则函数f(yⁱ＝j)＝1，否则，函数f(yⁱ＝j)＝0。

步骤5.3，定义模型参数θ的梯度

${\▿}_{\mathrm{\θj}}J\left(\mathrm{\θ}\right)=-\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\left[x^i(f(y^i=j)-p(y^i=j|x^i;\mathrm{\θ}))\right]---\left(9\right)$

公式(9)给出了模型参数θ的迭代规则，本具体实施中采用LBFGS参数训练算法迭代求解模型参数θ，基于公式(9)的迭代规则进行迭代计算，待迭代收敛或达到最大迭代次数的当前回归模型参数θ，即Softmax分类器回归模型参数θ的最优解，获得了回归模型参数θ，即完成了Softmax分类器的训练。

完成步骤1～5后，对待识别图像，采用稀疏自编码深度神经网络学习到的基本图像特征集进行卷积与池化，将卷积和池化后的待识别图像输入训练好的Softmax分类器，即可获得分类结果，即可判断为待识别图像为火、红花、红叶或红旗的图像，或为烟、雾、云或霾的图像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.基于图像深度学习的烟火识别方法，其特征在于，包括步骤：

步骤1，采集样本图像集，包括（1）未分类标记的目标图像及目标相似物图像构成的无标签样本图像集和（2）分类标记的目标图像及目标相似物图像构成的有标签样本图像集；

步骤2，分别从无标签样本图像集和有标签样本图像集中随机获取单元图像块，构成无标签训练数据集和有标签训练数据集；

步骤3，对无标签训练数据集和有标签训练数据集中训练数据进行白化预处理，所述的训练数据为单元图像块对应的RGB三色通道的颜色值矩阵；

步骤4，基于白化预处理后的无标签训练数据，采用无监督学习构建基于稀疏自编码的深度神经网络，并提取无标签训练数据的基本图像特征集；

步骤5，将无标签训练数据的基本图像特征卷积与池化图像数据，所述的图像数据包括有标签训练数据和待识别图像；

步骤6，基于卷积和池化后的有标签训练数据集训练Softmax分类器；

步骤7，将卷积和池化后的待识别图像输入已训练的Softmax分类器获得识别结果。

2.如权利要求1所述的基于图像深度学习的烟火识别方法，其特征在于：

步骤3中所述的白化预处理为ZCA白化预处理或PCA白化预处理。

3.如权利要求1所述的基于图像深度学习的烟火识别方法，其特征在于：

步骤4进一步包括子步骤：

4.1 构造深度神经网络，包括单输入层、多隐藏层和单输出层；

4.2 以白化预处理后的无标签训练数据作为深度神经网络的输入和输出，通过训练基于稀疏自编码的深度神经网络进行无监督学习；

4.3基于训练的深度神经网络提取无标签训练数据的基本图像特征集。

4.如权利要求3所述的基于图像深度学习的烟火识别方法，其特征在于：

子步骤4.2中所述的通过训练基于稀疏自编码的深度神经网络进行无监督学习，具体为：

4.2.1 获得神经元输入值加权和和神经元输出值；

4.2.2 设定加入稀疏性限制的目标代价函数；

4.2.3设定深度神经网络的权重系数向量和偏置项向量的梯度下降方向，即迭代规则；

4.2.4 采用LBFGS参数训练算法，按设定的迭代规则迭代求解权重系数向量和偏置项向量。

5.如权利要求1所述的基于图像深度学习的烟火识别方法，其特征在于：

步骤5进一步包括子步骤：

5.1将无标签训练数据的基本图像特征分别与图像数据的各颜色通道进行卷积运算得到卷积图像；

5.2利用自然图像中局部区域统计特征，通过均值池化实现卷积图像的特征降维。

6.如权利要求1所述的基于图像深度学习的烟火识别方法，其特征在于：

步骤6进一步包括子步骤：

6.1 以卷积和池化后的有标签训练数据集作为训练样本；

6.2 构造Softmax分类器回归模型；

6.3 设定回归模型参数的梯度，即迭代规则；

6.4 采用LBFGS参数训练算法，按设定的迭代规则迭代求解模型参数                                               。

7.基于图像深度学习的烟火识别***，其特征在于，包括：

样本图像采集模块，用来采集样本图像集，包括（1）未分类标记的目标图像及目标相似物图像构成的无标签样本图像集和（2）分类标记的目标图像及目标相似物图像构成的有标签样本图像集；

训练数据获得模块，用来分别从无标签样本图像集和有标签样本图像集中随机获取单元图像块，构成无标签训练数据集和有标签训练数据集；

白化预处理模块，用来对无标签训练数据集和有标签训练数据集中训练数据进行白化预处理，所述的训练数据为单元图像块对应的RGB三色通道的颜色值矩阵；

无监督学习模块，用来基于白化预处理后的无标签训练数据，采用无监督学习构建基于稀疏自编码的深度神经网络，并提取无标签训练数据的基本图像特征集；

卷积和池化模块，用来将无标签训练数据的基本图像特征卷积与池化图像数据，所述的图像数据包括有标签训练数据和待识别图像；

分类器训练模块，用来基于卷积和池化后的有标签训练数据集训练Softmax分类器；

识别模块，用来将卷积和池化后的待识别图像输入已训练的Softmax分类器获得识别结果。