CN103116746A - 一种基于多特征融合技术的视频火焰探测方法 - Google Patents

Abstract

本发明提供一种基于多特征融合技术的视频火焰探测方法，该方法首先采用累积快速GICA（Cumulative Geometrical Independent Component Analysis,C-GICA）方法结合火焰的颜色决策模型对运动目标实现捕获，同时结合基于运动目标区域的多目标跟踪技术实现对当前和历史帧内的目标跟踪，提取目标的颜色特征、边缘特征、圆形度以及纹理特征，将这些特征输入到训练好的BP神经网络，经过BP神经网络决策，进而实现火焰的探测。本发明综合运用火焰的运动特征、颜色特征、纹理特征等时空特征，克服现有视频火焰探测技术算法不足，实现有效提高视频火焰探测方法的可靠性和适用性。

Description

一种基于多特征融合技术的视频火焰探测方法

技术领域

本发明属于火灾探测技术领域，主要涉及应用数字图像处理和模式识别方法提取火焰特征，进而判断监控场景中是否存在火灾火焰的视频火焰探测方法。

背景技术

当前温感探测和烟感探测是应用最广泛和最成熟的火灾探测技术，但是这类传统的接触式探测器无法满足某些特殊的场合探测需求，比如高大空间建筑、长通道建筑等复杂的这类场所。近年来，视觉探测技术得到飞速的发展，这类探测技术具有响应速度快、检测范围广、环境污染小等特点。随着闭路监控***被大量运用于当今各式建筑，视频火灾探测技术也在逐步得到发展。

视频火灾探测技术包括视频火焰探测技术和视频烟雾探测技术，视频火焰探测技术有基于红外波段、可见光波段、紫外光波段以及多波段复合式的检测技术。

中国专利CN201885804U和中国专利CN201844880U属于红外波段的火灾探测技术，他们采用了双波长红外光来探测火焰，双波长分别为4.3微米和5.0微米，该***分别配有对应波长的传感器，中国专利CN201867924U在其前者的基础上，外加了3.8微米波长红外传感器来提高火焰的探测精度；中国专利CN202195883U和中国专利CN201191222属于紫外波段的火灾探测技术，***通过处理采集到的紫外辐射信号来判断是否存在火焰；中国专利CN202306757U属于多波段复合型检测技术，分别采用彩色摄像机和近红外摄像机来捕获监控现场的彩***图像和近红外视频图像来判定火焰的有无；相对于可见光波段传感器，由于红外和紫外传感器通常价格昂贵，因而限制了其推广使用。

中国专利CN102163361A提供了一种基于前景累积图像的图像型火灾探测方法，建立了前景累积图像，并用于火焰图像的实时探测，通过计算机对由监控摄像机得到的视频图像提取前景累积图像，对图像进行分块，统计每个图像块中各个像素在前景累积图像中的亮度值，根据预先设定好的灵敏度进行判别。此方法虽然计算量低，实时性也很好，但其仅依靠前景累积图的亮度值进行判断火灾，对于亮度较高的抖动物体，存在着一定的误报。

中国专利CN101106727采用彩色CCD摄像***，采用了图像差分法，利用统计得到的火焰颜色模板，并结合火灾跳跃、闪烁、不稳定的特点进行火焰判定；中国专利CN101493980公开了一种基于多特征融合的视频火焰探测方法，此方法基于混合高斯模型的技术来检测运动目标，并结合火焰的颜色特征、运动特征及火焰区域的闪动特征进行建模，依据运动、颜色、闪动的识别顺序逐步进行火焰探测，以上两个专利由于其判据简单，对于类似火焰颜色的物体，做一定频率的抖动，可能产生误报。

以上提到的图像火焰探测***，均采用了成本比较昂贵的专业CCD摄像头，而21世纪初全球CMOS图像传感器市场将在PC摄像机、移动通信市场、数码相机、摄像机市场等领域获得大幅度增长，当前，将开始以CMOS传感器为主流，针对CMOS传感器的视频火焰探测技术也很少见的。

“运动目标检测”是视频火灾探测技术中经常被使用的方法。（Independent componentanalysis by transforming a scatter diagram of mixtures of signals.Optics Communications,2000,173(1-6):107–114）首先将几何独立分量分析方法（Geometric Independent Component Analysis,GICA）应用于融合图像的分离技术，接着，(基于视觉特征的早期农林火灾检测方法的基础研究[D].浙江大学：2010)在其基础上提出了快速的GICA方法，并将其应用于火灾探测领域，但其未公开所采用的快速GICA方法中的固定阈值。

目标跟踪技术是计算机视觉领域的一个重要研究分支，目前很少有文章研究“目标跟踪”在视频火灾探测领域应用，然而多目标跟踪对于实际探测中经常遇到的各种遮挡和噪声干扰是非常有效的。（A new approach to linear filtering and prediction problems.Transactions of theASME Journal of Basic Engineering,1960,82(D):35-45）中提出了Kalman滤波跟踪方法，之后，（基于视频图像的高大空间建筑火灾探测研究[D].清华大学：博士学位论文.2010）在其基础上提出了改进的Kalman跟踪方法，并将其应用于视频火灾探测领域，但此方法计算复杂，不利于火灾的实时探测。

纹理分析是计算机视觉和图像理解研究领域的一个重要的研究内容，其应用领域非常宽广，（图像纹理分析的新方法及其应用[D].上海：复旦大学博士学位论文，2005.11）提出的一种新的纹理描述的方法：统计地形特征纹理，该纹理描述方法统计的纹理更加丰富直观，且容易被人理解，但未被应用到火灾探测领域。

发明内容

本发明提出一种基于多特征融合技术的视频火焰探测方法，综合运用火焰的运动特征、颜色特征、纹理特征等时空特征，克服现有视频火焰探测技术算法不足，实现有效提高视频火焰探测方法的可靠性和适用性。

本发明提出一种基于多特征融合技术的视频火焰探测方法，此方法的总体算法是：首先采用累积快速几何独立分量分析算法C-GICA（Cumulative Geometrical IndependentComponent Analysis,C-GICA）方法结合火焰的颜色决策模型对运动目标实现捕获，同时结合基于运动目标区域的多目标跟踪技术实现对当前和历史帧内的目标跟踪，提取目标的颜色特征、边缘特征、圆形度以及纹理特征，将这些特征输入到训练好的BP神经网络，经过BP神经网络决策，进而实现火焰的探测。

（1）C-GICA与颜色决策获取火焰候选区域

GICA的基本原理主要是将观察信号组成散布图，并对散布图进行一系列的几何变换，变换的结果是将独立的源信号进行分离。C-GICA算法运动目标获取：认为每一帧是由背景和运动目标融合而成的图像，背景和运动目标是两类相互独立的分量，利用简化的GICA算法实现对运动目标和背景的分离，将每次采用GICA算法获取的运动目标图像的灰度值进行累积求和，选取连续11帧（累积10帧）监测场景的图像，累积矩阵的累积帧达到10帧时，采用固定阈值进行判定，阈值取500，这样通过累积并设置阈值实现了C-GICA。超过阈值的像素认为是疑似火焰点，低于阈值的认为是静态目标。

GICA的简化形式表达如下，

$G_t(x,y)=\left\{\begin{array}{cc}0& -T_0<\mathrm{GICA}(f_t(x,y),f_{t+1}(x,y))<T_0\\ \mathrm{GIC}{A}^{\&prime;}(f_t(x,y),f_{t+1}(x,y))& \mathrm{other}\end{array}\right.---\left(1\right)$

其中，GICA(f_t(x,y),f_t+1(x,y))表示快速GICA变换的过渡矩阵，GICA'(f_t(x,y),f_t+1(x,y))表示运动目标的快速GICA变换的结果，G_t(x,y)表示连续两帧经过阈值选取的快速GICA变换结果，运动目标变换后的数值为灰度值，背景变换后的数值为0。T₀表示变化过程中的阈值，取10，即认为在GICA方法的散布图中，超过[-10,10]范围的数据，认为是动态目标点，在[-10,10]范围内的点属于背景像素点。GICA的6个步骤变换图参考附图3，快速GICA变化可参考附图4。

火焰颜色决策模型C_m采用以下三个不等式：

$C_m\left\{\begin{array}{c}R(x,y,t)\&GreaterEqual;R_T\\ R(x,y,t)\&GreaterEqual;G(x,y,t)\&GreaterEqual;B(x,y,t)\\ S(x,y,t)\&le;a*R(x,y,t)+b\end{array}\right.----\left(2\right)$

其中，R(x,y,t),G(x,y,t),B(x,y,t),S(x,y,t)分别在表示时刻t彩色图像的红色分量，绿色分量，蓝色分量以及饱和度。表示R_T红色分量阈值，取145，a,b为系数，本文分别取-0.0023，0.88。颜色决策过程如下：

$C_t(x,y)=\left\{\begin{array}{cc}1& f_t(x,y)\&Element;C_m\\ 0& f_t(x,y)\&NotElement;C_m\end{array}\right.---\left(3\right)$

C_t(x,y)表示时刻t的彩色图像经过颜色决策生成的二值化矩阵，1表示火焰的像素，0表示非火焰像素。

累积矩阵的计算如下：

$G_{\mathrm{at}}(x,y)=\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}\{G_t(x,y)\&CenterDot;C_t(x,y)\}---\left(4\right)$

其中，N=10；·表示矩阵相同位置的元素进行乘法运算。如果一个像素它既属于运动像素，又属于火焰的颜色，则被计入累积矩阵G_at(x,y)中,在计算机进行处理时，累积矩阵最多累积10帧，超过10帧，采用先进先出的列队思想，进行运算。例如，连续两帧进行快速GICA处理，第1帧和第2帧进行，第2帧和第3帧进行快速GICA处理，依次类推，达到处理了11帧（累积10帧）时，累积矩阵剔除掉第1帧和2帧通过快速GICA的计算结果，并加入第11帧和第12帧的快速GICA计算结果。

通过累积矩阵，可以得到匹配矩阵M_t(x,y)，其计算采用如下表达式：

$M_t(x,y)=\left\{\begin{array}{cc}1& \mathrm{Ga}(x,y)\&GreaterEqual;T_1\\ 0& \mathrm{Ga}(x,y)<T_1\end{array}\right.---\left(5\right)$

其中，T₁为阈值，取500。经过阈值对累积矩阵进行处理后，生成二值化的匹配矩阵M_t(x,y)，其数值为1代表该像素在时间序列上满足火焰脉动特征，在颜色空间上满足颜色特征。需要注意的是，M_t(x,y)数值为1的像素点在当前帧的图像中，其像素不一定在火焰的区域，它只是代表一个时间上的统计量，表明这里存在火焰的概率比较大。为了获得当前图像中的候选火焰区域，首先要对M_t(x,y)进行中值滤波，滤波器采用2×2方形滤波器和8领域数学形态学腐蚀和膨胀；接着采用连通区域标记法，例如可以采用Haralick（Computer andRobot Vision,Volume I,Addison-Wesley,1992,pp.28-48）提出的连通区域标记法，对M_t(x,y)进标记，标记后的区域用“矩形区域”再标记，在矩形区域中，寻找当前帧内符合火焰颜色决策C_m的种子点，然后在灰度图上进行8领域多种子区域生长，生长的阈值采用10，进而获得完整的候选火焰区域，获取火焰候选区域的时候，为了排除某种特定的干扰（比如监控场所有许多颜色类似火焰的运动小目标），接着对当前帧内的候选区域进行像素数量判断，阈值为20，如果候选区域的非0点的像素数量小于20，则该候选区域被剔除掉，不认为是火焰，否则，对其进行保留，进行特征值提取，特征值提取见步骤2。

（2）候选区域的特征选取

亮度和红色分量的统计特征提取：由于火焰通常表现为亮而且发红，亮度和红色分量在火焰颜色空间占有主要的作用，因而亮度和红色分量特征可以提取作为火焰识别的一个判据。采用均值，方差，偏斜度和翘度的统计参量对亮度和红色分量进行计算，这些参量在一定程度上反映了火焰面的粗糙度特征。由于火焰的亮度会随着背景光照强度的变化而变化，因而本文对亮度的均值不做统计分析，只统计其二阶矩、三阶矩和四阶矩。

边界粗糙度B_R：采用候选区域的凸包（Convex Hull）周长与火焰周长的比值来描述边界粗糙度：

B_R＝P_C/P                   （6）

其中，P_C是候选区域凸包的周长，P是候选区域的周长。凸包周长计算采用凸包快速求解算法以得到凸包的边界坐标，例如采用Barber（The Quickhull Algorithm for Convex Hulls,ACMTransactionson Mathematical Software,Vol.22,No.4,Dec.1996,p.469-483）提出的凸包快速求解算法以得到凸包的边界坐标，周长采用对相邻边界像素进行欧氏距离计算。

圆形度：圆形度C表征物体形状的复杂程度，圆形度一般采用边界周长的平方与面积的比值来表示，对圆形物体取最小值4π，物体形状越复杂其值越大。本发明采用C的倒数，并除以4π来表征圆形度，将其归一化为0到1之间的数，以方便目标识别算法计算，即：

其中P为边界周长，A为面积。

“图像纹理分析的新方法及其应用[D].上海：复旦大学博士学位论文，2005.11”提出了统计地形特征纹理的方法，参考附图6可表达火焰的统计地形特征纹理特征，本发明基于其研究成果的基础上，提出了改进的统计地形特征纹理描述方法。

改进的统计地形特征纹理：“图像纹理分析的新方法及其应用[D].上海：复旦大学博士学位论文，2005.11”计算实体的表面积和平均高度时，采用了在6领域对三维空间实体的点逐点进行判断的方法，此方法计算量大，耗费时间。考虑到，图像z=f(x,y)在三维空间是个面，而且这个面不存在重叠，即像素坐标(x,y)映射到三维空间的点绝对不会大于二个点（其灰度值大于0是一个点，等于0可以认为不存映射点）。即实体一定是个“真正”的实体，不会出现中空的情况。

紧密度特征的改进：

计算实体表面积时，只需在灰度图上判断当前点与4领域的每个点的大小关系即可实现对表面积计算。以当前点的左侧点为例，计算当前点的灰度值与左侧点的灰度差值Dt-4t喝"若Dt-4t大于0说明当前点对于左侧来说是个突出的高地，反之则说明该点处于较低的地形位置。遍历z=F(x,y)馋所有的点以及相应的4领域点，并对所有的正的Dt-4t:求和，最后加上实体地面即可求出上实体的表面积。

计算实体的体积时，只需将实体

对应的z=f(x,y)所有点的灰度值减去分割面z=α的数值，累积求和，便可以计算出实体

的体积。为了进一步加快计算速度，采用下式计算物理意义上的体表比这个量和紧密度意义类似，但减少了两个幂运算，

$c_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{card}\left\{\mathrm{Surface}\left(A_i^{\mathrm{\&alpha;}}\right)\right\}}{\mathrm{card}\left\{A_i^{\mathrm{\&alpha;}}\right\}}---\left(8\right)$

$c_A^{\mathrm{\&alpha;}}=\frac{1}{n_A^{\mathrm{\&alpha;}}}\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{c}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(9\right)$

其中，

表示单个实体

的精密度，surface()代表实体表面所有的点，card{}表示数量，α表示水平切割面的高度，

表示上实体的数量，

表示整副图像的平均精密度。

平均高度的改进：

由于实体

不存在中空点，计算平均高度时，不必统计所有的点，只需统计

表面的点就可以得到平均高度。即将z=f(x,y)的灰度数值减去切割平面z=α，累积求和再除以底面积，

$h_A^{\mathrm{\&alpha;}}=\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{h}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(10\right)$

$h_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{sum}\left\{\mathrm{Cover}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}{\mathrm{card}\left\{\mathrm{Base}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}---\left(11\right)$

${\mathrm{\&lambda;}}_i=\frac{\mathrm{card}\left\{\mathrm{Base}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}{\mathrm{card}\left\{\mathrm{Base}\right\{A^{\mathrm{\&alpha;}}\left\}\right\}}---\left(12\right)$

其中，sum{}表示求和，Cover{}表示实体的突出面，Base{}表示实体的底平面，为比例因子λ_i，其数值通过下面式子计算出来，这样做的目的是的作用是去除掉切割过程中形成的畸点对整体表面积的影响。这里的畸点是指

可能为一个或者几个单点的实体。

分别对一幅图的灰度和色调进行统计地形特征纹理描述可以得到2×6×256=3072个纹理指，对每条纹理曲线分别提取均值，方差，偏斜度和翘度来进行简化，简化后只得到48个纹理指标。此外，没必要对灰度和色调所有等级进行分割，同时，由于已知的颜色模型限定了红色分量的阈值145，最极端的情况灰度至少也会超过150×0.2989≈43，其中0.2989是RGB转化灰度的比例因子，据此，在43-255灰度上进行15个灰度等级分割，即α取值分别为[45、60、75、90、105、120、135、150、165、180、195、210、225、240、255]，α在色调图0°-60°上进行15个色调等级分割，即α取值分别为[4、8、12、16、20、24、28、32、36、40、44、48、52、56、60],简化计算过程，实现对火焰候选区域纹理的提取。

（3）基于运动区域的多目标跟踪

多目标跟踪的数据结构：定义了一个动态三维矩阵用来存放多个目标的信息,矩阵的大小为M*N*H，M为62前4个代表运动目标矩阵区域的坐标，后57个代表目标的特征，H取10，代表可以对历史10帧的数据进行保存,动态三维矩阵包含了目标的位置和特征，具体见附图7，M方向用来区分不同的特征，N方向区分不同的目标，H方向区分不同的帧,由于不同的场景的运动目标的数量不同，所以此三维矩阵根据运动目标的数量动态地确定N的数值，即N的数值与场景中的运动目标数量一致。为了方便表述，把具有相同H方向的坐标的点的集合定义为层，每层有M*N个数值，M方向定义行，N方向定义为列。例如点其坐标为（4,5,9）,即这个点表示第9层第5个目标的第3（7-4）个特征。第一层前4行记录目标的坐标（矩形区域的左上和右下顶点），第二层到第H层的前4行不存放任何有实际意义的数值，其都数值为0。

多目标跟踪的基本原则，采用目标外边缘的矩形框进行匹配，不涉及目标的特征，可参考附图8。

多目标跟踪的实现：对于数据流流动，采用先进先出的列队思想。例如，当前帧的目标数据要存入动态三维矩阵中，需要将当前动态三维矩阵的第10层数据踢掉，第9层的存入第10层，第8层存入第9层，依次类推，第一层存入第2层，当前帧的数据存入第一层，在移动过程中，第一层的存放坐标区不进行任何移动。相邻两帧区域变化定义图像的出现、消失、合并，分解四种行为，本文不考虑分解。根据动态三维矩阵第一层的坐标，可以恢复出一幅独立图P1，当前图像也可以形成一幅独立图P2，认为这两幅独立图是相邻两帧图像，进行多目标的跟踪。将这两幅独立图进行融合形成一幅新的图，新图继续独立化形成P4，通过P4可以形成带有坐标的新动态三维矩阵，新的动态三维矩阵只有坐标，没有特征数值。根据新动态三维矩阵的坐标，依次和P1,P2进行匹配，得到匹配的目标数量k1和k2，匹配的同时，将k2个目标进行融合得到融合矩阵P4，对k2进行判断，如果k2>0,则寻找P4中非0元素的横纵坐标的最大最小值，通过最大最小值形成的矩形更新P3的坐标，可以直接显示在当然帧的图像上，实现对当前图像的标记，根据k2的值以及特征的属性进行合并，k2个小目标的特征值采用求平均的方法，接着对k1进行判断，如果k1大于0，根据k1以及特征的属性，再继续合并。如果k2为0,判断k1是否大于0，如果大于0，说明这个目标是当前消失目标。将其对应的特征转移到新动态三维矩阵的对应列，转移的方法是旧的动态三维矩阵中的第一层到第9层的特征转移到新动态三维矩阵的第二层到第10层。直到新动态三维矩阵的每个坐标进行了匹配，这样就实现了多目标的跟踪技术。附图9是多目标跟踪算法一个例子,其中P5是对当前帧的矩形区域标记。

这种跟踪技术具有一定的延迟性，本文设置了10帧，也就是说，如果目标被遮挡，在10帧之内目标又出现，则目标还能被继续跟踪。

（4）火焰的识别

采用BP神经网络做火焰识别的分类器，隐含层节点数为18，隐含层神经元采用tansig函数，输出层采用2个logsig函数（Matlab神经网络工具箱），选取了50个不同燃料（包括酒精，汽油，正庚烷等液体燃燃料，布料，木材，高分子塑料等固体燃料），不同环境（无风，微风，大风，白天，夜晚，阴天等复杂环境）下的燃烧火焰作为正面训练信号，40个具有类似火焰的纹理的物体（衣服，烟花，灯等）作为负面训练信号，得到了火焰识别的分类器。把动态三维矩阵中的特征值，输入到BP神经网络分类器中，经过分类器的计算，便可以判断火焰的有无。

与现有技术相比较，本发明的优点和有益效果在于：

a)、尽管CCD摄像头采集画质优于CMOS摄像头，放弃传统火灾图像探测研究者采用的CCD摄像头，选取应用更广泛的便宜的CMOS摄像头，实现对检测环境的高速视频流采集，当然，本发明提出的算法，更加适用于CCD摄像头。

b)、本发明提出了累积快速GICA算法进行运动检测方法，不仅继承了GICA算法具备计算速度快的特点，而且通过累积矩阵的计算，使***具备了对复杂火灾场景的探测能力，更加提高了探测精度。

c)、本发明构建了三维数据结构，实现了基于运动区域的多目标跟踪技术，使***具备了对多目标火焰进行跟踪探测的能力，也可对短时遮挡的火焰进行跟踪探测，而不丢失其历史帧信息。

d)、本发明引入并改进了一种新的纹理提取技术，使火焰的纹理提取更加方便简单，并结合亮度和红色分量的统计特征、边界粗糙度、圆形度等特征，通过BP神经网络，对火焰的多特征融合，并最终实现准确的视频火焰探测。

e)、本发明***分为两个模块，模块一为原始累积模块，模块二为火焰决策模块，模块一表示监控环境处于安全状态，程序执行相对简单，模块二表示监控环境处于危险状态，需要进一步进行火焰判断，程序要执行大量的程序。使本发明具备了自动节省计算量，节省电能的功效。

附图说明

图1是本发明基于多特征融合技术的视频火焰探测方法的***示意图；

图2是本发明基于多特征融合技术的视频火焰探测方法中的操作流程框图；

图3是GICA6个步骤的变换图；

图4是快速GICA阈值选择示意图，图4(a)为连续两帧散布图，图4(b)为快速GICA的阈值选取；

图5是本发明经运动检测和火焰颜色决策，通过累积GICA提取的候选火焰区域一个过程图；

图6是红旗与火焰的统计地形特征纹理曲线，其中，（a）为飘动的红旗RGB显示，(b)为燃烧的火焰RGB显示，（c）为灰度图，实体个数

（d）为色调图，实体个数（e）为灰度图，实体个数

（f）为色调图，实体个数

（g）为灰度图，平均体表比

（h）为色调图，平均体表比

（i）为灰度图，平均体表比（j）为色调图，平均体表比

（k）为灰度图，权值平均高度

（l）为色调图

权值平均高度，（m）为灰度图，权值平均高度

（n）为色调图，权值平均高度

图7是本发明基于运动区域的多目标跟踪算法而定义的动态三维矩阵结构示意图；

图8是本法明基于运动区域的多目标跟踪算法而定义的独立图示例；

图9是本法明基于运动区域的多目标跟踪算法的示意图，图9（a）、（b）、（c）、（d）、（e）分别标记为P1、P2、P3、P4、P5；

图10是本发明对旁晚体育场火焰探测图。

对于上述附图，进一步说明如下：

附图2说明：图2是基于多特征融合技术的视频火焰探测方法中的整体操作流程框图，下面是对流程框图中一些参数的说明：

Fire_num是来储存累积矩阵中所累积的帧的数量，其初始值为1，最大值为10；

“G”代表快速GICA算法的计算结果,即技术内容中所指的G_t(x,y)，是一个矩阵，里面储存了当前帧内动态目标的灰度值，0值代表静态背景；

“C”表示经过颜色决策生成的二值化矩阵，1表示火焰的像素，0表示非火焰像素，也是技术内容中所指的C_t(x,y)；

“i”是一个对***起到控制的量，主要作用是判断监控现场是否处于安全模式，其数值最小为0，最大值为2。当其数值小于2时，代表监控现场处于安全状态，即监控现场没有火焰，***执行比较简单的程序，当其数值等于2时，代表监控现场可能处于危险状态，需要程序进一步判断火焰有无。

“&”代表两个矩阵的对应元素或者两个数值进行与运算；

“=”代表赋值，例如“A=累积矩阵”表示将累积矩阵的数值全部赋给A；

“A”代表技术内容中的匹配矩阵M_t(x,y)，是个二值化的矩阵；

“==”代表判断，例如“i==2”表示i的数值是否等于2，如果i等于2，则这个表达式为真，用数值表示真就是非0值，反之，这个表达式为假，用数值表示就是0值；

“<”,”>”代表逻辑运算；

“++”，代表自动加1，并赋值；

Cn是一个对***起到控制的量，其初始值为0，主要作用是如果连续3帧的经过处理的图像不存在目标，***认为监控现场也处于安全状态，其中“经过处理的图像”在“***具体功能”中有详细说明；

另外，流程框图中的逻辑运算符，其左右两边存在不同类型的数据时，矩阵一方表示求和之后的结果再进行逻辑运算。例如G&C<10，“<”左边是矩阵，右边是常数，表示G和C先进行对应元素的“&”运算，运算后形成新的矩阵后，对新矩阵进行求和，求和的结果在和10进行“<”运算。

基于多特征融合技术的视频火焰探测***的总体算法功能如下：

a)通过一个时间触发器，每隔一定时间（每秒7帧）将监控现场的图像读入程序,像素为320×240；

b)对每帧实时的现场图像，首先采用快速GICA运动目标检测，检测的方法利用当前帧与上帧之间采用快速GICA运动目标检测G_t(x,y)，接着采用颜色模型进行颜色决策C_t(x,y)，与前面的运动目标检测矩阵进行“与”运算，这样获得的新的矩阵是具有火焰颜色的动态目标MC_t(x,y)；

c)如果二值矩阵MC_t(x,y)数值为“非0”的元素数量小于10，而且这种情况连续两次发生，***认为不存在火灾，***所有的数据进行重置；如果二值矩阵MC_t(x,y)数值为“非0”的元素数量大于10，则将其数值为“1”的点对应于灰度图上的点的灰度值计入累积矩阵；

d)***分为两大功能模块，模块一为累积模块，模块二为火焰决策模块。当Fire_num小于10时，程序执行模块一，此时，***不对当前帧进行火焰识别，只进行动态目标检测以及颜色决策，以及对累积矩阵进行计算。当Fire_num的值等于10时，执行模块二，开始进行火焰决策。原始累积模块的主要功能是，判断监控现场是否持续地存在具有火焰颜色的动态目标；如果持续帧达到一定数量10时，通过判断Fire_num的数值进入模块二，模块二的主要功能对当前帧进行火焰识别。程序在执行第二模块的同时，***的功能c）仍起作用，程序仍有可能回到第一模块。也就是说模块一和模块二可以相互转换，模块一表示监控环境处于安全状态，程序执行相对简单，模块二表示监控环境处于危险状态，需要进一步进行火焰判断，程序要执行大量的程序。程序之所以分成两大模块，主要目的是达到***的最优化，因为实际过程中，监控现场的火灾发生是小概率事件，只需执行模块一就可以达到监视火灾的目地，一旦出现火灾火焰，***会自动转入模块二，进入详细的运算识别模块，进而进行火焰决策；

e)通过阈值（500）对累积矩阵进行过滤，得到匹配矩阵M_t(x,y)，接着采要对M_t(x,y)进行中值滤波，滤波器采用2×2方形滤波器和8领域数学形态学膨胀和腐蚀；接着采用（Computer and Robot Vision,Volume I,Addison-Wesley,1992,pp.28-48）提出的连通区域标记法，对M_t(x,y)进标记，标记后的区域用“矩形区域”再标记，在矩形区域中，寻找当前帧内符合火焰颜色决策C_m的种子点，然后在灰度图上进行8领域多种子区域生长，生长的阈值采用10，进而获得完整的候选火焰区域，获取火焰候选区域的时候，为了排除某种特定的干扰场合（比如监控场所有许多颜色类似火焰的运动小目标），采用了阈值20进行过滤，如果目标全部被过滤掉，这种情况连续发生三次，***会自动转入模块一。即模块二进入模块一有两种情况；

f)***采用了一种延迟的手段（延迟10帧），进行目标跟踪，如果目标在当前帧丢失信息（由于遮挡等原因），如果在一定时间(10帧)内目标出现,***会根据目标的位置进行匹配，进而实现对目标的跟踪。

附图3的说明：两个独立信号源S₁ ⁽⁰⁾(t)，S₂ ⁽⁰⁾(t)(t=1，…，n，n为信号长度)，如果信号源服从均匀分布，其散点图的形状为附图3（a），假设两个观察信号(混合信号)由S₁ ⁽¹⁾(t)、S₂ ⁽¹⁾(t)有两个独立信号源S₁ ⁽⁰⁾(t)，S₂ ⁽⁰⁾(t)线性混合而成，

$\left(\begin{array}{cc}{S_1}^{\left(1\right)}& \left(t\right)\\ {S_2}^{\left(1\right)}& \left(t\right)\end{array}\right)=\left(\begin{array}{cc}1& \mathrm{\&alpha;}\\ \mathrm{\&beta;}& 1\end{array}\right)\left(\begin{array}{cc}{S_1}^{\left(0\right)}& \left(t\right)\\ {S_2}^{\left(0\right)}& \left(t\right)\end{array}\right)---\left(13\right)$

其中，α,β为未知混合量，观察信号的散点图为附图3（b）。

a)将散布图进行平移，使点(min(S₁ ⁽¹⁾(t)),min(S₂ ⁽¹⁾(t))到坐标原点，见附图3（c）(S₁ ⁽²⁾(t),S₂ ⁽²⁾(t))＝(S₁ ⁽¹⁾(t)-min[S₁ ⁽¹⁾(t)],S₂ ⁽¹⁾(t)-min[S₂ ⁽¹⁾(t)])(14)

b)旋转散布图θ度，使得散布图右上角的顶点S₁ ⁽³⁾(t)轴重合，见附图3（d）,

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{\max \&lsqb;{S_2}^{\left(2\right)}\left(t\right)\&rsqb;}{\max \&lsqb;{S_1}^{\left(2\right)}\left(t\right)\&rsqb;}\right)---\left(15\right)$

$\left(\begin{array}{cc}{S_1}^{\left(3\right)}& \left(t\right)\\ {S_2}^{\left(3\right)}& \left(t\right)\end{array}\right)=\left(\begin{array}{cc}\cos (-\mathrm{\&theta;})& -\sin (-\mathrm{\&theta;})\\ \sin (-\mathrm{\&theta;})& \sin (-\mathrm{\&theta;})\end{array}\right)\left(\begin{array}{cc}{S_1}^{\left(2\right)}& \left(t\right)\\ {S_2}^{\left(2\right)}& \left(t\right)\end{array}\right)$

c)散布图水平移动，使的散点图的长轴中心与原点重合,参见附图3（e）

(S₁ ⁽⁴⁾(t),S₂ ⁽⁴⁾(t))＝(S₁ ⁽³⁾(t)-r,S₂ ⁽³⁾(t)-r)           (17)

其中,

d)对散点图进行扭曲,使的上下顶点和S₂ ⁽⁵⁾重合，参见附图3（f）

(S₁ ⁽⁵⁾(t),S₂ ⁽⁵⁾(t))＝(S₁ ⁽⁴⁾(t)-εS₂ ⁽⁴⁾(t),S₂ ⁽⁴⁾(t))(18)

其中，

S₂ ⁽⁴⁾(t')代表S₂ ⁽⁴⁾(t)取得最大值的时候对应的数值

e)将散布图沿着轴的方向进行拉伸或者压缩，参见附图3（g）

$({S_1}^{\left(6\right)}\left(t\right),{S_2}^{\left(6\right)}\left(t\right))=(\frac{{S_1}^{\left(5\right)}\left(t\right)}{\sqrt{v_1}},\frac{{S_2}^{\left(5\right)}\left(t\right)}{\sqrt{v_2}})---\left(19\right)$

其中v₁，v₂分别为S₁ ⁽⁵⁾(t)，S₂ ⁽⁵⁾(t)的方差

f)最后将散布图进行顺时针旋转45度，进而得到不相关的分量，实现将两个独立成分的分离。参见附图3（h）

附图4的说明：通常情况下，监视***的摄像头固定（或者波动很小），而且多数被监视场景处于静止状态，在观测信号的散布图中，表现为信号之间存在很强的相关性，大多数散点落在独立平面的倾斜角为45°的区域附近，还有少量的像素点分散在独立平面其它位置，这些分散的点主要就是运动目标的像素点，参见附图4（a）。GICA的本质就是通过散布图的几何变换，最大可能地实现分解独立量，因此，对于通常情况下的火灾探测，只需将散布图平移到原点，进行坐标旋转45°，再将坐标原点水平移动，即可实现独立成分的分解。在计算机实现中，我们只需将观测信号的散布图旋转45°，给予阈值10，就可以将运动目标分离出来，参见图附图4（b）然后在对阈值外的散点进行反变换，得到运动目标的图像。为了加快计算速度，在获得运动目标的散点后，通常只需将Y1分量进行反变换，直接得到运动目标。其中反变换因子为：[-0.7071，0.7071]。

附图5说明：(a)是当前帧的RGB彩色视图，（b）为采用GICA对当前图像进行运动目标的检测图，（c）是图中符合火焰颜色的二值图，（d）是累积矩阵的灰度图，（e）是经过形态学滤波和区域生长之后的候选火焰区域图。

附图6说明：采用统计地形特征纹理方法，可以提取出6个特征值

关于自变量α的函数，对图像的纹理进行描述，本文分别在灰度和色调进行特征提取，利用这12条特征曲线来描述图像纹理。

附图8说明：有不规则目标a,b，包含a,b的最小矩形框用A,B表示，如果

那么目标a,b就可以进行合并，合并后的区域为C,反之，这两个物体是独立的两个物体。对于一幅图，如果其中任意的两两目标不可以合并，本文定义其为独立图，一幅经过运动检测的图像，不一定是独立图，尤其是火焰这类非刚体的跟踪。需要对图像进行独立化，才可以实现多目标的跟踪。独立化过程就是反复地合并图中非独立目标，直到不能合并为止，形成的图像才能称之为独立图。

附录9图说明：图9为基于运动与去的多目标跟踪算法示意图，其中A1为表现为消失，B1表现为出现，A2和B2表现为合并，A3,A4,B3,B4表现为合并。

具体实施方式

下面结合附图和实例对本发明做进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但说举实例不作为对本发明的限定。

图1给出了本发明基于多特征融合技术的视频火焰探测方法的***示意图，本发明的基于多特征融合技术的视频火焰探测***由CMOS/CCD摄像头（摄像头自带解码器），计算机，报警装置以及传输信号的线路组成。本发明基于多特征融合技术的视频火焰探测方法的总体过程为：将普通CMOS/CCD彩色摄像机采集的监控现场的视频信息输入计算机进行处理，计算机程序是整个探测***的核心，计算机按图2所示的基于多特征融合的快速视频火焰探测方法的操作流程框图编写的图像分析软件读取数字图像序列进行实时处理判断，如果判定图像中存在真实火焰目标，则计算机发送指令控制报警器完成火灾报警。

实施例1：

本实施例运用本发明基于多特征融合技术的视频火焰探测方法，对旁晚的体育场场景根据图2所示的操作流程框图进行火焰探测，具体操作步骤如下：

第一，C-GICA与颜色决策获取火焰候选区域

初始化***数据，令i为0，Cn为0，创建动态三维0矩阵62×1×10，读取两帧连续的场景图，并利用快速GICA算法，结合颜色决策模型，进行运动目标捕获。

GICA的基本原理主要是将观察信号组成散布图，并对散布图进行一系列的几何变换，变换的结果是将独立的源信号进行分离，GICA的6个步骤变换图参考附图3。C-GICA算法运动目标获取：认为每一帧是由背景和运动目标融合而成的图像，背景和运动目标是两类相互独立的分量，利用简化的GICA算法实现对运动目标和背景的分离，将每次采用快速GICA算法获取的运动目标图像的灰度值进行累积求和，选取连续11帧（累积10帧）监测场景的图像，累积矩阵的累积帧达到10帧时，采用固定阈值进行判定，阈值取500。超过阈值的像素认为是疑似火焰点，低于阈值的认为是静态目标。

快速GICA的简单形式表达如下，

$G_t(x,y)=\left\{\begin{array}{cc}0& -T_0<\mathrm{GICA}(f_t(x,y),f_{t+1}(x,y))<T_0\\ \mathrm{GIC}{A}^{\&prime;}(f_t(x,y),f_{t+1}(x,y))& \mathrm{other}\end{array}\right.---\left(21\right)$

其中，GICA'(f_t(x,y),f_t+1(x,y))表示运动目标的GICA变换结果，G_t(x,y)表示连续两帧的GICA变换结果，运动目标变换后的数值为灰度值，背景变换后的数值为0。GICA(f_t(x,y),f_t+1(x,y))表示连续两幅图像间采用快速GICA变化过程，T₀表示变化过程中的阈值，取10，即认为在快速GICA方法的散布图中，超过[-10,10]范围的数据，认为是动态目标点，在[-10,10]范围内的点属于背景像素点，快速GICA变化可参考附图4，经过快速GICA变换后的图参见附图5（b）。

火焰颜色决策模型C_m采用以下三个不等式：

$C_m\left\{\begin{array}{c}R(x,y,t)\&GreaterEqual;R_T\\ R(x,y,t)\&GreaterEqual;G(x,y,t)\&GreaterEqual;B(x,y,t)\\ S(x,y,t)\&le;a*R(x,y,t)+b\end{array}\right.----\left(22\right)$

其中，R(x,y,t),G(x,y,t),B(x,y,t),S(x,y,t)分别在表示时刻t彩色图像的红色分量，绿色分量，蓝色分量以及饱和度。表示R_T红色分量阈值，取145，a,b为系数，本文分别取-0.0023，0.88。颜色决策过程如下：

$C_t(x,y)=\left\{\begin{array}{cc}1& f_t(x,y)\&Element;C_m\\ 0& f_t(x,y)\&NotElement;C_m\end{array}\right.---\left(23\right)$

C_t(x,y)表示时刻t的彩色图像经过颜色决策生成的二值化矩阵，1表示火焰的像素，0表示非火焰像素,可参见附图5（c）。

累积矩阵的计算如下：

$G_{\mathrm{at}}(x,y)=\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}\{G_t(x,y)\&CenterDot;C_t(x,y)\}---\left(24\right)$

其中，N=10；·表示矩阵相同位置的元素进行乘法运算。如果一个像素它既属于运动像素，又属于火焰的颜色，则被计入累积矩阵G_at(x,y)中,在计算机进行处理时，累积矩阵最多累积10帧，超过10帧，采用先进先出的列队思想，进行运算。例如，连续两帧进行快速GICA处理，第1帧和第2帧进行，第2帧和第3帧进行快速GICA处理，依次类推，达到处理了11帧（累积10帧）时，累积矩阵剔除掉第1帧和2帧通过快速GICA的计算结果，并加入第11帧和第12帧的快速GICA计算结果。附图5（d）为G_t(x,y)·C_t(x,y)生成的图。

通过累积矩阵，可以得到匹配矩阵M_t(x,y)，其计算采用如下表达式：

$M_t(x,y)=\left\{\begin{array}{cc}1& \mathrm{Ga}(x,y)\&GreaterEqual;T_1\\ 0& \mathrm{Ga}(x,y)<T_1\end{array}\right.---\left(25\right)$

其中，T₁为阈值，取500。经过阈值对累积矩阵进行处理后，生成二值化的匹配矩阵M_t(x,y)，其数值为1代表该像素在时间序列上满足火焰脉动特征，在颜色空间上满足颜色特征。需要注意的是，M_t(x,y)数值为1的像素点在当前帧的图像中，其像素不一定在火焰的区域，它只是代表一个时间上的统计量，表明这里存在火焰的概率比较大。为了获得当前图像中的候选火焰区域，首先要对M_t(x,y)进行中值滤波，滤波器采用2×2方形滤波器和8领域数学形态学腐蚀和膨胀；接着采用（Computer and Robot Vision,Volume I,Addison-Wesley,1992,pp.28-48）提出的连通区域标记法，对M_t(x,y)进标记，标记后的区域用“矩形区域”再标记，在矩形区域中，寻找当前帧内符合火焰颜色决策C_m的种子点，然后在灰度图上进行8领域多种子区域生长，生长的阈值采用10，进而获得完整的候选火焰区域，参见附图5（e），接着对当前帧内的候选区域进行像素数量判断，如果所有候选区域的非0点的数量小于20而且Cn大于等于2，则删除此目标，令Cn为1，i为1，重置所有数据（除了Cn,i），否则，进一步判断所有候选区域的非0点的数量是否超过20个，如果所有候选区域的非0点的数量小于20个，则令Cn自动加1，认为当前帧不存在目标，并更新动态三维矩阵，更新三维矩阵可参考下文的第三步骤，并重新读入下帧重新判断，否则，根据候选区域的数量，生成62*n的矩阵，其中n为候选区域的数量，接着提取候选区域矩形框的在图像中的坐标，提取左上和右下顶点以及该候选区域的特征，特征的提取顺序为亮度和红色分量的统计特征、面积、边缘粗糙度、圆形度、以及统计地形特征纹理，这样就生成了一个包含当前帧内的所有候选区域以及其对应特征值的62*n的矩阵，特征的提取，详见第二步骤，将这个矩阵根据候选区域的坐标合并到动态三维矩阵中，具体合并方法查看第三步骤

第二，候选区域的特征值的提取

亮度和红色分量的统计特征提取：由于火焰通常表现为亮而且发红，亮度和红色分量在火焰颜色空间占有主要的作用，因而亮度和红色分量特征可以提取作为火焰识别的一个判据。采用均值，方差，偏斜度和翘度的统计参量对亮度和红色分量进行计算，这些参量在一定程度上反映了火焰面的粗糙度特征。由于火焰的亮度会随着背景光照强度的变化而变化，因而本文对亮度的均值不做统计分析，只统计其二阶矩、三阶矩和四阶矩。

边界粗糙度B_R：采用候选区域的凸包（Convex Hull）周长与火焰周长的比值来描述边界粗糙度：

B_R＝P_C/P                   （26）

其中，P_C是候选区域凸包的周长，P是候选区域的周长。凸包周长计算采用（The QuickhullAlgorithm for Convex Hulls,ACM Transactionson Mathematical Software,Vol.22,No.4,Dec.1996,p.469-483）提出的凸包快速求解算法以得到凸包的边界坐标，周长采用对相邻边界像素进行欧氏距离计算。

圆形度：圆形度C表征物体形状的复杂程度，对圆形物体取最小值4π，物体形状越复杂其值越大。本发明通过取C的倒数，并除以4π来表征圆形度，将其归一化为0到1之间的数，以方便目标识别算法计算，即

其中P为边界周长，A为面积。

（图像纹理分析的新方法及其应用[D].上海：复旦大学博士学位论文，2005.11）提出了统计地形特征纹理的方法，参考附图6可表达火焰的统计地形特征纹理特征，本发明基于其研究成果的基础上，提出了改进的统计地形特征纹理描述方法。

改进的统计地形特征纹理提取：计算实体的表面积和平均高度时，采用了在6领域对三维空间实体

的点逐点进行判断的方法。考虑到，图像z=f(x，y)在三维空间是个面，而且这个面不存在重叠，即像素坐标(x,y)映射到三维空间的点绝对不会大于二个点（其灰度值大于0是一个点，等于0可以认为不存映射点）。即实体

一定是个“真正”的实体，不会出现中空的情况。

紧密度特征的提取：

计算实体表面积时，只需在灰度图上判断当前点与4领域的每个点的大小关系即可实现对表面积计算。以当前点的左侧点为例，计算当前点的灰度值与左侧点的灰度差值Dt-4t，若Dt-4t大于0说明当前点对于左侧来说是个突出的高地，反之则说明该点处于较低的地形位置。遍历z=f(x,y)所有的点以及相应的4领域点，并对所有的正的Dt-4t求和，最后加上实体地面即可求出上实体的表面积。

计算实体的体积时，只需将实体

对应的z=f(x,y)所有点的灰度值减去分割面z=α的数值，累积求和，便可以计算出实体

的体积。为了进一步加快计算速度，采用下式计算物理意义上的体表比这个量和紧密度意义类似，但减少了两个幂运算，

$c_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{card}\left\{\mathrm{Surface}\left(A_i^{\mathrm{\&alpha;}}\right)\right\}}{\mathrm{card}\left\{A_i^{\mathrm{\&alpha;}}\right\}}---\left(28\right)$

$c_A^{\mathrm{\&alpha;}}=\frac{1}{n_A^{\mathrm{\&alpha;}}}\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{c}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(29\right)$

其中，

表示单个实体

的精密度，surface()代表实体表面所有的点，card{}表示数量，α表示水平切割面的高度，表示上实体的数量，

表示整副图像的平均精密度。

平均高度的提取：

由于实体不存在中空点，计算平均高度时，不必统计所有的点，只需统计

表面的点就可以得到平均高度。即将z=f(x,y)的灰度数值减去切割平面z=α，累积求和再除以底面积，

$h_A^{\mathrm{\&alpha;}}=\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{h}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(30\right)$

$h_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{sum}\left\{\mathrm{Cover}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}{\mathrm{card}\left\{\mathrm{Base}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}---\left(31\right)$

${\mathrm{\&lambda;}}_i=\frac{\mathrm{card}\left\{\mathrm{Base}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}{\mathrm{card}\left\{\mathrm{Base}\right\{A^{\mathrm{\&alpha;}}\left\}\right\}}---\left(32\right)$

其中，sum{}表示求和，Cover{}表示实体的突出面，Base{}表示实体的底平面，为比例因子λ_i，其数值通过下面式子计算出来，这样做的目的是的作用是去除掉切割过程中形成的畸点对整体表面积的影响。这里的畸点是指

可能为一个或者几个单点的实体。

分别对一幅图的灰度和色调进行统计地形特征纹理描述可以得到2×6×256=3072个纹理指，对每条纹理曲线分别提取均值，方差，偏斜度和翘度来进行简化，简化后只得到48个纹理指标。此外，没必要对所有的灰度等级进行分割，同时，由于已知的颜色模型限定了红色分量的阈值145，最极端的情况灰度至少也会超过145×0.2989≈43，其中0.2989是RGB转化灰度的比例因子，据此，在43-255灰度上进行15个灰度等级分割，即α取值分别为[45、60、75、90、105、120、135、150、165、180、195、210、225、240、255]，α在色调图0°-60°上进行15个色调等级分割，即α取值分别为[4、8、12、16、20、24、28、32、36、40、44、48、52、56、60],简化计算过程，实现对火焰候选区域纹理的提取。

第三，基于运动区域的多目标跟踪

多目标跟踪的数据结构：定义了一个动态三维矩阵用来存放多个目标的信息,矩阵的大小为M*N*H，M为62前4个代表运动目标矩阵区域的坐标，后57个代表目标的特征，H取10，代表可以对历史10帧的数据进行保存,动态三维矩阵包含了目标的位置和特征，具体见附图7，M方向用来区分不同的特征，N方向区分不同的目标，H方向区分不同的帧。为了方便表述，把具有相同H方向的坐标的点的集合定义为层，每层有M*N个数值，M方向定义行，N方向定义为列；由于不同的场景，运动目标的数量不同，所以此三维矩阵根据运动目标的数量动态地确定N的数值，即N的数值与场景中的运动目标数量一致。

多目标跟踪的基本原则，采用目标外边缘的矩形框进行匹配，不涉及目标的特征，可参考附图8。

多目标跟踪的实现：对于数据流流动，采用先进先出的列队思想。例如，当前帧的目标数据要存入动态三维矩阵中，需要将当前动态三维矩阵的第10层数据踢掉，第9层的存入第10层，第8层存入第9层，依次类推，第一层存入第2层，当前帧的数据存入第一层，在移动过程中，第一层的存放坐标区不进行任何移动。相邻两帧区域变化定义图像的出现、消失、合并，分解四种行为，本文不考虑分解。根据动态三维矩阵第一层的坐标，可以恢复出一幅独立图P1，当前图像也可以形成一幅独立图P2，认为这两幅独立图是相邻两帧图像，进行多目标的跟踪。将这两幅独立图进行融合形成一幅新的图，新图继续独立化形成P4，通过P4可以形成带有坐标的新动态三维矩阵，新的动态三维矩阵只有坐标，没有特征数值。根据新动态三维矩阵的坐标，依次和P1,P2进行匹配，得到匹配的目标数量k1和k2，匹配的同时，将k2个目标进行融合得到融合矩阵P4，对k2进行判断，如果k2>0,则寻找P4中非0元素的横纵坐标的最大最小值，通过最大最小值形成的矩形更新P3的坐标，可以直接显示在当然帧的图像上，实现对当前图像的标记，根据k2的值以及特征的属性进行合并，k2个小目标的特征值采用求平均的方法，接着对k1进行判断，如果k1大于0，根据k1以及特征的属性，再继续合并。如果k2为0,判断k1是否大于0，如果大于0，说明这个目标是当前消失目标。将其对应的特征转移到新动态三维矩阵的对应列，转移的方法是旧的动态三维矩阵中的第一层到第9层的特征转移到新动态三维矩阵的第二层到第10层。直到新动态三维矩阵的每个坐标进行了匹配，这样就实现了多目标的跟踪技术。附图9是多目标跟踪算法一个例子，其中P5是对当前帧的矩形区域标记。

第四，火焰的识别

采用技术内容中设计好的BP神经网络作为火焰识别的分类器，把动态三维矩阵中的特征值，输入到BP神经网络分类器中，经过分类器的计算，便可以判断火焰的有无。

由于动态三维矩阵储存数据采用先进先出的思想，所以判断其第10层的数据是否存在特征值，即判断动态三维矩阵的第10层是否全部为0，如果全部为0，代表三维矩阵没有储存到10帧数据，则不进行火焰的识别，如果存在非0元素，则进行火焰识别。具体识别方法如下，假设动态三维矩阵当前为62*3*10，即这个三维矩阵中储存了10帧内出现的3个候选区域的57（64-4=57，其中4为目标坐标）个特征值，对候选区域逐个进行判断，例如，对候选区域1号进行判断，将其每帧的57个特征值输入到训练好的BP神经网络，存在火焰标记为1，不存在火焰标记为0，存放在一个1×10的矩阵中，最后对这个1×10的矩阵求和，如果大于5，则认为候选区域1号是火焰，启动报警装置，并继续读入下帧，进行判断；如果小于5，则认为候选区域1号不是火焰，接着对候选区域2号进行决策，依次类推，只有有一个候选区域被认为是火焰，就启动报警装置来提醒人们，完成火灾报警后返回读取新一帧图像，重新循环。附图10为对旁晚体育场场景的火焰探测图。

Claims (12)

1.一种基于多特征融合技术的视频火焰探测方法，其特征是：该方法包括如下步骤：

步骤（1）、首先采用累积快速几何独立分量分析算法C-GICA（Cumulative GeometricalIndependent Component Analysis,C-GICA）结合火焰的颜色决策模型对运动目标实现捕获；

步骤（2）、同时结合基于运动目标区域的多目标跟踪技术实现对当前和历史帧内的目标跟踪，提取目标的颜色特征、边缘特征、圆形度以及纹理特征；

步骤（3）、将这些特征输入到训练好的BP神经网络，经过BP神经网络决策，进而实现火焰的探测。

2.根据权利要求1所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：该方法包括如下步骤：其中，结合C-GICA与颜色决策获取火焰候选区域具体为：

累积快速几何独立分量分析算法C-GICA的基本原理主要是将观察信号组成散布图，并对散布图进行一系列的几何变换，变换的结果是将独立的源信号进行分离，针对火焰的脉动特性，通过累积的方法，并设置阈值实现动态火焰的准确获取；累积快速几何独立分量分析算法C-GICA运动目标获取：认为每一帧是由背景和运动目标融合而成的图像，背景和运动目标是两类相互独立的分量，利用简化的累积几何独立分量分析算法实现对运动目标和背景的分离，将每次采用快速几何独立分量分析算法获取的运动目标图像的灰度值进行累积求和，选取连续11帧，即累积10帧监测场景的图像，累积矩阵的累积帧达到10帧时，采用固定阈值进行判定，阈值取500，超过阈值的像素认为是疑似火焰点，低于阈值的认为是静态目标；在文中，简化的GICA算法也称为快速GICA算法；

快速几何独立分量分析算法的简化形式表达如下，

$G_t(x,y)=\left\{\begin{array}{cc}0& -T_0<\mathrm{GICA}(f_t(x,y),f_{t+1}(x,y))<T_0\\ {\mathrm{GICA}}^{\&prime;}(f_t(x,y),f_{t+1}(x,y))& \mathrm{other}\end{array}\right.---\left(1\right)$

其中，GICA(f_t(x,y),f_t+1(x,y))表示GICA变换的过渡矩阵，GICA'(f_t(x,y),f_t+1(x,y))表示运动目标的C-GICA变换结果，G_t(x,y)表示经过阈值选取连续两帧的GICA变换结果，运动目标变换后的数值为灰度值，背景变换后的数值为0；T₀表示变化过程中的阈值，取10，即认为在简化GICA方法的散布图中，超过[-10,10]范围的数据，认为是动态目标点，在[-10,10]范围内的点属于背景像素点；

火焰颜色决策模型C_m采用以下三个不等式：

$C_m=\left\{\begin{array}{c}R(x,y,t)\&GreaterEqual;R_T\\ R(x,y,t)\&GreaterEqual;G(x,y,t)\&GreaterEqual;B(x,y,t)\\ S(x,y,t)\&le;a*R(x,y,t)+b\end{array}\right.---\left(2\right)$

其中，R(x,y,t),G(x,y,t),B(x,y,t),S(x,y,t)分别在表示时刻t彩色图像的红色分量，绿色分量，蓝色分量以及饱和度；表示R_T红色分量阈值，取145，a,b为系数，分别取-0.0023，0.88；颜色决策过程如下：

$C_t(x,y)=\left\{\begin{array}{cc}1& f_t(x,y)\&Element;C_m\\ 0& f_t(x,y)\&NotElement;C_m\end{array}\right.---\left(3\right)$

C_t(x,y)表示时刻t的彩色图像经过颜色决策生成的二值化矩阵，1表示火焰的像素，0表示非火焰像素；

累积矩阵的计算如下：

$G_{\mathrm{at}}(x,y)=\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}\{G_t(x,y)\&CenterDot;C_t(x,y)\}---\left(4\right)$

其中，N=10；·表示矩阵相同位置的元素进行乘法运算；如果一个像素它既属于运动像素，又属于火焰的颜色，则被计入累积矩阵G_at(x,y)中，在计算机进行处理时，累积矩阵最多累积10帧，超过10帧，采用先进先出的列队思想，进行运算；

通过累积矩阵，可以得到匹配矩阵M_t(x,y)，其计算采用如下表达式：

$M_t(x,y)=\left\{\begin{array}{cc}1& \mathrm{Ga}(x,y)\&GreaterEqual;T_1\\ 0& \mathrm{Ga}(x,y)<T_1\end{array}\right.---\left(5\right)$

其中，T₁为阈值，取500，经过阈值对累积矩阵进行处理后，生成二值化的匹配矩阵M_t(x,y)，其数值为1代表该像素在时间序列上满足火焰脉动特征，在颜色空间上满足颜色特征。

3.根据权利要求2所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：其中，M_t(x,y)数值为1的像素点在当前帧的图像中，其像素不一定在火焰的区域，它只是代表一个时间上的统计量，表明这里存在火焰的概率比较大；为了获得当前图像中的候选火焰区域，首先要对M_t(x,y)进行中值滤波，滤波器采用2×2方形滤波器和8领域数学形态学腐蚀和膨胀；接着采用连通区域标记法，对M_t(x,y)进标记，标记后的区域用“矩形区域”再标记，在矩形区域中，寻找当前帧内符合火焰颜色决策C_m的种子点，然后在灰度图上进行8领域多种子区域生长，生长的阈值采用10，进而获得完整的候选火焰区域，获取火焰候选区域的时候，为了排除某种特定的干扰，接着对当前帧内的候选区域进行像素数量判断，阈值为20，如果候选区域的非0点的像素数量小于20，则该候选区域被剔除掉，不认为是火焰，否则，对其进行保留，进行特征值提取。

4.根据权利要求2所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述的超过10帧，采用先进先出的列队思想，进行运算，具体为：连续两帧进行C-GICA处理，第1帧和第2帧进行，第2帧和第3帧进行快速GICA处理，依次类推，达到处理了11帧，即累积10帧时，累积矩阵剔除掉第1帧和2帧通过快速GICA的计算结果，并加入第11帧和第12帧的快速GICA计算结果。

5.根据权利要求1所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：候选区域的特征选取具体为：

亮度和红色分量的统计特征提取：由于火焰通常表现为亮而且发红，亮度和红色分量在火焰颜色空间占有主要的作用，因而亮度和红色分量特征可以提取作为火焰识别的一个判据；采用均值，方差，偏斜度和翘度的统计参量对亮度和红色分量进行计算，这些参量在一定程度上反映了火焰面的粗糙度特征；由于火焰的亮度会随着背景光照强度的变化而变化，因而对亮度的均值不做统计分析，只统计其二阶矩、三阶矩和四阶矩；

边界粗糙度B_R：采用候选区域的凸包（Convex Hull）周长与火焰周长的比值来描述边界粗糙度：

B_R＝P_C/P                             （6）

其中，P_C是候选区域凸包的周长，P是候选区域的周长；凸包周长计算采用凸包快速求解算法以得到凸包的边界坐标，周长采用对相邻边界像素进行欧氏距离计算；

圆形度：圆形度C表征物体形状的复杂程度，圆形度采用边界周长的平方与面积的比值来表示，对圆形物体取最小值4π，物体形状越复杂其值越大；采用C的倒数，并除以4π来表征圆形度，将其归一化为0到1之间的数，以方便目标识别算法计算，即：

其中P为边界周长，A为面积；

改进的统计地形特征纹理：

计算实体表面积时，只需在灰度图上判断当前点与4领域的每个点的大小关系即可实现对表面积计算；计算当前点的灰度值与左侧点的灰度差值D_l-4t，若D_l-4t大于0说明当前点对于左侧来说是个突出的高地，反之则说明该点处于较低的地形位置；遍历z=f(x，y)所有的点以及相应的4领域点，并对所有的正的D_l-4t求和，最后加上实体地面即可求出上实体的表面积；

计算实体的体积时，只需将实体

对应的z＝f(x，y)所有点的灰度值减去分割面z=α的数值，累积求和，便可以计算出实体

的体积；为了进一步加快计算速度，采用下式计算物理意义上的体表比这个量和紧密度意义类似，但减少了两个幂运算，

$c_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{card}\left\{\mathrm{Surface}\left(A_i^{\mathrm{\&alpha;}}\right)\right\}}{\mathrm{card}\left\{A_i^{\mathrm{\&alpha;}}\right\}}---\left(8\right)$

$c_A^{\mathrm{\&alpha;}}=\frac{1}{n_A^{\mathrm{\&alpha;}}}\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{c}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(9\right)$

其中，表示单个实体

的精密度，surface()代表实体表面所有的点，card{}表示数量，α表示水平切割面的高度，

表示上实体的数量，

表示整副图像的平均精密度；

平均高度的改进：

由于实体不存在中空点，计算平均高度时，不必统计所有的点，只需统计

表面的点就可以得到平均高度；即将z＝f(x,y)的灰度数值减去切割平面z＝α，累积求和再除以底面积，

$h_A^{\mathrm{\&alpha;}}=\underset{i=1}{\overset{n_A^{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{h}_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}---\left(10\right)$

$h_{A_i^{\mathrm{\&alpha;}}}^{\mathrm{\&alpha;}}=\frac{\mathrm{sum}\left\{\mathrm{Cover}\right\{A_i^{\mathrm{\&alpha;}}\left\}\right\}}{\mathrm{card}\left\{\mathrm{Base}\right\{A_i^{\mathrm{\&alpha;}}\}\}}---\left(11\right)$

${\mathrm{\&lambda;}}_i=\frac{\mathrm{card}\left\{\mathrm{Base}\right(A_i^{\mathrm{\&alpha;}}\left)\right\}}{\mathrm{card}\left\{\mathrm{Base}\right(A^{\mathrm{\&alpha;}})\}}---\left(12\right)$

其中，sum{}表示求和，Cover{}表示实体的突出面，Base{}表示实体的底平面，为比例因子λ_i，其数值通过下面式子计算出来，这样做的目的是的作用是去除掉切割过程中形成的畸点对整体表面积的影响；这里的畸点是指

可能为一个或者几个单点的实体；

分别对一幅图的灰度和色调进行统计地形特征纹理描述能够得到2×6×256=3072个纹理指，对每条纹理曲线分别提取均值，方差，偏斜度和翘度来进行简化，简化后只得到48个纹理指标；此外，没必要对灰度和色调所有等级进行分割，同时，由于已知的颜色模型限定了红色分量的阈值145，最极端的情况灰度至少也会超过150×0.2989≈43，其中0.2989是RGB转化灰度的比例因子，据此，在43-255灰度上进行15个灰度等级分割，即α取值分别为[45、60、75、90、105、120、135、150、165、180、195、210、225、240、255]，α在色调图0°-60°上进行15个色调等级分割，即α取值分别为[4、8、12、16、20、24、28、32、36、40、44、48、52、56、60],简化计算过程，实现对火焰候选区域纹理的提取。

6.根据权利要求1所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：其中，基于运动区域的多目标跟踪具体为：

多目标跟踪的数据结构：定义了一个动态三维矩阵用来存放多个目标的信息，矩阵的大小为M*N*H，M为62前4个代表运动目标矩阵区域的坐标，后57个代表目标的特征，H取10，代表可以对历史10帧的数据进行保存,动态三维矩阵包含了目标的位置和特征，具体见附图7，M方向用来区分不同的特征，N方向区分不同的目标，H方向区分不同的帧,由于不同的场景的运动目标的数量不同，所以此三维矩阵根据运动目标的数量动态地确定N的数值，即N的数值与场景中的运动目标数量一致；为了方便表述，把具有相同H方向的坐标的点的集合定义为层，每层有M*N个数值，M方向定义行，N方向定义为列；

多目标跟踪的基本原则，采用目标外边缘的矩形框进行匹配，不涉及目标的特征；

多目标跟踪的实现：对于数据流流动，采用先进先出的列队思想。

7.根据权利要求6所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述的把具有相同H方向的坐标的点的集合定义为层，每层有M*N个数值，M方向定义行，N方向定义为列，具体如：点其坐标为（4,5,9），即这个点表示第9层第5个目标的第3（7-4）个特征；第一层前4行记录目标的坐标，即矩形区域的左上和右下顶点，第二层到第H层的前4行不存放任何有实际意义的数值，其都数值为0。

8.根据权利要求6所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述的多目标跟踪的实现：对于数据流流动，采用先进先出的列队思想，具体如，当前帧的目标数据要存入动态三维矩阵中，需要将当前动态三维矩阵的第10层数据踢掉，第9层的存入第10层，第8层存入第9层，依次类推，第一层存入第2层，当前帧的数据存入第一层，在移动过程中，第一层的存放坐标区不进行任何移动；相邻两帧区域变化定义图像的出现、消失、合并，分解四种行为，不考虑分解；根据动态三维矩阵第一层的坐标，能够恢复出一幅独立图P1，当前图像也可以形成另一幅独立图P2，认为这两幅独立图是相邻两帧图像，进行多目标的跟踪；将这两幅独立图进行融合形成一幅新的图，新图继续独立化形成第三幅图P4，通过第三幅图P4能够形成带有坐标的新动态三维矩阵，新的动态三维矩阵只有坐标，没有特征数值；根据新动态三维矩阵的坐标，依次和P1，P2进行匹配，得到匹配的目标数量k1和k2，匹配的同时，将k2个目标进行融合得到融合矩阵P4，对k2进行判断，如果k2>0，则寻找P4中非0元素的横纵坐标的最大最小值，通过最大最小值形成的矩形更新P3的坐标，能够直接显示在当然帧的图像上，实现对当前图像的标记，根据k2的值以及特征的属性进行合并，k2个小目标的特征值采用求平均的方法，接着对k1进行判断，如果k1大于0，根据k1以及特征的属性，再继续合并；如果k2为0，判断k1是否大于0，如果大于0，说明这个目标是当前消失目标；将其对应的特征转移到新动态三维矩阵的对应列，转移的方法是旧的动态三维矩阵中的第一层到第9层的特征转移到新动态三维矩阵的第二层到第10层；直到新动态三维矩阵的每个坐标进行了匹配，这样就实现了多目标的跟踪技术。

9.根据权利要求1所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：其中，火焰的识别具体为：

采用BP神经网络做火焰识别的分类器，隐含层节点数为18，隐含层神经元采用Matlab神经网络工具箱中的tansig函数，输出层采用2个Matlab神经网络工具箱中的logsig函数，选取了50个不同燃料，不同环境下的燃烧火焰作为正面训练信号，40个具有类似火焰的纹理的物体作为负面训练信号，得到了火焰识别的分类器；把动态三维矩阵中的特征值，输入到BP神经网络分类器中，经过分类器的计算，便可以判断火焰的有无。

10.根据权利要求9所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述燃料包括酒精，汽油或正庚烷液体燃燃料，所述燃料包括布料，木材或高分子塑料固体燃料。

11.根据权利要求9所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述不同环境为无风，微风，大风，白天，夜晚，阴天环境。

12.根据权利要求9所述的一种基于多特征融合技术的视频火焰探测方法，其特征是：所述具有类似火焰的纹理的物体为衣服、苹果、地板、树枝、烟花或灯。

Images