CN110135347A - 一种基于视频图像的火焰识别方法 - Google Patents
一种基于视频图像的火焰识别方法 Download PDFInfo
- Publication number
- CN110135347A CN110135347A CN201910407827.7A CN201910407827A CN110135347A CN 110135347 A CN110135347 A CN 110135347A CN 201910407827 A CN201910407827 A CN 201910407827A CN 110135347 A CN110135347 A CN 110135347A
- Authority
- CN
- China
- Prior art keywords
- flame
- image
- region
- follows
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 238000012706 support-vector machine Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000004615 ingredient Substances 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 15
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 239000001294 propane Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000002485 combustion reaction Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 240000001439 Opuntia Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
一种基于视频图像的火焰识别方法，属于消防火灾监控领域，具体涉及一种火焰识别方法。为了解决目前的火焰识别方法的准确度较低的问题。本发明采集视频图像，通过差分法确定火焰是否发生，并对火焰疑似图像预处理；然后针对疑似区域进行特征提取，特征包括：几何特征、颜色特征及火焰动态特征；其中，几何特征包括火焰圆形度、边界粗糙度和尖角个数；火焰动态特征包括火焰面积变化率、火焰质心位移和火焰尖角个数变化的剧烈程度；通过支持向量机SVM进行训练，得到训练好的火焰识别分类器；利用训练好的火焰识别分类器进行火焰识别。本发明适用于视频图像的火焰识别。
Description
技术领域
本发明属于消防火灾监控领域，具体涉及一种火焰识别方法。
背景技术
火灾不仅仅会给普通人群的生活和工作带来巨大威胁，甚至也会威胁到国防或军队建设，例如：航母内部结构比其他水面舰船等更加复杂，拥有的设备和舰员也较多，因此自身的安全管理难度系数大。而且甲板上存放的燃油和武器弹药等可燃物，检修或者作业时明火过多、舰载机起降作业的难度大等都有可能引起火灾甚至***。舰载机火灾是目前航母中较为常见的火灾。
火灾的及时识别和扑救是扑灭火灾的关键，一般情况下发生火灾的初期15分钟之内是灭火的最好时机。所以能够及时、准确的识别火灾是目前急需面对的问题。但是目前的火焰识别方法的准确度和准确率较低，经常会出现误报或者漏报的情况，在火灾检测的应用条件下不能有效的得到应用。
不仅如此，针对平时的消防实战演练，也是需要进行点火和灭火操作的，目前的训练都是直接进行主观评定，并没有一种客观的评价标准或者自动进行评价的***，其中一个最主要的因素是没有办法及时准确的获取火焰信息，所以就没有办法有效判断火焰是蔓延状态还是缩小状态，以及程度如何。
以上的问题的关键核心是火焰的识别准确度，但是目前基于图像的火焰识别方法对火焰的识别率和识别准确度并不高，现有的火焰识别方法并不能将火焰范围完整的识别出来，也反映了目前基于图像的火焰识别方法的准确度不高，所以现有的火焰识别方法的应用条件有限，尤其是不能应用于对火焰状态有识别需求的领域，例如消防实战演练的自动进行评价***等。
发明内容
本发明为了解决目前的火焰识别方法的准确度较低的问题。进而提出一种基于视频图像的火焰识别方法。
一种基于视频图像的火焰识别方法，包括以下步骤：
步骤1、采集的视频图像，通过差分法，让采集到的当前视频图像与前一张图像进行差分操作，对是否有火焰的发生做出判别；如果有火焰发生，执行步骤2对该区域做出判断；否则，继续等待获取下一张图像；
步骤2、火焰疑似图像预处理；
步骤3、火焰疑似区域的提取：根据图像分割算法，分割出疑似区域；
步骤4、火焰疑似区域特征提取：针对疑似区域进行特征提取，特征包括：几何特征、颜色特征及火焰动态特征；其中，几何特征包括火焰圆形度、边界粗糙度和尖角个数；火焰动态特征包括火焰面积变化率、火焰质心位移和火焰尖角个数变化的剧烈程度；
步骤5、根据实验环节采集的图像样本及特征，通过支持向量机SVM进行训练，得到训练好的火焰识别分类器；
步骤6、针对待识别视频图像提取火焰疑似区域的特征，利用训练好的火焰识别分类器进行火焰识别。
进一步地，所述进行特征提取中颜色特征提取的过程如下：
采用的颜色模型为YCbCr彩色模型；在YCbCr中，Y代表亮度成分，Cb代表蓝色色度成分，Cr代表红色色度成分；
将图像的RBG彩色模型转换为YCbCr彩色模型；
对于一张给定的图像，利用YCbCr颜色模型来表示，那么三分量的平均值如下：
其中，(xi,yi)表示像素点的坐标值，K表示整张图片的像素点总数；
转化到YCbCr颜色空间模型后，有如下形式：
Y(xi,yi)＞Cb(xi,yi) (3)
Cr(xi,yi)＞Cb(xi,yi) (4)
其中，Y(xi,yi)，Cb(xi,yi)，Cr(xi,yi)分别表示在坐标值为(xi,yi)处亮度分量、蓝色色度分量、红色色度分量；
一张图像中的火焰区域通过如下定义：
为了记载方便，(x,y)也用来表示像素点的坐标值，等同于(xi,yi)；F(x,y)表示符合公式(5)的被标记的火焰像素；
针对经过(5)处理后的图像，继续进行如下处理：
通道细节定义如下：
τ是一个常数；
分析图像集里图片的火焰像素部分色度统计信息，
含有火焰区域的像素区域在Cb-Cr平面中通过多项式fu(Cr)、fl(Cr)、fd(Cr)表示，
fu(Cr)＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16×10-2Cr4-9.10×Cr3
+9.6×102Cr2-5.6×104+1.40×106
fl(Cr)＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2-2.15×102Cr3
+6.62×103
fd(Cr)＝1.81×10-4Cr4-1.02×10-1Cr3+2.17×10Cr2+2.78Cr2-2.05×103Cr
+7.29×104 (7)
然后定义一个火焰区域的识别准则：
FCbCr(x,y)表示对应坐标值为(x,y)的像素点是否落在公式(7)所限定的区域内；1表示落在限定区域中，0表示在区域之外。
进一步地，所述将图像的RBG彩色模型转换为YCbCr彩色模型的过程如下：
RGB颜色空间到YCbCr颜色空间的转化，转化公式如下：
进一步地，所述τ的由ROC曲线分析确定。
进一步地，所述几何特征提取中火焰圆形度的提取过程如下：
火焰圆形度如下：
式中，ρ代表火焰的圆形度，L代表边界的周长，Ss代表图形的面积。
进一步地，所述几何特征提取中火焰粗糙度的提取过程如下：
火焰粗糙度BR如下：
式中L代表火焰疑似区域的周长，LCH代表火焰区域的凸包的周长，凸包是代表可以包罗火焰区域并且面积最小的多变形。
进一步地，所述几何特征提取中火焰的尖角个数的提取过程如下：
把获取到火焰图像经边缘增强，随后边缘处理，接下来沿着提取的边界挨点扫描；第一步通过局部极大值来判定尖角顶点是否存在；紧接着，再根据Pos判定尖角是否存在；经处理二值图中尖角区域呈现为三角形形态，尖角须符合特定的条件，若尖角的第r1和r2行的宽分别为d(row1)和d(row1)，则体态比Pos为
进一步地，所述火焰动态特征提取中火焰面积变化率提取的过程如下：
对于连续的两张拥有火焰疑似区域的火焰图像I1(x,y)和I2(x,y)，火焰面积变化率Varea为：
其中，AI1和AI2分别为火焰图像I1(x,y)和I2(x,y)的面积。
进一步地，所述火焰动态特征提取中火焰质心位移提取的过程如下：
针对火焰灰度图，火焰区域中心位置的亮度较高，越靠外亮度越低；根据公式(13)求出质心位置，若火焰图像为I(x,y)，那么火焰疑似区域的中心X,Y为：
若获取的连续两张的火焰图片分别为I1(x,y)、I2(x,y)，火焰中心分别为(X1,Y1)(X2,Y2)，大小均为M×N，则连续两张火焰图片的火焰疑似区域的质心位移为：
进一步地，所述火焰动态特征提取中火焰尖角个数变化的剧烈程度提取的过程如下：
尖角变化数Pcorner和尖角平均变化数分别由下边两公式表示
Pcorner＝|C2-C1| (15)
其中，C1-Cn表示尖角数目；尖角平均变化数为
本发明具有以下有益效果：
本发明对火焰的识别准确度高达93％以上。图11(a)至(c)为本方法对火焰燃烧区域的处理效果，从3组图片的比较可以看出，该算法不但能够准确地检测出火焰区域，而且在第二组图像中还消除了左上角背景比较明亮区块的影响。试验证明本发明具有明显优势，而且本发明基于饱和度的规则和颜色模型能够更准确体现火焰行为，在不利的照明背景条件下其鲁棒性更强。
附图说明
图1为图像采集***示意图；
图2为一种基于视频图像的火焰识别方法的流程图；
图3为火焰疑似区域特征提取示意图；
图4(a)为原图，图4(b)为R通道，图4(c)为G通道，图4(d)为B通道；
图5(a)为原图，图5(b)为Y通道，图5(c)为Cb通道，图5(d)为Cr通道；
图6为ROC随τ变化图；
图7为Cb-Cr平面限定的火焰区域图；
图8(a)为火焰的原图，图8(b)为经过公式(3)处理过得到的效果图，图8(c) 为经过公式(4)处理过得到的效果图，图8(d)为经过公式(5)处理过得到的效果图，图8(e)为经过公式(6)处理过得到的效果图，图8(f)为经过公式(8)处理过得到的效果图，图8(g)为经过公式(3)-(6)和公式(8)处理过得到的效果图；
图9(a)为火焰的原图，图9(b)为图9(a)二值化图像；
图10为SVM流程图；
图11(a)为火焰检测效果图，图11(b)为火焰检测效果图，图11(c)为火焰检测效果图。
具体实施方式
具体实施方式一：
本实施方式为一种基于视频图像的火焰识别方法，为了说明本实施方式的过程和效果，本实施方式以舰载机的起火时的火焰进行识别的具体说明。
当前的基于视频、视频图像的火灾检测技术其难点和关键点是如何准确的从事故图像中分割出火焰区域。火灾图像的分割是火焰特征提取的基础，对于火灾事故图像视频检测***的精度和准确度有着非常重要的贡献。只有准确的进行火灾图像的分割，才能尽可能的排除干扰，准确的进行特征提取，从而提高火焰识别判断的准确性。
对于火焰图像识别***来说，火焰识别算法是该***的基础。只有准确识别到火焰，才能为最终的灭火评估提供依据。
如图1所示，图像采集***包括无线网络摄像头1、交换机2(电源规格9V，0.6A)、磁盘录像机4(电源规格12V，1.5A)、显示器7、中继器、无线路由器3、终端计算机5等。由无线网络摄像头负责点火和灭火整个过程中火焰视频图像的采集；交换机是连接无线网络摄像头、磁盘录像机、中继器的中间环节，它的作用是将三种设备联系起来，实现数据的传输；磁盘录像机内部的硬盘可以将整个起火、灭火过程中视频保存备份，如果后续需要对之前的数据查看，可进行调用，并在显示器显示。无线路由器主要是负责将从前端传输过来的视频信号传输到计算机上，进而达到后续数据处理的作用。考虑到实验场地相对来说很混乱，场面情况很复杂，为了减少布线麻烦，从路由器到终端计算机这个环节，采用无线传输技术来实现信息数据的传递，但由于受到传输距离的影响部分数据可能丢失或者出现卡顿现象，为保证数据无损的传输，加入中继器，原因在于它具有增强信号的作用；同时它还可用来扩大局域网范围，实现长距离通讯。
通过图像采集***获取实际训练中的视频，以无线传输的方式传送给操控平台中心，然后进行基于视频图像的火焰识别方法。如图2所示，一种基于视频图像的火焰识别方法包括以下步骤：
步骤1、采集的视频图像，通过差分法，让采集到的当前视频图像与前一张图像进行差分操作，对实验场地是否有火焰的发生做出判别；如果有火焰发生，执行步骤2对该区域做出判断；否则，继续等待获取下一张图像；
步骤2、火焰疑似图像预处理：由于实验场地环境复杂，采集的视频图像含有大量的噪点，所以首先需要对图像进行降噪处理，以便后续对火焰区域的提取；
步骤3、火焰疑似区域的提取：根据图像分割算法，分割出疑似区域，并将处理后的图像为下一步的火焰特征提取做准备；
步骤4、火焰疑似区域特征提取：如图3所示，该环节是为了提取疑似区域的特征，针对疑似区域进行特征提取，特征主要包含3大类：几何特征、颜色特征及火焰动态特征；其中，几何特征包括火焰圆形度、边界粗糙度和尖角个数；火焰动态特征通过采集到的灭火视频，根据帧间变化特性得到，主要包括火焰面积变化率、火焰质心位移和火焰尖角个数变化的剧烈程度；
步骤5、根据实验环节采集的图像样本及特征，通过支持向量机SVM(SupportVector Machine)进行训练，根据训练效果得到优秀的火焰识别算法，得到训练好的火焰识别分类器；
步骤6、针对待识别视频图像提取火焰疑似区域的特征，利用训练好的火焰识别分类器进行火焰识别。
具体实施方式二：
本实施方式所述进行特征提取中颜色特征提取的过程如下：
火焰最显著的静态特质是其颜色，因此火焰识别算法中主要是利用视频图像中颜色与亮度的相关信息。所以对火焰颜色的特征提取是火焰识别过程的一个关键步骤。
本发明采用的颜色模型为YCbCr彩色模型；相比于RGB颜色模型，YCbCr彩色模型更符合人类视觉感官。在YCbCr中，Y代表亮度成分，Cb代表蓝色色度成分，Cr代表红色色度成分；它同RGB模型的显著区别在于，自身有一个表示颜色亮度和两个表示颜色色差的成分，而RGB并非如此，单单代表红、绿、蓝三色，但二者之间属于线性变化关系。对于人类的视觉***，比起颜色的浓淡程度，对亮度信息更加敏感，这也该颜色模型优于 RGB之处。
尽管RGB颜色空间模型可以被用来对像素点进行分类，但是它拥有对照明度依赖的缺点，即如果一副图像的照明度发生改变，RGB颜色模型识别效果将会变差，火焰像素的分类准则将不能很好被运用。此外，RGB颜色模型不能把一个点像素值分解为强度和色度，即使其能够通过色度可用来模拟火焰的颜色，但是不能模拟火焰的强度，因此，需要将RGB颜色模型转变为一种能够将亮度和色度区分开来的颜色空间模型。本发明提出YCbCr很好的符合需求，YCbCr颜色空间构建通用的亮度模型来区分火焰像素点。除了将RGB颜色模型的准则移植过来外，还实现RGB颜色空间到YCbCr颜色空间的转化，YCbCr颜色空间模型拥有自己独特的优点，它可以减轻改变照明度造成的负面影响并且提高火焰检测的准确率。二者之间的转化公式如下：
对于一张给定的图像，利用YCbCr颜色模型来表示，那么三分量的平均值如下：
其中，(xi,yi)表示像素点的坐标值，K表示整张图片的像素点总数；
在RGB颜色模型对火焰定义需要满足R≥G≥B，并且满足R≥Rmean，将此转化到YCbCr颜色空间模型后，有如下形式：
Y(xi,yi)＞Cb(xi,yi) (3)
Cr(xi,yi)＞Cb(xi,yi) (4)
其中，Y(xi,yi)，Cb(xi,yi)，Cr(xi,yi)分别表示在坐标值为(xi,yi)处亮度分量，蓝色色度分量，红色色度分量。
针对图4(a)至图4(d)和图5(a)至图5(d)，本发明可以看出RGB彩图以及R， G，B和Y，Cb，Cr三通道处理后图像，看出了公式(3)、(4)对应的火焰区域很容易被观察出来，验证了方程的有效性。
图4(a)为原图，图4(b)为R通道，图4(c)为G通道，图4(d)为B通道。图5(a)为原图，图5(b)为Y通道，图5(c)为Cb通道，图5(d)为Cr通道。
除了公式(3)、(4)二个准则外，因为火焰区域一般是所在观察区域中最亮的部分，YCbCr颜色空间中三通道所对应的都是亮度，而火焰区域也是在亮度通道提取的，所以说三个亮度通道Y、Cb、Cr包含了关键信息。对整张图像中在火焰区域，Y值一般大于Ymean， Cb的值一般小于Cbmean，而Cr的值一般大于Crmean。这个规则通过很多次实验被验证，因此一张图像中的火焰区域通过如下定义：
为了记载方便，(x,y)也用来表示像素点的坐标值，等同于(xi,yi)；F(x,y)表示符合公式(5)的被标记的火焰像素；
图5显示了Y，Cb，Cr三通道，从中可以看出包含了许多细节，由Cb通道和Cr通道在火焰像素点区域有巨大的差别，Cb部分明显地发“黑”，而Cr部分显著性的发“白”，根据这个事实，这个事实可以表示为通道细节，定义如下：
τ是一个常数。
τ的大小由ROC曲线分析决定。通过1000多张图像组成的图像集，关于这个图像集的，根据图像阈值分割，公式(2)-(6)均被用于ROC曲线创建。τ从1到100之间变化，对应的每个τ计算这个数据集训练结果对应的火焰的准确率和误判率。正样本定义为一副图像中包含火焰，而负样本定义为一副图像不含火焰但是却检测含有火焰，ROC曲线容纳100个数据点及对应不同的τ，这些点被用折线标记。对应于ROC曲线中每个点都包含三个值，即正确率，错误率和τ值，如图6所示。例如，对应于B点，对应的τ为90，正确率为70％，错误率为10％。为了确保火焰面积识别准确率，应该选择一个合适的τ值。从图中可以观察发现，高的准确率也对应高的错误率，为此权衡之下，使火焰识别准确率在90％以上，而错误率在40％以下，选取对应的τ＝40。
除了以上的条件，还需要分析图像集里图片的火焰像素部分色度统计信息，为了达到这个目的，选取灭火训练中的1000张图像，这些被采集的图像包含很广范围的照明度，手动分割这些图像集中的火焰区域，在Cb-Cr的色度平面内创建16309070个像素点的直方图，图7显示了火焰像素在Cb-Cr平面范围内的分布情况，这个含有火焰像素区域在Cb-Cr平面中可以通过如下多项式fu(Cr)、fl(Cr)、fd(Cr)表示，三个多项式通过最小二乘估计获得：
fu(Cr)＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16×10-2Cr4-9.10×Cr3
+9.6×102Cr2-5.6×104+1.40×106
fl(Cr)＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2-2.15×102Cr3
+6.62×103
fd(Cr)＝1.81×10-4Cr4-1.02×10-1Cr3+2.17×10Cr2+2.78Cr2-2.05×103Cr
+7.29×104 (7)
火焰区域被三个多项式标记在图7中，其中边界被曲线限定，因此这个区域被确定后，再定义一个火焰区域的识别准则：
FCbCr(x,y)表示对应坐标值为(x,y)的像素点是否落在公式(7)所限定的区域内；1表示落在限定区域中，0表示在区域之外。
图8中，图8(a)为原图，图8(b)为经过公式(3)处理过得到的，图8(c)为经过公式(4)处理过得到的，图8(d)为经过公式(5)处理过得到的，图8(e)为经过公式(6)处理过得到的，图8(f)为经过公式(8)处理过得到的，图8(g)为经过公式(3) -(6)和公式(8)处理过得到的。从中可以发现，该方法已经将大部分火焰区域提取处出来，但是还存在一部分误差，具体表现在表明反光那部分。随后结合火焰其他的特征将误判区域消除。
其他步骤和参数与具体实施方式一相同。
具体实施方式三：
本实施方式所述进行特征提取中几何特征提取的过程如下：
提取颜色特征后，还应该继续提取几何特征。根据图3所示，需要对火焰的圆形度、火焰边界的粗糙度、尖角个数分别进行特征提取。为了说明具体的几何特征提取过程，以实验的图像进行说明。
(1)火焰圆形度的提取
圆形度作为火焰识别的重要特征之一，用来将外形规则的干扰源与火焰区分开来。利用边缘周长的平方与面积的比来界定圆形度。火焰圆形度公式定义如下：
式中，ρ代表火焰的圆形度，L代表边界的周长，Ss代表图形的面积。
具体实现过程：图9(a)为原图像，图9(b)为二值化图像，将获取的火焰图像二值化处理，白色区域表示火焰，黑色区域表示其他。面积根据白色区域占有像素点的总数获取，周长根据边界算法得到。圆形度越大反映出物体越规整，如果物体越繁杂则该值越小。
(2)火焰粗糙度的提取
在实训期间，由于环境因素变化，丙烷火焰形态表现不规整且外表形态不定，且随着训练过程中对丙烷流量的控制，火焰形态也随着改变。火焰粗糙度BR定义如下：
式中L代表火焰疑似区域的周长，LCH代表火焰区域的凸包的周长，凸包是代表可以包罗火焰区域并且面积最小的多变形。
具体实现过程：火焰疑似区域周长和火焰区域凸包周长根据不同的边界算法提取。随后根据公式(10)进行计算，得出火焰粗糙度。
边界粗糙度也属于几何特征之一，易受到非火焰疑似区域干扰，也有其局限性。因此，需要同其他特征的配合使用。
(3)火焰尖角个数的提取
丙烷在燃烧期间拥有不稳定性，边缘不规整且不断变化，因此拥有极多的尖角，且尖角个数表现出无规律的扰动。而灯光、太阳、蜡烛等稳定的光源，尖角数目有扰动但幅度较小，大体上在相对固定范围内波动。尖角体现了火焰形态的无规律特性和无规则性。故对丙烷燃烧区域的火焰尖角数量统计，实现和其他常态的干扰物区别。
具体实现过程：尖角识别大体上分成尖角顶点辨识和尖角判别两部分。首先，把获取到的丙烷火焰图像经边缘增强，随后边缘处理，接下来沿着提取的边界挨点扫描。第一步通过局部极大值来判定尖角顶点是否存在。紧接着，再根据Pos判定尖角是否存在。经处理二值图，尖角区域大体呈现为三角形形态。尖角须符合特定的条件，若尖角的第r1和 r2行的宽分别为d(row1)和d(row1)，则体态比Pos为
基于上述对尖角形态分析，其外形可以根据尖角的宽W、高度H和体态比来加以约束。同时，对尖角宽度设定上限，可以规避尖角个数的重复记录。从火焰和干扰物的视频中，不间断获取100张的图片，通过matlab根据上述方法，实现对尖角数目的计算，并对结果进行统计分析，得到尖角个数多少及其分布可以作为辨别丙烷火焰的有效判据之一。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四：
本实施方式所述进行特征提取中火焰动态特征提取的过程如下：
最后再进行动态特征提取，主要从火焰面积变化率，质心位移，尖角个数变化的剧烈程度等动态特征进行特征提取。
(1)火焰面积变化率提取
对于取得的不间断两张拥有火焰疑似区域的火焰图像I1(x,y)和I2(x,y)，火焰面积变化率Varea为：
其中，AI1和AI2分别为火焰图像I1(x,y)和I2(x,y)的面积。
具体实现过程如下：将获取的图像二值化，滤波，通过图像分割等操作后，求出每张图像火焰区域的面积，代入公式(12)，便可以求出连续几张火焰图像的面积变化率。
(2)火焰质心位移提取
在点火和灭火的期间，火焰的位置时刻发生改变，火焰的中心随之改变。想要衡量火焰中心变化的距离，故应先将火焰区域中心确定下来。对于图像识别***获取到的火焰图片，可以用来得到火焰灰度图。灰度图中，火焰区域中心位置的亮度较高，越靠外亮度越低。根据公式(13)求出质心位置，若火焰图像为I(x,y)，那么火焰疑似区域的中心X,Y 为：
若获取的连续两张的火焰图片分别为I1(x,y)，I2(x,y)，火焰中心分别为(X1,Y1)(X2,Y2)，大小均为M×N，则连续两张火焰图片的火焰疑似区域的质心位移为：
(3)火焰尖角个数变化的剧烈程度提取
火焰在燃烧过程中，伴随着“边缘抖动”的情形，面积增长率和质心位移没法体现出这一特点。由于火焰的剧烈燃烧，火焰没有固定形态，再加之环境变化，致使火焰燃烧区域存在许多尖角，造成边缘抖动。尖角变化数Pcorner和尖角平均变化数分别由下边两公式表示
Pcorner＝|C2-C1| (15)
其中，C1-Cn表示尖角数目，|Cn-Cn-1|表示连续两张图像中的尖角变化数。尖角平均变化数为该变量大小体现了火焰图像中的尖角数目改变速率的水平。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五：
本实施方式所述火焰识别分类器的建立过程包括以下步骤：
为了准确的识别火焰，本发明加入了火焰识别分类器识别的过程，所以要对SVM恰当地建模。首先通过图像处理和特征提取得到火焰特征数据，然后对所有数据进行分类处理，分成训练集和测试集；然后对所有数据进行归一化处理；之后采取训练集对SVM展开训练，采取交叉检验方法选取最优的参数c和g；最后用训练好的SVM对测试集预测，得出分类准确率。SVM模型的流程图如图10所示。
利用公式(17)完成数据归一化处理。归一化操作是便于随后的数据处理，加快分类运行时的收敛速度。
归一化操作完毕后，须采用交叉检验的方式选择参数c和g，其中g是核函数某一参数。交叉检验的思想是：分类处理数据，将其分为训练集和测试集两类。采取训练集对分类器展开训练，再根据训练集得到的模型对测试集进行预测，最终获取分类识别率。
其他步骤和参数与具体实施方式一至四之一相同。
实施例：
根据具体实施方式一至五构成的整体方案进行火焰的识别，具体的编码如下：
利用本发明的火焰识别方法进行处理。图11(a)至(c)为本方法对火焰燃烧区域的处理效果，从3组图片的比较可以看出，该算法不但能够准确地检测出火焰区域，而且在第二组图像中还消除了左上角背景比较明亮区块的影响。试验证明本发明具有明显优势，而且本发明基于饱和度的规则和颜色模型能够更准确体现火焰行为，在不利的照明背景条件下其鲁棒性更强。
Claims (10)
1.一种基于视频图像的火焰识别方法，其特征在于，包括以下步骤：
步骤1、采集的视频图像，通过差分法，让采集到的当前视频图像与前一张图像进行差分操作，对是否有火焰的发生做出判别；如果有火焰发生，执行步骤2对该区域做出判断；否则，继续等待获取下一张图像；
步骤2、火焰疑似图像预处理；
步骤3、火焰疑似区域的提取：根据图像分割算法，分割出疑似区域；
步骤4、火焰疑似区域特征提取：针对疑似区域进行特征提取，特征包括：几何特征、颜色特征及火焰动态特征；其中，几何特征包括火焰圆形度、边界粗糙度和尖角个数；火焰动态特征包括火焰面积变化率、火焰质心位移和火焰尖角个数变化的剧烈程度；
步骤5、根据实验环节采集的图像样本及特征，通过支持向量机SVM进行训练，得到训练好的火焰识别分类器；
步骤6、针对待识别视频图像提取火焰疑似区域的特征，利用训练好的火焰识别分类器进行火焰识别。
2.根据权利要求1所述一种基于视频图像的火焰识别方法，其特征在于，所述进行特征提取中颜色特征提取的过程如下：
采用的颜色模型为YCbCr彩色模型；在YCbCr中，Y代表亮度成分，Cb代表蓝色色度成分，Cr代表红色色度成分；
将图像的RBG彩色模型转换为YCbCr彩色模型；
对于一张给定的图像，利用YCbCr颜色模型来表示，那么三分量的平均值如下：
其中，(xi,yi)表示像素点的坐标值，K表示整张图片的像素点总数；
转化到YCbCr颜色空间模型后，有如下形式：
Y(xi,yi)＞Cb(xi,yi) (3)
Cr(xi,yi)＞Cb(xi,yi) (4)
其中，Y(xi,yi)，Cb(xi,yi)，Cr(xi,yi)分别表示在坐标值为(xi,yi)处亮度分量、蓝色色度分量、红色色度分量；
一张图像中的火焰区域通过如下定义：
为了记载方便，(x,y)也用来表示像素点的坐标值，等同于(xi,yi)；F(x,y)表示符合公式(5)的被标记的火焰像素；
针对经过(5)处理后的图像，继续进行如下处理：
通道细节定义如下：
τ是一个常数；
分析图像集里图片的火焰像素部分色度统计信息，
含有火焰区域的像素区域在Cb-Cr平面中通过多项式fu(Cr)、fl(Cr)、fd(Cr)表示，
fu(Cr)＝-2.6×10-10Cr7+3.3×10-7Cr6-1.7×10-4Cr5+5.16×10-2Cr4-9.10×Cr3
+9.6×102Cr2-5.6×104+1.40×106
fl(Cr)＝-6.77×10-8Cr5+5.50×10-5Cr4-1.76×10-2Cr3+2.78Cr2-2.15×102Cr3
+6.62×103
fd(Cr)＝1.81×10-4Cr4-1.02×10-1Cr3+2.17×10Cr2+2.78Cr2-2.05×103Cr
+7.29×104 (7)
然后定义一个火焰区域的识别准则：
FCbCr(x,y)表示对应坐标值为(x,y)的像素点是否落在公式(7)所限定的区域内；1表示落在限定区域中，0表示在区域之外。
3.根据权利要求2所述一种基于视频图像的火焰识别方法，其特征在于，所述将图像的RBG彩色模型转换为YCbCr彩色模型的过程如下：
RGB颜色空间到YCbCr颜色空间的转化，转化公式如下：
4.根据权利要求2所述一种基于视频图像的火焰识别方法，其特征在于，所述τ的由ROC曲线分析确定。
5.根据权利要求1至4之一所述一种基于视频图像的火焰识别方法，其特征在于，所述几何特征提取中火焰圆形度的提取过程如下：
火焰圆形度如下：
式中，ρ代表火焰的圆形度，L代表边界的周长，Ss代表图形的面积。
6.根据权利要求5所述一种基于视频图像的火焰识别方法，其特征在于，所述几何特征提取中火焰粗糙度的提取过程如下：
火焰粗糙度BR如下：
式中L代表火焰疑似区域的周长，LCH代表火焰区域的凸包的周长，凸包是代表可以包罗火焰区域并且面积最小的多变形。
7.根据权利要求6所述一种基于视频图像的火焰识别方法，其特征在于，所述几何特征提取中火焰的尖角个数的提取过程如下：
把获取到火焰图像经边缘增强，随后边缘处理，接下来沿着提取的边界挨点扫描；第一步通过局部极大值来判定尖角顶点是否存在；紧接着，再根据Pos判定尖角是否存在；经处理二值图中尖角区域呈现为三角形形态，尖角须符合特定的条件，若尖角的第r1和r2行的宽分别为d(row1)和d(row1)，则体态比Pos为
8.根据权利要求7所述一种基于视频图像的火焰识别方法，其特征在于，所述火焰动态特征提取中火焰面积变化率提取的过程如下：
对于连续的两张拥有火焰疑似区域的火焰图像I1(x,y)和I2(x,y)，火焰面积变化率Varea为：
其中，AI1和AI2分别为火焰图像I1(x,y)和I2(x,y)的面积。
9.根据权利要求8所述一种基于视频图像的火焰识别方法，其特征在于，所述火焰动态特征提取中火焰质心位移提取的过程如下：
针对火焰灰度图，火焰区域中心位置的亮度较高，越靠外亮度越低；根据公式(13)求出质心位置，若火焰图像为I(x,y)，那么火焰疑似区域的中心X,Y为：
若获取的连续两张的火焰图片分别为I1(x,y)、I2(x,y)，火焰中心分别为(X1,Y1)(X2,Y2)，大小均为M×N，则连续两张火焰图片的火焰疑似区域的质心位移为：
10.根据权利要求9所述一种基于视频图像的火焰识别方法，其特征在于，所述火焰动态特征提取中火焰尖角个数变化的剧烈程度提取的过程如下：
尖角变化数Pcorner和尖角平均变化数分别由下边两公式表示
Pcorner＝|C2-C1| (15)
其中，C1-Cn表示尖角数目；尖角平均变化数为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910407827.7A CN110135347A (zh) | 2019-05-16 | 2019-05-16 | 一种基于视频图像的火焰识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910407827.7A CN110135347A (zh) | 2019-05-16 | 2019-05-16 | 一种基于视频图像的火焰识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110135347A true CN110135347A (zh) | 2019-08-16 |
Family
ID=67574640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910407827.7A Pending CN110135347A (zh) | 2019-05-16 | 2019-05-16 | 一种基于视频图像的火焰识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135347A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476971A (zh) * | 2020-04-09 | 2020-07-31 | 英大智能电气有限公司 | 一种输电线路近距离山火监测装置 |
| CN111635976A (zh) * | 2020-06-30 | 2020-09-08 | 南京宝希智能技术有限公司 | 一种非接触式转炉钢水温度连续测量***及检测方法 |
| CN112560672A (zh) * | 2020-12-15 | 2021-03-26 | 安徽理工大学 | 一种基于svm参数优化的火灾图像识别方法 |
| CN113313907A (zh) * | 2021-07-30 | 2021-08-27 | 东华理工大学南昌校区 | 基于云服务器的应急保护*** |
| CN117011993A (zh) * | 2023-09-28 | 2023-11-07 | 电子科技大学 | 基于图像处理的综合管廊火灾安全预警方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400111A (zh) * | 2013-07-10 | 2013-11-20 | 重庆大学 | 基于视频检测技术的高速公路隧道火灾事件检测方法 |
| CN105931409A (zh) * | 2016-05-30 | 2016-09-07 | 重庆大学 | 一种基于红外与可见光摄像机联动的森林火灾监测方法 |
| CN108038510A (zh) * | 2017-12-22 | 2018-05-15 | 湖南源信光电科技股份有限公司 | 一种基于疑似火焰区域特征的检测方法 |
| CN109145689A (zh) * | 2017-06-28 | 2019-01-04 | 南京理工大学 | 一种机器人火灾检测方法 |
| CN109671240A (zh) * | 2019-01-23 | 2019-04-23 | 中国计量大学 | 一种基于气化炉火灾视频图像检测装置和方法 |
-
2019
- 2019-05-16 CN CN201910407827.7A patent/CN110135347A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400111A (zh) * | 2013-07-10 | 2013-11-20 | 重庆大学 | 基于视频检测技术的高速公路隧道火灾事件检测方法 |
| CN105931409A (zh) * | 2016-05-30 | 2016-09-07 | 重庆大学 | 一种基于红外与可见光摄像机联动的森林火灾监测方法 |
| CN109145689A (zh) * | 2017-06-28 | 2019-01-04 | 南京理工大学 | 一种机器人火灾检测方法 |
| CN108038510A (zh) * | 2017-12-22 | 2018-05-15 | 湖南源信光电科技股份有限公司 | 一种基于疑似火焰区域特征的检测方法 |
| CN109671240A (zh) * | 2019-01-23 | 2019-04-23 | 中国计量大学 | 一种基于气化炉火灾视频图像检测装置和方法 |
Non-Patent Citations (6)
| Title |
|---|
| TURGAY C- ELIK等: "Fire detection in video sequences using a generic color model", 《FIRE SAFETY JOURNAL》 * |
| 仇国庆等: "基于火焰尖角特征的火灾图像识别算法", 《计算机应用与软件》 * |
| 周清锋等: "火焰及干扰图像形态特征分析研究", 《消防科学与技术》 * |
| 席廷宇等: "多特征量对数回归的火焰快速识别算法", 《计算机应用》 * |
| 钟玲等: "基于SVM的视频图像火焰检测", 《软件工程》 * |
| 马宗方等: "基于快速支持向量机的图像型火灾探测算法", 《计算机应用研究》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476971A (zh) * | 2020-04-09 | 2020-07-31 | 英大智能电气有限公司 | 一种输电线路近距离山火监测装置 |
| CN111635976A (zh) * | 2020-06-30 | 2020-09-08 | 南京宝希智能技术有限公司 | 一种非接触式转炉钢水温度连续测量***及检测方法 |
| CN112560672A (zh) * | 2020-12-15 | 2021-03-26 | 安徽理工大学 | 一种基于svm参数优化的火灾图像识别方法 |
| CN113313907A (zh) * | 2021-07-30 | 2021-08-27 | 东华理工大学南昌校区 | 基于云服务器的应急保护*** |
| CN117011993A (zh) * | 2023-09-28 | 2023-11-07 | 电子科技大学 | 基于图像处理的综合管廊火灾安全预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135347A (zh) | 一种基于视频图像的火焰识别方法 | |
| CN112560657B (zh) | 烟火识别方法、装置、计算机设备和存储介质 | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| CN103208126B (zh) | 一种自然环境下运动物体监测方法 | |
| CN109300110A (zh) | 一种基于改进颜色模型的森林火灾图像检测方法 | |
| CN109637068A (zh) | 智能烟火识别*** | |
| CN107657619A (zh) | 一种低照度林火图像分割方法 | |
| Hoffman et al. | Iris+ ocular: Generalized iris presentation attack detection using multiple convolutional neural networks | |
| Dzigal et al. | Forest fire detection based on color spaces combination | |
| CN107392880A (zh) | 一种仿造迷彩自动生成方法 | |
| CN103617414A (zh) | 一种基于最大间距准则的火灾颜色模型及火灾火焰和烟雾识别方法 | |
| CN112668426B (zh) | 一种基于三种色彩模式的火灾图像偏色度量化方法 | |
| CN107067007A (zh) | 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法 | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与*** | |
| CN108108695A (zh) | 基于红外视频图像的火焰检测识别方法 | |
| CN102609728B (zh) | 特定类敏感图像检测方法 | |
| CN110414342A (zh) | 一种基于视频图像处理技术的运动人体检测识别方法 | |
| Lionnie et al. | A comparison of human skin color detection for biometrie identification | |
| CN108257179A (zh) | 一种图像处理方法 | |
| CN110120073B (zh) | 一种基于灯标视觉信号引导无人艇回收的方法 | |
| Asatryan et al. | Method for fire and smoke detection in monitored forest areas | |
| CN101631259A (zh) | 一种色彩保真度测评的方法和子*** | |
| Manaf et al. | Color recognition system with augmented reality concept and finger interaction: Case study for color blind aid system | |
| CN111310899A (zh) | 基于共生关系和小样本学习的电力缺陷识别方法 | |
| Srisaan | A classification of internet pornographic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
| RJ01 | Rejection of invention patent application after publication |