CN109409224B - 一种自然场景火焰检测的方法 - Google Patents

一种自然场景火焰检测的方法 Download PDF

Info

Publication number
CN109409224B
CN109409224B CN201811108891.7A CN201811108891A CN109409224B CN 109409224 B CN109409224 B CN 109409224B CN 201811108891 A CN201811108891 A CN 201811108891A CN 109409224 B CN109409224 B CN 109409224B
Authority
CN
China
Prior art keywords
value
flame
region
convolution
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811108891.7A
Other languages
English (en)
Other versions
CN109409224A (zh
Inventor
巫义锐
何粤超
郭红鑫
李子铭
贾柠晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201811108891.7A priority Critical patent/CN109409224B/zh
Publication of CN109409224A publication Critical patent/CN109409224A/zh
Application granted granted Critical
Publication of CN109409224B publication Critical patent/CN109409224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自然场景火焰检测的方法,属于消防领域。本发明包括以下步骤:步骤1,提取输入图像的最大稳定极值区域;步骤2,通过最大稳定极值区域的色彩特征和面积来过滤多余的极值区域,得到火焰候选区域;步骤3,将火焰候选区域输入到卷积神经网络模型中提取卷积特征;步骤4,将提取出的卷积特征输入到训练好的支持向量机分类器中进行分类,判断是否真的为火焰;步骤5,将火焰区域合并,得到最终的火焰区域。本发明具有很强的鲁棒性,检测效果好,可以准确完成火焰检测任务。

Description

一种自然场景火焰检测的方法
技术领域
本发明涉及一种自然场景火焰检测的方法,属于消防领域。
背景技术
火灾一直是破坏性最大而又最常见的灾害之一,从居民住宅到野外环境,火灾一旦发生而没有被及时扑救,将会产生巨大的损失。因此火焰检测的技术得到了国内外研究者的广泛关注。现阶段已有多种检测火焰的技术,然而,由于应用场景的多样性及复杂性,传统的火焰检测技术(例如烟感、温感检测)总会存在一定的局限性,因此基于计算机视觉的火焰检测技术是预防火灾的一个新方向。
发明内容
针对烟感、温感检测器使用环境的局限性,以及视频监控***的普及,本发明提出了一种自然场景火焰检测的方法,基于数字图像处理与深度学习,检测成本低、具有强鲁棒性。
本发明为解决其技术问题采用如下技术方案:
一种自然场景火焰检测的方法,包括以下步骤:
步骤1,提取输入图像的最大稳定极值区域;
步骤2,通过最大稳定极值区域的色彩特征和面积来过滤多余的极值区域,得到火焰候选区域;
步骤3,将火焰候选区域输入到卷积神经网络模型中提取卷积特征;
步骤4,将提取出的卷积特征输入到训练好的支持向量机分类器中进行分类,判断是否真的为火焰;
步骤5,将火焰区域合并,得到最终的火焰区域。
所述步骤1的具体过程如下:
步骤11,将输入的图像转化为灰度图,记为Igray
步骤12,按照阈值升序的顺序,求出各个阈值下Igray中的极值区域,极值区域Qi定义如下:
其中Igray(p)和Igray(q)表示Igray中像素点p和q的值,i∈[0,255]表示极值区域的阈值,表示与极值区域Qi相邻但不属于极值区域的像素集合;
步骤13,对Igray求极值区域的变化率:
极值区域变化率定义为:
其中,Δ为灰度阈值的微小变化量,Qi+Δ为灰度阈值增加后得到的极值区域,Qi-Δ为为灰度阈值减小后得到的极值区域,r(i)为i阈值时区域Qi的变化率;
步骤14,对Igray求最大稳定极值区域:
当区域Qii的变化率r(i)小于阈值T,就认为该区域是最大稳定极值区域。
所述步骤2的具体过程如下:
步骤21,计算每个最大稳定极值区域的面积S,计算每一像素点的RGB值,并判断像素点是否为火焰像素点,其计算公式为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值,rt为R通道的阈值、bt为B通道的阈值、gt为G通道的阈值;
步骤22,通过火焰像素点的总数n和最大稳定极值区域的面积,过滤掉多余区域,剩下的最大稳定极值区域即为火焰候选区域,过滤条件如下:
其中H为阈值,S为最大稳定极值区域的面积。
所述步骤3中所述提取卷积特征的步骤如下:
步骤31,对输入图片进行预处理,得到224×224×3的图像;
步骤32,对输入图像先进行两次步长为1、卷积核大小为3×3、卷积和数量为64的卷积操作,再进行一次池化尺寸为2×2、步长为2的池化操作,得到一个112×112×64的特征图;
步骤33,对于步骤31得到的特征图,先进行两次步长为1、卷积核大小为3×3、卷积和数量为128的卷积操作,再进行一次池化操作,得到一个56×56×128的特征图;
步骤34,对于步骤32得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为256的卷积操作,再进行一次池化操作,得到一个28×28×256的特征图;
步骤35,对于步骤33得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为512的卷积操作,再进行一次池化操作,得到一个14×14×512的特征图;
步骤36,对于步骤34得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为512的卷积操作,再进行一次池化操作,得到一个7×7×128的特征图;
步骤37,将步骤35得到的特征图转换为1×1×4096的特征向量;
步骤38,将步骤36得到的特征向量转换为1×1×1000的特征向量。
所述步骤31具体过程如下:
第一步,缩放图片,使其尺寸变为224×224×3;
第二步,对图片的像素值进行归一化,计算方法为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值;
第三步,对图片像素值进行去均值化,计算方法如下:
其中,rmean、bmean、gmean分别表示图片R通道、G通道、B通道的平均值。
所述步骤32的具体过程如下:
(1)卷积操作:
假设A是输入的特征图Mi中的一张特征面,矩阵K是一个卷积核:
其中:a00表示特征面A中第0行第0列的像素值,a01表示特征面A中第0行第1列的像素值,a02表示特征面A中第0行第2列的像素值,a10表示特征面A中第1行第0列的像素值,a11表示特征面A中第1行第1列的像素值,a12表示特征面A中第1行第2列的像素值,a20表示特征面A中第2行第0列的像素值,a21表示特征面A中第2行第1列的像素值,a22表示特征面A中第2行第2列的像素值,w00表示卷积核K中第0行第0列的权重值;w01表示卷积核K中第0行第1列的权重值;w02表示卷积核K中第0行第2列的权重值;w10表示卷积核K中第1行第0列的权重值;w11表示卷积核K中第1行第1列的权重值;w12表示卷积核K中第1行第2列的权重值;w20表示卷积核K中第2行第0列的权重值;w21表示卷积核K中第2行第1列的权重值;w22表示卷积核K中第2行第2列的权重值;
在步长stride=(1,1)的条件下,
其中:aij表示特征面A中第i行第j列的像素值,wij表示卷积核K中第i行第j列的权重值,A00为A*K中第0行第0列的值,A01为A*K中第0行第1列的值,A10为A*K中第1行第0列的值,A11为A*K中第1行第1列的值,K为卷积核,步长stride=(1,1)表示卷积核K在特征面A上横向和纵向移动的距离都为1,当卷积核移动特征面边缘时,若特征面的元素数量不足,不足的地方用‘0’填充,以保证经过卷积操作后得到的输出图像与输入图像大小一样。
假设B是输出的特征图Mo中的一张特征面:
其中,Ai为输入特征图Mo的第i张特征面,符号*表示卷积,n是卷积核的数量;卷积操作进行两次;
(2)池化操作:
假设B是经过卷积后得到的特征图M中的一张特征面,C是池化后得到的特征面:
其中,b00表示特征面B中第0行第0列的像素值,b01表示特征面B中第0行第1列的像素值,b02表示特征面B中第0行第2列的像素值,b03表示特征面B中第0行第3列的像素值,b10表示特征面B中第1行第0列的像素值,b11表示特征面B中第0行第1列的像素值,b12表示特征面B中第1行第2列的像素值,b13表示特征面B中第1行第3列的像素值,b20表示特征面B中第2行第0列的像素值,b21表示特征面B中第2行第1列的像素值,b22表示特征面B中第2行第2列的像素值,b23表示特征面B中第2行第3列的像素值,b30表示特征面B中第3行第0列的像素值,b31表示特征面B中第3行第1列的像素值,b32表示特征面B中第3行第2列的像素值,b33表示特征面B中第3行第3列的像素值;c00为b00、b01、b10、b11中的最大值,c01为b02、b03、b12、b13中的最大值,c10为b20、b21、b30、b31中的最大值,c11为b22、b23、b32、b33中的最大值。
经过该池化操作后,得到特征面C,尺寸降低为原来的一半;
(3)池化后,再用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:cij为特征图C第i行第j列的值。
所述步骤37的具体过程如下:
1)将步骤35得到的特征图转换为1×1×(7*7*512)的向量;
2)将步骤6得到的向量乘以已训练好的权重,得到1×1×4096的特征向量,计算公式如下:
其中a0为特征向量第0个值,a1为特征向量第1个值,a4095为特征向量第4095个值;w00为权重矩阵第0行第0列的值,w01为权重矩阵第0行第1列的值,w10为权重矩阵第1行第0列的值,w11为权重矩阵第1行第1列的值;b0为偏置向量第0个值,b1为偏置向量第1个值,b4095为偏置向量第4095个值;x0为输入向量第0个值,x1为输入向量第1个值,x512为输入向量第512个值。
3)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
所述步骤38包括:
a)将步骤36得到的特征向量乘以已训练好的权重,得到1×1×1000的特征向量,计算公式如下:
其中a0为特征向量第0个值,a1为特征向量第1个值,a999为特征向量第999个值;w00为权重矩阵第0行第0列的值,w01为权重矩阵第0行第1列的值,w10为权重矩阵第1行第0列的值,w11为权重矩阵第1行第1列的值;b0为偏置向量第0个值,b1为偏置向量第1个值,b999为偏置向量第999个值;x0为输入向量第0个值,x1为输入向量第1个值,x999为输入向量第999个值;
b)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
所述步骤4中训练支持向量机的步骤包括:
步骤41,取火焰训练数据集,通过上述步骤1,2,3提取出所有火焰候选区域的卷积特征,并以此作为训练集;
步骤42,把该训练集输入支持向量机中进行二分类问题训练,其中支持向量机学习算法的求解步骤包括:
(1)选择合适的参数C,构造并求解最优化问题:
约束条件
求得最优解 为其中的第1个值,/>为其中的第2个值,/>为其中的第N个值;αi为第i个拉格朗日乘子,αj为第j个拉格朗日乘子,xi是第i个训练样本,xj是第j个训练样本,yi∈{-1,1}是第i个样本对应的分类标签;yj∈{-1,1}是第j个样本对应的分类标签,K(xi,xj)是高斯核函数,其公式如下:
其中:σ为标准差;
(2)选择α*的一个正分量 为其中的第j个值,计算
其中:b*为所求偏置;
(3)构造决策函数:
其中:为所求最优解中的第i个值,sign()表示符号函数,当括号中的项大于某一阈值时,f(x)=1,当括号中的项小于某一阈值时,f(x)=0。
所述步骤5的具体过程如下:
步骤51,对于步骤4中得到的火焰区域集合S,计算所有si∈S中心点ci,si为火焰区域集合S中的第i个区域;
步骤52,对于任意火焰区域si,sj∈S,sj为火焰区域集合S中的第j个区域,如果它们的中心点ci和cj之间的欧拉距离小于阈值F,则将它们合并,得到最终火焰区域。
本发明的有益效果如下:
(1)本发明用MSER(最大稳定极值区域算法)及RGB(一种颜色空间)特征来提取火焰候选区域,这个特征利用图像灰度值变化率及RGB值来描述火焰候选区域。因为火焰区域颜色变化范围很小,而且火焰颜色具有一定规律并能用RGB模型来表示,所以该方法具有较强的鲁棒性。
(2)本发明利用卷积神经网络来提取火焰区域特征,卷积神经网络可提取大量特征,能很好地描述火焰。
(3)本发明不仅可检测出图像中是否有火焰,且能够准确标示出火焰位置。
附图说明
图1是检测流程图。
图2是卷积神经网络提取卷积特征流程图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
本发明是一种自然场景火焰检测的方法,操作过程如图1所示,包括以下步骤:
步骤1:将待检测火焰图像输入;
步骤2:包括以下步骤:
首先,将输入的图像转化为灰度图,记为Igray
其次,按照阈值升序的顺序,求出各个阈值下Igray中的极值区域,极值区域Qi定义如下:
其中Igray(p)和Igray(q)表示Igray中像素点p和q的值,i∈[0,255]表示极值区域的阈值,表示与极值区域Qi相邻但不属于极值区域的像素集合;
在改变阈值的过程中,对Igray求极值区域的变化率,极值区域变化率定义为:
其中,Δ为灰度阈值的微小变化量,Qi+Δ为灰度阈值增加后得到的极值区域,Qi-Δ为为灰度阈值减小后得到的极值区域,r(i)为i阈值时区域Qi的变化率;当区域Qi的变化率r(i)小于阈值T,就认为该区域是最大稳定极值区域;
然后,计算每个最大稳定极值区域的面积S,计算每一像素点的RGB值,并判断像素点是否为火焰像素点,其计算公式为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值,rt为R通道的阈值、bt为B通道的阈值、gt为G通道的阈值。
最后,通过火焰像素点的总数n和最大稳定极值区域的面积,过滤掉多余区域,剩下的最大稳定极值区域即为火焰候选区域,过滤条件如下:
其中H为阈值,S为最大稳定极值区域的面积。
步骤3:包括以下步骤:
首先,对输入图片进行预处理,得到224×224×3的图像,具体操作过程如下:
(1)缩放图片,使其尺寸变为224×224×3;
(2)对图片的像素值进行归一化,计算方法为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值;
(3)对图片像素值进行去均值化,计算方法如下:
其中,rmean、bmean、gmean分别表示图片R通道、G通道、B通道的平均值;
其次,对图像进行卷积、池化等操作,具体过程如下:
(1)对输入图像先进行两次步长为1、卷积核大小为3×3、卷积和数量为64的卷积操作,再进行一次池化尺寸为2×2、步长为2的池化操作,得到一个112×112×64的特征图;
(2)对于得到的特征图,先进行两次步长为1、卷积核大小为3×3、卷积和数量为128的卷积操作,再进行一次池化操作,得到一个56×56×128的特征图;
(3)对于得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为256的卷积操作,再进行一次池化操作,得到一个28×28×256的特征图;
(4)对于得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为512的卷积操作,再进行一次池化操作,得到一个14×14×512的特征图;
(5)对于得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积和数量为512的卷积操作,再进行一次池化操作,得到一个7×7×128的特征图;
然后,将得到的特征图转换为1×1×4096的特征向量;
最后,将得到的特征向量转换为1×1×1000的特征向量;
其中卷积操作过程如下:
假设A是输入的特征图Mi中的一张特征面,矩阵K是一个3×3的卷积核:
其中:a00表示特征面A中第0行第0列的像素值,a01表示特征面A中第0行第1列的像素值,a02表示特征面A中第0行第2列的像素值,a10表示特征面A中第1行第0列的像素值,a11表示特征面A中第1行第1列的像素值,a12表示特征面A中第1行第2列的像素值,a20表示特征面A中第2行第0列的像素值,a21表示特征面A中第2行第1列的像素值,a22表示特征面A中第2行第2列的像素值;w00表示卷积核K中第0行第0列的权重值;w01表示卷积核K中第0行第1列的权重值;w02表示卷积核K中第0行第2列的权重值;w10表示卷积核K中第1行第0列的权重值;w11表示卷积核K中第1行第1列的权重值;w12表示卷积核K中第1行第2列的权重值;w20表示卷积核K中第2行第0列的权重值;w21表示卷积核K中第2行第1列的权重值;w22表示卷积核K中第2行第2列的权重值;
在步长stride=(1,1)的条件下,
其中:aij表示特征面A中第i行第j列的像素值,wij表示卷积核K中第i行第j列的权重值,A00为A*K中第0行第0列的值,A01为A*K中第0行第1列的值,A10为A*K中第1行第0列的值,A11为A*K中第1行第1列的值,K为卷积核,步长stride=(1,1)表示卷积核K在特征面A上横向和纵向移动的距离都为1,当卷积核移动特征面边缘时,若特征面的元素数量不足,不足的地方用‘0’填充,以保证经过卷积操作后得到的输出图像与输入图像大小一样。
假设B是输出的特征图Mo中的一张特征面:
其中,Ai为输入特征图Mo的第i张特征面,符号*表示卷积,n是卷积核的数量。卷积操作进行两次。
池化操作过程如下:
假设B是经过卷积后得到的特征图M中的一张特征面,C是池化后得到的特征面:
其中,b00表示特征面B中第0行第0列的像素值,b01表示特征面B中第0行第1列的像素值,b02表示特征面B中第0行第2列的像素值,b03表示特征面B中第0行第3列的像素值,b10表示特征面B中第1行第0列的像素值,b11表示特征面B中第0行第1列的像素值,b12表示特征面B中第1行第2列的像素值,b13表示特征面B中第1行第3列的像素值,b20表示特征面B中第2行第0列的像素值,b21表示特征面B中第2行第1列的像素值,b22表示特征面B中第2行第2列的像素值,b23表示特征面B中第2行第3列的像素值,b30表示特征面B中第3行第0列的像素值,b31表示特征面B中第3行第1列的像素值,b32表示特征面B中第3行第2列的像素值,b33表示特征面B中第3行第3列的像素值;c00为b00、b01、b10、b11中的最大值,c01为b02、b03、b12、b13中的最大值,c10为b20、b21、b30、b31中的最大值,c11为b22、b23、b32、b33中的最大值。
经过该池化操作后,得到特征面C,尺寸降低为原来的一半。
池化后,再用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:cij为特征图C第i行第j列的值。
将卷积操作得到的结果转换为特征向量的步骤如下:
(1)将得到的特征图转换为1×1×(7*7*512)的向量;
(2)得到的向量乘以已训练好的权重,得到1×1×4096的特征向量,计算公式如下:
其中a0为特征向量第0个值,a1为特征向量第1个值,a4095为特征向量第4095个值;w00为权重矩阵第0行第0列的值,w01为权重矩阵第0行第1列的值,w10为权重矩阵第1行第0列的值,w11为权重矩阵第1行第1列的值;b0为偏置向量第0个值,b1为偏置向量第1个值,b4095为偏置向量第4095个值;x0为输入向量第0个值,x1为输入向量第1个值,x512为输入向量第512个值。
(3)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
(4)将上一步得到的结果乘以已训练好的权重,得到1×1×1000的特征向量,计算公式如下:
其中:a999为特征向量第999个值;b999为偏置向量第999个值;x999为输入向量第999个值。
(5)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
步骤4,训练支持向量机的步骤包括:
首先,取火焰训练数据集,通过上述步骤1,2,3提取出所有火焰候选区域的卷积特征,并以此作为训练集;
然后,把该训练集输入支持向量机中进行二分类问题训练,其中支持向量机学习算法的求解步骤包括:
(1)选择合适的参数C,构造并求解最优化问题:
约束条件/>
求得最优解 为其中的第1个值,/>为其中的第2个值,/>为其中的第N个值。αi为第i个拉格朗日乘子,αj为第j个拉格朗日乘子,xi是第i个训练样本,xj是第j个训练样本,yi∈{-1,1}是第i个样本对应的分类标签;yj∈{-1,1}是第j个样本对应的分类标签,K(xi,xj)是高斯核函数,其公式如下:
其中:σ为标准差。
(2)选择α*的一个正分量 为其中的第j个值,计算
其中:b*为所求偏置。
(3)构造决策函数:
其中:为所求最优解中的第i个值,sign()表示符号函数,当括号中的项大于某一阈值时,f(x)=1,当括号中的项小于某一阈值时,f(x)=0。利用该决策函数,便可对输入的特征向量进行分类。
步骤5:包括以下步骤:
首先,对于步骤2中得到的火焰区域S,计算所有si∈S中心点ci,其中si为火焰区域集合S中的第i个区域;
然后,对于任意火焰区域si,sj∈S,sj为火焰区域集合S中的第j个区域,如果它们的中心点ci和cj之间的欧拉距离小于阈值F,则将它们合并,得到最终火焰区域。

Claims (6)

1.一种自然场景火焰检测的方法,其特征在于:包括以下步骤:
步骤1,提取输入图像的最大稳定极值区域;
步骤2,通过最大稳定极值区域的色彩特征和面积来过滤多余的极值区域,得到火焰候选区域;步骤2的具体过程如下:
步骤21,计算每个最大稳定极值区域的面积S,计算每一像素点的RGB值,并判断像素点是否为火焰像素点,其计算公式为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值,rt为R通道的阈值、bt为B通道的阈值、gt为G通道的阈值;
步骤22,通过火焰像素点的总数n和最大稳定极值区域的面积,过滤掉多余区域,剩下的最大稳定极值区域即为火焰候选区域,过滤条件如下:
其中H为阈值,S为最大稳定极值区域的面积;
步骤3,将火焰候选区域输入到卷积神经网络模型中提取卷积特征;步骤3中提取卷积特征的步骤如下:
步骤31,对输入图片进行预处理,得到224×224×3的图像;
步骤32,对输入图像先进行两次步长为1、卷积核大小为3×3、卷积核数量为64的卷积操作,再进行一次池化尺寸为2×2、步长为2的池化操作,得到一个112×112×64的特征图;
步骤33,对于步骤32得到的特征图,先进行两次步长为1、卷积核大小为3×3、卷积核数量为128的卷积操作,再进行一次池化操作,得到一个56×56×128的特征图;
步骤34,对于步骤33得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积核数量为256的卷积操作,再进行一次池化操作,得到一个28×28×256的特征图;
步骤35,对于步骤34得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积核数量为512的卷积操作,再进行一次池化操作,得到一个14×14×512的特征图;
步骤36,对于步骤35得到的特征图,先进行四次步长为1、卷积核大小为3×3、卷积核数量为512的卷积操作,再进行一次池化操作,得到一个7×7×512的特征图;
步骤37,将步骤36得到的特征图转换为1×1×4096的特征向量;
步骤38,将步骤37得到的特征向量转换为1×1×1000的特征向量;
步骤4,将提取出的卷积特征输入到训练好的支持向量机分类器中进行分类,判断是否真的为火焰;
步骤5,将火焰区域合并,得到最终的火焰区域;步骤5的具体过程如下:
步骤51,对于步骤4中得到的火焰区域集合S,计算所有si∈S中心点ci,si为火焰区域集合S中的第i个区域;
步骤52,对于任意火焰区域si,sj∈S,sj为火焰区域集合S中的第j个区域,如果它们的中心点ci和cj之间的欧拉距离小于阈值F,则将它们合并,得到最终火焰区域。
2.根据权利要求1所述的一种自然场景火焰检测的方法,其特征在于:所述步骤1的具体过程如下:
步骤11,将输入的图像转化为灰度图,记为Igray
步骤12,按照阈值升序的顺序,求出各个阈值下Igray中的极值区域,极值区域Qi定义如下:
其中Igray(p)和Igray(q)表示Igray中像素点p和q的值,i∈[0,255]表示极值区域的阈值,表示与极值区域Qi相邻但不属于极值区域的像素集合;
步骤13,对Igray求极值区域的变化率:
极值区域变化率定义为:
其中,△为灰度阈值的微小变化量,Qi+Δ为灰度阈值增加后得到的极值区域,Qi-Δ为灰度阈值减小后得到的极值区域,r(i)为i阈值时区域Qi的变化率;
步骤14,对Igray求最大稳定极值区域:
当区域Qi的变化率r(i)小于阈值T,就认为该区域是最大稳定极值区域。
3.根据权利要求1所述的一种自然场景火焰检测的方法,其特征在于:所述步骤31具体过程如下:
第一步,缩放图片,使其尺寸变为224×224×3;
第二步,对图片的像素值进行归一化,计算方法为:
其中r为RGB图像中的R通道的值,g为RGB图像中的G通道的值,b为RGB图像中的B通道的值;
第三步,对图片像素值进行去均值化,计算方法如下:
其中,rmean、bmean、gmean分别表示图片R通道、B通道、G通道的平均值。
4.根据权利要求1所述一种自然场景火焰检测的方法,其特征在于:所述步骤37的具体过程如下:
1)将步骤36得到的特征图转换为1×1×(7*7*512)的向量;
2)将步骤36得到的向量乘以已训练好的权重,得到1×1×4096的特征向量;
3)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
5.根据权利要求1所述一种自然场景火焰检测的方法,其特征在于:所述步骤38包括:
a)将步骤37得到的特征向量乘以已训练好的权重,得到1×1×1000的特征向量;
b)用RELU函数对输出结果做非线性变换,RELU公式如下:
其中:ai为特征向量第i个值。
6.根据权利要求1所述的一种自然场景火焰检测的方法,其特征在于:所述步骤4中训练支持向量机的步骤包括:
步骤41,取火焰训练数据集,通过上述步骤1,2,3提取出所有火焰候选区域的卷积特征,并以此作为训练集;
步骤42,把该训练集输入支持向量机中进行二分类问题训练,其中支持向量机学习算法的求解步骤包括:
(1)选择参数C,构造并求解最优化问题:
0≤αi≤C,i=1,2,...,N
求得最优解 为其中的第1个值,/>为其中的第2个值,/>为其中的第N个值,αi为第i个拉格朗日乘子,αj为第j个拉格朗日乘子,xi是第i个训练样本,xj是第j个训练样本,yi∈{-1,1}是第i个样本对应的分类标签;yj∈{-1,1}是第j个样本对应的分类标签,K(xi,xj)是高斯核函数,其公式如下:
其中:σ为标准差;
(2)选择α*的一个正分量 为其中的第j个值,计算
其中:b*为所求偏置;
(3)构造决策函数:
其中:为所求最优解中的第i个值,sign()表示符号函数,当括号中的项大于某一阈值时,f(x)=1,当括号中的项小于某一阈值时,f(x)=0。/>
CN201811108891.7A 2018-09-21 2018-09-21 一种自然场景火焰检测的方法 Active CN109409224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811108891.7A CN109409224B (zh) 2018-09-21 2018-09-21 一种自然场景火焰检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811108891.7A CN109409224B (zh) 2018-09-21 2018-09-21 一种自然场景火焰检测的方法

Publications (2)

Publication Number Publication Date
CN109409224A CN109409224A (zh) 2019-03-01
CN109409224B true CN109409224B (zh) 2023-09-05

Family

ID=65465228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811108891.7A Active CN109409224B (zh) 2018-09-21 2018-09-21 一种自然场景火焰检测的方法

Country Status (1)

Country Link
CN (1) CN109409224B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309808B (zh) * 2019-07-09 2021-03-12 北京林业大学 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN110378421B (zh) * 2019-07-19 2021-06-25 西安科技大学 一种基于卷积神经网络的煤矿火灾识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853512A (zh) * 2010-05-13 2010-10-06 电子科技大学 一种基于视频时间和空间信息的火焰检测方法
CN105336085A (zh) * 2015-09-02 2016-02-17 华南师范大学 一种基于图像处理技术的远程大空间火灾监测报警方法
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN107944359A (zh) * 2017-11-14 2018-04-20 中电数通科技有限公司 基于视频的火焰检测方法
CN108038486A (zh) * 2017-12-05 2018-05-15 河海大学 一种文字检测方法
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN108416316A (zh) * 2018-03-19 2018-08-17 中南大学 一种黑烟车的检测方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR101081051B1 (ko) * 2010-11-16 2011-11-09 계명대학교 산학협력단 퍼지 유한상태 오토마타를 이용한 화재 불꽃 감지 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853512A (zh) * 2010-05-13 2010-10-06 电子科技大学 一种基于视频时间和空间信息的火焰检测方法
CN105336085A (zh) * 2015-09-02 2016-02-17 华南师范大学 一种基于图像处理技术的远程大空间火灾监测报警方法
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN107944359A (zh) * 2017-11-14 2018-04-20 中电数通科技有限公司 基于视频的火焰检测方法
CN108038486A (zh) * 2017-12-05 2018-05-15 河海大学 一种文字检测方法
CN108416316A (zh) * 2018-03-19 2018-08-17 中南大学 一种黑烟车的检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于颜色增强变换和MSER检测的烟雾检测算法》;李笋等;《北京理工大学学报》;20161015;第36卷(第10期);第2-4页 *

Also Published As

Publication number Publication date
CN109409224A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN108596010B (zh) 行人重识别***的实现方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
TWI441096B (zh) 適用複雜場景的移動偵測方法
Ahn et al. Research of multi-object detection and tracking using machine learning based on knowledge for video surveillance system
CN110084201B (zh) 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN114863097A (zh) 一种基于注意力机制卷积神经网络的红外弱小目标检测方法
CN113822352B (zh) 基于多特征融合的红外弱小目标检测方法
CN110942471A (zh) 一种基于时空约束的长时目标跟踪方法
CN102469302A (zh) 应用于影像监控的可适应光线变化的背景模型学习***
CN112149533A (zh) 一种基于改进ssd模型的目标检测方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN109409224B (zh) 一种自然场景火焰检测的方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN113537226A (zh) 一种基于深度学习的烟雾检测方法
CN114332644B (zh) 一种基于视频卫星数据的大视场交通密度获取方法
CN112633179A (zh) 基于视频分析的农贸市场过道物体占道检测方法
CN117197746A (zh) 基于深度学习的安全监测***及方法
CN106530300A (zh) 一种低秩分析的火焰识别算法
EP3516592A1 (en) Method for object detection in digital image and video using spiking neural networks
CN112241682B (zh) 一种基于分块以及多层信息融合的端到端行人搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant