CN110084160A - 一种基于运动和亮度显著性特征的视频森林烟火检测方法 - Google Patents
一种基于运动和亮度显著性特征的视频森林烟火检测方法 Download PDFInfo
- Publication number
- CN110084160A CN110084160A CN201910302743.7A CN201910302743A CN110084160A CN 110084160 A CN110084160 A CN 110084160A CN 201910302743 A CN201910302743 A CN 201910302743A CN 110084160 A CN110084160 A CN 110084160A
- Authority
- CN
- China
- Prior art keywords
- conspicuousness
- brightness
- value
- image
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于运动和亮度显著性特征的视频森林烟火检测方法,包括读入原视频;将原视频图像转换成灰度图,按X‑Y‑T方向将连续帧图像重新整合,采用ROSL算法以及全局显著性算法得到全局显著性运动区域;采用运动显著性算法得到运动显著性运动区域;提取亮度显著性运动区域;计算显著性均值得到最终显著性区域显著特征值;基于得到的最终显著性区域显著特征值,采用组稀疏背景检测算法,得到视频显著性前景区域;提取得到的视频显著性前景区域的LBP特征,采用SVM分类器进行分类识别。本发明通过亮度和运动显著性算法,一方面去除了森林中非显著性运动目标干扰,另一方面将烟火区域从视频中分割出来,提高了烟火检测的正确率。
Description
技术领域
本发明属于视频图像处理领域,涉及一种基于运动和亮度显著性特征的视频森林烟火检测方法。
背景技术
森林火灾检测与预防对生命财产保护起着重要的作用,燃烟作为早期烟火,对其的检测能更早的发现火灾警情并进行预防。视频图像检测方法能实时提供烟火位置,范围浓度等重要信息,因此在森林烟火检测中得到广泛应用。视频图像烟火检测***主要依赖于对运动目标的特征提取与识别,通过背景减除将前景分离,然而在森林环境中这种方法对非显著性运动目标同样敏感,例如水波,晃动的树木以及由于摄像机抖动带来的非显著性前景区域,这些运动区域的特征提取与检测不仅会带来干扰增加误检,且影响实时性,降低了烟火检测效率。
基于以上考虑,本发明提出了一种基于运动和亮度显著性特征的视频森林烟火测方法。该方法基于全局显著性,运动以及亮度显著性算法,得到显著性前景区域,并采用自适应归一化参数和组稀疏算法得到显著性前景。提取显著性前景的LBP特征,采用SVM分类器识别待检测烟火区域。
发明内容
发明目的:本发明提供了一种基于运动和亮度显著性特征的视频森林烟火检测方法,减少了森林中非显著性运动目标对于烟火检测的干扰,提高了烟火检测的效率和准确性。
技术方案:为实现上述发明目的,本发明采用以下技术方案:
一种基于运动和亮度显著性特征的视频森林烟火检测方法,该方法包括以下步骤:
(1)读入原视频,视频由T帧图像序列组成,每帧图像的大小为M×N×3;
(2)将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵,采用ROSL鲁棒正交子空间学习算法以及全局显著性算法得到全局显著性运动区域;
(3)结合步骤(2)得到的X-Y-T方向上的全局显著性运动区域,采用运动显著性算法得到运动显著性运动区域;
(4)根据人类视觉对亮度的敏感程度条件,提取亮度显著性运动区域;
(5)基于全局显著性,运动显著性以及亮度显著性,计算得到最终显著性区域显著值;
(6)基于得到的最终显著性区域显著值,采用组稀疏背景检测算法,得到视频显著性前景区域;
(7)提取得到的视频显著性前景区域的LBP局部二值模式特征,采用SVM分类器进行分类识别。
进一步的,步骤(2)包括以下步骤:
(21)将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵;
(22)采用ROSL算法得到备选运动区域:
其中,X为M×N行T列矩阵,E为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;
(23)针对上述步骤中得到的备选运动区域,为得到全局显著性运动区域,除保留较大像素外,较小像素采用基于高斯分布的全局显著性算法进行过滤:
其中,E(i,j,t)为备选运动区域(i,j,t)处像素值,较小像素区域图像像素值满足Thglobal为较小像素区域阈值,μglobal为较小像素区域像素均值,σglobal为较小像素区域像素方差。
进一步的,步骤(3)包括以下步骤:
(31)将原视频图像转换成灰度图,按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵,采用ROSL算法分别得到两个方向上的运动前景SX-T和SY-T;则初始运动显著性运动区域定义为:
(32)烟雾通常运动缓慢,在烟火区域中存在距离较近像素值相似的点,这些点在连续帧中会失去运动显著性,为了将这些点保留在显著性运动区域中,减小对运动目标提取与检测的影响,结合这些点的空间信息,并利用高斯函数召回这些点,该算法公式如下:
其中,τ表示以像素点p(i,j,t)为中心所选相邻区域的半径,p(x,y,t)为所选相邻区域像素值组矩阵;||·||2为l2范数,为高斯函数;
(33)采用遵循人类视觉条件的运动显著性算法进一步过滤运动显著性运动区域,其具体计算为:
其中,Thm为阈值,Thm=μm+σm为运动显著性运动区域均值与方差之和,Tsize=(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件。
进一步的,步骤(4)中将原彩色图像RGB颜色空间转化为Lab颜色空间,颜色模型Lab基于人对颜色的感觉,Lab色彩模型是由亮度L和有关色彩的a,b三个要素组成,其中L为亮度,a表示从洋红色至绿色的范围,b表示从黄色至蓝色的范围;
将亮度值在L=80~H=220范围内的像素进行增强,增加与其他亮度的对比度,将该范围亮度值重置到L*=0~H*=255,该算法计算如下:
其中,l(x,y)为增强后的位置(x,y)处的亮度值,g(x,y)为原亮度值;指数γ决定了增强后的亮度分布,随着γ的增加,较暗区域与灰白亮度的烟雾对比度越强;亮度显著性条件应满足人类视觉敏感度以及空间尺度条件:
其中,l(i,j,t)为亮度显著性运动区域(i,j,t)处亮度值,Thl为阈值,Thl=μl+σl表示亮度显著性区域亮度显著性均值与方差之和,Tsize=(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件。
进一步的,步骤(5)基于步骤2至4,分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值Sm以及亮度显著性运动区域显著值Sl,则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和S=Sm+Sl决定;同样需满足高斯分布条件与空间尺度条件:
其中,S(i,j,t)为显著性运动区域(i,j,t)最终显著性值,Th为阈值,Th=μ+σ表示显著性运动区域显著性均值与方差之和,Tsize=(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件。
进一步的,步骤(6)包括以下步骤:
(61)基于最终显著性区域显著值得到自适应归一化参数:
其中,为第i个最终显著性区域显著值,为所有显著性运动区域中不为零的最小显著性值;
(62)组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景:
其中,X为M×N行T列矩阵,S为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;||·||F为Frobenius范数,Φ(Si)是第i个区域的组稀疏矩阵,采用组软阈值方法解决关于组稀疏矩阵的优化问题,组软阈值表达为:
其中,εi=1e-10。
进一步的,步骤(7)中采用预先收集的烟火和非烟火图像数据集训练SVM分类器,特征采用LBP特征,进一步的,将该分类器用于识别待检测视频的显著性前景区域;其具体步骤为:
(71)收集烟火和非烟图像数据集,将图像灰度化并归一化图像大小为64*64;提取图像LBP特征,将提取的烟火和非烟图像LBP特征向量分别作为正负样本集;
(72)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S={(xi,yi)|i=1,2,...,n}来训练SVM分类器,i表示第i个样本,xi为第i个样本的LBP特征向量;由于xi是多维向量线性不可分,因此采用高斯核函数将其映射到高维空间使其线性可分;最后训练得到识别烟火和非烟的分类模型;
(73)将步骤(6)得到的每个视频图像前景区域归一化为64*64大小的灰度图像,提取该区域的LBP特征,采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。
有益效果:与现有方法相比,本发明具有如下优点:
1、本发明基于人类视觉机制,首先采用全局显著性算法得到初始显著性运动区域。
2、本发明考虑了视频帧在X-T-Y以及Y-T-X方向的运动显著性以及烟火的亮度显著性特征,基于全局显著性区域,得到区域的显著性特征值,并计算得到自适应归一化参数。
3、本发明采用自适应归一化参数组稀疏ROSL背景减除与前景分割算法,得到显著性待检测烟火区域,该方法减少了森林中非显著性运动目标的干扰,提高了烟火检测的效率和准确率。
附图说明
图1为基于运动和亮度显著性特征的视频森林烟火检测方法流程图;
图2显著性视频森林烟火分割效果图;
图3为显著性视频烟火检测效果图。
具体实施方式
下面结合说明书附图和实例,清楚、完整地描述本发明方法的详细过程。
应理解下述实施例仅用于说明本发明技术方案的具体实施方式,而不用于限制本发明的范围。在阅读了本发明之后,本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。
如图1所示,一种基于运动和亮度显著性特征的视频森林烟火检测方法,包括以下步骤:
步骤1:读入原视频,原视频由T帧图像序列组成,每帧图像的大小为M×N×3;
步骤2:将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵,采用ROSL(Robust Orthonormal Subspace Learning,鲁棒正交子空间学习)算法以及全局显著性算法得到全局显著性运动区域。
采用ROSL(Robust Orthonormal Subspace Learning,鲁棒正交子空间学习)算法得到备选运动区域。由于人类视觉只对较大像素以及目标区域中符合高斯分布的较小像素敏感,因此采用遵循人类视觉条件的全局显著性算法可以得到全局显著性运动区域,其具体计算如下:
步骤201:将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵;
步骤202:采用ROSL算法得到备选运动区域:
其中,X为M×N行T列矩阵,E为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;
步骤203:针对上述步骤中得到的备选运动区域,为得到全局显著性运动区域,除保留较大像素外,较小像素采用基于高斯分布的全局显著性算法进行过滤:
其中,E(i,j,t)为备选运动区域(i,j,t)处像素值,较小像素区域图像像素值满足Thglobal为较小像素区域阈值,μglobal为较小像素区域像素均值,σglobal为较小像素区域像素方差。
步骤3:采用运动显著性算法得到运动显著性运动区域。
基于不同方向的运动特征,采用运动显著性算法得到运动显著性运动区域。具体步骤如下:
步骤301:将原视频图像转换成灰度图,按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵,采用ROSL算法分别得到两个方向上的运动前景SX-T和SY-T;则初始运动显著性运动区域定义为:
步骤302:烟雾通常运动缓慢,在烟火区域中存在距离较近像素值相似的点,这些点在连续帧中会失去运动显著性,为了将这些点保留在显著性运动区域中,减小对运动目标提取与检测的影响,结合这些点的空间信息,并利用高斯函数召回这些点,该算法如下:
其中,τ表示以像素点p(i,j,t)为中心所选相邻区域的半径,p(x,y,t)为所选相邻区域像素值组矩阵;||·||2为l2范数,为高斯函数;
步骤303:采用遵循人类视觉条件的运动显著性算法进一步过滤运动显著性运动区域,其具体计算为:
其中,Thm为阈值,Thm=μm+σm即运动显著性运动区域均值与方差之和,Tsize=(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件。
步骤4:根据对亮度的敏感程度条件,提取亮度显著性运动区域。
早期烟火,燃烟总是发生在火之前,因烟雾成分有较弱的光吸收,因此主要呈现灰白色。以亮度特征为主要特征,采用亮度显著性算法得到亮度显著的烟火区域,过滤掉森林中诸如树木,阴影等亮度非显著的动态目标。将亮度值在L=80~H=220范围内的像素进行增强,增加与其他亮度的对比度,将该范围亮度值重置到L*=0~H*=255。步骤4中将原彩色图像RGB颜色空间转化为Lab颜色空间,颜色模型Lab基于人对颜色的感觉,Lab色彩模型是由亮度L和有关色彩的a,b三个要素组成,其中L为亮度,a表示从洋红色至绿色的范围,b表示从黄色至蓝色的范围;
将亮度值在L=80~H=220范围内的像素进行增强,增加与其他亮度的对比度,将该范围亮度值重置到L*=0~H*=255,该算法计算如下:
其中,l(x,y)为增强后的位置(x,y)处的亮度值,g(x,y)为原亮度值;指数γ决定了增强后的亮度分布,随着γ的增加,较暗区域与灰白亮度的烟雾对比度越强;亮度显著性条件应满足人类视觉敏感度以及空间尺度条件:
其中,l(i,j,t)为亮度显著性运动区域(i,j,t)处亮度值,Thl为阈值,Thl=μl+σl表示亮度显著性区域亮度显著性均值与方差之和,Tsize=(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件。
步骤5:基于全局显著性,运动显著性以及亮度显著性,计算得到最终显著性区域显著值。
基于步骤2至4,分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值Sm以及亮度显著性运动区域显著值Sl,则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和S=Sm+Sl决定;同样需满足高斯分布条件与空间尺度条件:
其中,S(i,j,t)为显著性运动区域(i,j,t)最终显著性值,Th为阈值,Th=μ+σ表示显著性运动区域显著性均值与方差之和,Tsize=(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件。
步骤6:基于得到的显著性区域显著特征值,采用组稀疏背景检测算法,得到视频显著性前景区域。
与步骤2采用ROSL算法相似,区别在于提取前景区域采用基于显著性值得归一化参数。步骤6包括以下步骤:
步骤601:基于最终显著性值得到自适应归一化参数:
其中,为第i个显著性区域的显著性值,为所有显著性运动区域中不为零的最小显著性值;
步骤602:组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景:
其中,X为M×N行T列矩阵,S为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;||·||F为Frobenius范数,Φ(Si)是第i个区域的组稀疏矩阵,采用组软阈值方法解决关于组稀疏矩阵的优化问题,组软阈值表达为:
其中,εi=1e-10。
步骤7:提取得到的视频显著性前景区域的LBP(Local Binary Pattern,局部二值模式)特征,采用SVM分类器进行分类识别。
采用预先收集的烟火和非烟火图像数据集训练SVM分类器,特征采用LBP特征。进一步的,将该分类器用于识别待检测视频的显著性前景区域。其具体步骤为:
步骤701:收集烟火和非烟图像数据集,将图像灰度化并归一化图像大小为64*64。提取图像LBP特征,将提取的烟火和非烟图像LBP特征向量分别作为正负样本集;
步骤702:将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S={(xi,yi)|i=1,2,...,n}来训练SVM分类器,i表示第i个样本,xi为第i个样本的LBP特征向量。由于xi是多维向量线性不可分,因此采用高斯核函数将其映射到高维空间使其线性可分。最后训练得到识别烟火和非烟的分类模型。
步骤703:将步骤6得到的每个视频图像前景区域归一化为64*64大小的灰度图像,提取该区域的LBP特征,采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。
本发明一种基于运动和亮度显著性特征的视频森林烟火检测的应用实验中,对大量实际森林场景中的烟火视频进行了测试,场景中存在树木晃动以及摄像机抖动等干扰因素。图2第一行为原视频图片,第二行是最终显著性视频森林烟火分割效果,可以看出本发明方法可以过滤大部分非显著性运动区域,得到显著的烟火区域。图3(a)、(b)、(c)为三个不同场景下基于显著性运动区域LBP特征性提取的烟火识别结果,图中方框为识别的烟火区域。可以看出,利用本发明的方法可以高效准确的识别出场景中的烟火。
Claims (7)
1.一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,该方法包括以下步骤:
(1)读入原视频,视频由T帧图像序列组成,每帧图像的大小为M×N×3;
(2)将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵,采用ROSL鲁棒正交子空间学习算法以及全局显著性算法得到全局显著性运动区域;
(3)结合步骤(2)得到的X-Y-T方向上的全局显著性运动区域,采用运动显著性算法得到运动显著性运动区域;
(4)根据人类视觉对亮度的敏感程度条件,提取亮度显著性运动区域;
(5)基于全局显著性,运动显著性以及亮度显著性,计算得到最终显著性区域显著值;
(6)基于得到的最终显著性区域显著值,采用组稀疏背景检测算法,得到视频显著性前景区域;
(7)提取得到的视频显著性前景区域的LBP局部二值模式特征,采用SVM分类器进行分类识别。
2.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(2)包括以下步骤:
(21)将原视频图像转换成灰度图,按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵;
(22)采用ROSL算法得到备选运动区域:
其中,X为M×N行T列矩阵,E为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;
(23)针对上述步骤中得到的备选运动区域,为得到全局显著性运动区域,除保留较大像素外,较小像素采用基于高斯分布的全局显著性算法进行过滤:
其中,E(i,j,t)为备选运动区域(i,j,t)处像素值,较小像素区域图像像素值满足Thglobal为较小像素区域阈值,μglobal为较小像素区域像素均值,σglobal为较小像素区域像素方差。
3.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(3)包括以下步骤:
(31)将原视频图像转换成灰度图,按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵,采用ROSL算法分别得到两个方向上的运动前景SX-T和SY-T;则初始运动显著性运动区域定义为:
(32)烟雾通常运动缓慢,在烟火区域中存在距离较近像素值相似的点,这些点在连续帧中会失去运动显著性,为了将这些点保留在显著性运动区域中,减小对运动目标提取与检测的影响,结合这些点的空间信息,并利用高斯函数召回这些点,该算法公式如下:
其中,τ表示以像素点p(i,j,t)为中心所选相邻区域的半径,p(x,y,t)为所选相邻区域像素值组矩阵;||·||2为范数,为高斯函数;
(33)采用遵循人类视觉条件的运动显著性算法进一步过滤运动显著性运动区域,其具体计算为:
其中,Thm为阈值,Thm=μm+σm为运动显著性运动区域均值与方差之和,Tsize=(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件。
4.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(4)中将原彩色图像RGB颜色空间转化为Lab颜色空间,颜色模型Lab基于人对颜色的感觉,Lab色彩模型是由亮度L和有关色彩的a,b三个要素组成,其中L为亮度,a表示从洋红色至绿色的范围,b表示从黄色至蓝色的范围;
将亮度值在L=80~H=220范围内的像素进行增强,增加与其他亮度的对比度,将该范围亮度值重置到L*=0~H*=255,该算法计算如下:
其中,为增强后的位置(x,y)处的亮度值,g(x,y)为原亮度值;指数γ决定了增强后的亮度分布,随着γ的增加,较暗区域与灰白亮度的烟雾对比度越强;亮度显著性条件应满足人类视觉敏感度以及空间尺度条件:
其中,为亮度显著性运动区域(i,j,t)处亮度值,为阈值,表示亮度显著性区域亮度显著性均值与方差之和,Tsize=(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件。
5.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(5)基于步骤2至4,分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值Sm以及亮度显著性运动区域显著值则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和决定;同样需满足高斯分布条件与空间尺度条件:
其中,S(i,j,t)为显著性运动区域(i,j,t)最终显著性值,Th为阈值,Th=μ+σ表示显著性运动区域显著性均值与方差之和,Tsize=(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件。
6.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(6)包括以下步骤:
(61)基于最终显著性区域显著值得到自适应归一化参数:
其中,为第i个最终显著性区域显著值,为所有显著性运动区域中不为零的最小显著性值;
(62)组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景:
其中,X为M×N行T列矩阵,S为前景,B为提取的背景,k取1表示视频只有一个背景图像,在矩阵中表示背景序列的矩阵秩为1;D为标准正交矩阵,α为系数矩阵;||·||F为Frobenius范数,Φ(Si)是第i个区域的组稀疏矩阵,采用组软阈值方法解决关于组稀疏矩阵的优化问题,组软阈值表达为:
其中,εi=1e-10。
7.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法,其特征在于,步骤(7)中采用预先收集的烟火和非烟火图像数据集训练SVM分类器,特征采用LBP特征,进一步的,将该分类器用于识别待检测视频的显著性前景区域;其具体步骤为:
(71)收集烟火和非烟图像数据集,将图像灰度化并归一化图像大小为64*64;提取图像LBP特征,将提取的烟火和非烟图像LBP特征向量分别作为正负样本集;
(72)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S={(xi,yi)|i=1,2,...,n}来训练SVM分类器,i表示第i个样本,xi为第i个样本的LBP特征向量;由于xi是多维向量线性不可分,因此采用高斯核函数将其映射到高维空间使其线性可分;最后训练得到识别烟火和非烟的分类模型;
(73)将步骤(6)得到的每个视频图像前景区域归一化为64*64大小的灰度图像,提取该区域的LBP特征,采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302743.7A CN110084160B (zh) | 2019-04-16 | 2019-04-16 | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302743.7A CN110084160B (zh) | 2019-04-16 | 2019-04-16 | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084160A true CN110084160A (zh) | 2019-08-02 |
CN110084160B CN110084160B (zh) | 2021-08-10 |
Family
ID=67415261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910302743.7A Active CN110084160B (zh) | 2019-04-16 | 2019-04-16 | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084160B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080554A (zh) * | 2019-12-20 | 2020-04-28 | 成都极米科技股份有限公司 | 一种投影内容中字幕区域增强方法、装置及可读存储介质 |
CN111274896A (zh) * | 2020-01-15 | 2020-06-12 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272532A (ja) * | 2006-03-31 | 2007-10-18 | Nohmi Bosai Ltd | 火災検出装置 |
JP2008046917A (ja) * | 2006-08-17 | 2008-02-28 | Nohmi Bosai Ltd | 煙検出装置 |
CN102568006A (zh) * | 2011-03-02 | 2012-07-11 | 上海大学 | 一种基于视频中物体运动特征的视觉显著性算法 |
CN104463869A (zh) * | 2014-12-05 | 2015-03-25 | 西安交通大学 | 一种视频火焰图像复合识别方法 |
CN105139429A (zh) * | 2015-08-14 | 2015-12-09 | 大连理工大学 | 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 |
CN108229458A (zh) * | 2017-12-22 | 2018-06-29 | 湖南源信光电科技股份有限公司 | 一种基于运动检测和多特征提取的火焰智能识别方法 |
CN108921215A (zh) * | 2018-06-29 | 2018-11-30 | 重庆邮电大学 | 一种基于局部极值共生模式和能量分析的烟雾检测 |
CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及*** |
-
2019
- 2019-04-16 CN CN201910302743.7A patent/CN110084160B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272532A (ja) * | 2006-03-31 | 2007-10-18 | Nohmi Bosai Ltd | 火災検出装置 |
JP2008046917A (ja) * | 2006-08-17 | 2008-02-28 | Nohmi Bosai Ltd | 煙検出装置 |
CN102568006A (zh) * | 2011-03-02 | 2012-07-11 | 上海大学 | 一种基于视频中物体运动特征的视觉显著性算法 |
CN104463869A (zh) * | 2014-12-05 | 2015-03-25 | 西安交通大学 | 一种视频火焰图像复合识别方法 |
CN105139429A (zh) * | 2015-08-14 | 2015-12-09 | 大连理工大学 | 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 |
CN108229458A (zh) * | 2017-12-22 | 2018-06-29 | 湖南源信光电科技股份有限公司 | 一种基于运动检测和多特征提取的火焰智能识别方法 |
CN108921215A (zh) * | 2018-06-29 | 2018-11-30 | 重庆邮电大学 | 一种基于局部极值共生模式和能量分析的烟雾检测 |
CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及*** |
Non-Patent Citations (8)
Title |
---|
HONGDA TIAN 等: "Smoke Detection in Video: An Image Separation Approach", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
XIANBIAO SHU 等: "Robust Orthonormal Subspace Learning: Efficient Recovery of Corrupted Low-rank Matrices", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
XIN LIU 等: "Background Subtraction Based on Low-Rank and Structured Sparse Decomposition", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
YANG JIA 等: "A Saliency-Based Method for Early Smoke Detection in Video Sequences", 《FIRE TECHNOLOGY》 * |
YAWEN XUE 等: "MOTION SALIENCY DETECTION USING LOW-RANK AND SPARSE DECOMPOSITION", 《ICASSP 2012》 * |
ZHI GAO 等: "Block-Sparse RPCA for Salient Motion Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
严云洋 等: "使用多尺度LBP特征和SVM的火焰识别算法", 《山东大学学报(工学版)》 * |
秦文政 等: "基于视觉显著性和小波分析的烟雾检测方法", 《杭州电子科技大学学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080554A (zh) * | 2019-12-20 | 2020-04-28 | 成都极米科技股份有限公司 | 一种投影内容中字幕区域增强方法、装置及可读存储介质 |
CN111080554B (zh) * | 2019-12-20 | 2023-08-04 | 成都极米科技股份有限公司 | 一种投影内容中字幕区域增强方法、装置及可读存储介质 |
CN111274896A (zh) * | 2020-01-15 | 2020-06-12 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
CN111274896B (zh) * | 2020-01-15 | 2023-09-26 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
Also Published As
Publication number | Publication date |
---|---|
CN110084160B (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kim et al. | Pedestrian detection based on faster R-CNN in nighttime by fusing deep convolutional features of successive images | |
US11308335B2 (en) | Intelligent video surveillance system and method | |
CN107025652B (zh) | 一种基于运动特性和颜色时空信息的火焰检测方法 | |
CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN107301378B (zh) | 图像中多分类器集成的行人检测方法和*** | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
CN109389618B (zh) | 前景和背景检测方法 | |
CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
US20140341421A1 (en) | Method for Detecting Persons Using 1D Depths and 2D Texture | |
CN111046789A (zh) | 一种行人重识别方法 | |
CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与*** | |
CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
CN110084160A (zh) | 一种基于运动和亮度显著性特征的视频森林烟火检测方法 | |
Lejmi et al. | A Novel Spatio-Temporal Violence Classification Framework Based on Material Derivative and LSTM Neural Network. | |
TWI696958B (zh) | 影像適應性特徵提取法及其應用 | |
Chen et al. | Exploring depth information for head detection with depth images | |
CN111274964A (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN109948432A (zh) | 一种行人检测方法 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN106650824B (zh) | 基于支持向量机的运动目标分类方法 | |
CN117475353A (zh) | 基于视频的异常烟雾识别方法及*** | |
Wang et al. | Human detection based on a sequence of thermal images using deep learning | |
CN110059613B (zh) | 一种基于稀疏表示的视频图像烟火分离与检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |