CN104410830A - 一种基于视频烟雾检测的装置与方法 - Google Patents

Abstract

本发明公开了一种基于视频烟雾检测的装置与方法，首先通过视频图像获取单元和求取前景单元求出零散前景点；然后去噪单元对前景点进行去噪处理；之后前景累加单元对前景点进行累加；区域连接单元将累加的前景进行连接并求取相关参数；梯度计算单元求出连接区域平均梯度信息；然后通过伪烟雾排除单元设定相关参数排除一些虚假烟雾区域；再通过特征匹配单元对未排除掉的疑似烟雾区域进行特征匹配；最后判断报警单元通过判断匹配次数是否超过阈值来决定是否给出报警。本发明采用三帧差法求取前景，利用固定窗口对前景进行累加，之后利用多种特征融合的方式进行排除虚假烟雾，最后通过判断匹配次数来决定是否报警。

Description

一种基于视频烟雾检测的装置与方法

 

技术领域

本发明涉及计算机视觉领域，尤其是涉及应用于视频监控领域的早期烟雾检测。

 

背景技术

火灾的预防和探测一直是人们所关注的重点。而火灾发生时，更早出现的现象是烟雾。因此，对于烟雾的检测显得更加的重要。目前大多所采用的检测手段分为：感烟探测器和视频监控。

各种感烟型探测器需要烟雾达到一定浓度且到达探测器一定范围内，才能进行有效报警，面对高大空旷场所时，此种探测器显得作用不足。而随着现代社会的高速发展，高大型建筑物日益增多。一旦发生火灾，此种探测器发出报警时，已经造成很大损失，失去了原有探测的作用和目的。

而对于普通的视频监控需要大量的人员才能进行全方位、全天候的实时监控。此种方案更是难以实施。一是需要大量人员才能对众多视频进行实时观察；二是监控人员不可能全天候精力集中。

 

发明内容

本发明的目的在于提出一种基于视频烟雾检测的装置与方法。本发明能够在烟雾形成早期快速有效的给出报警。

为了达到上述目的，本发明提出一种基于视频烟雾检测的装置，该烟雾检测的装置包括：

视频图像获取单元，利用摄像头实时采集监控区域的图像。

求取前景单元，对视频图像获取单元中获取的视频利用三帧差法求取前景。

去噪单元，利用开运算操作将求取的前景做去噪处理，消除细微噪点。

前景累加单元，规定一个固定长度的窗口对去噪后的前景进行累加，最终作为疑似烟雾的检测结果。

区域连接单元，对累加前景点进行区域连接并记录面积、灰度、质心等相关参数并实时更新作为判断报警的条件。

梯度计算单元，求出整个连接区域的平均梯度值，作为判断报警的条件之一。

伪烟雾排除单元，根据前两单元求出的相关参数并利用烟雾的形状、颜色、运动趋势和周边区域等条件进行伪烟雾的剔除。

特征匹配单元，将未剔除的烟雾疑似区域进行特征匹配。采用是否为最近邻作为匹配区域的挑选条件。匹配限制条件包括灰度及面积变化。

判断报警单元，根据匹配帧数和阈值关系判断是否报警。

按照本发明的另一个方面，提供了一种基于视频烟雾检测的方法，该方法包括步骤：

第一步骤，视频获取，利用摄像头实时采集监控区域的视频图像。

第二步骤，利用三帧差法对第一步骤中获取的视频图像求取前景。

第三步骤，开运算去除部分噪点，第二步骤中帧差出的前景区域内可能包含一些细微噪点，通过开运算将这些噪点进行排除。

第四步骤，窗口内帧差前景累加，规定一个固定长度的窗口对第三步骤中去噪后的前景进行累加，最终作为疑似烟雾的检测结果。

第五步骤，累加前景区域连接，对第四步骤中的累加前景点进行区域连接并记录面积、灰度、质心等相关参数并实时更新作为判断报警的条件。

第六步骤，前景区域内部梯度计算，求出整个连接区域的平均梯度值，作为判断报警的条件之一。

第七步骤，非烟雾区域剔除，根据第五步骤、第六步骤求出的相关参数并利用烟雾的形状、颜色、运动趋势和周边区域等条件进行伪烟雾的剔除。

第八步骤，特征匹配，将第七步骤中未剔除的烟雾疑似区域进行特征匹配。采用是否为最近邻作为匹配区域的挑选条件。匹配限制条件包括灰度及面积变化。

第九步骤，根据匹配帧数和阈值关系判断是否报警。

 

附图说明

本发明共有附图六张：

图1示出了按照本发明的基于视频烟雾检测装置的示意框图；

图2示出了按照本发明的基于视频烟雾检测装置的求取前景单元的示意框图；

图3示出了按照本发明的基于视频烟雾检测装置的前景累加单元的示意框图；

图4示出了按照本发明的基于视频烟雾检测方法的整体流程图；

图5示出了按照本发明的基于视频烟雾检测方法的第一步流程图；

图6示出了按照本发明的基于视频烟雾检测方法的第四步流程图。

 

具体实施方式

下面参照附图并结合具体实例来对本发明进行详细说明。应指出的是，所描述的实例仅是为了便于对本发明的理解，并不因此而限定本发明的保护范围。

图1示出了按照本发明的基于视频的烟雾检测装置的示意框图。以下所述装置各单元都可单独通过微处理器来实现，但为节约成本也可以利用一个具有高性能CPU的处理器来实现。如图1所示，按照本发明的基于视频的烟雾检测装置包括：

第一部分，视频图像获取单元101，用来获取监控区域的视频图像数据并将数据传递给求取前景单元102。

第二部分，求取前景单元102，利用三帧差法求取零散前景点。具体组成如图2所示，包括： 

图像存储单元201，用来存储视频图像获取单元101中获得的视频图像数据；

帧差计算单元202，用来计算图像存储单元201中相邻两帧的帧差；

帧差结果存储单元203，用来保存帧差计算单元202计算后的结果；

三帧差计算单元204，对帧差结果存储单元203中相邻帧差结果进行与操作；

三帧差结果存储单元205，用来保存三帧差计算单元204计算后的结果。 

第三部分，去噪单元103，利用开运算操作对求取前景单元102求取的前景进行去噪操作，消除细微噪点。

第四部分，前景累加单元104，规定一个固定长度的窗口对去噪后的前景进行累加，具体组成如图3所示，包括：

窗口判断单元301，用来判断固定窗口内是否为第一次累加，根据判断结果对数据进行不同的操作；

帧差前景累加单元302，若窗口判断单元301判定固定窗口为第一次累加，则帧差前景累加单元302直接进行对新前景的累加，若窗口判断单元301判定固定窗口不是第一次累加，则帧差前景累加单元302在累加新前景的同时，减去刚出窗口的前景；

累加阈值判断单元303，用来判断固定窗口内累加前景点的各点累加次数是否超过阈值；

烟雾模板设置单元304，用来将累加次数达到阈值的累加前景点在对应的烟雾模板位置中做标记操作。

第五部分，区域连接单元105，对前景累加单元104中的烟雾模板设置单元304标记过的点进行区域连接并计算面积、灰度、质心等相关参数。

第六部分，梯度计算单元106，求出区域连接单元105中连接区域的平均梯度值，作为判断报警的条件之一。

第七部分，伪烟雾排除单元107，根据区域连接单元105和梯度计算单元106求出的相关参数并利用烟雾的形状、颜色、运动趋势和周边区域等条件进行伪烟雾的剔除。将未剔除的疑似区域进行存储。

第八部分，特征匹配单元108，将伪烟雾排除单元107未剔除的烟雾疑似区域进行特征匹配。将当前帧数据与历史帧数据进行匹配，采用是否为最近邻作为匹配区域的挑选条件。匹配限制条件包括灰度及面积变化。对于匹配成功的疑似区域将其匹配次数加1。

第九部分，判断报警单元109，根据特征匹配单元108记录的各疑似区域的匹配帧数和阈值关系判断是否报警。

根据本发明的另一个方面，提出了一种基于视频烟雾检测的方法，本发明利用计算机视觉的方法，对监控区域进行实时分析处理，当监控区域有烟雾出现时，对烟雾进行识别判断并自动给出报警信息。另外，由于实际场景的不同，下述中的阈值会有所不同，最佳的阈值需根据实际测试之后才能确定。因此，这里不再列举实际的数据进行说明。如图4所示，本发明整体流程分为九个步骤：

步骤401，获取彩***，利用摄像头获取监控区域的实时视频图像数据。

步骤402，三帧差求取零散前景区域。如图5所示，步骤501通过设定恰当阈值T1，将视频中相邻的两帧做帧差并保存结果；步骤502再将相邻帧差结果进行与操作，两部分帧差结果均满足阈值T1时，该点对应的三帧差结果为true；步骤503将三帧差结果赋值给对应的三帧差模板中。

步骤403，对帧差结果进行开运算，对步骤402中求出的三帧差结果进行开运算去除噪点。步骤402中帧差出的前景区域内可能包含一些细微噪点，通过开运算将这些噪点进行排除。并将疑似区域的边缘通过开运算做平滑处理。

步骤404，固定窗口内部帧差结果累加，将去噪后的每帧前景点在时间上连续帧数固定的窗口中进行累加。如图6所示，步骤601判断设定窗口是否进行第一次累加，根据判断结果不同进行不同的步骤；若步骤601判断设定窗口不是第一次累加，则步骤602将新进入窗口的前景进行相加；然后步骤603将时间上刚出窗口的前景减掉；若步骤601判断设定窗口为第一次累加，则步骤604直接对新进入的前景进行累加；步骤605判断设定窗口中各前景点累加次数是否超过设定阈值T2，若超过阈值T2，则在烟雾模板中将该点对应位置设定为1，否则设定为0。窗口大小设定为30，即累加时间上连续的30帧三帧差结果。

步骤405，前景连接，将步骤404在烟雾模板中设定为1的点进行区域连接。以某一标记点为中心，进行四邻域连接处理，将所有相邻的标记点进行区域连接。同时计算连接区域的面积、平均灰度、质心、周长。

步骤406，区域内部梯度计算。烟雾内部灰度分布应呈现较平滑的特征，根据这一特点可作为判断疑似前景区域是否为烟雾的一个标准。根据某一点的上下左右四点计算该点的梯度值。梯度计算公式为：

nAvgGrad=(∑nGrad)/Num

nGrad=|f1-f2|+|f3-f4|

其中nAvgGrad为前景区域的平均梯度值；nGrad为前景区域每一点的梯度值；Num为前景区域的标记点个数；f1、f2、f3、f4为所求点的四邻域点灰度值。

步骤407，根据预设条件排除部分伪烟雾区域。根据烟雾的形状、颜色、运动趋势和周边区域进行伪烟雾的剔除。主要包括以下几部分：

1、基本特征的排除，限制条件分别为：

（1）疑似区域大小是否符合设定阈值。通过设定检测图像中烟雾的最大最小区域面积来排除一些过小或过大的伪烟雾区域。

（2）疑似区域平均灰度限制。黑烟，白烟，青烟其灰度值都在一定的范围内，通过设定疑似区域的灰度值范围来进行排除伪烟雾区域。

（3）疑似区域填充率限制。填充率为疑似区域面积与疑似区域最小外接矩形的比值。烟雾具有较强的发散性，利用烟雾这一性质通过设定适当的填充率，能够有效的排除大部分伪烟雾区域。

（4）疑似区域宽高比限制。烟雾在飘动过程中，其宽高比在一定范围内变化。通过设定疑似区域的宽高比来排除部分虚假烟雾区域。

（5）疑似区域内部是否平滑。步骤406中计算的平均梯度信息反应疑似区域内部平滑特征。无论是哪种烟雾，其内部都表现出平滑特性。通过设定平均梯度阈值能够有效排除部分伪烟雾区域。步骤406中的梯度算子可采取任意一种，其阈值根据算子的不同而不同。

2、根据色彩值特征排除。无论烟雾区域偏黑灰或者白，R、G、B分量的区别都较小，通过设定R、G、B阈值排除色彩信息不符合烟雾特征的疑似区域。本发明采用的彩色图像格式为YUV，而YUV图像不能直接体现物体的色彩信息，故将判定区域进行色彩空间转换。其中YUV转换RGB可采用任意一种方式。

3、疑似区域周边信息判断。该判断主要针对较小面积的疑似区域。点火生成的黑烟，一个重要特征是烟雾区域中下方会有一块高亮区域。通过检测疑似区域与高亮区域的位置关系来判断疑似区域是否为烟雾。若持续检测到高亮区域在烟雾疑似区域的中上方，则认为不符合设定标准，将该烟雾疑似区域剔除。

步骤408， 模板清零，将步骤407中剔除的伪烟雾区域的烟雾模板进行清零。将未剔除的疑似烟雾区域及相关数据进行保存作为历史数据。

步骤409，特征匹配。对步骤7中未排除掉的疑似区域进行匹配操作。将当前帧中出现的疑似区域与步骤408保存的上一帧历史数据中的疑似区域进行匹配。匹配条件包括灰度及面积变化。若当前帧中的疑似区域与历史数据中的疑似区域在平均灰度、面积变化中均变化不大，满足设定阈值，则认为匹配，匹配次数加1。

步骤410，根据匹配帧数和阈值关系判断是否报警。当匹配次数到达设定阈值T3时认为该疑似区域为烟雾发生区域，给出报警。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的研究人员在本发明所揭露的技术范围内，根据实际情况做出的多种改变，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于视频烟雾检测的装置与方法，其特征在于，该装置包括：

第一部分，视频图像获取单元，用来获取监控区域的视频图像数据并将数据传递给求取前景单元；

第二部分，求取前景单元，利用三帧差法求取零散前景点；

第三部分，去噪单元，利用开运算操作对求取前景单元求取的前景进行去噪操作，消除细微噪点；

第四部分，前景累加单元，规定一个固定长度的窗口对去噪后的前景进行累加；

第五部分，区域连接单元，将累加前景达到阈值的点进行区域连接并计算面积、灰度、质心等相关参数；

第六部分，梯度计算单元，求出区域连接单元中连接区域的平均梯度值，作为判断报警的条件之一；

第七部分，伪烟雾排除单元，根据区域连接单元和梯度计算单元求出的相关参数并利用烟雾的形状、颜色、运动趋势和周边区域等条件进行伪烟雾的剔除，将未剔除的疑似区域进行存储；

第八部分，特征匹配单元，将伪烟雾排除单元未剔除的烟雾疑似区域进行特征匹配，将当前帧数据与历史帧数据进行匹配，采用是否为最近邻作为匹配区域的挑选条件，匹配限制条件包括灰度及面积变化，对于匹配成功的疑似区域将其匹配次数加1；

第九部分，判断报警单元，根据特征匹配单元记录的各疑似区域的匹配帧数和阈值关系判断是否报警。

2.按照权利要求1所述的装置，其特征在于，求取前景单元包括：

图像存储单元，用来存储视频图像获取单元中获得的视频图像数据；

帧差计算单元，用来计算图像存储单元中相邻两帧的帧差；

帧差结果存储单元，用来保存帧差计算单元计算后的结果；

三帧差计算单元，对帧差结果存储单元中相邻帧差结果进行与操作；

三帧差结果存储单元，用来保存三帧差计算单元计算后的结果。

3.按照权利要求1所述的装置，其特征在于，前景累加单元包括：

窗口判断单元，用来判断固定窗口内是否为第一次累加，根据判断结果对数据进行不同的操作；

帧差前景累加单元，若窗口判断单元判定固定窗口为第一次累加，则帧差前景累加单元直接进行对新前景的累加，若窗口判断单元判定固定窗口不是第一次累加，则帧差前景累加单元在累加新前景的同时，减去刚出窗口的前景；

累加阈值判断单元，用来判断固定窗口内累加前景点的各点累加次数是否超过阈值；

烟雾模板设置单元，用来将累加次数达到阈值的累加前景点在对应的烟雾模板位置中做标记操作。

4.一种基于视频烟雾检测的装置与方法，其特征在于，该方法步骤包括：

第一步骤，视频获取，利用摄像头实时采集监控区域的视频图像；

第二步骤，利用三帧差法对第一步骤中获取的视频图像求取前景；

第三步骤，开运算去除部分噪点，第二步骤中帧差出的前景区域内可能包含一些细微噪点，通过开运算将这些噪点进行排除；

第四步骤，窗口内帧差前景累加，将去噪后的每帧前景点在时间上连续帧数固定的窗口中进行累加，最终作为疑似烟雾的检测结果；

第五步骤，累加前景区域连接，对第四步骤中的累加前景点进行区域连接并记录面积、灰度、质心等相关参数并实时更新作为判断报警的条件；

第六步骤，前景区域内部梯度计算，求出整个连接区域的平均梯度值，作为判断报警的条件之一；

第七步骤，非烟雾区域剔除，根据第五步骤、第六步骤求出的相关参数并利用烟雾的形状、颜色、运动趋势和周边区域等条件进行伪烟雾的剔除；

第八步骤，特征匹配，将第七步骤中未剔除的烟雾疑似区域进行特征匹配，采用是否为最近邻作为匹配区域的挑选条件，匹配限制条件包括灰度及面积变化；

第九步骤，根据匹配帧数和阈值关系判断是否报警。

5.按照权利要求4所述的方法，其特征在于，第四步骤包括：

a）判断设定窗口是否进行第一次累加，根据判断结果不同进行不同的步骤；

b）若判断设定窗口不是第一次累加，则将新进入窗口的前景进行相加，然后将时间上刚出窗口的前景减掉；

c)若判断设定窗口为第一次累加，则直接对新进入的前景进行累加；

d）判断设定窗口中各前景点累加次数是否超过设定阈值，若超过阈值，则在烟雾模板中将该点对应位置设定为1，否则设定为0，其中窗口大小设定为30，即累加时间上连续的30帧三帧差结果。

6.按照权利要求4所述的方法，其特征在于，第六步骤中梯度计算公式为：

nAvgGrad=(∑nGrad)/Num

nGrad=|f1-f2|+|f3-f4|

其中nAvgGrad为前景区域的平均梯度值；nGrad为前景区域每一点的梯度值；Num为前景区域的标记点个数；f1、f2、f3、f4为所求点的四邻域点灰度值。

7.按照权利要求4所述的方法，其特征在于，第七步骤包括：

e）基本特征的排除；

f）根据色彩值特征排除；

g）疑似区域周边信息判断。

8.按照权利要求7所述的方法，其特征在于，步骤e）包括：

（1）疑似区域大小是否符合设定阈值，通过设定检测图像中烟雾的最大最小区域面积来排除一些过小或过大的伪烟雾区域；

（2）疑似区域平均灰度限制，黑烟，白烟，青烟其灰度值都在一定的范围内，通过设定疑似区域的灰度值范围来进行排除伪烟雾区域；

（3）疑似区域填充率限制，烟雾具有较强的发散性，利用烟雾这一性质通过设定适当的填充率，能够有效的排除大部分伪烟雾区域；

（4）疑似区域宽高比限制，烟雾在飘动过程中，其宽高比在一定范围内变化，通过设定疑似区域的宽高比来排除部分虚假烟雾区域；

（5）疑似区域内部是否平滑，通过设定平均梯度阈值能够有效排除部分伪烟雾区域。

9.按照权利要求7所述的方法，其特征在于，步骤f）包括：无论烟雾区域偏黑灰或者白，R、G、B分量的区别都较小，通过设定R、G、B阈值排除色彩信息不符合烟雾特征的疑似区域。

10.按照权利要求7所述的方法，其特征在于，步骤g）包括：点火生成的黑烟，一个重要特征是烟雾区域中下方会有一块高亮区域，通过检测疑似区域与高亮区域的位置关系来判断疑似区域是否为烟雾，若持续检测到高亮区域在烟雾疑似区域的中上方，则认为不符合设定标准，将该烟雾疑似区域剔除。