CN106778488A - 基于图像相关性的低照度烟雾视频检测方法 - Google Patents

Abstract

本发明提供基于图像相关性的低照度烟雾视频检测方法，先对录入的视频图像进行压缩并转化为灰度图像，并对所得的灰度图像进行四帧差分运算提取视频图像中的运动目标，选取合适的阈值将帧间差分所得到的结果转化为二值图像；然后对所得的二值图像进行中值滤波，初步降低图像噪声；通过依次计算二值图像中各连通区域的帧间相关性，剔除图像相关性小的非烟雾运动区域，得到准确的烟雾区域图像。本发明效果是可直观看到烟雾发展情况，从而排除温度、湿度、气压、气味等因素影响，提高烟雾检测的准确性，保守估计虚警率可以维持在10％以内。同时，通过回放提取的烟雾区域发展过程可对烟源位置进行准确定位。

Description

基于图像相关性的低照度烟雾视频检测方法

技术领域

本发明涉及烟雾检测领域，尤其涉及在低照度下利用自带红外辅助光源的摄像头进行视频烟雾检测的方法。

背景技术

基于视频的火灾烟雾检测技术具有直观可视、快速可靠的优势，可满足火灾的早期探测需求，成为火灾探测领域的研究热点。多年来国内外研究人员提出了很多有效的烟雾检测方法，但这些方法主要是针对光照充足的条件，对于密闭空间或夜间等低照度的环境下的烟雾检测方法研究不够充分，但实际应用又十分需要。如目前飞机常用的货舱烟雾探测***采用光散射型烟雾探测器，此类探测器易受湿度、灰尘、强烈气味、油粒子等因素影响，虚警率较高。收到货舱烟雾告警时，机组缺乏有效手段识别验证警报的真假，往往导致飞机返航、备降，增加了运营成本，甚至威胁飞行安全。如何利用视频的货舱烟雾探测***作为传统飞机货舱烟雾探测***的补充或警报验证手段，利用有效的烟雾视频检测方法来提高飞行安全、降低虚警率亟待研发。

发明内容

本发明提供了一种基于图像相关性的低照度烟雾视频检测方法，以用于低照度视频监控下的烟雾检测，实现火灾预警。

为了实现上述目的，本发明提供一种烟雾视频检测中的图像处理方法，该烟雾视频检测方法包括以下步骤：

步骤1、将目标视频图像压缩并转化为灰度图；

步骤2、对灰度图像进行四帧差分运算，提取视频图像中较完整的运动区域；

步骤3、运用中值滤波去除二值图像中的噪声点；

步骤4、基于各连通区域的帧间相关性设定动态阈值剔除非烟雾连通区域。

其所述的步骤4中包含以下步骤：

步骤4.1、用MATLAB中的bwlabel函数标记各帧图像中各个连通区域：

对步骤3中值滤波去噪后的图像进行连通区域的标记，判断图像中连通区域的个数以及大小。

步骤4.2、计算各个连通区域的相关性大小：

从第二帧图像开始计算各连通域与上一帧图像中对应区域的相关性的大小。

步骤4.3、去除相关性小的连通区域：

设定阈值Q,如果连通区域的帧间相关性CR_K(i)小于阈值Q,则将所标记的连通区域剔除，反之则保留。待定

本发明的效果是采用该检测方法，能够快速检测低照度视频中的烟雾区域，通过剔除相关性小的连通区域，降低低照度产生的噪声，适用于飞机货舱等低照度、无人员巡视、对烟雾的响应时间要求较短的环境。传统检测装置易受湿度、灰尘、强烈气味等因素影响而导致虚警率高，该方法能够在视频监控的基础上快速、有效提取出视频中的烟雾区域，经实验测试，该方法处理1帧视频图像的时间约为0.4s，可满足应用要求。相对于传统的烟雾探测器，可直观看到烟雾发展情况，从而排除温度、湿度、气压、气味等因素影响，提高烟雾检测的准确性，保守估计虚警率可以维持在10％以内。同时，通过回放提取的烟雾区域发展过程可对烟源位置进行准确定位。用于诸如大型货舱、地下室、车库、居民楼道的拐角处等，具有较高的准确性和实时性，为低照度环境下的防火安全提供技术支持。

附图说明

图1是本发明方法的流程图；

图2a1到图2j1及图2a2到图2j2是基于本发明方法得到的烟雾运动区域与未用图像相关性剔除非烟雾运动区域的图像的对比图。

具体实施方式

以下结合附图对本发明的基于图像相关性的低照度烟雾视频检测方法加以详细说明。

本发明的基于图像相关性的低照度烟雾视频检测方法，尤其适用于在自带红外辅助光源的摄像头监控下的烟雾检测。其烟雾检测的具体过程大致分为以下五个步骤：

步骤1、将录入的目标视频图像压缩并转化为灰度图：

本摄像头录入的烟雾视频图像大小为576*720像素，为了减小整个算法所用时间从而增加烟雾检测的实时性，首先将图像在MATLAB软件中进行压缩，MATLAB软件是美国Mathworks公司出品的商业数学软件，用于算法的开发、数据可视化、数据分析以及数值计算高级技术计算语言和交互环境。本次实验将图像进行0.5倍压缩，使图像的大小变为288*360像素，采用的压缩方法为最邻近插值法。最邻近插值法是图像处理中的一种最基本、最简单的图像放缩方法，使用matlab中imresize函数实现。为了后续图像处理的便利性接着将图像进行灰度化。

步骤2、对灰度图像进行四帧差分运算，提取视频图像中较完整的运动区域：

所述步骤2包括以下步骤：

步骤2.1、连续读取视频序列中的四帧图像,进行差分运算：

帧间差分是运动目标检测算法中较为典型的一种算法，其原理是对相邻两帧或多帧进行差分，得到两帧图像像素值的绝对值，将其与检测阈值进行比较，从而确定视频序列中是否有运动物体出现。本实验中帧间差分所选的视频帧为连续相邻的四帧图像，以第K帧为例，依次选择第K帧、第K+1帧、K+2帧、K+3帧做差分运算。记差分运算前的图像依次为I_K、I_K+1、I_K+2、I_K+3，差分运算后的图像为D_K、D_K+1,其差分规则如下：

即通过对连续四帧中的第一帧和第三帧做差分；第二帧和第四帧做差分，避免了因连续两帧间隔时间太短而无法提取运动区域的问题。

步骤2.2、选择合适的阈值把差分运算得到的灰度图二值化；

将上述帧间差分所得到的图像二值化时所选的阈值需满足能够将运动区域(前景)和背景较清楚的分开，大于阈值T的区域被认为是前景，即烟雾扩散区域；小于阈值T的区域被认为是背景。阈值的选择需根据实际烟雾运动快慢情况而定，实际过程中根据差分运算后图像的灰度值的均值进行调整。本实验选择的阈值T＝Im+0.4，其中Im为差分图像像素值的平均值。即：

其中阈值T是根据每一帧具体的图像计算而来的，是一个动态变化的量。

步骤2.3、对两幅二值图像做与运算：

经步骤2.1差分运算后会得到两幅差分图像D_K和D_K+1，接着经步骤2.2对D_K和D_K+1二值化后得到运动区域和背景分开的二值图，对二值图像做与运算，结果记为D_Ik:

D_Ik＝D_K∩D_K+1

则：

当D_Ik＝1时，为前景点，当D_Ik＝0时，为背景点。

步骤3、运用中值滤波去除噪声点：

对步骤2得到的图像DI_K进行中值滤波去噪，结果记为GI_K，本实验选择中值滤波的窗口大小为3*3。

步骤4、基于帧间相关性设定动态阈值剔除非烟雾连通区域，包含以下三个步骤：

步骤4.1：用MATLAB中的bwlabel函数标记各帧图像中各个连通区域：

对步骤3中值滤波去噪后的图像进行连通区域的标记，判断图像中连通区域的个数和位置,采用四连通标准判断连通区域。记连通区域的总数为N，则各连通区域内的全部像素值依次标记为1到N。

步骤4.2、计算各个连通区域的相关性大小：

从第二帧图像开始计算各连通域相关性的大小。第K帧i个连通域C_Ki，第K帧连通区域总数为N。若包含此连通域的最小矩形区域为第K-1帧与内像素点同坐标的区域为两个矩形区域和内对应坐标像素值的乘积之和为则第i个连通域的相关性其中i≤N。

步骤4.3、去除相关性小的连通区域：

如图1所示，设定动态阈值Q，从第一个连通域开始判断，如果连通区域的帧间相关性CR(i)小于阈值Q,则将所标记的连通区域剔除，反之则保留，接着判断下一个连通域，直到所有的连通域都处理完后结束判断。所选阈值为连通区域中帧间相关性最大值的0.6倍，即Q＝0.6CR(i)_max。

如图2所示，选择本实验中的10帧烟雾视频图像经过本发明方法处理后检测到的烟雾发展过程依次如图 2a1-j1，对比仅采用步骤1-3得到的烟雾图像如图2 a2-j2，可明显看出步骤4的效果。从未经过步骤4处理的图像中可以看出二值图像中除了烟雾区域外还包含有非烟雾的噪声区域，且噪声区域的位置和大小是随机的，而经过步骤4处理后的二值图像只含有准确地烟雾区域。

本发明通过上述实例做了详细的介绍，上述的描述不应被认为是对本发明的限制，凡是利用本发明说明书及附图内容所做的等效结构或流程变换，或者直接、间接运用在其他相关的技术领域，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于图像相关性的低照度烟雾视频检测方法，该方法是基于霍尼韦尔1080P网络红外枪型摄像机与直流稳压电源相连，摄像机的网络端口RJ45与PC机相连的装置进行检测，在夜间低照度环境下，利用自带红外辅助光源的高清摄像头进行烟雾视频的录入，然后将录入的视频通过网络端口传送给PC端，最后在PC端上的MATLAB平台上对视频图像进行相关处理，处理过程中先用中值滤波去除图像中较小的噪声，然后利用帧间相关性剔除图像中的非烟雾连通域，最终提取准确的烟雾运动区域，二值图像中的连通域即为相互连接的像素值相同的点所组成的区域，此连通区域除了烟雾区域外包括随机噪声所产生的非烟雾区域，要得到准确的烟雾区域必须将此非烟雾连通区域去除，其特征是：该方法包括以下步骤：

步骤一、将目标视频图像压缩并转化为灰度图像

通过自带红外辅助光源的高清摄像头对烟雾视频进行录入，取视频中连续的200帧图像进行测试，录入的图像的像素为576*720，为了减小整个算法所使用的时间，采用的压缩方法为最近邻插值法，将图像进行0.5倍压缩，即压缩后的图像像素为288*360，为了方便后期的处理将压缩后的图像转化为灰度图像；

步骤二、对步骤一得到灰度图像进行四帧差分运算，提取视频图像中完整的烟雾运动区域

采用四帧差分法提取烟雾运动区域，对步骤一得到的灰度图像做四帧差分运算，取连续相邻四帧图像做差分运算：

$\left\{\begin{array}{c}{D}_K=|I_K-I_{K+2}|\\ D_{K+1}=|I_{K+1}-I_{K+3}|\end{array}\right.$

其中I_K、I_K+1、I_K+2、I_K+3为连续四帧灰度图像，D_K、D_K+1为差分图像，其中1≤K≤197，选择阈值T对差分图像进行二值化处理，将运动区域和背景分开，阈值T的大小在(0，1)范围内，选择的阈值T＝Im+0.4，其中Im为差分图像像素值的平均值，小于阈值T的区域记为背景，大于阈值T区域的区域记为烟雾运动区域，即：

$D_K=\left\{\begin{array}{cc}1& |I_K-I_{K+2}|>T\\ 0& |I_K-I_{K+2}|>T\end{array}\right.$

$D_{K+1}=\left\{\begin{array}{cc}1& |I_{K+1}-I_{K+3}|>T\\ 0& |I_{K+1}-I_{K+3}|>T\end{array}\right.$

对得到的两幅二值化图像做与运算结果记为D_Ik：

D_Ik＝D_K∩D_K+1

D_Ik＝1记为前景点，D_Ik＝0记为背景点，即：

$D_{Ik}=\left\{\begin{array}{cc}1& d_k=1\\ 0& d_k=0\end{array}\right.$

步骤三、运用中值滤波去除二值图像中的噪声点

为了降低步骤二所得到的二值化图像中的随机噪声点，以减少下一步骤的运算量，采用常用的中值滤波方法对所述二值图像进行去噪，利用中值滤波方法的非线性平滑性能，将二值图像中每一像素点的值设置为中值滤波所选窗口内所有像素点的中值，从而消除孤立的噪声点，所选择的中值滤波方法的窗口大小为3*3，即经中值滤波后每一个像素点的值都取以该像素点为中心大小为3*3区域内所有像素点值的中间值，若中值滤波前二值图像中某点为孤立噪声点，则经中值滤波后此点将变为背景点，处理后的图像仍然记作D_Ik；

步骤四、标记上述二值图像D_Ik中的连通区域，基于各连通区域的帧间相关性设定动态阈值剔除非烟雾连通区域，操作如下：

步骤4.1、通过所述PC机上的MATLAB软件中的连通域标记函数bwlabel标记各帧图像中各个连通区域：

对步骤三中值滤波去噪后的图像进行连通区域的标记，即如果当前帧图像中的连通区域一共有N个，则把各连通区域内的全部像素依次标记为1到N，采用四连通标准判断连通区域，即如果一个像素点的上、下、左、右四个方向中某一个像素值与它相同，则说它们是连通的，连通域即为所有连通的像素点所组成的区域；

步骤4.2、计算上述各个连通区域的相关性大小：

从第二帧图像开始计算各连通域相关性的大小，相关性定义为完全包含此连通域的最小矩形区域内的像素值与上一帧中此区域内的像素值的乘积之和与该矩形区域内总像素数目之比，D_Ik中第i个连通域为包含此连通域的最小矩形区域为第K-1帧图像中与内像素点同坐标的区域为两个矩形区域和内对应坐标像素值的乘积之和为其中M、N为包含连通域的最小矩形区域的行数和列数，矩形区域的总像素点记为S，即S＝M*N，则第i个连通域的相关性

步骤4.3、去除相关性小的连通区域：

经步骤4.2求出各个连通域的相关性CR(i)后,设定阈值Q,剔除相关性小的连通区域，所述阈值Q设为当前帧所有连通域相关性中的最大值的0.6倍，即Q＝0.6CR(i)_max为一个动态的值，阈值Q的大小因每一帧的像素值不同而不同，如果连通区域的帧间相关性CR(i)小于阈值Q,则将所标记的连通区域剔除，反之则保留。