CN101373553A - 一种在动态场景中能免疫误报的早期烟雾视频检测方法 - Google Patents

Abstract

本发明公开了一种在动态场景中能免疫误报的早期烟雾视频检测方法；旋转云台带动IP网络摄像机间隙式地沿水平方向来回旋转，云台每转过一个IP网络摄像机视角后暂停，由IP网络摄像机采集被监控场景视频图像数据，并通过光电转换器和以太网转换传输到监控微机，监控微机对视频图像数据进行学习与证据累积分析，获取监控场景中的动态背景，以及判断分析被监控场景中是否存在真正的烟雾，若确认有烟雾，则触发报警；本发明克服了已有技术中在开放的动态场景下存在的误报率高、检测鲁棒性低等缺点，可在4～6秒钟内正确检测出早期烟雾。

Description

一种在动态场景中能免疫误报的早期烟雾视频检测方法

技术领域

本发明属于计算机数字图像处理领域，涉及到视频图像获取技术，视频图像增强技术，视频图像分割技术，图像压缩技术，视频图像的多线程处理技术；特别涉及一种在动态场景中能免疫误报的早期烟雾视频检测方法。

背景技术

为防止火灾发生和危险化学品泄漏，现有技术大致分为：吸气式烟雾探测器、单点式烟雾探测器(离子式烟雾探测器、光电式烟雾探测器)、投影束式烟雾探测器、反射束式烟雾探测器、空气取样烟雾探测器、辐射的能量感应烟雾探测器(紫外线烟雾探测器、红外线烟雾探测器、火花灰烬烟雾探测器)、图像对的单点式模拟探测器等。其检测原理是依据烟雾、气体、温度等物理量的变化，提出快速报警。然而，上述烟雾探测技术需要在离烟雾发生源比较近的地方才能快速、有效地发挥探测作用。在空间距离和占地面积都较大型的场所(如：发电站、粮库、油库、飞机库、大仓库、古建筑群、隧道、火车站、购物中心等)，或存在着强气流的地方，安装上述烟雾探测器则不能很好地发挥作用，其防火、防泄漏的早期报警始终是个十分困难的问题。

通过光学成像的视频烟雾探测，其作用距离相对较远，毋需等到烟雾接近或到达检测器安装点，便能感知事实的存在与否。现有方法则以小波检测为主，小波子图像LH、HL和HH包含了背景图像的水平、垂直和对角的高频信息，其轮廓边缘在小波子图像中产生局部极值。背景图像中的轮廓边缘被烟雾覆盖会变得模糊，且可能因烟雾变厚而在一段时间后消失，导致小波系数值因能见度降低而减少，从而来实现检测。

然而，已有的视频检测技术在动态场景中，存在误报率高、检测鲁棒性低等致命缺陷。因此，在大扰动场景中的动态背景自动学习，以及对类似烟雾的静态、动态目标的自动剔除，是早期烟雾特征视频检测技术的关键。

发明内容

本发明主要针对传统烟雾探测器存在的不足，提供一种在动态场景中能免疫误报的早期烟雾视频检测方法。

本发明的目的是通过以下技术方案来实现的：一种在动态场景中能免疫误报的早期烟雾视频检测方法，旋转云台带动IP网络摄像机间隙式地沿水平方向来回旋转，云台每转过一个IP网络摄像机视角后暂停，由IP网络摄像机采集被监控场景视频图像数据，并通过光电转换器和以太网转换传输到监控微机，监控微机对视频图像数据进行学习与证据累积分析，获取监控场景中的动态背景，以及判断分析被监控场景中是否存在真正的烟雾，若确认有烟雾，则触发报警；其中，所述对视频图像数据进行学习与证据累积分析的过程包括以下具体步骤：

(1)早期烟雾的RGB分量运算组合的离线学习：通过颜色域的离线学习，取得分割早期灰烟、青烟、黄烟的最佳RGB颜色分量运算组合。

(2)对视频帧基于色域压缩进行烟雾分割：检测时，先创建多线程，按烟雾颜色特征学习取得的最佳RGB颜色分量运算组合，分3路对彩***帧进行RGB分量运算及其位屏蔽，实时分割取得具有灰烟、青烟、黄烟颜色特征的类似烟雾区。

(3)视频帧动态复杂场景中的背景学习与维护：检测过程中，同时进行背景的动态学习与维护更新，获得视频的动态背景，用背景维护下的减背景来消除场景中的静态类似烟雾区，再用小波变换的高频组合来消除场景中动态的类似烟雾区干扰。

(4)视频帧的长序列烟雾证据积累分析和帧图像的连通分析：进行多帧视频的证据积累和帧的连通域分析，通过与灰烟、青烟、黄烟分析子线程结果的或运算，实现动态场景中的误报免疫，判别标记出真正烟雾。

本发明的有益效果是：本发明克服了已有技术中在开放的动态场景下存在的误报率高、检测鲁棒性低等缺点；能自动排除导致误报的刚性或非刚性移动物体、太阳光或污染物，以及自动识别缓慢云层变化与烟雾变化；视频烟雾探测的作用距离相对较远，可达100m以上。

附图说明

图1是包含青烟和类似青烟区的动态场景原图，

图2是对图1用RGB色域特征的循环学习，结合含误差带的FloodFill方法得到类似烟雾区的结果举例图，

图3是图2中的表示类似烟雾兴趣区的模板图，

图4是对图1用

分量运算和位屏蔽结果图，

图5是用图4割取图1所示的原图得到类似烟雾的结果图，

图6是举例的视频序列中某图像分块的背景学习维护过程的跟踪曲线图(初始背景为第1帧，包含当前帧、临时背景、永久背景这3条曲线)，

图7是包含烟雾和类似烟雾的动态场景视频帧图，

图8是RGB分量运算及其小波变换分析图，其左上角为高频成分子图HL、LH、HH合成后的高频分量示意图，

图9是对图8进行末7位屏蔽后取得强噪声的二值化结果图，

图10(a)、(b)、(c)、(d)是举例的动态视频帧原图及其跟踪分块位置图，

图10(e)是对图10(a)-(d)举例的动态视频各帧某图像分块小波能量值变化的跟踪波形图，

图11是对动态场景视频序列1的烟雾检测结果举例图，

图12是对动态场景视频序列2的烟雾检测结果举例图，

图13是总体实施的技术路线的流程图，

图14是子线程中实施的技术路线的流程图。

具体实施方式

本发明的检测原理是采用计算机视觉技术和误报免疫运算规则，对拍摄到图像序列中的区域变化经过一系列过滤判断，当发现与烟雾行为相关的运动特征和颜色特征出现，则在短时间内自动判定有烟雾事件发生。无论监控摄像机被放置在10m或是100m远的地方，不需要等到烟雾到达检测器，便能在烟雾产生初期即时检测到其特征信号，达到早期监控的预防效果。该技术尤其适用于前述大型场所中的火灾监控，以及被用在有毒、有害场所中基于视觉原理进行危险化学品泄漏等的自动监测。

本发明在动态场景中能免疫误报的早期烟雾视频检测方法在烟雾视频检测***上实现，该烟雾视频检测***包括IP网络摄像机、旋转云台、以太网传输***、光电转换器和微机；安装在旋转云台的IP网络摄像机采集视频图像数据，通过光电转换器和以太网转换和传输到微机进行视频分析。具体来说，采用IP网络摄像机(重要场所在夜晚可附加远红外摄像机)作为传感器，通过视频图像处理技术和误报免疫检测判别方法，自动识别烟雾的特殊扩散运动和早期烟雾的模式特征，以空域和时间域的多证据累积增强来判定烟雾事件的发生，并将监测结果以颜色标记和自动报警通讯方式输出，及时向***管理人员发出警报。该检测原理不需要等到烟雾到达检测器，便能感知事实的存在与否，因此，能在第一时间监测到潜在的灾难事件。采用TCP/IP网络视频传输，可在不同地点实现远程监视操控，采用局域网光纤来传输IP摄像机监测到的视频图像，信息传输距离可达几公里以上。所有检测数据资源统一由数据库来管理，检测***能够自动记录事件发生的时间和内容，以便跟踪查询被测目标。***能方便地实现图像数据库信息的导入、导出，并共享其它的数据。

本发明的方法为：旋转云台带动IP网络摄像机间隙式地沿水平方向来回旋转，云台每转过一个IP网络摄像机视角后停止，IP网络摄像机采集的被监控场景视频图像数据通过光电转换器和以太网转换传输到监控微机，微机对视频图像数据进行学习与分析，获取监控场景中的背景，然后判断分析被监控场景中是否存在真正的烟雾，若确认有烟雾，则触发报警；其中，对视频图像数据进行学习与分析的过程包括以下具体步骤：(1)早期烟雾的RGB(红黄蓝)分量运算组合的离线学习：通过颜色域的离线学习，取得分割早期灰烟、青烟、黄烟的最佳RGB颜色分量运算组合；(2)对视频帧基于色域压缩进行烟雾分割：检测时，先创建多线程，按烟雾颜色特征学习取得的最佳RGB颜色分量运算组合，分3路对彩***帧进行RGB分量运算及其位屏蔽，实时分割取得类似灰烟、青烟、黄烟颜色特征的烟雾区；(3)视频帧动态复杂场景中的背景学习与维护：检测过程中，同时进行背景的动态学习与维护更新，获得视频的动态背景，用背景维护下的减背景来消除场景中的静态类似烟雾区，再用小波变换的高频组合来消除场景中的动态类似烟雾区干扰；(4)视频帧的长序列烟雾证据积累分析和帧图像的连通分析：进行多帧视频的证据积累和帧的连通域分析，通过与灰烟、青烟、黄烟分析子线程结果的或运算，实现动态场景中的误报免疫，判别标记出真正烟雾。

以下结合附图对本发明的核心技术作进一步的详细描述，本发明的目的和效果将变得更加明显。

1、早期烟雾的RGB分量运算组合的离线学习：

通过调研火灾早期烟雾发生的情况，发现火灾发生早期通常存在灰烟、青烟、黄烟这三种典型烟雾，对这三类早期烟雾的检测基本可以满足绝大部分情况下的火灾预警。本方法采用多线程技术来创建三个分析子线程，分别根据灰烟、青烟、黄烟的颜色域特征，同时对彩***帧图像进行分割处理。具体步骤如下：

(a)用RGB色域特征的循环学习，结合含误差带FloodFill算法，取得烟雾特征核心兴趣区模板(ROI)。结果举例如图2、3所示。

(b)根据RGB分量运算的计算公式

T(i，j)＝{rR(i，j)+gG(i，j)+bB(i，j)|r，g，b∈[-3，3]}       (1)

得到全图像被色彩增强后的特征灰度图。

T(i，j)表示对图像第i，j行列处像素点进行颜色分量组合运算所得到的特征灰度图。R(i，j)、G(i，j)、B(i，j)表示图像第i，j行列处像素点的RGB值，r，g，b为分别对应R(i，j)、G(i，j)、B(i，j)的RGB分量组合参数，自动穷举[-3.00，3.00]内0.01步长的RGB组合系数，并按式(1)求取特征图，将其与兴趣区学习模板求二值图差分的绝对值，统计该结果图像素值为1的数量，以搜索其最小值来判断学习效果，以及控制学习终止点。本方法以ρ表示二者匹配的似然度：

${\mathrm{\ρ}}_i=\frac{1}{\mathrm{RG}}\underset{i=1}{\overset{R}{\mathrm{\Σ}}}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}|P_j(i,c)-Q(i,c)|---\left(2\right)$

式中：R、C分别表示为匹配图象的行、列数，P_j(i，c)，Q(i，c)分别表示第j次组合结果和兴趣区学习模板的二值图。当学习完成后，取使得ρ为最小值时对应的r，g，b为最优的RGB分量组合参数。图4所示为采用该分量运算和位屏蔽方法对包含青烟和类似青烟区的动态场景的举例图1取得的分割效果图。

2、对视频帧基于色域压缩的烟雾分割：

(a)位屏蔽的颜色压缩。

位屏蔽的颜色压缩(被屏蔽的颜色位被置0)是一种在RGB三维真彩色空间中近似均匀采样的颜色压缩方法。如：屏蔽RGB颜色各分量8位中的末3位颜色(即：将扫描到的像素分量值和11111000求与运算

)，压缩后的图像在视觉效果上改变不大，但计算搜索空间被大大压缩。

(b)将步骤1中用RGB分量运算离线学习得到的灰烟、青烟、黄烟的RGB组合参数，按式(1)计算得到特征图，然后用10000000位屏蔽与运算来压缩掉8位颜色中的最后7位，再通过割取原图得到类似烟雾区。图5所示为从包含青烟和类似青烟区的动态场景原图(图1)上分割取得到的类似烟雾区。

3、视频帧动态复杂场景中的背景学习与维护

针对以上处理后存在的类似烟雾干扰问题(如：天空、雾气)，将当前帧与学习所得的动态背景，在各自进行RGB分量运算及其位屏蔽后，再做差分，来基本去除静态存留的类似烟雾干扰。

空域小波去噪：对视频帧采取一层离散小波分解，分解后包括一幅低频成分子图LL和三幅高频成分子图HL、LH、HH。HL、LH、HH分别为垂直、水平、对角方向的边缘和纹理信息。烟雾的弥漫、半透明性能使图象边缘、纹理锐性降低，导致小波子图中的高频部分能量减少，通过检测小波子图的能量变化可消除动态的类烟雾区干扰。基于该事实，定义：

w_n(x，y)＝|LH_n(x，y)|²+|HL_n(x，y)|²+|HH_n(x，y)|²   (3)

式中，w_n(x，y)表示第n帧原图(x，y)位置的能量，LH_n(x，y)、HL_n(x，y)、HH_n(x，y)分别表示第n帧(x，y)位置对应高频成分的一级小波系数。为降低噪声影响和提高运算效率，对原图分块，块的大小为(k₁，k₂)，可取为2像素*2像素。每分块(k，k)的小波能量E(l₁，l₂)计算方法为：

$E(l_1,l_2)=\underset{l_1=0}{\overset{K_1-1}{\mathrm{\Σ}}}\underset{l_2=0}{\overset{K_2-1}{\mathrm{\Σ}}}{w}_n(x+l_1,y+l_2)---\left(4\right)$

在YUV空间处理图像，可对Y分量(亮度)做小波变换；在RGB空间处理，一般选R分量。本发明用RGB空间的分量运算在利用颜色后来形成灰度图，然后对该灰度图进行小波变换。图8为RGB分量运算+小波变换图，图9为分量运算+小波分析+位屏蔽获得的强噪声位置分析图，即：对图8变换结果进行7位屏蔽后的二值化效果图。经分量运算及小波变换的数据，再经位屏蔽，刚好可隔离出强噪声区域(见图9的左上角图)。采用该RGB分量运算+小波分析+位屏蔽的方法，通过对照判断图9强噪声区域与类似烟雾标记点的共同区域，来消除动态“减背景”遗留下来的强噪声点，获得干净的、动态的类似烟雾区。

本发明的背景学习与维护方法，包含自动提取和更新临时背景和永久背景两部分。在更新背景的过程中，先更新临时背景，当临时背景变化量积累到一定程度时，再更新永久背景。引入临时背景作为更新缓冲区的好处，在于学习获得的永久背景在复杂场景中不易被污染，又能随着动态场景的变化而自适应地被更新。

该步骤具体如下：

(a)根据移动物体判别准则，识别移动目标。

(b)对非移动目标区，在临时背景中更新其对应的图像分块。

(c)若图像分块的临时背景与永久背景的差值累积超过阈值时，则更新其永久背景：

$\left\{\begin{array}{c}{B}_{\mathrm{tmp}}(x,y)=\mathrm{\α}\×B_{\mathrm{tmp}}(x,y)+(1-\mathrm{\α})I_n(x,y)\\ B_{\mathrm{perm}}(x,y)=\mathrm{\β}\×B_{\mathrm{perm}}(x,y)+(1-\mathrm{\β})B_{\mathrm{tmp}}(x,y)\end{array}\right.---\left(5\right)$

其中，上述的步骤(a)的移动物体判别准则是：|I_n(x，y)-B(x，y)|>T，I_n(x，y)—第n帧图像，B(x，y)—永久背景上第(x，y)像素块，T—判别阈值。公式(3)中B_tmp(x，y)是临时背景，其α为迭代控制参数(为0.95左右)，控制临时背景的更新速度；B_perm(x，y)是永久背景，其β为永久背景的更新速度控制参数(为0.7左右)。图6举例了采用公式(5)对某视频帧的某图像分块进行临时—永久背景学习的更新关系图，从图6可见：永久背景能自适应地被更新，并且不易被干扰污染。

4、视频帧的长序列烟雾证据积累分析和帧图像的连通分析

随着烟雾产生并逐渐弥漫遮挡背景的边缘和纹理，背景的小波子图能量值逐渐减少。当烟雾完全遮挡住背景后，背景的小波子图能量趋于零。这是因为烟雾的纹理相对平滑，其高频部分的能量较低。从图10(e)的小波能量波形变化图可见：烟雾覆盖背景表现的小波能量变化过程是沿着一条平滑曲线缓慢变化的。当有类似烟雾颜色的干扰物(如：人物)进入监视区时，遮挡了背景，从序列图像可见：背景的小波子图能量会发生剧烈变化，且能量值突然增大。基于能量变化平稳性，可进一步判断烟雾区的真伪。该视频帧的长序列烟雾证据积累分析和帧图像的连通分析的具体步骤为：

(a)通过40～120帧烟雾证据累积的时域窗来分析视频序列。

(b)统计每像素分块作为烟雾侯选区出现的次数N¹ _n(l₁，l₂)，以及前后两帧连续作为烟雾候选区出现的次数N² _n(l₁，l₂)。

(c)判断：如果像素块(l₁，l₂)在该时域窗内统计的N¹ _n(l₁，l₂)和N² _n(l₁，l₂)超过设定的阈值(T₁，T₂)，则判为真正的烟雾区域；反之则为干扰物，以进一步消除具有类似烟雾颜色的移动物的干扰。

(d)将灰烟、青烟、黄烟这三个分析子线程对同一视频帧的证据积累结果进行或操作，如果结果为真，则表明场景确实存在烟雾，反之，则不存在烟雾。

(e)通过对被判为烟雾的各分块进行连通域的面积大小分析，滤除掉面积小于设定阈值(如：20个像素点)的标记区，进一步消除小杂点干扰，获得干净的早期烟雾核心区域标记。

图13是该在动态场景中能免疫误报的早期烟雾视频检测方法总体实施的技术路线流程图，其能同时判断动态场景中的灰烟、青烟、黄烟的存在性；图14是判断动态场景中灰烟、青烟、黄烟时，某一判断子线程中实施的烟雾检测技术路线流程图。

最后，作为强化图像帧最终真正烟雾判断标记的连通域分析的去噪功能，可进一步省略步骤3中的有关空域小波去噪的操作步骤，其为本发明的实施方案二。带动IP网络摄像机的旋转云台也可以保持在固定方向，而不来回旋转。

本发明优点与显著效果在于针对动态场景中存在多种静态、动态干扰物的情况下，在火灾早期(在4～6秒钟内)能准确、稳定地检测到灰烟、青烟、黄烟这3类典型烟雾，提供及时预警。该技术克服了传统烟雾探测器在开放大空间上限制，以及现有图像型火焰/烟雾探测***存在的误报率高的缺点。

Claims (5)

1.一种在动态场景中能免疫误报的早期烟雾视频检测方法，其特征在于，旋转云台带动IP网络摄像机间隙式地沿水平方向来回旋转，云台每转过一个IP网络摄像机视角后暂停，由IP网络摄像机采集被监控场景视频图像数据，并通过光电转换器和以太网转换传输到监控微机，监控微机对视频图像数据进行学习与证据累积分析，获取监控场景中的动态背景，以及判断分析被监控场景中是否存在真正的烟雾，若确认有烟雾，则触发报警。其中，所述对视频图像数据进行学习与证据累积分析的过程包括以下具体步骤：

(1)早期烟雾的RGB分量运算组合的离线学习：通过颜色域的离线学习，取得分割早期灰烟、青烟、黄烟的最佳RGB颜色分量运算组合。

(2)对视频帧基于色域压缩进行烟雾分割：检测时，先创建多线程，按烟雾颜色特征学习取得的最佳RGB颜色分量运算组合，分3路对彩***帧进行RGB分量运算及其位屏蔽，实时分割取得具有灰烟、青烟、黄烟颜色特征的类似烟雾区。

(3)视频帧动态复杂场景中的背景学习与维护：检测过程中，同时进行背景的动态学习与维护更新，获得视频的动态背景，用背景维护下的减背景来消除场景中的静态类似烟雾区，再用小波变换的高频组合来消除场景中动态的类似烟雾区干扰。

(4)视频帧的长序列烟雾证据积累分析和帧图像的连通分析：进行多帧视频的证据积累和帧的连通域分析，通过与灰烟、青烟、黄烟分析子线程结果的或运算，实现动态场景中的误报免疫，判别标记出真正烟雾。

2.根据权利要求1所述的在动态场景中能免疫误报的早期烟雾视频检测方法，其特征在于，所述步骤(1)具体为：

(a)用RGB色域特征的循环学习，结合含误差带FloodFill算法，取得烟雾特征核心兴趣区模板。

(b)根据RGB分量运算的计算公式

T(i，j)＝{rR(i，j)+gG(i，j)+bB(i，j)|r，g，b∈[-3，3]}

得到图像帧被色彩增强后的特征灰度图；式中，T(i，j)表示对图像第i，j行列处像素点进行颜色分量组合运算所得到的特征灰度图，R(i，j)、G(i，j)、B(i，j)分别表示图像第i，j行列处像素点的RGB值，r，g，b为分别对应R(i，j)、G(i，j)、B(i，j)的RGB分量组合参数。

3.根据权利要求1所述的在动态场景中能免疫误报的早期烟雾视频检测方法，其特征在于，所述步骤(2)具体为：

(a)位屏蔽的颜色压缩。

(b)步骤(1)中，用RGB分量运算离线学习得到的灰烟、青烟、黄烟的RGB组合参数计算得到特征灰度图，然后用10000000位屏蔽与运算来压缩掉8位颜色中的最后7位，再通过割取原图得到类似烟雾区。

4.根据权利要求1所述的在动态场景中能免疫误报的早期烟雾视频检测方法，其特征在于，所述步骤(3)具体为：

(a)根据移动物体判别准则，识别移动目标；移动物体判别准则是:|I_n(x，y)-B(x，y)|>T，其中，I_n(x，y)为第n帧图像，B(x，y)为永久背景上第(x，y)像素块，T为判别阈值。

(b)对非移动目标区，在临时背景中更新其对应的图像分块。

(c)若图像分块的临时背景与永久背景的差值累积超过阈值时，则更新其永久背景：

$\left\{\begin{array}{c}{B}_{\mathrm{tmp}}(x,y)=\mathrm{\α}\×B_{\mathrm{tmp}}(x,y)+(1-\mathrm{\α})I_n(x,y)\\ B_{\mathrm{perm}}(x,y)=\mathrm{\β}\×B_{\mathrm{perm}}(x,y)+(1-\mathrm{\β})B_{\mathrm{tmp}}(x,y)\end{array}\right.;$

式中，B_tmp(x，y)是临时背景，其α为迭代控制参数，控制临时背景的更新速度；B_perm(x，y)是永久背景，其β为永久背景的更新速度控制参数。

5.根据权利要求1所述的在动态场景中能免疫误报的早期烟雾视频检测方法，其特征在于，所述步骤(4)具体为：

(a)通过40～120帧烟雾证据累积的时域窗来分析视频序列。

(b)统计每像素分块作为烟雾侯选区出现的次数N^-1 _n(l₁，l₂)，以及前后两帧连续作为烟雾候选区出现的次数N² _n(l₁，l₂)。

(c)判断：如果像素块(l₁，l₂)在该时域窗内统计的N^-1 _n(l₁，l₂)和N² _n(l₁，l₂)超过设定的阈值(T₁，T₂)，则判为真正的烟雾区域；反之则为干扰物，以进一步消除具有类似烟雾颜色的移动物的干扰。

(d)将灰烟、青烟、黄烟这三个分析子线程对同一视频帧的证据积累结果进行或操作，如果结果为真，则表明场景确实存在烟雾，反之，则不存在烟雾。

(e)通过对被判为烟雾的各分块进行连通域的面积大小分析，滤除掉面积小于设定阈值的标记区，进一步消除小杂点干扰，获得干净的早期烟雾核心区域标记。

Images