发明内容
为将智能视频监控技术有效地应用到工业领域,主要针对易燃、易爆、有毒液体在生产、运输、使用过程中可能发生泄漏情况,使人们能够及时发现发生泄漏,并及时采取有效措施,最大限度的减少因液体泄漏造成的生命和财产的损失,本发明提出了一种基于视频的液体泄漏分析预警***。
根据本发明提供的具体实施例,本发明公布了如下技术方案:
一种基于视频的液体泄漏分析预警***,包括:
视频采集模块,用于对采集的视频信号进行处理,获取数字视频序列;
视频质量提升模块,用于对视频数字序列进行质量提升;
特征提取模块,用于对视频序列做前景提取、目标匹配以及目标分类;
液体泄漏识别模块根据用户设定的参数,判断泄漏事件是否发生;
管控平台接收到视频分析结果,根据分析结果发布管控命令。
进一步的,上述的视频采集模块,原始输入视频信号可以是来自摄像机、录像或其他设备任意分辨率的模拟视频信号或通过网络传输而来的编码视频流;
上述的视频采集模块,对视频信号进行数据处理,如果输入是模拟信号,首先要经A/D转换为数字信号;如果输入是编码流,经解码器进行解码,并转换成需要的格式。
进一步的,上述的视频质量提升模块,进一步包括:
噪声去除子模块,使用可调阿尔法均值滤波器对视频序列进行噪声去除;
信号增强子模块,使用可调幂变换方法对视频序列进行信号增强。
进一步的,上述的特征提取模块进一步包括:
前景提取子模块,用于提取泄漏液体的前景;
对于运动变化明显的液体泄漏,判断其为液体喷发,采用基于混合高斯模型或码本法建立背景模型,将每一帧输入图像与背景画面做比较从而得到前景,同时更新背景画面;
对于运动变化缓慢的液体泄漏,判断其为液体渗漏,采用局部帧差法,结合泄漏液体的静态特征和动态特征提取前景。
进一步的,对于运动变化缓慢的液体泄漏,利用泄漏液体的静态特征,初步提取视频序列中的运动目标,前景检测公式为:
其中,
为(x,y)点的此时k帧灰度值,
为前k帧(x,y)点的灰度值,Th为阈值;
提取出前景后,利用泄漏液体的动态特征,对前景进行排除,设第n帧泄漏液体面积为S,第n+1帧泄漏液体面积为S’,判断S’是否大于S,如果S’并不大于S,则判断这个目标不是泄漏液体目标。
优选的,上述的视频特征提取模块进一步包括:
目标匹配子模块,将每一帧图像所检测出的泄漏前景,与后一帧检测出的泄漏前景目标进行匹配,得到泄漏前景目标的属性。
进一步的,上述的视频实时管控平台接收视频分析结果,根据分析结果发布各种管控命令;同时,管控平台负责输出视频采集命令、为终端智能分析配置***参数和规则参数、对视频数据进行浏览、存储、检索等工作。
优选的,上述的基于视频的液体泄漏分析预警***,在前端进行视频信号采集之后,即可在前端对视频信息进行数据处理、质量提升、特征提取、液体泄漏识别等处理,并将分析结果发送到后端,后端根据分析结果发布管控命令。
优选的,上述的基于视频的液体泄漏分析预警***,对前端传送来的视频信息在后端进行数据处理、质量提升、特征提取、液体泄漏识别等处理,并根据分析结果发布管控命令。
优选的,上述的基于视频的液体泄漏分析预警***,在前端进行视频信号采集之后进行视频数据处理和特征提取工作,并将特征流发送到后端,后端接收前端的数据流后进一步进行统计,完成分析工作,并根据分析结果发布管控命令。
与现有技术相比,本发明具有如下优点:
首先,本发明提出了一种基于视频的液体泄漏分析预警***。现有的液体泄漏检测***多用气压、传感电路、超声波等方法。随着公共安全视频监控***的发展,基于视频的液体泄漏分析预警***具有广阔的应用前景,基于视频的液体泄漏分析预警***安装简单,通过对重点区域进行24小时监控,有助于合理利用人力资源,及时发现发生泄漏并采取措施防患于未然。另外,基于视频的液体泄漏分析预警***可以提取报警录像,查明泄漏发生原因,制定更好的管理措施。
其次,本发明充分利用泄漏液体的特征进行泄漏事件判断。本发明将液体泄漏分为两种,较为强烈的泄漏表现为液体喷发,较为缓和的泄漏表现为液体渗漏,对于喷发和渗漏有不同的处理方法:对于液体喷发来说,运动变化明显,通过运动检测即可实现事件检测;而对于液体渗漏来说,运动变化缓慢,通过局部帧差法,结合其静态和动态特征检测前景。
再次,本发明在对视频信号进行分析处理前,首先对信号进行去噪、增强等前期处理以提高信号的价值,为后期分析处理做好准备。信号在获取(数字化)和传输过程中会不可避免的产生噪声(在获取过程中主要受环境条件和传感元器件自身质量影响而产生噪声,在传输过程中主要由于所用的传输信道的干扰受到噪声污染),去噪的过程就是对信号复原的过程。而信号增强的目的是为了显现被模糊了的细节,尤其对于较差、光线昏暗或过于强烈的信号,突出信号中感兴趣的特征。信号去噪和信号增加的最终目的都是为了改善信号,这对整个基于视频的液体泄漏分析预警***的有效运转做出了贡献。
最后,本发明可以以纯软件或软硬件结合两种方式实现,在软硬件结合工作方式时,提供嵌入式视频服务器,安装简单,用DSP运算替代计算机运算保证监控***稳定可靠。
具体实施方式
为使本发明的上述目的、特征和优点更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
基于视频的液体泄漏分析预警***可以有两种实现方式:纯软件实现和软硬件结合实现。
1.软硬件结合实现基于视频的液体泄漏分析预警***时,软件部分为客户端管控平台,硬件部分为嵌入式视频智能分析管控服务器。
(1)嵌入式视频智能分析服务器采用嵌入式硬件平台开发、DSP算法移植与优化、网络编解码等先进技术,内嵌智能视频分析算法:包括视频的采集、视频特征提取、液体泄漏识别、规则判断等算法。
(2)平台管控软件安装在客户端电脑,包含以下几个模块:为终端智能分析配置***参数和规则参数、根据分析结果发布管控命令、输出视频采集命令以及处理视频数据。
2.纯软件实现基于视频的液体泄漏分析预警***时,嵌入式视频智能分析管控服务器的工作全部交由平台管控软件来处理,即平台管控软件不仅要负责视频的采集、视频特征提取、液体泄漏识别、规则判断等算法,同时也要为终端智能分析配置***参数和规则参数、根据分析结果发布管控命令、输出视频采集命令以及处理视频数据。
基于视频的液体泄漏分析预警***逻辑上主要经过视频采集、视频质量提升、特征提取、泄漏事件识别、实时管控五个部分。如图1,工作原理如下:
视频采集模块,用于对采集的视频信号进行处理,获取数字视频序列;
视频质量提升模块,用于对视频数字序列进行质量提升;
特征提取模块,用于对视频序列做前景提取、目标匹配以及目标分类;
液体泄漏识别模块根据用户设定的参数,判断泄漏事件是否发生;
管控平台接收到视频分析结果,根据分析结果发布管控命令。
视频采集模块用于获取数字视频序列。其中原始输入视频信号可以是来自摄像机、录像或其他设备任意分辨率的模拟视频信号或通过网络传输而来的编码视频流。根据来源不同,视频采集过程分为A/D或解码、格式转换两个部分,如图2所示。
在对视频信号进行采集处理时,前置A/D转换和解码器,如果输入是模拟信号,首先要经A/D转换为数字信号,如果输入是经mpeg4/h.264/h.263/AVS编码的码流,首先要经解码器解码;经解码或A/D转换后的数字视频信号,按不同的分析需求,转换为QCIF/CIF/D1大小的YUV4:2:2/RGB数字图像序列待用。
视频质量提升模块,用于对视频图像进行质量提升。为便于后续分析工作,在特征提取前可以对视频序列做质量提升的工作。质量提升技术包括对视频序列进行去噪、图像增强等图像处理技术。如图3所示。
信号的获取(数字化)和传输过程会不可避免的产生噪声。如在获取过程中主要受环境条件和传感元器件自身质量影响而产生噪声,在传输过程中主要由于所用的传输信道的干扰受到噪声污染。噪声去除的过程就是对信号复原的过程。
而信号增强的目的是为了显现被模糊了的细节,尤其对于较差、光线昏暗或过于强烈的信号,突出信号中感兴趣的特征。
信号噪声去除和信号增加的最终目的都是为了改善信号,这对整个大范围火灾分析预警***的有效运转做出了贡献。
视频质量提升模块,进一步包括:
噪声去除子模块,使用可调阿尔法均值滤波器对视频序列进行噪声去除;
信号增强子模块,使用可调幂变换方法对视频序列进行信号增强。
a.可调阿尔法均值滤波器去噪:
对于视频信号,
表示在点(x,y)处去除噪声后的像素点灰度值,N表示中心点在(x,y),大小为m×n的矩形子图像窗口,G(i)表示在子窗口内像素点的灰度值;上述公式的意义为:在N领域内去掉灰度值G(i)最高的d/2个像素和最低的d/2个像素。用G
r(i)来代表剩余的mn-d个像素,由这些剩余像素点的平均值作为(x,y)点的去噪后灰度值。
当d=0时,阿尔法均值滤波器退变为算术均值滤波器,对抑制高斯和均匀随机分布的噪声有很好的效果;当d=mn-1时,阿尔法均值滤波器退变为中值滤波器,对抑制椒盐噪声有很好的效果。d取其他值时,修正后的阿尔法均值滤波器在包括多种噪声的情况下非常适用,例如高斯噪声和椒盐噪声混合的情况。
b.可调幂变换增强信号
幂变换的基本形式为:
S=cRγ,其中c和y为正常数
R为原始信号,S为增强后信号,调整γ参数会得到增强后信号。以图像为例,偏暗图像(如夜晚)在γ>1时会得到对比度的提升,偏白图像(如雾天)在γ<1时会得到对比度的提升。
特征提取模块是本发明的核心模块之一,对视频序列做图像前景提取、目标匹配跟踪和目标分类。如图4所示。
前景提取特指泄漏液体前景的提取,液体泄漏分为两种,较为强烈的泄漏表现为液体喷发,较为缓和的泄漏表现为液体渗漏,如图5所示,处理方法不同。
对于液体喷发来说,运动变化明显,因此采用基于混合高斯模型或码本(Codebook)等方法建立背景模型(背景画面),将每一帧输入图像与背景画面做比较从而得到前景,同时背景画面要做不断的更新。
a.混合高斯模型建立背景图像
视频流输入的初始200帧不做检测工作,只用来建立背景模型。设背景图像为B(x,y),设图像中的每个像素点的灰度值在一段时间内的分布都是高斯分布,同时,考虑动态背景的影响(如飘动的红旗、摇曳的树枝等),为每个像素点建立K个高斯模型,高斯模型有三个参数,分别为均值μk、方差σk、权重ωk,1≤k≤K。
(a).模型参数赋初值:设各像素点第一个模型的初始方差σ1(x,y)为一个较大的值,权值ω1(x,y)为一个较小的值,0<ω1(x,y)<1,初始均值μ1(x,y)为输入第一帧图像值I0(x,y):
μ1(x,y)=I0(x,y)
(b).模型建立与更新:用第n帧时(x,y)点的输入图像灰度值I(x,y)与现有模型相匹配,如果能匹配则以此点现有值更新此模型的均值和方差以及优先级;否则在此点建立一个新的模型,用输入图像的灰度值作为初值,并设一个较大的方差和较小的权值,直到k达到上限K,若k>K时,用新建立的模型代替优先级最小的模型。
模型匹配规则为:
abs(μk(x,y)-It(x,y))≤2.5σk(x,y),1≤k≤K
模型更新公式为:
其中,α为更新率,0<α<1,1≤k≤K,当第1个满足匹配条件的模型是k时,Mk(x,y)=1,否则Mk(x,y)=0。
(c).模型排序:当一个像素点的模型数目为k,且k>1时,对这k个模型按优先级大小进行排序,优先级计算公式为ωk(x,y)/σk(x,y),在匹配时,从优先级最大的模型开始匹配,若第一个满足匹配条件的模型是k,则k即为此点此时刻的匹配模型,不需要再与优先级比k小的模型匹配。
(d)前景提取:当输入的视频流大于200帧时,开始检测工作,将被匹配模型的均值μk(x,y)作为背景图像点的灰度值,即B(x,y),得出背景图像为:
B(x,y)=μk(x,y)
从而,前景图像为:
其中,I(x,y)是输入图像,B(x,y)是背景图像,σk(x,y)是(x,y)点匹配模型的方差。
需要说明的是,模型建立工作在初始200帧进行,而模型更新工作是一直贯穿在特征提取过程中,这样也就保证了在光线发生变化时得到实时的得到准确的背景图像。
b.码本法:
针对监控***获得的彩***序列,根据连续采样值的颜色相似度及其亮度范围,将背景像素值量化后用码本表示,利用减背景的思想对新输入的像素值与其对应位置的码本作比较判断,提取出前景运动目标像素.
最后,对得到的前景图像进行简单的形态学处理,目的是将间断的图像桥接起来并消除不相关的细节。
对于液体渗漏来说,运动变化缓慢,难以建立有效的背景模型,因此采用局部帧差法,结合泄漏液体自身的特征提取前景。泄漏液体具有自身的静态特征以及动态特征,静态特征表现为颜色特征,液体发生泄漏后,会使原来的容器或管道表面颜色发生变化,动态特征表现为泄漏液体的面积会随着时间不断扩大。
首先利用其静态特征,初步提取视频序列中的运动目标。为避免泄漏过程太过缓慢为检测工作带来困难,将视频序列的每k帧累积相加,用Ik(x,y)表示,在此基础上,前景检测公式为:
其中,
为(x,y)点的此时k帧灰度值,
为前k帧(x,y)点的灰度值,Th为阈值。
为排除误报,利用泄漏液体的动态特征,对前景进行排除,设第n帧泄漏液体面积为S,第n+1帧泄漏液体面积为S’,判断S’是否大于S,如果S’并不大于S,则判断这个目标不是泄漏液体目标;
目标匹配适用于同一场景有多个泄漏源的情况,目标匹配指每一帧图像所检测出的泄漏前景,与后一帧检测出的泄漏前景目标进行匹配,得到泄漏前景目标的属性(如所在位置等)。前景目标匹配过程如下:
a.设已有N个前景目标T1、T2、T3......Tn,当前帧检测出M个前景F1、F2、F3......Fm;
b.判断若F1与第n个前景目标轮廓相交且F1的面积大于第n个前景的面积,则认为F1就是Tn,用F1更新Tn;
c.F2、F3......Fm和F2、F3......Fm重复步骤2
根据目标属性,对目标进行分类,如按大小分为不同等级(8/25/50/100/500/1000/10000/10万像素点)。
泄漏事件识别模块根据用户设定的背景模式、灵敏度、大小等参数,判断泄漏事件是否发生,进而发出报警。
管控平台接收视频分析结果,根据分析结果发布各种管控命令。同时,管控平台负责输出视频采集命令、为终端智能分析配置***参数和规则参数、对视频数据进行浏览、存储、检索等工作。具体如:选择多种显示方式(多种画面分割显示/全屏显示)远程浏览多路实时监控视频图像、多路视频选择、设备查询、云镜控制(PTZ控制/预置位设置/巡航设定等)、实时显示报警信息、播放报警视频/停止报警视频、查看报警截图、按条件(设备/时间/事件/状态等)查询报警信息、录像(实时录像/报警联动录像/手动录像/周期录像/定时录像)、录像检索、播放录像、录像导出、电子地图、查询操作日志。
视频实时管控平台的功能包括:
(1)根据分析结果发布各种管控命令
如:云镜控制(PTZ控制/预置位设置/巡航设定等)、实时显示报警信息、设备查询、远程喊话、电子地图、查询操作日志等
(2)输出视频采集命令,并为终端智能分析配置***参数和规则参数
如:多路视频选择、视频开始、视频关闭、为终端智能分析配置***参数和规则参数等。
(3))视频数据处理
如:选择多种显示方式(多种画面分割显示/全屏显示)远程浏览多路实时监控视频图像、播放报警视频/停止报警视频、查看报警截图、按条件(设备/时间/事件/状态等)查询报警信息、录像(实时录像/报警联动录像/手动录像/周期录像/定时录像)、录像检索、播放录像、录像导出。
基于视频的液体泄漏分析预警***有三种工作模式:
1.前端分析:基于视频的液体泄漏分析预警***在视频信号采集设备之后对其做智能分析管控。在前端进行视频信号采集之后,即可在前端对视频信息进行数据处理、质量提升、特征提取、特征统计等处理,并将分析结果发送到后端,后端根据分析结果发布管控命令。如图6所示。
2.后端分析:基于视频的液体泄漏分析预警***在视频信息上显示屏之前对其做智能分析管控。上述的基于视频的液体泄漏分析预警***,对前端传送来的视频信息在后端进行数据处理、质量提升、特征提取、特征统计等处理,并根据分析结果发布管控命令。如图7所示。
3.分布式分析:即基于视频的液体泄漏分析预警***在视频信号采集设备之后进行视频采集和特征提取工作,并将特征流发送到后端,后端接收前端的数据流后进一步进行识别,完成分析工作,并根据分析结果发布管控命令。如图8所示。
其中,后端分析能非常方便地对传统监控***进行升级改造,只需将本发明串联到视频信号和显示屏之间即可。
为节省网络带宽资源,本发明包含前端分析以及分布式分析模式。
前端分析只需传输报警信号,大大节省了网络带宽资源。
分布式分析只需传输特征流(不到视频流量的1/50),在节省带宽的同时把任务分散到前端和后端,使整个***具有高效的分析能力,后端没有繁重的处理任务,不需大额硬件投资;
前端和分布式分析实现了“按需”监控:只有在出现报警的情况下,才可能需要把相关的视频信号发送到后端进行记录或存储,而一般情况下只需要传输很少的数据。
根据应用环境,可用网络带宽资源的多少或者预备投资金额的多少,三种模式可选。