CN101778265B - 基于异常事件检测和双流编码的视频监控方法 - Google Patents

Abstract

一种视频监控技术领域的基于异常事件检测和双流编码的视频监控方法，包括以下步骤：初始化***运行环境，完成***网络配置，并定时检测存储介质和网络连接状态；采集当前监控区域的视频信息，并将预处理后的视频数据分别进行异常检测和双流编码处理；根据得到的异常检测结果和编码结果，启动报警联动，并对双流编码图像信息中的第一种编码后的低质量比特流进行选择性远程传输，对第二种编码后的高质量比特流进行基于环形缓存的异常事件存储；对得到的第一种编码图像信息进行接收端的解码、显示和存储；对得到的第二种编码图像信息进行本地存储。本发明可实现视频实时浏览与高质量历史图像查证，成本低、简单可靠且监控信息完整。

Description

基于异常事件检测和双流编码的视频监控方法

技术领域

本发明涉及的是一种视频监控技术领域的方法，具体是一种基于异常事件检测和双流编码的视频监控方法。

背景技术

近年来计算机技术的发展，尤其是在运算速度、存储容量、通信能力和图像显示等方面性能的提高，以及视频压缩编码技术的日益成熟，视频监控技术取得了飞速的发展。随着各种数字监控***的普及，其工作方式也出现了各种变化，出现了应用于不同场合的监控***，如：网络视频监控***、无线视频监控***以及智能视频监控***。其中，无线视频监控通过无线信息传输而不需要光纤、电缆等有线网络铺设施工，具有成本低、安装简便、不受地域限制等众多特点，得到越来越广泛的重视和应用。目前，在绝大部分的安防监控应用中，只关注有异常事件发生阶段的视频信息，没有异常事件的视频并不包含有用的信息。随着监控探头布设的快速增长，监控视频数据由于这些大量冗余信息的存在，形成的海量数据给网络传输带来巨大的压力，在无线视频监控***中这种问题就显得尤为突出。由于无线信道具有时变性和不稳定性，且带宽受限、误码率较高，如何同时保证监控视频的实时性和高质量的需求，成为影响无线视频监控***应用的难点。

经对现有文献检索发现，中国专利申请号：200910014707，名称：用于无线视频监控***数据传输的自适应流量控制方法，该技术通过流量控制的方式来提升视频传输的质量；中国专利申请号：200910014849.3，名称：基于无线视频监控的帧率控制方法，该技术采用帧率控制的方法来提升视频传输的质量，但是以上两个技术都没有考虑安防监控***对监控视频实时浏览和事后调查取证这两个主要业务需求，没有结合监控视频内容的重要性进行合理的带宽资源分配，因此存在以下几点不足：不同内容的监控图像质量相同或相近，难以满足安防监控对不同视频片段质量的差异化要求：在有异常事件需要高质量图像，没有异常事件时无需高质量；只采取单路编码策略，生成的单一一路的比特流，难以在实时传输和视频质量之间取得良好的协调；产生的冗余视频信息过多，导致传输、存储了很多无用的视频信息，为以后文件的检索和调阅带来不便。

发明内容

本发明的目的在于克服现有技术的上述不足，提出了一种基于异常事件检测和双流编码的视频监控方法。本发明基于对监控视频分析、异常事件自动侦测的基础上，通过采用双流编码技术，第一路为低质量的实时编码且编码后的比特流进行远程传输和远程存储；第二路为高质量编码并选择有异常事件发生的视频段进行本地存储，保证了无线等带宽受限条件下视频传输的实时性和有异常时视频图像的高质量，同时还有效地节约了本地的存储空间和传输通路的带宽资源，并能大大降低视频信息检索的难度，提升监控***的整体工作效率。

本发明是通过以下技术方案实现的，包括以下步骤：

步骤一，初始化***运行环境，完成***网络配置，并定时检测存储介质和网络连接状态。

步骤二，采集当前监控区域的视频信息，并将预处理后的视频数据分为两路，第一路视频数据进行异常检测，第二路视频数据进行双流编码处理。

所述的异常检测是：对第一路视频数据进行时域、空域下采样，将采样得到的当前帧图像与缓存的前一帧图像进行差分计算得到像素差值X，若X大于或等于阈值T1，则将该差分结果M标记为1，否则该差分结果M标记为0；将采样得到的当前帧与当前的背景图像进行差分计算得到像素差值Y，若Y大于或等于阈值T2，则该差分结果N标记为1，否则该差分结果N标记为0，根据对M和N进行求或的结果P来更新背景图像，并根据当前帧图像与更新的背景图像进行差分计算得到像素差值Q，若Q大于或者等于阈值T3，则表示有异常发生，故将当前帧图像标示异常事件有无的Event_Flag值置为“1”且将当前帧图像标示异常事件持续时间的统计量EventLast_Flag加1；若Q小于阈值T3，则表示没有异常发生，故将当前帧图像的Event_Flag置为“0”且将当前帧图像的EventLast_Flag复位为“0”。

所述的时域、空域下采样是：当前帧图像的时域帧序号被采样系数C整除时，进行空域下采样；当前帧图像的时域帧序号不被采样系数C整除时，则摒弃当前帧图像。

所述的更新的背景图像是：当对M和N进行求或的结果P大于或等于1时，则按照公式一进行背景更新；当P等于0时，则按照公式二进行背景更新：

avg’[i]＝(frame[i]+7*avg[i])＞＞3     (公式一)

avg’[i]＝(frame[i]+15*avg[i])＞＞4    (公式二)

其中：avg[i]为当前背景图像的第i个像素，avg’[i]为更新后的背景图像的第i个像素，frame[i]为当前帧图像的第i个像素。

所述的双流编码是：对第二路视频数据同时进行两种实时编码，其中：第一种是利用分辨率小于或等于352×288的图像进行基于码控的CBR(Constants Bit Rate，恒定比特率)编码以生成低质量低码率的比特流；第二种是利用分辨率大于或等于352×288的图像进行基于固定的QP(Quantization Parameter，量化参数)的VBR(Variable Bit Rate，非恒定比特率)编码以生成高质量高码率的比特流。

步骤三，根据上一步得到的异常检测结果启动报警联动，并对双流编码图像信息中的第一种编码后的低质量比特流进行选择性远程传输，对第二种编码后的高质量比特流进行基于环形缓存的异常事件存储。

所述的选择性远程传输是：对第一种编码后的低质量比特流进行触发式传输或者强制性传输，其中：触发式传输是有异常发生时传输数据流，异常结束时停止传输数据流；强制性传输是始终传输数据流。

所述的基于环形缓存的异常事件存储是：

1)将第二种编码后的高质量比特流预存在环形缓存区中；

2)当Event_Flag为1且异常持续时间EventLast_Flag为1的帧图像Z1出现时，在本地的存储介质中新建一个文件W1，将环形缓存区中Z1帧前若干分钟内的视频流写入该文件；

3)如果Z1帧的后一帧Z2的Event_Flag为1且异常持续时间EventLast_Flag大于1，则将Z2帧写进W1；如果Z2帧的Event_Flag为0，则关闭文件W1；如果Z2帧的Event_Flag为1且异常持续时间EventLast_Flag为1，则在本地的存储介质中再新建一个文件W2；

4)依照3)的方法，完成对异常发生前若干分钟到异常结束这段时间的视频数据流在本地存储介质中的存储。

步骤四，对得到的第一种编码图像信息进行接收端的解码、显示和存储；对得到的第二种编码图像信息进行本地存储。

与现在技术相比，本发明的有益效果是：

1、采用双流视频编码与存储，能够产生不同比特率和质量的视频，同时保证了无线等带宽受限情况下的监控视频流的实时传输和高质量保存，解决了安防监控业务中视频实时浏览与高质量历史图像查证两种不同需求；

2、采用基于异常事件的传输和存储方法，能够对采集编码的视频进行有选择的传输和存储，一方面节约了传输带宽和存储空间，另一方面去除了无用的视频信息，为人工监控和以后的视频查阅降低负担；

3、采用基于环形缓冲区的视频预存储方法能够保存异常事件发生前若干分钟的内容，使得监控信息更完整；

4、采用定时检测存储介质及网络状态的方法能够保证***的可靠性，能够自动解决存储介质饱和及网络断开问题。

附图说明

图1本发明的流程示意图。

具体实施方式

下面结合附图对本发明的方法作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例

实施例

如图1所示，本实施例具体步骤如下：

步骤一，初始化***运行环境，完成***网络配置，并定时检测本地存储介质(本实施例为SD卡)和网络连接状态。

所述的网络配置是通过改写嵌入式Linux***下开机自启动文件(/etc/rc.d/rc.local)完成的，即在该文件中加入网络配置命令。

所述的定时检测SD卡和网络连接状态是利用linux***中的cron服务器完成的，cron服务器根据配置文件设定的时间执行任务，将cron服务设置为开机时自动启动，当cron服务启动后，该服务器会读取所有的配置文件(全局的配置文件/etc/crontab，以及每个用户的计划任务配置文件)。

本实施例在***启动后，通过自动化脚本将检测SD卡剩余空间的任务和检测网络状态的任务加入到cron服务器的任务列表中，其中：SD卡检测设置为一天检测一次，网络状态检测设置为十五分钟检测一次。

本实施例用脚本实现SD卡存储检测：首先通过Linux Shell命令获得目前SD卡使用量，若其使用量大于85％时，将SD卡内所有的视频文件按照创建时间进行排列，然后删除最早生成的文件，直到SD卡的可用空间大于30％，从而保证新产生的视频顺利存储。

本实施例网络状态的检测也是通过脚本实现的：使用linux***下ping命令与远方服务器进行通信，若无应答信息返回则重新进行拨号连接。

步骤二，利用视频A/D解码芯片(TVP5150)和具备高性能CPU加视频协处理器的片上***(iMX.27)的视频接口采集视频信息，并将预处理后的视频数据分为两路，第一路视频数据进行异常检测，第二路视频数据进行双流编码处理。

所述的预处理是：一方面利用片上***的PrP(Pre-Processor，视频前处理模块)对采集到的图像进行色彩空间转换、图像裁减和图像缩放处理，以适配编码的需要；另一方面通过CPU软件对采集到的图像进行字幕叠加处理。

所述的异常检测是：对视频数据进行时域、空域下采样，将采样得到的当前帧图像与缓存的前一帧图像进行差分计算得到像素差值X，若X大于阈值T1(本实施例T1＝10)，则将该差分结果M标记为1，否则该差分结果M标记为0；将采样得到的当前帧与当前的背景图像进行差分计算得到像素差值Y，若Y大于阈值T2(本实施例T2＝15)，则该差分结果N标记为1，否则该差分结果N标记为0，根据对M和N进行求或的结果P来更新背景图像，并根据当前帧图像与更新的背景图像的差分结果Q，若Q大于或者等于阈值T3(本实施例T3＝20)，则表示有异常发生，故将当前帧标示异常事件有无的Event_Flag值置为“1”且将当前帧标示异常事件持续时间的统计量EventLast_Flag加1；若Q小于阈值T3，则表示没有异常发生，故将当前帧Event_Flag置为“0”且将当前帧的EventLast_Flag复位为“0”。

所述的时域、空域下采样是：若当前帧图像的时域帧序号能被采样系数C(本实施例C＝4)整除时，进行空域下采样；若当前帧图像的时域帧序号不能被采样系数C整除时，则摒弃当前帧图像(即不利用该帧进行异常事件检测)。

所述的空域下采样是均匀的每隔一行且每隔一列采样一个像素点，达到1/4下采样。

所述的更新背景图像是：当对M和N进行求或的结果P大于或等于1时，则按照公式一进行背景更新；当P等于0时，则按照公式二进行背景更新：

avg’[i]＝(frame[i]+7*avg[i])＞＞3   (公式一)

avg’[i]＝(frame[i]+15*avg[i])＞＞4  (公式二)

其中：avg[i]为当前背景图像的第i个像素，avg’[i]为更新后的背景图像的第i个像素，frame[i]为当前帧图像的第i个像素，公式一中当前帧以较大的加权系数(即1/8)计入到背景更新中；公式二中当前帧以较小的加权系数(即1/16)计入到背景更新中。

所述的双流编码为：通过对iMX.27硬件编解码单元VPU的寄存器进行配置，对第二路视频数据同时进行两种实时编码，其中：第一种是利用低分辨率图像(本实施例为176×144)进行基于码控的CBR编码(本实施例为80kb/s)以生成低质量低码率的比特流；第二种编码是利用高分辨率图像(本实施例为352×288)进行基于固定QP(本实施例为30)的VBR编码以生成高质量高码率的比特流。

步骤三，根据上一步得到的异常检测结果启动报警联动，并对双流编码图像信息中的第一种编码后的低质量比特流进行选择性远程传输，对第二种编码后的高质量比特流进行基于环形缓存的异常事件存储；

所述的启动报警联动是：当有异常发生时，开启报警设备；当异常结束后，则关闭报警设备。

所述的报警设备包括警灯和警报器。

所述的选择性远程传输是：对第一种编码后的低质量比特流进行强制性传输，即始终传输数据流。

所述的强制性传输采用RTP协议栈、UDP协议和IP协议栈相结合的方式实现。

所述的基于环形缓存的异常事件存储是：

1)将第二种编码后的高质量比特流预存在环形缓存区中，该环形缓存区的大小为65536字节，一旦缓存存满则将缓存指针移到缓存的顶部继续存储；

2)当Event_Flag为1且异常持续时间EventLast_Flag为1的帧图像出现时，表示有异常刚刚发生，在本地的SD卡中开辟一个以当前时间为名字的文件W1，并将环形缓存中从该帧开始往前3分钟内的视频流复制到这个文件中；

3)如果该帧的后一帧Event_Flag为1且异常持续时间EventLast_Flag大于1，则将该帧写进W1；如果该帧的后一帧Event_Flag为0，则关闭文件W1；如果该帧的后一帧Event_Flag为1且异常持续时间EventLast_Flag为1，则在本地的存储介质中再新建一个文件W2；

4)依照3)的方法，完成对异常发生前3分钟到异常结束这段时间的视频数据流在本地存储介质中的存储，即SD卡只存储异常发生前3分钟到异常结束这段时间的视频，没有异常的视频则不存储。这样，异常事件发生前3分钟到整个异常事件结束期间的视频，都以较高的编码质量记录在本地SD卡中，供监控者事后调查取证之用。

步骤四，对得到的第一种编码图像信息进行接收端的解码、显示和存储；对得到的第二种编码图像信息进行本地SD卡存储，并在需要时将SD卡中的图像信息拷贝出来，利用服务器软件进行解码回放和显示。

本实施例可实现视频实时浏览与高质量历史图像查证，成本低、简单可靠且监控信息完整：采用双流视频编码，能同时产生两路不同比特率和质量的视频，能够分别满足安防监控业务中视频远程实时浏览与高质量历史图像事后调阅查证两种不同需求；采用基于异常事件触发的传输和存储方法，能够对采集编码的视频进行有选择的传输和存储，一方面节约了传输带宽和存储空间，另一方面去除了无用的视频信息，为人工监控和以后的视频查阅降低负担；采用基于环形缓冲区的视频预存储方法，能够保存异常事件发生前3分钟到异常事件结束整个时间段内的视频内容，使得监控信息更完整；采用定时检测存储介质及网络状态的方法能够保证***的可靠性，能够自动解决存储介质饱和及网络断开问题，提升了***的鲁棒性。

Claims (4)

1.一种基于异常事件检测和双流编码的视频监控方法，其特征在于，包括以下步骤：

步骤一，初始化***运行环境，完成***网络配置，并定时检测存储介质和网络连接状态；

步骤二，采集当前监控区域的视频信息，并将预处理后的视频数据分为两路，第一路视频数据进行异常检测，第二路视频数据进行双流编码处理；

步骤三，根据上一步得到的异常检测结果启动报警联动，并对双流编码图像信息中的第一种编码后的低质量比特流进行选择性远程传输，对第二种编码后的高质量比特流进行基于环形缓存的异常事件存储；

所述的选择性远程传输是：对第一种编码后的低质量比特流进行触发式传输或者强制性传输，其中：触发式传输是有异常发生时传输数据流，异常结束时停止传输数据流；强制性传输是始终传输数据流；

所述的基于环形缓存的异常事件存储是：

1)将第二种编码后的高质量比特流预存在环形缓存区中；

2)当异常事件有无Event_Flag为1且异常持续时间EventLast_Flag为1的帧图像Z1出现时，在本地的存储介质中新建一个文件W1，将环形缓存区中Z1帧前若干分钟内的视频流写入该文件；

3)如果Z1帧的后一帧Z2的异常事件有无Event_Flag为1且异常持续时间EventLast_Flag大于1，则将Z2帧写进W1；如果Z2帧的异常事件有无Event_Flag为0，则关闭文件W1；如果Z2帧的异常事件有无Event_Flag为1且异常持续时间EventLast_Flag为1，则在本地的存储介质中再新建一个文件W2；

4)依照3)的方法，完成对异常发生前若干分钟到异常结束这段时间的视频数据流在本地存储介质中的存储；

步骤四，对得到的第一种编码图像信息进行接收端的解码、显示和存储；对得到的第二种编码图像信息进行本地存储。

2.根据权利要求1所述的基于异常事件检测和双流编码的视频监控方法，其特征是，所述的异常检测是：对第一路视频数据进行时域、空域下采样，将采样得到的当前帧图像与缓存的前一帧图像进行差分计算得到像素差值X，若X大于或等于阈值T1，则将该差分结果M标记为1，否则该差分结果M标记为0；将采样得到的当前帧与当前的背景图像进行差分计算得到像素差值Y，若Y大于或等于阈值T2，则该差分结果N标记为1，否则该差分结果N标记为0，根据对M和N进行求或的结果P来更新背景图像，并根据当前帧图像与更新的背景图像进行差分计算得到像素差值Q，若Q大于或者等于阈值T3，则表示有异常发生，故将当前帧标示异常事件有无的Event_Flag值置为“1”且将当前帧标示异常事件持续时间的统计量EventLast_Flag值加1；若Q小于阈值T3，则表示没有异常发生，故将当前帧的Event_Flag置为“0”，且将当前帧EventLast_Flag复位为“0”。

3.根据权利要求2所述的基于异常事件检测和双流编码的视频监控方法，其特征是，所述的更新的背景图像是：当对M和N进行求或的结果P大于或等于1时，则按照公式一进行背景更新，若P等于0时，则按照公式二进行背景更新：

avg′[i]＝(frame[i]+7*avg[i])＞＞3         (公式一)

avg′[i]＝(frame[i]+15*avg[i])＞＞4        (公式二)

其中：avg[i]为当前背景图像的第i个像素，avg′[i]为更新后的背景图像的第i个像素，frame[i]为当前帧图像的第i个像素。

4.根据权利要求1所述的基于异常事件检测和双流编码的视频监控方法，其特征是，所述的双流编码为：对第二路视频数据同时进行两种实时编码，其中：第一种是利用分辨率小于或等于352×288的图像进行基于码控恒定比特率编码以生成低质量低码率的比特流；第二种是利用分辨率大于或等于352×288的图像进行基于固定的量化参数的非恒定比特率编码以生成高质量高码率的比特流。

Images