CN110348305A - 一种基于监控视频的运动目标提取方法 - Google Patents

Abstract

本发明提供了一种基于监控视频的运动目标提取方法，包括：根据A_n的混合高斯模型得到A_n中的初步疑似运动区域Ar_n；计算A_n中的疑似运动区域D_n；计算A_n中的疑似运动区域集合{D_rn}_M；计算Ar_n和{D_rn}_M的交集J；若计算A_n中的最终运动区域；若更新第k帧背景图像；对第k帧图像A_k之前区域进行回溯；本发明可以在目标长时间滞留、小幅度运动等诸多复杂条件下，对运动目标提取和背景重建。

Description

一种基于监控视频的运动目标提取方法

技术领域

本发明属于视频监控技术领域，具体涉及一种基于监控视频的运动目标提取方法。

背景技术

视频监控是一种直观有效的记录、观察场景情况的重要手段，其中运动目标提取是分析视频监控的关键步骤，是当前研究的重点。其主要算法有基于像素的算法：根据像素分布规律构建概率模型，从而估计运动区域。但在建模中，需提供大量像素样品，人工成本较大；基于区域的算法：根据区域纹理特征的一致性，减小了照明对运动目标和背景的影响，但面对微小变化和特征不明显的运动目标区域检测效果不佳；基于图像帧的算法：根据光线变化规律构建全局模型对运动目标进行检测，但光线变化复杂多变，难以构建统一模型。

发明内容

针对现有技术中存在的不足，本发明的目的在于，提供一种基于监控视频的运动目标提取方法，解决现有技术无法满足检测精度和效率的技术问题。

为了解决上述技术问题，本申请采用如下技术方案予以实现：

一种基于监控视频的运动目标提取方法，包括以下步骤：

步骤1，输入图像序列{A₁,...,A_n,...,A_N}，A_n表示第n帧图像，对A_n构建混合高斯模型，根据A_n的混合高斯模型得到A_n中的初步疑似运动区域集合Ar_n， 表示A_n中的第i个初步疑似运动区域；

步骤2，设背景帧图像序列为{B₁,...,B_n,...,B_N}，B_n表示第n帧背景图像；

步骤3，令n＝1，B₁＝A₁；

步骤4，通过式(1)得到A_n中的疑似运动区域集合D_n， 表示A_n中的第j个疑似运动区域，M为大于1的整数；

式(1)中，T_n为分割阈值；

其中，Ag_n(x,y)表示A_n的灰度图像，Bg_n(x,y)表示B_n的灰度图像；

步骤5，遍历D_n中每个疑似运动区域进行数学形态学操作，得到A_n中的初步运动区域集合Dr_n， 表示Dr_n中的第j个初步运动区域；

步骤6，通过式(2)计算和集合Dr_n中每个初步运动区域的交集J；

式(2)中，表示Dr_n中的第j个初步运动区域，表示A_n中的第i个初步疑似运动区域；

步骤7，通过式(3)得到A_n中的运动区域；

式(3)中，表示A_n中的第i个运动区域，表示A_n中的第i个初步疑似运动区域；

步骤8，设当n＝k时，通过式(4)更新第k帧背景图像，得到更新后的第k帧背景图像B_k＝{B_k,1,B_k,2...B_k,h}；

式(4)中，表示空集，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}，A_k,h(x,y)为第k帧图像A_k在h通道在坐标(x,y)的像素值，B_k,h(x,y)为第k帧背景图像B_k在h通道在坐标(x,y)的像素值；T_k,h为更新分割阈值；

其中，为所在的最小矩形框区域，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}；Q_k为A_k中满足的像素点总数；

步骤9，根据更新后的第k帧背景图像B_k，获取第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}更新前的运动区域序列{Cr₁′,...,Cr_l′,...,Cr_k′_-1}，将回溯至第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}的运动区域的运动区域序列{Cr₁,...,Cr_l,...,Cr_k}，其中

步骤10，n＝n+1，B_n＝B_n-1，重复步骤4至步骤9，直至n＝N，即得到图像序列{A₁,...,A_n,...,A_N}中的运动区域序列{Cr₁,...,Cr_n,...,Cr_N}，其中

进一步地，步骤1中所述对A_n构建混合高斯模型，根据A_n的混合高斯模型得到A_n中的初步疑似运动区域Ar_n，包括：

步骤11，构建式(1)所示的混合高斯模型；

式(1)中，g表示高斯模型的个数，η表示高斯概率密度函数，ω_i,n表示第n帧图像对第i个高斯模型权值，u_i,n表示第n帧图像对第i个高斯模型均值，∑_i,n表示第n帧图像对第i个高斯模型协方差矩阵；

步骤12，根据混合高斯模型，更新第n帧图像对第i个高斯模型权值ω_i,n；

ω_i,n＝(1-α)ω_i,n-1+α(M_i,n) (2)

式(2)中，α是学习因子；M_i,n是第n帧图像像素与第i个高斯模型匹配程度，

步骤13，根据式(3)选取b个高斯模型构建背景模型B_b；

式(3)中，T为预设阈值；

步骤14，根据背景模型B_b，通过式(4)得到初步运动区域每个像素点A_n(x,y)的像素值Ar_n(x,y)；

将A_n中像素值Ar_n(x,y)为1的像素点所组成的区域作为初步疑似运动区域集合Ar_n。

本发明与现有技术相比，有益的技术效果是：

1.本发明将GMM与帧差法相融合，可实现目标静止、运动等不确定因数条件下，运动目标提取。

2.本发明建立重新回溯体系，可实现复杂背景下，重建纯背景。

3.本发明建立局部更新体系，平均处理速度快，达到0.35帧/s.

附图说明

图1是本发明方法的流程图；

图2是类型1的处理效果图；

图3是类型2的处理效果图；

图4是类型3的处理效果图；

图5是ROI分析图；

以下结合附图和实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例：

本实施例给出一种基于监控视频的运动目标提取方法，包括以下步骤：

步骤1，输入图像序列{A₁,...,A_n,...,A_N}，A_n表示第n帧图像，对A_n构建混合高斯模型，根据A_n的混合高斯模型得到A_n中的初步疑似运动区域集合Ar_n，将Ar_n中的一个连通区域作为一个初步运动区域 表示A_n中的第i个初步疑似运动区域；

包括：

步骤11，构建式(1)所示的混合高斯模型；

式(1)中，k表示高斯模型的个数，η表示高斯概率密度函数，ω_i,n表示第n帧图像对第i个高斯模型权值，u_i,n表示第n帧图像对第i个高斯模型均值，∑_i,n表示第n帧图像对第i个高斯模型协方差矩阵；

步骤12，根据混合高斯模型，更新第n帧图像对第i个高斯模型权值ω_i,n；

ω_i,n＝(1-α)ω_i,n-1+α(M_i,n) (2)

式(2)中，α是学习因子；

M_i,n是第n帧图像像素与第i个高斯模型匹配程度，其中，M_i,n的计算参考“金广智,石林锁,白向峰,等.基于混合高斯模型的新型目标检测***[J].计算机应用,2011,31(12):3360-3362.”中的方法。

步骤13，根据式(3)选取b个高斯模型构建背景模型B_b；

式(3)中，T为预设阈值；

步骤14，根据背景模型B_b，通过式(4)得到初步运动区域每个像素点A_n(x,y)的像素值Ar_n(x,y)；

将A_n中像素值Ar_n(x,y)为1的像素点所组成的区域作为初步疑似运动区域Ar_n。

通过式(4)可得，像素值为1的区域为初步运动区域集合，像素值为1的区域中的连通区域即为一个初步运动区域。

步骤2，设背景帧图像序列为{B₁,...,B_n,...,B_N}，B_n表示第n帧背景图像；

步骤3，令n＝1，B₁＝A₁；

步骤4，通过式(1)得到A_n中的疑似运动区域集合D_n，将D_n中的一个连通区域作为一个疑似运动区域，表示A_n中的第j个疑似运动区域，M为大于1的整数；

式(5)中，T_n为分割阈值；

其中，Ag_n(x,y)表示A_n的灰度图像，Bg_n(x,y)表示B_n的灰度图像；

通过式(1)中可得像素值为1的区域即为疑似运动区域集合，将像素值为1的区域中的连通区域作为疑似运动区域。

步骤5，遍历D_n中每个疑似运动区域进行数学形态学操作，得到A_n中的初步运动区域集合Dr_n， 表示Dr_n中的第j个初步运动区域；

步骤6，通过式(2)计算和集合Dr_n中每个初步运动区域的交集J；

式(2)中，表示Dr_n中的第j个初步运动区域，表示A_n中的第i个初步疑似运动区域；

步骤7，通过式(3)得到A_n中的运动区域；

式(3)中，表示A_n中的第i个运动区域，表示A_n中的第i个初步疑似运动区域；

步骤8，设当n＝k时，通过式(4)更新第k帧背景图像，得到更新后的第k帧背景图像B_k＝{B_k,1,B_k,2...B_k,h}；

式(4)中，表示空集，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}，A_k,h(x,y)为第k帧图像A_k在h通道在坐标(x,y)的像素值，B_k,h(x,y)为第k帧背景图像B_k在h通道在坐标(x,y)的像素值；T_k,h为更新分割阈值；

其中，为所在的最小矩形框区域，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}；Q_k为A_k中满足的像素点总数；

步骤9，根据更新后的第k帧背景图像B_k，获取第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}更新前的运动区域序列{Cr₁′,...,Cr_l′,...,Cr′_k-1}。将回溯至第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}的运动区域，的运动区域序列{Cr₁,...,Cr_l,...,Cr_k}。其中

步骤10，n＝n+1，B_n＝B_n-1，重复步骤4至步骤9，直至n＝N，即得到图像序列{A₁,...,A_n,...,A_N}中的运动区域序列{Cr₁,...,Cr_n,...,Cr_N}，其中

实验验证：

类型1：开始没有运动目标，然后目标一直运动。

类型2：开始目标运动，然后目标停留很长时间。

类型3：开始目标静止，然后目标运动。由于高斯混合模型为渐进学习过程，所以实验中选取视频前10帧图像予以学习。

本发明对类型1的处理效果如图2所示，通过高斯混合模型聚焦至运动区域，得到运动目标大致区域，但是不能有效提取局部变化不大的点，需要修补，然后将帧差法提取结果与高斯混合模型提取结果相融合精确的提取出运动目标{Cr₅₀}₁，重建背景B₅₀。

本发明对类型2的处理效果如图3所示，通过高斯混合模型聚焦至运动区域，随着时间的推移，前景像素点会逐步转化为背景像素点。通过本方案的算法精确提取运动目标{Cr₁₀₀}₁，重建背景B₁₀₀。随着时间进一步推移，最终前景运动区域全部湮没在背景中，但计算机无法确定该区域为目标长时间停留所致，还是停留在背景图像中，需要背景更新。通过本方案的算法精确提取运动目标{Cr₁₀₀₀}₁，重建背景B₁₀₀₀。

本发明对类型3的处理效果如图4所示，由于高斯混合模型的算法，前景背景转化是一个渐进学习过程，会出现拖尾现象。计算机无法确定该区域为目标长时间停留所致，还是停留在背景图像中，需要背景更新。通过本方案的算法精确提取运动目标{Cr₁₀₀₀}₁，重建背景B₁₀₀₀。在此基础上，通过背景回溯去除拖尾现象，得到运动目标{Cr₁₀₀}₁，重建背景B₁₀₀。

统计ROI分布情况如图5所示。可知A₈₁₆出现大量ROI，对比A₈₁₅与A₈₁₆，可知A₈₁₆出现虚化，从侧面证明该算法可以有效检测细微的变化。

综上所述本发明可以在目标长时间滞留、小幅度运动等诸多复杂条件下，对运动目标提取和背景重建。

依据分割精度和处理时间对本发明提出方法与主流算法对比。采用面积交迭度(area overlap measure，AOM)作为分割效果的评价指标。其定义为：

其中，AOM为面积交迭度，υ为人工标记的运动区域，ν为算法分割出的运动区域，S(·)表示对应区域的像素点数，AOM取值越大表明分割效果越好。检测结果如表1所示。

表1 AOM和平均时间统计

根据上表可知，对于目标一直运动的情况，基于像素的低秩的算法，判断背景与运动目标，分割精度高，但该算法需对所有像素点进行计算，平均处理时间长。而基于帧的算法，仅考虑整体信息，处理时间快，但精度不高。而本文提出的基于格式塔原理的运动目标提取与背景重建算法，虽然在平均处理时间上略逊与帧的算法，在目标一直运动的情况下分割精度略逊于像素的算法，但从总体效果和在目标运动后，长时间停止和目标起始停止，后运动的情况，精度对比主流算法均有大幅度提高。

Claims (2)

1.一种基于监控视频的运动目标提取方法，其特征在于，包括以下步骤：

步骤1，输入图像序列{A₁,...,A_n,...,A_N}，A_n表示第n帧图像，对A_n构建混合高斯模型，根据A_n的混合高斯模型得到A_n中的初步疑似运动区域集合Ar_n， 表示A_n中的第i个初步疑似运动区域；

步骤2，设背景帧图像序列为{B₁,...,B_n,...,B_N}，B_n表示第n帧背景图像；

步骤3，令n＝1，B₁＝A₁；

步骤4，通过式(1)得到A_n中的疑似运动区域集合D_n， 表示A_n中的第j个疑似运动区域，M为大于1的整数；

式(1)中，T_n为分割阈值；

其中，Ag_n(x,y)表示A_n的灰度图像，Bg_n(x,y)表示B_n的灰度图像；

步骤5，遍历D_n中每个疑似运动区域进行数学形态学操作，得到A_n中的初步运动区域集合Dr_n， 表示Dr_n中的第j个初步运动区域；

步骤6，通过式(2)计算和集合Dr_n中每个初步运动区域的交集J；

式(2)中，表示Dr_n中的第j个初步运动区域，表示A_n中的第i个初步疑似运动区域；

步骤7，通过式(3)得到A_n中的运动区域；

式(3)中，表示A_n中的第i个运动区域，表示A_n中的第i个初步疑似运动区域；

步骤8，设当n＝k时，通过式(4)更新第k帧背景图像，得到更新后的第k帧背景图像B_k＝{B_k,1,B_k,2...B_k,h}；

式(4)中，表示空集，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}，A_k,h(x,y)为第k帧图像A_k在h通道在坐标(x,y)的像素值，B_k,h(x,y)为第k帧背景图像B_k在h通道在坐标(x,y)的像素值；T_k,h为更新分割阈值；

h∈H，其中，为所在的最小矩形框区域，H为图像通道数，彩色图像H＝{1,2,3}，灰度图像H＝{1}；Q_k为A_k中满足的像素点总数；

步骤9，根据更新后的第k帧背景图像B_k，获取第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}更新前的运动区域序列{Cr₁′,...,Cr_l′,...,Cr_k′_-1}，将回溯至第k帧图像A_k之前的所有帧图像{A₁,...,A_l,...,A_k-1}的运动区域的运动区域序列{Cr₁,...,Cr_l,...,Cr_k}，其中

步骤10，n＝n+1，B_n＝B_n-1，重复步骤4至步骤9，直至n＝N，即得到图像序列{A₁,...,A_n,...,A_N}中的运动区域序列{Cr₁,...,Cr_n,...,Cr_N}，其中

2.如权利要求1所述的运动目标提取方法，其特征在于，步骤1中所述对A_n构建混合高斯模型，根据A_n的混合高斯模型得到A_n中的初步疑似运动区域Ar_n，包括：

步骤11，构建式(1)所示的混合高斯模型；

式(1)中，g表示高斯模型的个数，η表示高斯概率密度函数，ω_i,n表示第n帧图像对第i个高斯模型权值，u_i,n表示第n帧图像对第i个高斯模型均值，∑_i,n表示第n帧图像对第i个高斯模型协方差矩阵；

步骤12，根据混合高斯模型，更新第n帧图像对第i个高斯模型权值ω_i,n；

ω_i,n＝(1-α)ω_i,n-1+α(M_i,n) (2)

式(2)中，α是学习因子；

M_i,n是第n帧图像像素与第i个高斯模型匹配程度，

步骤13，根据式(3)选取b个高斯模型构建背景模型B_b；

式(3)中，T为预设阈值；

步骤14，根据背景模型B_b，通过式(4)得到初步运动区域每个像素点A_n(x,y)的像素值Ar_n(x,y)；

将A_n中像素值Ar_n(x,y)为1的像素点所组成的区域作为初步疑似运动区域集合Ar_n。