CN103714325B - 基于嵌入式***的遗留物和遗失物实时检测方法 - Google Patents

Abstract

本发明公开了一种基于嵌入式***的遗留物和遗失物检测方法，该方法包括以下步骤：获取视频数据；基于长短周期混合高斯模型学习视频数据待检测图像中的背景，提取可疑静止目标物区域，并得到目标前景二值图；根据目标前景二值图对于可疑静止目标物区域的存留时间进行累积计时，在预设报警时间内，若存留时间超过一预定阈值，则触发报警，并把可疑静止目标物的大小尺寸和具***置信息在原图像中标示出来；通过分析可疑静止目标物区域的边缘抖动情况确定该区域是否包含检测目标，最终得到目标矩形区域；对包含有检测目标的目标矩形区域进行遗留物和遗失物的区分，并进行报警。本发明运算开销较小，可在嵌入式SOC前端实现，能够满足实时性检测的要求。

Description

基于嵌入式***的遗留物和遗失物实时检测方法

技术领域

本发明涉及图像处理和视频智能分析在安防领域以及智能交通方面的应用，具体涉及一种基于嵌入式***的遗留物和遗失物实时检测方法。

背景技术

随着社会经济的发展，人们对安全防范的需求也越来越大。例如，机场、银行、地铁、候车厅等人多密集的重要场所，容易被***等利用，通常具有很大的安全隐患，因此需要进行实时监测。而传统的监控***基本只能用于事后证据呈现，却不能够实时检测异常事件的发生。遗留物和遗失物的实时检测用于辅助监控人员监察场景中是否有可疑物体遗留，以及场景中的重要物体是否被挪动或移走，具有主动监测、预警的功能。

目前相关的遗留物检测技术方案中，主要是通过前端摄像机设备获取实时画面，通过网络传输到服务器平台后端实现分析，分析结束后再输出实时画面。基于后台智能分析服务器和监控平台的视频智能监视***复杂，成本高昂，而且随着720P、1080P高清网络摄像机的普及，网络传输延时的滞后问题需要正视。随着嵌入式***软硬件功能和性能的不断提高，基于嵌入式***的前端智能分析逐渐显露出优势，集成的智能分析算法可以满足实时性检测的要求，并且大大缓解后端的处理压力，使得应用场合更加广泛。

目前已有的检测技术只是将场景变化的区域判断为可疑遗留目标，没有严格区分遗留物和遗失物的智能分析环节，遗留物是指被人遗留下的、无人照看的静态物体；遗失物是指场景中被挪动或移走的静态物体。目前的检测方法中，主要存在两方面的问题：一是算法主要面向服务器端，占用的内存和CPU运行量较大，无法移植到嵌入式平台上进行实时检测，嵌入式平台对智能分析的方法要求更高；二是目前的检测方法性能依然不足，大多只适应于室内不变场景的检测，无法实现全天候检测，对于室外复杂的场景变化稳定性较差，特别是光照变化和暂留行人车辆的出现容易造成误测和虚报警情况的发生，这些问题还需要进一步的解决。

发明内容

为解决上述的技术问题，针对目前基于前端嵌入式***的遗留物和遗失物实时检测技术领域上的空白，本发明提出一种实时有效的检测方法。本发明可以集成在智能高清网络摄像机前端，有较高的实时性、准确性，以及鲁棒性，本发明适用于各种遗留物和遗失物自动检测的场所，并能达到理想的检测效果。

本发明提出的一种遗留物和遗失物检测方法包括以下步骤：

步骤1、获取视频数据；

步骤2、基于长短周期混合高斯模型学习视频数据每一待检测图像中的背景，提取其目标前景，即可疑静止目标物区域，并得到目标前景二值图；

步骤3、根据所述目标前景二值图对于所述可疑静止目标物区域的存留时间进行累积计时，在预设报警时间内，若存留时间T(x,y)超过一预定阈值Th_max，则触发报警，并把可疑静止目标物的大小尺寸和具***置信息在原图像中标示出来，并输出显示；

步骤4、通过分析所述可疑静止目标物区域的边缘抖动情况确定该区域是否包含检测目标，最终得到目标矩形区域；

步骤5、对包含有检测目标的目标矩形区域进行遗留物和遗失物的区分，并进行报警。本发明基于前端嵌入式***的遗留物和遗失物检测方法具有以下几点有益效果：

（1）视频捕获、实时检测和触发报警等所有功能都是在嵌入式设备前端实现，大幅降低后台PC服务器的负荷，方便大型监控***的集成和扩展。

（2）对前景区域进行分析和归类，过滤掉不符合静止目标特征的前景区域（主要是暂留行人），减低误检率，并实现遗留物和遗失物的区分。

（3）本发明考虑到了场景光线突变的情况并作了相应处理，从而提高了检测的稳定性。

附图说明

图1是本发明基于嵌入式***的遗留物和遗失物检测方法的流程图；

图2为遗失物的检测效果图；

图3为遗留物的检测效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于嵌入式***的遗留物和遗失物检测方法的流程图，如图1所示，所述方法包括以下步骤：

步骤1、获取视频数据；

该步骤利用高性能嵌入式***Soc硬件架构支持的DMA技术直接读写内存，从视频数据内存池里直接访问数据，取出经ISP优化后的每一帧图像数据来进行实时处理，从而减轻了处理器运算负载，大大提高了CPU的效率。

步骤2、基于长短周期混合高斯模型学习视频数据每一待检测图像中的背景，提取其目标前景，即可疑静止目标物区域，并得到目标前景二值图；

在本发明一实施例中，该步骤采用基于YUV颜色空间的混合高斯前景检测方法来提取目标前景。

YUV颜色空间是视频中最常采用的图像色彩描述方法，比RGB颜色空间更能有效去除阴影的影响和提高背景与前景的区分度，而且前端设备无需进行颜色空间的转换，从而大大减少计算量和转换时间，更加节约***资源。

YUV颜色空间由亮度分量Y和两个色度分量U和V组成。亮度分量Y代表颜色的亮暗程度，用于短周期混合高斯建模，检测得到运动的目标物体和背景存在微小扰动变化的前景的二值图。U和V是独立的色差信号，用于描述图像的色彩及饱和度属性，一幅图像的U分量和V分量用来进行长周期的混合高斯建模，检测可疑的静止物体，因为Y亮度分量不计算在内，因此可以减少光照和阴影等因素对检测结果的影响。在长周期混合高斯建模和前景检测中，为了减少前端算法的运行时间，本发明采用UV色度分量交替检测和结合前后两帧的检测结果来判定前景像素点的方法。

所述步骤2进一步包括以下步骤：

步骤21、利用混合高斯(GMM)模型进行背景建模，建立两个不同更新学习率的混合高斯背景模型，分别是长周期背景模型M_L和短周期背景模型M_S；

步骤22、利用混合高斯背景模型分别提取当前帧的前景图，得到长短周期两个背景模型的前景二值图F_L和F_S，具体如下；

用图像帧的UV两个色度分量来更新长周期高斯背景模型M_L，同时获取前景图像，然后通过设定合适阈值进行二值化，将二值化结果存放在与当前帧相同大小的矩阵F_L中，即：

其中，U_n-1表示前一帧的图像U色度分量，U_b表示U色度分量高斯背景，V_n表示当前帧的图像V色度分量，V_b表示V色度分量高斯背景，T_UV表示设定阈值。

针对短周期混合高斯背景的运动物体检测，输入图像帧的亮度信息Y来更新短周期高斯背景模型M_S，利用亮度信息检测的前景结果F_S描述为：

其中，Y_n表示图像的亮度信息，Y_b表示Y分量的高斯背景，T_Y表示预定阈值。

综合上述两个混合高斯模型的前景信息，可得出可疑静止目标物的检测结果：

其中，1表示检测结果为可疑静止目标物，0表示检测结果非可疑静止目标物。

步骤23、然后对于得到的目标前景二值图进行中值滤波及形态学等后继处理，以降低噪声、过小的目标物等干扰因素所带来的不良影响，最终得到准确完整的可疑静止目标物的前景二值图；

由于检测场景中可能会发生光照突变情况，得到的初始前景二值图会因为光线的变化而产生大面积误检区域。这里对前景二值图中属于前景的像素点，也即是F(x,y)=1的像素点个数SumF进行统计和进行双阈值判断，当0<SumF≤T₁，表示场景中无异常变化或出现运动物体，前景二值图是运动噪声；当SumF≥T₂时，场景信息发生了变化，认为是光照突变，快速重新建立混合高斯的背景模型；当T₁<SumF<T₂时，则认为是初步出现可疑物体，其中，T₁和T₂为预定阈值，且T₂>T₁。

步骤24、当初步确定出现可疑目标物时，对当前的目标物前景二值图寻找连通域并进行标识，进入下一步骤。

步骤3、根据所述目标前景二值图对于所述可疑静止目标物区域的存留时间进行累积计时，在预设报警时间内，若存留时间T(x,y)超过一预定阈值Th_max，则触发报警，并把可疑静止目标物的大小尺寸和具***置信息在原图像中标示出来，并输出显示；

该步骤对遗留物和遗失物分别进行存留时间的统计，这样做的目的主要是考虑到对于遗留物和遗失物应设有不同的报警触发条件，当可疑目标物的存留时间满足一定条件时，就确定为遗留物或遗失物，输出报警，其中，T(x,y)是可疑静止目标物存留累计时间，表示为：

$T(x,y)=\left\{\begin{array}{cc}T(x,y)+1& F(x,y)=1\\ T(x,y)-k& F(x,y)=0\\ {\mathrm{Th}}_{\max }& T(x,y)>{\mathrm{Th}}_{\max }\end{array}\right.,$

其中，F(x,y)是步骤2中得到的目标前景二值图，k≥0，为预设参数，阈值Th_max根据摄像机设备的帧率和具体遗留物和遗失物触发报警的时长而定。

步骤4、通过分析所述可疑静止目标物区域的边缘抖动情况确定该区域是否包含检测目标，最终得到目标矩形区域；

所述步骤4进一步包括以下步骤：

步骤41、对于上述步骤2处理得到的目标前景二值图，寻找并标记其中存在的连通域，并保存连通域的外部轮廓边缘信息；

步骤42、统计一定时间段内某一连通域外部轮廓边缘像素的变化情况，把连通域边缘轮廓的信息保存在二维矩阵M(i,j)中，所述二维矩阵M(i,j)中，轮廓边缘像素值设为1，其余则设为0，并在连续N幅目标前景二值图内进行连通域边缘轮廓信息的累积统计，得到累计时长

步骤43、把得到的外部轮廓边缘信息和累计时长作为数据结构保存到掩码映射表中，所述掩码映射表反映的是边缘像素点的抖动程度，其值越小说明稳定性越差，边缘越不稳定，比如，如果某一连通区域内的抖动程度小于一定的范围，其中，M(i,j)表示图像边缘信息的二维矩阵，S表示二维矩阵中非零值的数量，T表示一预定阈值，就不认为该连通域是检测目标，将其删除，否则保留，最终得到目标矩形区域，其代表了遗留物和遗失物的具体尺寸大小和位置信息。

步骤5、对包含有检测目标的静止目标物区域进行遗留物和遗失物的区分，并进行报警；

由上面步骤4得到静止目标的目标矩形区域后，将其作为掩码矩阵来对原始图像进行漫水填充算法处理，在本发明一实施例中，选择8连通区域填充方式，即将原始图像中检测为静止目标的像素作为种子像素，来填充区域。所述步骤5进一步包括以下步骤：

步骤51、对目标矩形区域中的所有像素逐点进行扫描；

步骤52、把所述目标矩形区域彩色图像中对应的前景二值图中值为1的像素点进行固定差值范围的颜色填充，填充颜色值为SetValue，若像素点原来的颜色值为SetValue，则不做任何处理，返回步骤51；

步骤53、重复步骤51和步骤52直至所有像素点扫描完毕；

步骤54、计算目标矩形区域中新填充的连通域面积Area2与原来目标矩形区域中连通域的面积Area1，新填充的连通域面积会覆盖原来的目标物连通域面积，若新填充连通域面积超出预定范围，则认为当前填充的连通域属于遗失物的背景，则该连通域判定为遗失物，反之，就认为是遗留物，将遗留物标记为Ai，遗失物标记为Si。

步骤6、通过背景图像的比较检测场景中遗留物出现滞留又被取走的情况是否发生，如发生，则结束报警；另外，通过前景目标的比较检测静止物体被取走随后又放回，并且位置挪动情况的发生，如发生，则输出相应的报警信息，具体情况分为两种；

一、针对场景中某个时刻出现遗留物随后又被取走的情况，所述方法一开始就建立起背景图像，并不断更新背景图像作为参考标准，然后对当前前景区域建立的位置信息，建立Mask矩阵掩码，拷贝当前图像帧来更新背景图像；当检测到遗留物出现后，将当前图像的遗留物的区域ROI与历史背景图像进行差除运算处理，通过自适应阈值实时检测静止目标的变化状态；当遗留物被取走时，每个像素点差除运算的绝对值很小，移除不再符合静止目标条件的遗留物区域信息，取消报警状态。背景图像的更新独立于高斯背景模型，以避免混合高斯模型生命周期结束后将长时间停留的静止物纳入背景统计。

二、针对发生遗失物丢失，随后将遗失物放回到监控场景的情况，检测新出现的前景目标与历史遗失物是否匹配，如果两者匹配，则取消遗失物报警，否则，将新出现的目标判断为新的遗留物：

当检测到图像中新出现可疑目标时，把历史遗失物从背景图像中提取出来，与当前新出现的目标前景图像ROI区域做比较和匹配，比如可以结合图像的颜色统计直方图和形状特性进行匹配和比较，所述匹配具体为：

首先，用掩码矩阵统计图像区域的直方图并量化等级，得到U和V两个色度分量的直方图信息后分别计算Euler距离：其中，n表示直方图色度信息量化维度，该距离值越小，两个目标图像的相似度就越高；

然后，提取两幅匹配图像的几何不变矩，计算两者的归一化积相关度量D，归一化积相关度量D值越大，匹配程度就越高，所述归一化积相关度量D由下式计算得到：

$D=\frac{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{A}_k{S}_k}{{\left[\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(A_k\right)}^2\right]}^{1/2}{\left[\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(S_k\right)}^2\right]}^{1/2}},$

其中，A_k表示背景图像中遗失物区域的几何不变矩，S_k表示新出现可疑目标区域图像的几何不变矩，N表示几何不变矩个数。

最后，结合颜色直方图信息和形状信息来判断ROI区域是否匹配，具体准则为：

1、如果两个颜色分量的Euler距离都满足d²≤T_E1，且D≥T_D1，则满足匹配条件；

2、如果归一化积相关度量满足D≥T_D2，且d²≤T_E2，则满足匹配条件，其中，T_E1、T_D1、T_E2、T_D2均为预定阈值，且满足：T_D2>T_D1和T_E1<T_E2。

若满足上面判定的准则，就认为当前新出现的目标和历史遗失物是匹配的，属于遗失物被取走后又被放回的情况，则取消遗失物报警，并更新背景图像，根据场景中的静止物***置变动状态输出对应信息。

图2为根据本发明一实施例的遗失物检测效果图，图3为根据本发明一实施例的遗留物检测效果图。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种遗留物和遗失物检测方法，其特征在于，该方法包括以下步骤：

步骤1、获取视频数据；

步骤2、基于长短周期混合高斯模型学习视频数据每一待检测图像中的背景，提取其目标前景，即可疑静止目标物区域，并得到目标前景二值图；

步骤3、根据所述目标前景二值图对于所述可疑静止目标物区域的存留时间进行累积计时，在预设报警时间内，若存留时间T(x，y)超过一预定阈值Th_max，则触发报警，并把可疑静止目标物的大小尺寸和具***置信息在原图像中标示出来，并输出显示；

步骤4、通过分析所述可疑静止目标物区域的边缘抖动情况确定该区域是否包含检测目标，最终得到目标矩形区域；

步骤5、对包含有检测目标的目标矩形区域进行遗留物和遗失物的区分，并进行报警；

其中，利用下式对于存留时间进行累计计时：

$T(x,y)=\left\{\begin{array}{cc}T(x,y)+1& F(x,y)=1\\ T(x,y)-k& F(x,y)=0\\ {\mathrm{Th}}_{\max }& T(x,y)>{\mathrm{Th}}_{\max }\end{array}\right.,$

其中，F(x，y)表示目标前景二值图，k≥0，为预设参数，Th_max为预定阈值。

2.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

步骤21、利用混合高斯模型进行背景建模，建立两个不同更新学习率的混合高斯背景模型：长周期背景模型M_L和短周期背景模型M_S；

步骤22、利用混合高斯背景模型分别提取当前帧的前景图，得到长短周期两个背景模型的前景二值图F_L和F_S，根据前景二值图F_L和F_S，检测得到可疑静止目标物；

步骤23、对于得到的目标前景二值图进行中值滤波及形态学处理；

步骤24、对当前的目标物前景二值图寻找连通域并进行标识。

3.根据权利要求2所述的方法，其特征在于，前景二值图F_L的获取具体为：用图像帧的U、V两个色度分量来更新长周期高斯背景模型M_L，同时获取前景图像，然后通过设定合适阈值进行二值化，将二值化结果存放在与当前帧相同大小的矩阵F_L中，即得到前景二值图F_L：

其中，U_n-1表示前一帧的图像U色度分量，U_b表示U色度分量高斯背景，V_n表示当前帧的图像V色度分量，V_b表示V色度分量高斯背景，T_UV表示设定阈值。

4.根据权利要求2所述的方法，其特征在于，前景二值图F_S的获取具体为：针对短周期混合高斯背景的运动物体检测，输入图像帧的亮度信息Y来更新短周期高斯背景模型M_S，利用亮度信息检测得到前景二值图F_S：

其中，Y_n表示图像的亮度信息，Y_b表示Y分量的高斯背景，T_Y表示预定阈值。

5.根据权利要求2所述的方法，其特征在于，所述步骤22中，根据前景二值图F_L和F_S，检测得到可疑静止目标物表示为：

其中，1表示检测结果为可疑静止目标物，0表示检测结果非可疑静止目标物。

6.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤41、对于所述目标前景二值图，寻找并标记其中存在的连通域，并保存连通域的外部轮廓边缘信息；

步骤42、统计一定时间段内某一连通域外部轮廓边缘像素的变化情况，把连通域边缘轮廓的信息保存在二维矩阵M(i，j)中，并在连续N幅目标前景二值图内进行连通域边缘轮廓信息的累积统计，得到累计时长

步骤43、把得到的外部轮廓边缘信息和累计时长作为数据结构保存到掩码映射表中，得到某一连通区域内的抖动程度，如果某一连通区域内的抖动程度小于一定的范围，就不认为该连通域是检测目标，将其删除，否则保留，最终得到目标矩形区域。

7.根据权利要求6所述的方法，其特征在于，所述二维矩阵M(i，j)中，轮廓边缘像素值设为1，其余则设为0。

8.根据权利要求1所述的方法，其特征在于，所述步骤5进一步包括以下步骤：

步骤51、对目标矩形区域中的所有像素逐点进行扫描；

步骤52、把所述目标矩形区域彩色图像中对应的前景二值图中值为1的像素点进行固定差值范围的颜色填充；

步骤53、重复步骤51和步骤52直至所有像素点扫描完毕；

步骤54、计算目标矩形区域中新填充的连通域面积与原来目标矩形区域中连通域的面积，若新填充连通域面积超出预定范围，则认为当前填充的连通域属于遗失物的背景，则该连通域判定为遗失物，反之，就认为是遗留物。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括通过背景图像的比较检测场景中遗留物出现滞留又被取走的情况，和/或通过前景目标的比较检测静止物体被取走随后又放回的情况是否发生，如发生，则取消报警。