CN106856577B - 可解决多目标碰撞及遮挡问题的视频摘要生成方法 - Google Patents

Abstract

一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，包括背景重建模块、目标检测模块、目标跟踪模块、目标轨迹后处理模块、目标轨迹生成模块、视频摘要生成模块。本发明是一种基于对象的动态视频摘要生成方式，该方法对监控视频进行智能分析处理，对源视频中的目标进行检测和跟踪，并提取目标位置大小等轨迹信息，通过轨迹的组合优化生成包含所有目标的浓缩视频，该方法能够有效降低视频空间冗余和时间冗余。

Description

可解决多目标碰撞及遮挡问题的视频摘要生成方法

技术领域

本发明属于视频监控和图像智能分析技术领域，涉及一种可解决多目标碰撞及遮挡问题的视频摘要生成方法。

背景技术

视频监控***作为一种广泛使用的技术防范手段，在城市社会治安综合防控体系建设中发挥着越来越重要的作用。然而，不断增多的各类摄像头日夜不停的摄像，使“看得见”的问题得到了很好的解决，但是海量的视频资料，查找起来犹如大海捞针，传统的以人海战术为主的视频线索查找已经无法应对大数据时代的视频侦查。随着***规模的不断扩大，如何快速准确地在海量视频里浏览并查找线索，已成亟待解决的问题。

视频摘要作为目前智能视频分析技术的重要组成部分，同时也成为视频监控***事后分析处理的关键手段。视频摘要有效地解决了海量视频资料带来的数据冗余、浏览和查找费时费力、存储不便等疑难问题。在视频监控***中对原始视频进行浓缩，进一步提高浏览速度并锁定检索对象，对于加快破案速度和破案效率具有重要的意义。

视频监控领域的视频摘要技术主要有两种形式：静态视频摘要中的基于关键帧的视频摘要和动态视频摘要中的基于对象的视频摘要。基于关键帧的视频摘要的最小单位是“帧”，在时间上进行减少的同时，却留下了很多的空间冗余信息，并且不能完整表示每个目标的运动轨迹，不利于视频目标检索。基于对象的视频摘要的最小单位是“对象”，打破了“帧”不可分的限制，可以最大限度地减少时间冗余信息和空间冗余信息，保持了视频的动态特性，能在监控安防中快速响应紧急事件，定位到事件相关的“对象”，但是，监控视频中对象的运动轨迹大部分是不相关的，这些不相关的对象轨迹会产生一定的视频空间冗余和时间冗余，因此，造成了处理复杂和摘要生成困难的问题。

近年来，越来越多的研究人员针对视频摘要的生成方法进行了深入的研究，也就是解决如何将对象的运动轨迹在时空上进行组合优化的问题。常见的优化算法有模拟退火算法、遗传算法、粒子群算法等，此类算法存在性能不稳定、复杂度高、实现困难、效率低下等不足，在实际应用中不易采用。例如，以色列BriefCam公司已开发出视频摘要(VideoSynopsis)相关的***，其专利号为US831127和US8102406，该***的主要思想来源于以色列科学家Alex Rav-Acha于2006年提出了基于对象的视频摘要(Video Synopsis)技术的总体框架，这是一种视频—视频的转化模式。但是该方法在视频摘要生成过程中采用了两种方法，其中一种方法是将对象的运动轨迹进行切片，一个单独的对象被分为若干个切片，每个切片有着更短的时间间隔，而所有切片被同时播放则会出现动态频闪效应，并且对切片的安排处理采用模拟退火算法来最小化能量函数，该方法过分追求时间上的浓缩，得到的摘要视频中一幅画面同一个人出现多次，视觉感观不够自然。基于模拟退火的方法，依赖于初始解的选择，初始解选择不好，很难获得很好的排列使得能量函数很小。

CN201310294711.X的发明专利公开了一种用于双层视频摘要的轨迹最优组合方法，该方法提出了一种新的最优化能量函数的方法，降低了最优解求取过程中运算次数，避免了局部最优解的问题，也避免了轨迹密度不均匀的情况，但是该方法并没有考虑由于源视频中目标之间存在的碰撞和遮挡造成的目标轨迹不完整或目标本身提取不完整的问题。

CN201410001188.1的发明专利“一种视频浓缩方法和***”提出一种视频摘要的生成方法是对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储，然后将前景目标和背景图像进行融合，生成压缩视频。该方法旨在浓缩视频长度的同时，尽可能防止多目标之间的碰撞和遮挡，并没有考虑源视频中目标之间存在碰撞和遮挡情况下的有效处理方法。

CN201410709377.4的发明专利“一种视频摘要的生成方法及***”公开了一种视频摘要的生成方法，该方法生成视频摘要时，发生过遮挡或粘连的目标不仅各自具有完整的轨迹，还保持了其在原始视频中与其他目标的遮挡或粘连关系。但是该方法是针对当原始视频中的目标在某一时刻发生粘连或遮挡等行为，且两个目标分割不开变成同一个目标时，跟踪只能延续其中一个目标，在遮挡或粘连结束后才能继续跟踪另一个目标的情况，提出了一种以组为单位，多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，最后选取代价值最小的方案来确定每组在生成视频摘要中的开始时刻，最后完成视频摘要的生成。因此，该方法存在目标追踪不准确、易丢失目标以及最小代价值计算复杂度高的不足。

CN201410755692.0的发明专利公开了一种基于树状运动目标轨迹的视频摘要生成方法，该方法允许几个发生粘连、交叉、遮挡等多个目标，以目标树的形式进行描述，并以目标树为单位调整起始位置，最终生成视频摘要。该方法数据结构复杂，进行碰撞检测时目标遍历和位置调整次数较多，使得摘要生成过程耗时。

发明内容

本发明的目的在于克服现有技术的不足，提供一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，该方法能够有效实现单个目标的跟踪，在源视频中多个运动目标间发生紧随碰撞或交叉遮挡情况时，在生成的视频摘要中可有效保持目标间原有的隐性相关关系，并保证原目标及其轨迹的完整性，同时可最大限度地保持目标间的时序一致性。

本发明的技术方案如下：

一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于包括以下步骤：

(1)采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；

(2)使用步骤(1)中得到的前景图像检测新进入场景的所有团块，然后将较小的团块和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号；

(3)在步骤(2)对目标进行检测的基础上，实现对目标的跟踪；

(4)采用卡尔曼滤波对跟踪团块的位置信息进行修正；

(5)在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中；

(6)根据步骤(5)得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。

上述步骤(3)进一步包括：

(31)从前景图像提取当前帧的所有团块，并计算团块的质心、宽度和高度，并添加到新团块列表；

(32)对每一个已被跟踪的团块，利用卡尔曼滤波预测该团块在当前帧的位置和大小；

(33)对每一个新团块，通过与已被跟踪团块位置和大小及其卡尔曼预测的位置和大小进行碰撞分析，并将与该团块产生紧随碰撞、交叉遮挡的所有目标的ID编号保存在已被跟踪目标的碰撞标识数组中；

(34)对已被跟踪的目标团块进行判断，若存在碰撞，则采用带权重的粒子滤波进行跟踪预测得到目标团块；若不存在碰撞，则寻找距离上一帧里的团块最近的当前帧的团块作为目标团块；最后将得到的目标团块添加到跟踪轨迹。

上述步骤(6)进一步包括：

(61)对轨迹生成模块得到的运动轨迹文件中的所有目标按照ID编号进行非降序排序；

(62)对排序后的所有目标的运动轨迹进行分析，创建存在碰撞分析的运动轨迹列表，通过对每个目标的碰撞标识数组进行检测：

若存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表，并将与该目标产生碰撞或遮挡的关联目标，或与其关联目标产生碰撞或遮挡的目标，依次进行递归分析，得到该目标的碰撞分组，该碰撞分组被视作一个新的运动目标，其起始帧为该分组中第一个目标的起始帧，其终止帧为该分组中所有目标的最大终止帧；

若不存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表，此时，该运动目标是一个单独的运动目标；

(63)对得到的存在碰撞分析的运动轨迹列表中的所有运动目标，按照运动目标起始位置进行聚类，类内所有目标按照ID编号进行非降序排序，然后对每一类中的所有运动目标依次判断：

若是单独的一个运动目标，则按照给定的间隔时长计算该目标的起始帧和终止帧，并添加到输出运动轨迹列表；

若是碰撞分组，将分组中第一个目标的起始帧作为该分组的起始帧，然后分别计算分组中的其余目标与第一个目标的帧差，并将第一个目标的起始帧与对应目标的帧差之和作为该目标的起始帧，最后将分组中的所有目标依次添加到输出运动轨迹列表；

(64)依据步骤(63)得到的所有运动目标的输出运动轨迹列表，得到最终组合优化方案，将目标快照与生成的背景图像进行无缝融合，生成视频摘要。

本发明具有以下有益效果：

1、本发明所述一种可解决多目标碰撞及遮挡问题的视频摘要生成方法将最大限度地保持目标时序一致性。

2、本发明所述一种可解决多目标碰撞及遮挡问题的视频摘要生成方法可有效处理多目标遮挡过程中造成目标缺失和轨迹不完整的问题，使得视频摘要的观感更加自然流畅。

3、本发明所述一种可解决多目标碰撞及遮挡问题的视频摘要生成方法可充分对源视频进行浓缩，并考虑到了多目标间的隐性相关关系。

附图说明

图1是本发明方法视频摘要***的功能模块图；

图2是本发明方法多运动目标紧随碰撞示意图；

图3是本发明方法多运动目标交叉遮挡示意图；

图4是本发明方法所有运动目标按起始位置聚类示意图；

图5是本发明方法视频摘要的生成方法流程图。

具体实施方式

本发明所述一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，包括背景重建模块、目标检测模块、目标跟踪模块、目标轨迹后处理模块、目标轨迹生成模块、视频摘要生成模块，所述背景重建模块是采用自适应的混合高斯模型对视频图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；所述目标检测模块是使用背景重建模块得到的前景图像检测新进入场景的所有团块，然后将较小的团块(可能是噪声引起的)和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号；所述目标跟踪模块是在背景重建模块和目标检测模块对目标进行检测的基础上，实现对目标的跟踪；所述目标轨迹后处理模块是采用卡尔曼滤波对跟踪团块的位置信息进行修正；所述轨迹生成模块是在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中；所述视频摘要生成模块是根据轨迹生成模块得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，最大限度地降低时间冗余度和空间冗余度，以及保证目标的完整性和时序一致性，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的一种可解决多目标碰撞及遮挡问题的视频摘要生成方法是一种基于对象的动态视频摘要生成方式，该方法对监控视频进行智能分析处理，对源视频中的目标进行检测和跟踪，并提取目标位置大小等轨迹信息，通过轨迹的组合优化生成包含所有目标的浓缩视频，该方法能够有效降低视频空间冗余和时间冗余。

本发明的一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，按照以下步骤实施：

S1，采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型。

S2，使用步骤S1中得到的前景图像检测新进入场景的所有团块，然后将较小的团块(可能是噪声引起的)和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号。

S3，在步骤S2对目标进行检测的基础上，实现对目标的跟踪。按照以下步骤实施：

S31，从前景图像提取当前帧的所有团块，并计算团块的质心、宽度和高度，并添加到新团块列表；

S32，对每一个已被跟踪的团块，利用卡尔曼滤波预测该团块在当前帧的位置和大小；

S33，对每一个新团块，通过与已被跟踪团块位置和大小及其卡尔曼预测的位置和大小进行碰撞分析，并将与该团块产生紧随碰撞、交叉遮挡的所有目标的ID编号保存在已被跟踪目标的碰撞标识数组CollisionID[MAX_NUM]中；

S34，对已被跟踪的目标团块进行判断，a)若存在碰撞，则采用带权重的粒子滤波进行跟踪预测得到目标团块；b)若不存在碰撞，则寻找距离上一帧里的团块最近的当前帧的团块作为目标团块；c)最后将得到的目标团块添加到跟踪轨迹。

S4，采用卡尔曼滤波对跟踪团块的位置信息进行修正。

S5，在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中。

S6，根据步骤S5得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。按照以下步骤实施：

S61，对轨迹生成模块得到的运动轨迹文件中的所有目标按照ID编号进行非降序排序；

S62，对排序后的所有目标的运动轨迹进行分析，创建存在碰撞分析的运动轨迹列表ObjectCollisionList。通过对每个目标的碰撞标识数组进行检测：

a)若存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表ObjectCollisionList，并将与该目标产生碰撞或遮挡的关联目标，或与其关联目标产生碰撞或遮挡的目标，依次进行递归分析，得到该目标的碰撞分组CollisionGroup，该碰撞分组CollisionGroup被视作一个新的运动目标，其起始帧为该分组中第一个目标的起始帧，其终止帧为该分组中所有目标的最大终止帧；

b)若不存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表ObjectCollisionList，此时，该运动目标是一个单独的运动目标；

S63，对得到的存在碰撞分析的运动轨迹列表ObjectCollisionList中的所有运动目标，按照运动目标起始位置进行聚类，类内所有目标按照ID编号进行非降序排序，然后对每一类中的所有运动目标依次判断：

a)若是单独的一个运动目标，则按照给定的间隔时长计算该目标的起始帧和终止帧，并添加到输出运动轨迹列表OutputTrajectoryList；

b)若是碰撞分组CollisionGroup，将分组中第一个目标的起始帧作为该分组的起始帧，然后分别计算分组中的其余目标与第一个目标的帧差，并将第一个目标的起始帧与对应目标的帧差之和作为该目标的起始帧，最后将分组中的所有目标依次添加到输出运动轨迹列表OutputTrajectoryList；

S64，依据S63得到的所有运动目标的输出运动轨迹列表OutputTrajectoryList，得到最终组合优化方案，将目标快照与生成的背景图像进行无缝融合，生成视频摘要。

Claims (1)

1.一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于包括以下步骤：

(1)采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；

(2)使用步骤(1)中得到的前景图像检测新进入场景的所有团块，然后将较小的团块和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号；

(3)在步骤(2)对目标进行检测的基础上，实现对目标的跟踪，具体方法如下：

(31)从前景图像提取当前帧的所有团块，并计算团块的质心、宽度和高度，并添加到新团块列表；

(32)对每一个已被跟踪的团块，利用卡尔曼滤波预测该团块在当前帧的位置和大小；

(33)对每一个新团块，通过与已被跟踪团块位置和大小及其卡尔曼预测的位置和大小进行碰撞分析，并将与该团块产生紧随碰撞、交叉遮挡的所有目标的ID编号保存在已被跟踪目标的碰撞标识数组中；

(34)对已被跟踪的目标团块进行判断，若存在碰撞，则采用带权重的粒子滤波进行跟踪预测得到目标团块；若不存在碰撞，则寻找距离上一帧里的团块最近的当前帧的团块作为目标团块；最后将得到的目标团块添加到跟踪轨迹；

(4)采用卡尔曼滤波对跟踪团块的位置信息进行修正；

(5)在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中；

(6)根据步骤(5)得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要，具体方法如下：

(61)对轨迹生成模块得到的运动轨迹文件中的所有目标按照ID编号进行非降序排序；

(62)对排序后的所有目标的运动轨迹进行分析，创建存在碰撞分析的运动轨迹列表，通过对每个目标的碰撞标识数组进行检测：

若存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表，并将与该目标产生碰撞或遮挡的关联目标，或与其关联目标产生碰撞或遮挡的目标，依次进行递归分析，得到该目标的碰撞分组，该碰撞分组被视作一个新的运动目标，其起始帧为该分组中第一个目标的起始帧，其终止帧为该分组中所有目标的最大终止帧；

若不存在碰撞，将当前目标添加到存在碰撞分析的运动轨迹列表，此时，该运动目标是一个单独的运动目标；

(63)对得到的存在碰撞分析的运动轨迹列表中的所有运动目标，按照运动目标起始位置进行聚类，类内所有目标按照ID编号进行非降序排序，然后对每一类中的所有运动目标依次判断：

若是单独的一个运动目标，则按照给定的间隔时长计算该目标的起始帧和终止帧，并添加到输出运动轨迹列表；

若是碰撞分组，将分组中第一个目标的起始帧作为该分组的起始帧，然后分别计算分组中的其余目标与第一个目标的帧差，并将第一个目标的起始帧与对应目标的帧差之和作为该目标的起始帧，最后将分组中的所有目标依次添加到输出运动轨迹列表；

(64)依据步骤(63)得到的所有运动目标的输出运动轨迹列表，得到最终组合优化方案，将目标快照与生成的背景图像进行无缝融合，生成视频摘要。

Images