CN104794429A - 一种面向监控视频的关联可视分析方法 - Google Patents

Abstract

本发明公开了一种面向监控视频的关联可视分析方法。本方法为：1)从每一监控视频中分别提取出监控场景和监控对象信息；2)对监控对象进行相似度计算，得到不同监控视频中的相同监控对象的匹配映射关系，构建视频内容结构；3)根据视频内容结构构建对象场景矩阵，记录各监控对象在不同监控场景中出现的次数；4)根据给定的时间段条件或场景条件从所述对象场景矩阵中找出对象共现率最高的若干监控对象或监控场景，然后选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象。本发明能够从大量的监控视频中挖掘出不同的监控对象之间的潜在的关联关系，辅助用户对监控视频进行分析、查找等处理。

Description

一种面向监控视频的关联可视分析方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种面向监控视频的关联可视分析方法。

背景技术

随着科技的发展，视频监控技术也得到了飞速的发展，同时视频监控的画面的信息也呈海量式增长，超越了人力有效的处理范围，使得人们要从中找到有效的监控信息如同大海捞针，需要耗费大量的时间，人力和物力。如何有效的对监控视频内容进行滤除冗余信息，快速的查找、定位、分析关联关系等问题，已经成为了当下计算机领域里的热点研究问题，已有大量的科研及应用开发人员针对监控视频可视分析的应用进行了研究开发，其中一种方式是对监控视频进行预处理，对监控视频的监控对象及背景进行一定的分析，构建起监控视频的内容中间索引结构，实现对监控视频内容的快速定位浏览(参考文献：Bagheri S,Zheng J Y.Temporal Mapping of Surveillance Video[C]//Pattern Recognition(ICPR),201422nd International Conference on.IEEE,2014:4128-4133.)。通过构建起的中间结构，将视频内容的时空次序打乱，实现非线性的索引结构，为用以提供快速浏览和定位的功能。

但是这样的方式在解决海量的监控视频内容查找及分析问题上时仍旧存在大量的问题。首先，由于这种方式并未对监控对象进行进一步的处理，只是将识别的监控对象依据时间或空间的关系进行展示，而从海量的监控视频中识别得到的监控对象的数量之多，仍旧远远超过了人能处理的范畴，要从中找到关键对象及内容依旧非常困难；其次，对监控视频进行分析的过程往往需要根据不同的对象和内容进行来回查找，而不是简单的查看浏览，对监控对象进行一定的关联分析将提高整个分析过程的效率；最后，使用静态视频摘要的方式进行展示，只能从一个维度对视频内容进行展示，不能完全实现将时空打乱重组进行展示的目的，不利于对监控视频的内容进行深度的分析。

发明内容

本发明的目的在于提供一种面向监控视频的关联可视分析方法，对多个监控视频的内容进行联合关联分析，以达到去除监控视频中大量冗余片段的同时提取出监控视频中的场景和对象等信息，并从大量的监控视频中挖掘出不同的监控对象之间的潜在的关联关系的目的，再通过有效的可视化形态和高效、自然的交互方式来展现提取的视频结构及关联关系，辅助用户对监控视频进行分析、查找等处理。

为实现上述目的，本发明采用如下的技术方案：

一种面向监控视频的关联可视分析方法，其步骤为：

1)构建监控视频的背景模型

利用混合高斯模型对监控视频中的每一幅帧图像的每一个点进行混合高斯建模，该混合高斯模型中使用K(此处我们取K＝3，即对像素点的RGB颜色模型下的每个分量构建一个高斯分布)个高斯分布统计视频帧中同一像素点的特征，得到t时刻对应帧的背景概率密度函数：

$P\left(X_t\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,t}\·g_k(X_t;{\mathrm{\μ}}_t;{\mathrm{\ϵ}}_t)$

其中ω_k，t表示第k个高斯分布的权重，且表示第t帧时，像素点X的第k个高斯密度函数，μ_t，ε_t分表代表。在此我们选取一个监控视频的前5帧作为背景训练帧，初始化混合高斯模型。

2)跟踪并提取运动前景对象及相关信息

对当前帧中的每一个像素X_t与背景混合高斯模型中的K个高斯分布进行匹配，匹配原则为：

|X_t-μ_k，t-1|＜2.5·δ_k，t-1

同时对混合高斯模型中的各个参数进行更新，得到新的高斯模型：

ω_k，t＝(1-α)·ω_k，t-1+α·(M_k，t)

μ_k，t＝(1-ρ)·μ_k，t-1+ρ·X_t

(δ_k，t)²＝(1-ρ)·δ_k，t-1+ρ·(X_t-μ_k，t-1)^T·(X_t-μ_k，t-1)

其中ρ＝α·g(X_t；μ_k，t-1；ε_k，t-1)，α＝1

其中当前帧中未能成功匹配的像素点X_t则是前景对象点，对当前帧进行二值化处理，实现前景像素点与背景的分离。

针对前景点先进行此腐蚀处理，去除前景像素点中局部微小区域和孤立的点。

然后针对上述步骤处理完后前景像素点进行次膨胀处理使得被腐蚀掉的前景目标边缘部分得到平滑，同时达到去除空洞点的目的。

对完成腐蚀与膨胀处理的前景二值图像进行运动团块检测，去除掉较小的团块，同时将当前跟踪队列中的团块与当前帧的团块进行重叠计算，去除掉具有重叠的团块，则当前帧中 的剩下的团块为新的运动物体，加入到跟踪对象的队列中，并将该运动对象从当前帧中提取出来，记录下该对象的出现时间；而在跟踪队列中与当前团块的重叠计算中，未能找到重叠的对象则被视为离开对象，将其从跟踪队列中移除，并记录下离开时间，写入到视频的对象列表中；而当当前跟踪队列为空时，则所有的团块都被作为新的团块，记录下对象的出现时间，直接写入到当前跟踪队列中。

3)计算前景运动对象相似度并对多个监控视频中的同一对象进行匹配

一个监控摄像头只能记录一个地点某一时间段的监控信息，而对监控视频进行关联可视分析往往需要结合多个监控摄像头间的内容，而前述步骤1与步骤2仅仅对不同的摄像头的监控视频进行处理，得到不同监控摄视频中的监控场景和监控对象的信息，所以还需要对从不同监控摄像头中提取出的监控对象进行相似度计算，找出不同监控摄像头下的同一监控对象。

同时由于同一时间段同一运动物体只能出现在一个地点即出现在一个监控视频中，为减少冗余计算，首先对运动对象进行时间和地点条件的筛选，仅对不同时间段内不同监控视频中提取出来的运动对象之间构建候选对象对列表，再对这一部分候选对象序列进行下述的相似度计算。

对由2)中所述方法中提取的不同监控摄像头中的所有监控对象的图像先进行归一化处理，将所有的监控对象的图像尺寸统一转换为64*64的分辨率大小，再计算其在HSV颜色空间下的颜色直方图并归一化，并对由上述筛选过滤的方法构建的候选运动对象对序列中的对象对的颜色直方图进行相似度计算作为运动对象对之间的颜色相似度：

$S_c(M_1,M_2)=1-\sqrt{\underset{r}{\mathrm{\Σ}}{(H_1\left(r\right)-H_2\left(r\right))}^2}$

其中S_c(M₁,，M₂)表示两个图像的颜色相似度(值在0至1之间)，而M₁，M₂分别表示两个图像I₁、I₂的颜色直方图，r代表直方图中的某一分量，H(r)表示直方图中的某一分量r的值。

再对颜色相似度大于阈值θ(0.75)的两个监控对象的图像之间进行SIFT特征计算，并进行SIFT点特征匹配，当大于0.4时我们认为这两个前景对象是同一个对象，其中S_SIFT(I₁,I₂)表示两个图像的SIFT特征匹配度，C_m表示匹配的特征点数，P₁和P₂分别表示来自两个不同监控摄像头下的监控对象的图像I₁、I₂的SIFT特征点的个数。

而满足颜色相似却未能符合SIFT特征匹配的对象，则会被放入相似对象的队列中，便于后续进行相似对象查询。

4)构建整体的监控视频内容结构

在此我们用BNF定义视频内容的结构为：

其中<Videos>结构代表整个监控视频(即多个监控视频合并后的整个监控视频的集合)，其包含了具有起始和终止时间的结构<Time>，<Describe>结构——存储了该监控视频的文字描述信息,同时还包含了指向场景结构<Scene>的链表；而每个场景结构<Scene>则包含了标示场景实例的唯一标识<Scene_id>，场景出现的时间段<Time>，地理坐标信息<Location>，背景图像<Background_img>和指向在该场景中出现过监控对象的链表{<object>}；监控对象结构<object>中同样包含了唯一标识对象实例的结构<Object_id>，提取出的图像特征<Feature>——颜色直方图(Color_Histogram)和Sift特征，表示该对象的图像Object_img，该对象在某一场景出现的时间段的结构(Scene_id,<Time>)的链表以及指向由步骤3)得到的与该对象相似的其它对象的三元组链表结构<Similarity_list>的指针；<Similarity_list>是由一系列三元组构成的链表，每个三元组包含了相似的两个对象的object_id和相似的值value。由步骤1)～3)提取出的每个场景的背景、前景运动对象以及相似对象列表等信息按照上述的结构进行组织，同时也可参看图2对整个视频内容结构的组织，并以此结构作为基于监控视频内容的索引结构。

5)挖掘监控对象潜在关联关系

对多个监控视频进行对象提取，结构构建的处理完成后，将对从监控视频中抽取出的内容及结构根据用户给定的时间段条件或给定的场景条件进行关联关系的挖掘。根据由用户限定的条件对由1)～4)处理得到的监控视频的内容的索引结构，构建对象场景矩阵，矩阵中的元素则是在某一时间段各监控视频内某一对象在某一场景中出现的次数。使用协同过滤算法从对象场景矩阵中，找出每个对象具有最高场景共现率的十个对象，以及对每个场景找出具有对象共现率最高的五个场景。这样当用户在对某一时间段内的监控视频中某一可疑对象进行跟踪分析时，利用以上的信息可以辅助用户更快的发现查找潜在可疑对象，并最终锁定关键对象，同时可以帮助用户更快的去分析各个监控场景构成的事件发展的转移过程。

6)监控视频结构及关联关系的多视图关联展示

我们将使用层级饼状视图作为主视图，展示由前述步骤1)至4)构建的监控视频的整体的视频内容结构；使用场景时间图展示每个对象的发展转移过程；而详情统计视图用以展示某一对象或者某一场景中的详情。

由于监控视频中监控对象以及对象之间的关联关系比较多，如果选择直接进行可视展示，则会显得杂乱无章不适于用户查找定位感兴趣的内容，故我们选取动态的层级式的饼状图，其中将采集时间相同的监控视频放到同一个时间段扇片下，再在该扇片下划分出不同场景的子扇片，在初始状态的饼状态分为两层，第一层是时间片段层，第二层是场景层，而第三层对象层则被折叠影藏，第一层中，每一个扇片表示一个时间段，通过制定扇片代表的时间间隔，对前述步骤4)所得到的视频内容结构中的<Time>结构的数据再进行***合并处理，得到需要展示的视频内容结构，而扇片所占大小为该扇片代表的时间段的长度占总时间长度的比例，同时用不同的颜色区分不同时间片段的扇片；而第二层中的每一个扇片则表示在相应的第一层扇片的时间段下的某个场景的监控内容，同样不同扇片用不同的颜色进行区分展示，同时***场景缩略图到该扇片中，而扇片大小则根据该场景在这一个时间段内所包含的监控对象的数目来确定。当选中某一扇片时，则整个层级饼状图将由前述构建的视频内容的结构关系来重新定位，更新为以该扇片为中心的层级内容的饼状图，同时将对象层内容展开，把场景下跟踪的前景对象展现在层级饼状图的最外层。而当监控对象被选中展开时，则根据图像特征计算的相似的监控对象被排布在第一层，而在第二层中展示的由5)挖掘出的某一时间段内具有潜在相关的监控对象的列表。

场景时间视图将根据主视图的视图展示的中心内容的变化而更新该视图中的内容，视图横坐标表示时间，纵坐标表示不同的场景，在视图中使用不同颜色的线来表示不同的对象，线条展现的是不同的对象随时间及场景的转换过程。通过该视图来展示不同对象的发展情况，辅助用户分析不同对象间的潜在关联关系。

详情统计视图也将随着主视图的展示内容的变化而联动变化，当主视图的视图中心为某一场景时，统计视图展示的时该场景中不同对象出现的次数，当主视图的视图中心为某个具体的运动对象的时候，统计视图则展示的是该对象在不同的场景中出现的次数。

同时可以根据几个视图的展示来选取对应的原始监控视频片段。

7)监控对象搜索 

在前述4)构建的索引结构的基础之上，利用对象链表遍历所有的监控对象，同时利用以及计算得到的相似对象列表来实现对监控对象的快速索引，即在遍历对象链表时，当发现检索对象与当前对象相似度很低时，我们认为当前对象的相似对象列表中的对象也与检索对象不相似，进而直接忽略与这些对象的相似度计算，以减少计算，同时由于构建好的视频内容的结构便可以通过检索的结构直接定位到与该对象相关的场景，对象和原始视频片段。在***中使用自然便捷的草图手势对多视图进行操作，其中通过圈选手势直接圈选监控视频中的监控对象来实现监控对象的搜索。在此定义圈选手势为顺时针圆形草图手势，当手势完成后， 首先得到手势圆形的规整图形，再计算该规整圆形的内接矩形，并由该矩形来截取当前视频帧相应位置的图像；其次将圈选图像进行归一化处理转化为统一的64*64的大小，并计算其在HSV下的颜色直方图，以及其SIFT特征点作为输入的检索对象的图像特征；最后将该图像的特征与索引结构中的所有监控对象的特征进行相似度计算(计算过程同3所述)，并针对得到的结果进行排序，选取前十个相似对象作为搜索结果进行展示。

综上，和现有技术相比，本发明具有的优点和积极效果如下：

1、本发明对监控视频进行前景处理，构建起了监控视频的索引结构，打破了监控视频的时空限制，便于对监控视频进行快速的定位、浏览等操作。

2、本发明在获取视频索引结构的基础上还针对监控对象的关联关系进行挖掘，帮助用户从大量的监控对象中发现对象之间的关系，提高分析效率，快速锁定关键对象及相关信息。

3、本发明提供了多个视图对监控视频的内容及关联关系进行可视展示，满足了用户的从不同视角观看理解视频内容的多种需求，并提供了高效的交互方式提高用户分析浏览监控视频的效率。

附图说明

图1面向监控视频的关联分析***构造流程图；

图2监控视频的内容结构图。

具体实施方式

为了使本技术领域的一般技术人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的一种面向监控视频的关联可视分析***，但不构成对本发明的限制。

面向监控视频的关联可视分析***，主要分为离线的视频内容结构构建部分和在线实时交互部分。离线部分通过对监控视频进行前景识别及特征提取，相似性计算，场景构建，以及情况统计等处理过程构建起如图2所示的视频内容结构。构建视频的内容结构使得原本作为线性存储的视频信息，转换成了非线性的信息结构，打破了原本时空条件对视频浏览的约束，提高了对视频相关内容查找及定位的效率。

在构建起的视频内容结构的基础上，在用户选定的时间范围内，对该结构中的场景及监控对象出现情况进行重新统计，构建起相应时间范围内的场景对象矩阵，并利用协同过滤的算法，挖掘出具有较高场景共现率的监控对象，推荐给用户，这一部分监控对象是与用户选定某一监控对象具有潜在相关性概率最高的监控对象，能够在一定程度上防止用户在分析过程中对可疑对象遗漏的问题，并提高用户查找、分析、锁定可疑对象的效率。同时用户在浏 览监控视频的过程中，可通过草图手势圈选监控对象来发起对该监控对象进行搜索，***利用构建好的监控视频的内容结构对检索对象进行相似度计算并进行排序，返回与该检索对象相关对象的信息结果，为用户提供了直观快速的检索模式。

对视频内容结构及关联关系的展示我们采用了三种视图从不同的视角来展示，主视图从宏观尺度上展示了监控视频的内容结构，即场景和监控对象之间的关系以及对象和对象之间的关系；场景对象视图则展示的是展示的是监控对象随时间在不同场景下的发展情况；详情统计视图展示的是不同场景中不同监控对象的出现情况。同时，***提供草图手势作为交互方式，用户可以通过拖拽、圈选、点击等操作选取感兴趣的内容，完成对视图展示内容进行切换，浏览原始视频等操作。为了便于多人整个***采用BS架构实现，前端分为手势相应和数据展示两部分，后台实现以上所述离线处理部分的所有计算过程以及在线实时交互过程中场景矩阵构建，协同过滤计算，检索图像特征提取，以及相似度计算及排序等处理工程相应数据计算的处理过程。

以上对本发明所述的一种面向监控视频的关联可视分析方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (9)

1.一种面向监控视频的关联可视分析方法，其步骤为：

1)从每一所选监控视频中分别提取出监控场景和监控对象信息；

2)对提取出的所述监控对象进行相似度计算，得到不同监控视频中的相同监控对象的匹配映射关系，构建监控视频的视频内容结构；

3)根据所述监控视频的视频内容结构构建对象场景矩阵，记录各监控对象在不同监控场景中出现的次数；

4)根据给定的时间段条件从所述对象场景矩阵中找出最高场景共现率的若干监控对象，然后选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象；或根据给定的场景条件从所述对象场景矩阵中找出监控对象共现率最高的若干监控场景，然后从监控场景中选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象。

2.如权利要求1所述的方法，其特征在于，所述视频内容结构为：

<Videos>::＝<Describe><Time>{<Scene>}

<Scene>::＝<Scene_id><Time><Background_img><Location>{<Object>}

<Object>::＝<Object_id>{<Time>}<Feature><Object_img><Similarity_list>

<Similarity_list>::＝{<Object_id>,<Object_id>,Similarity}；

其中，<Videos>结构代表整个监控视频，其包含了具有起始和终止时间的<Time>结构、存储了该监控视频文字描述信息的<Describe>结构以及指向场景结构<Scene>的链表；场景结构<Scene>包含标示场景实例的唯一标识<Scene_id>、场景出现的时间段<Time>、地理坐标信息<Location>、背景图像<Background_img>和指向在该场景中出现过监控对象的链表{<object>}；监控对象结构<object>包含监控对象的唯一标识结构<Object_id>、提取出的图像特征<Feature>、该监控对象所在的图像Object_img、该监控对象在监控场景出现的时间段<Time>以及指向与该监控对象相似的其它对象的链表结构<Similarity_list>的指针；<Similarity_list>是由一系列三元组构成的链表，每个三元组包含了相似的两个监控对象的object_id和相似值value。

3.如权利要求2所述的方法，其特征在于，所述图像特征<Feature>包括颜色直方图和Sift特征。

4.如权利要求1或2或3所述的方法，其特征在于，采用层级饼状视图作为主视图展示所述视频内容结构；使用场景时间图展示每个监控对象的发展转移过程；采用详情统计视图展示某个监控场景中监控对象出现次数的情况统计或者某个监控对象在不同监控场景中出现次数的统计。

5.如权利要求4所述的方法，其特征在于，所述层级饼状图为动态的三层饼状图，其中将采集时间相同的监控视频放到同一时间段扇片下，再在该扇片下划分出不同场景的子扇片；所述层级饼状图在初始状态为两层：第一层是时间片段层、第二层是场景层，第三层对象层折叠影藏；其中，第一层中，每一扇片表示一个时间段，通过设定扇片代表的时间间隔，对所述视频内容结构中的<Time>结构的数据进行***合并处理，得到需要展示的视频内容结构；第二层中的每一扇片表示在相应的第一层扇片的时间段下的某个监控场景的监控内容。

6.如权利要求5所述的方法，其特征在于，当选中某一扇片时，则所述层级饼状图根据所述视频内容结构更新为以该扇片为中心的层级内容的饼状图，同时将对象层内容展开，将监控场景下跟踪的监控对象展现在层级饼状图的最外层；当一监控对象被选中展开时，则根据图像特征计算查找相似的监控对象并排布在所述层级饼状图的第一层，在第二层中展示设定时间段内共现率最高的监控对象的列表。

7.如权利要求1所述的方法，其特征在于，所述从监控场景中选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象的方法为：首先获取圈选手势的规整图形，再计算该规整图形的内接矩形，并由该矩形来截取当前视频帧相应位置的图像；然后将圈选图像进行归一化处理转化为统一大小的图像，并计算其在HSV下的颜色直方图，以及其SIFT特征点作为输入的检索图像特征；最后将该图像的特征与所述视频内容结构中的所有监控对象的特征进行相似度计算，选取若干相似监控对象返回并展示。

8.如权利要求1或7所述的方法，其特征在于，所述相似度计算的方法为：

1)将监控对象的图像归一化为统一大小的图像，然后在HSV颜色空间下提取监控对象的颜色直方图；

2)利用SIFT算法提取图像的特征点；

3)对颜色直方图进行归一化处理，并计算两颜色直方图的相似度；

4)对图像进行SIFT特征点匹配，并得到SIFT特征匹配相似度其中C_m表示匹配的特征点数，P₁和P₂分别表示两个监控对象M₁、M₂的图像SIFT特征点数；

5)根据颜色直方图的相似度针和SIFT特征匹配相似度确定两监控对象最终的相似度。

9.如权利要求1所述的方法，其特征在于，所述从每一所选监控视频中分别提取出监控场景和监控对象的方法：

1)将每一监控视频的前三帧作为训练帧，构建背景模型；

2)用该监控视频的当前帧与背景模型做差，得到前景像素块，并对前景像素快进行腐蚀、膨胀处理，得到前景团块；

3)将当前获得的前景团块与已经跟踪的团块做重叠计算，更新有重叠团块的位置，将无重叠的团块作为新的前景团块加入到跟踪团块列表中，并使用新的团块对原视频帧进行分割，获取新的监控对象的图像。