CN102497495A - 一种用于多摄像机监控***的目标关联方法 - Google Patents

Abstract

本发明公开了一种用于多摄像机监控***的目标关联方法，该方法主要采用基于增量的最小费用流模型，实现了在多个摄像机覆盖域内对目标物体进行实时跟踪。当一个目标出现在摄像机中时，与该摄像机相连的计算机的目标检测模块将会检测到此目标并对其提取特征，最终将特征上传至服务器。之后，计算机上的目标跟踪模块会对目标进行单摄像机场景内部持续跟踪，并在每隔一段时间后，再次提取目标当时的特征上传至服务器。服务器只对目标检测模块传来的特征，计算目标特征是否有能与之关联的包括目标检测和目标跟踪模块传来的特征，并将结果返回给计算机。本发明可广泛应用于室内室外场景中的智能监控***，具有广阔的市场前景和应用价值。

Description

一种用于多摄像机监控***的目标关联方法

技术领域

本发明涉及智能视频监控***中运动目标检测、目标跟踪等方法，主要适用于多摄像机监控***，属于视频监控的技术领域，具体涉及一种用于多摄像机监控***的目标关联方法。

背景技术

随着全球城市化进程的加速，公共场所安装了大量的摄像机。虽然摄像机间存在着很大的相关性，但相关应用也仅仅停留在单一摄像机相关算法的基础上。目前，多摄像机间进行协同监控的技术仍处于起步阶段。目前多摄像机跟踪方法主要包括：

1、基于三维信息的多摄像机目标跟踪算法

如果摄像机的标定信息和三维环境坐标信息已知，就可以通过一定的映射函数把这些信息统一映射到同一个坐标系下，最后由较为简单的一维参数就能得到正确的多摄像机之间的对应关系。但是，该方法需要设备有较高的精度。

2、基于目标模型的多摄像机目标跟踪算法

该算法的基本思想是假设认定人的某种特征不容易随着时间和空间的改变而改变(如人的步态等)，对这些特征建立统一模型，在目标检测时直接检测出目标的这种特征，与模型比对，得出目标的身份。但是，此方法过程复杂，难以实现实时性。

3、基于特征融合的多摄像机目标跟踪算法

该方法的基本思想是在最初阶段选用目标的一些简单特征，如颜色、轮廓、位置信息等，然后利用统计学或者概率等方法得出最后的对应关系。

发明内容

本发明要解决的技术问题：提供一种用于多摄像机监控***的目标关联方法，该方法采用基于增量的最小费用流模型，使***效率的提高程度十分明显。

本发明解决上述技术问题的技术方案：一种用于多摄像机监控***的目标关联方法，包括如下步骤：

步骤(1)将基于增量的最小费用流模型应用于多摄像机监控***中目标之间的关联；

步骤(2)通过多次训练，调整***参数，提高本目标关联方法的正确率；

步骤(3)目标关联计算时所用相似性度量，综合考虑目标在目标检测阶段被检测到的特征和时间以及之后的目标跟踪阶段中的几次特征。

其中，所述的基于增量的最小费用流模型，在当次目标关联计算时，不直接重新建立整个最小费用流模型，而是充分利用前一次目标关联计算的结果，减少计算量，提高***运行效率。

其中，所述的通过多次训练，利用多次训练得到多个***合理阈值区间，将这些区间对数轴进行覆盖，并将数轴分成多个区间，将覆盖度最高的区间的中值作为***的阈值。

其中，所述的目标关联计算时所用相似性度量，在目标关联计算中的效用函数，结合监控***中的目标检测模块和目标跟踪模块，同时在两个模块中提取出特征，提高关联计算正确率。

其中，所述的目标关联计算中的效用函数，目标特征相似度计算取时间序上后出现的目标在目标检测阶段的特征与时间序上先出现的目标在目标检测阶段以及目标跟踪阶段部分采样的特征进行相似性度量。

本发明的原理在于：

本方法中采用的基于增量的最小费用流模型的目标关联方法是在出现新的观察目标，服务器端要进行目标关联计算时，直接在上一次目标关联计算得到的最小费用流网络的残余网络上添加两个结点及少量的边，然后进行迭代找权值为正的环。当找到正的环后，直接修改残余网络。当不存在正环之后，基于增量的部分结束。之后不断找最小费用路增广，直到某次增广后，费用的增加值小于***由训练阶段得到的阈值。最小费用流网络上边的费用，由目标检测和目标跟踪模块标记的目标提取的特征决定。

本发明与现有技术相比的优点在于：

在多摄像机接力跟踪研究领域中，将组合优化的思想用于多个目标间的关联，是比较常用的方法，其中最小费用流模型是一种简单直观且较为成熟的一种目标关联方法，但每次直接使用最小费用流模型进行目标关联计算的效率太低。而本专利中使用的是基于增量的最小费用流模型目标关联方法，充分利用了上一次目标关联计算的结果，从而使得计算效率得到大幅度提高。

附图说明

图1是***软件模块图；

图2是***硬件架构图；

图3是客户端程序流程图；

图4是基于增量的目标关联方法流程图；

图5是有效阈值区间示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细说明。

如图1所示，本***软件模块包括：服务器端上有目标关联模块和数据传输模块，客户端上有图像采集模块、目标检测模块、目标跟踪模块和数据传输模块。

如图2所示，本***硬件设备包括：一台服务器、多台摄像机以及与每台摄像机相连的计算机。

在***中，每次当一个新的目标出现在一个摄像机中，与该摄像机相连的计算机的目标检测模块就会检测到此目标并对其提取特征，将检测到的目标所在的矩形区域标记出来，对这个矩形区域求出颜色直方图，最终将特征上传至服务器。由于每个观察的矩形区域大小并不相同，所以需要对颜色直方图归一化，对特征每一维的数据，除以所有维度上数据的和，其意义为这一维上的数据占所有数据的比重。对在第i个摄像机中，目标检测阶段检测到的第a个目标O_i，a的颜色直方图记为f_i，a，0，时间记为t_i，a。而颜色直方图特征的第g维记为f_{i，a，0，g}。

然后，目标跟踪模块会对被检测到的目标进行单摄像机内持续跟踪，在跟踪过程中，每隔一定时间对此目标所在的矩形区域进行采样，并再求出这个新的矩形区域的归一化后的颜色直方图。对在第i个摄像机中，目标检测阶段检测到的第a个目标O_i，a在之后目标跟踪阶段的第h次采样得到的颜色直方图记为f_i，a，h(h＞0)，而此颜色直方图特征的的第g维记为f_{i，a，h，g}。这样，此观察目标在此摄像机中就会有多组颜色直方图的特征f_i，a，0，f_i，a，1，f_i，a，2，…，f_i，a，h。

服务器只对目标检测模块传来的特征，通过目标关联模块中的基于增量的最小费用流模型的目标关联算法，计算此目标特征是否有能与之关联的包括目标检测和目标跟踪模块传来的特征，并将结果返回给计算机。当一个新的目标O_j，b出现在另一个摄像机中，此时求目标O_j，b与目标O_i，a的关联的效用

即这个关联是真实世界中的同一目标的两次连续出现的可能性，采用对当前的观察目标O_j，b的颜色直方图特征f_j，b，0与观察目标O_i，a的q+1个颜色直方图的特征f_i，a，0，f_i，a，1，f_i，a，2，…，f_i，a，q分别求欧氏距离，并且将这些求得的欧氏距离取最小值作为观察目标O_j，b与观察目标O_i，a颜色直方图特征间的相似度距离，即：

$\mathrm{dis}\tan \mathrm{ce}(f_{i,a},f_{j,b})=\underset{h=0}{\overset{q}{\min }}\sqrt{\underset{g=1}{\overset{r}{\mathrm{\Σ}}}{(f_{j,b,0,g}-f_{i,a,h,g})}^2}$

在***中，每两个直接可达的摄像机间设置一个参数称为平均转移时间，即从一个摄像机的拍摄场景下不经过第三个摄像机的场景而直接到达另一个摄像机的拍摄场景所需时间的期望。在效用函数中，平均转移时间只做可达性判断，即，如果平均转移时间是两个观察之间的时间差的10倍以上，则认为这个关联不可行。

最终在***中对于q+1个r维的颜色直方图的特征，目标关联算法的效用函数采用：

其中ξ_i，j＝1代表两个摄像机间直接可达，ξ_i，j＝0代表两个摄像机间不直接可达，τ_i，j为两个直接可达的摄像机间的平均转移时间。

若不满足条件t_j，b＞t_i，a，且ξ_i，j＝1，且即公式中“否则”的情况；这代表此关联不可能为真实世界中的同一目标的连续出现，在***中不用考虑此关联，故将

取值为-∞。

本***的软件分为服务器端和客户端。服务器端软件运行在服务器上，客户端软件运行在与摄像机相连的计算机上。客户端程序流程图如图3，客户端程序流程如下：

步骤1，提取图像数据，此步骤是由图像采集模块完成的。

步骤2，目标检测，利用***目标检测模块对一定区域内进行目标检测，并将检测到的新目标发送目标的特征给服务器端。

步骤3，目标跟踪，利用***目标模块对步骤2中检测到的目标进行多摄像机范围内的持续跟踪，并在每隔一段时间后，发送跟踪目标当前的特征给服务器端。

服务器端程序实现为，当收到一台计算机发来的一个目标的特征时，首先判断此特征是否是由目标检测模块检测到的新目标，如果是新目标，就如图4，使用基于增量的最小费用流模型目标关联方法进行一次目标关联计算。

最小费用流模型的目标关联方法建模方式为：在费用流网络上增加两个结点s，t作为源点和汇点。对每一个目标O_i，a，在费用流网络上增加两个结点

添加边

费用为0，流量限制为1。对每一个效用不为-∞的关联添加边

费用为

流量限制为1。对此流网络不断求最短增广路，直到某次增广后，流量即关联数从m增加到m+1，费用即所有关联的效用和从w(m)增加到w(m+1)，而效用增量函数w(m+1)-w(m)小于阈值，此时，增广前的流量m为最佳关联数，即真实世界中真实的关联数目，增广前的流，流经的所有形如

的边，代表目标O_i，a与O_j，b关联。

基于增量的最小费用流模型目标关联方法流程如下：

步骤1，在上一次目标关联计算的残余网络上增加当前新增目标对应的结点和边。

步骤2，如果残留网络中不存在费用权值为正的环，转到步骤4，否则转步到骤3。

步骤3，沿找到的费用权值为正的环增广，并转步骤2。

步骤4：在当前网络上继续找最短增广路，如果找不到最短增广路或效用增量小于阈值，则结束。否则转到步骤4。

此时，如同非增量的方法一样，最后一次增广前的流量m为最佳关联数，增广前的流，流经的所有形如

的边，代表目标O_i，a与O_j，b关联。

对***效用增量合理阈值选取采用训练方法，流程如下：训练中首先对每一组样本进行效用增量函数w(m)的计算，根据样本的真实最佳关联数M，可以得到两个值w(M)和w(M+1)。其中必然有w(M+1)＜w(M)≤1。如图5中所示，这样就得到了一个对这一组样本有效的阈值区间(w(M+1)，w(M))。

这个区间的意义为：效用增量函数的阈值t取这个区间内的任意一个数，都能使这组样本在算法运行后得到一个正确的关联数。

对每一组样本都计算出其有效阈值区间(w_i(M+1)，w_i(M))，然后再求得一个区间(p，q)使满足的区间数量最大。则训练得到的阈值t取

这样做的直观意义是选出的效用增量函数的阈值可以使算法在样本集上运行时，有尽可能多组的样本，其最佳关联数得到的是正确的值。

具体判断覆盖次数最大的区间的流程如下：

步骤1，将所有有效阈值区间中出现的坐标标记在坐标轴X轴上，从而将X轴分割成多个区间，将这些区间都各自关联一个计数器，初始值都设为0。

步骤2，对于每个有效阈值区间，对它覆盖到的X轴分割出来的区间关联到的计数器值都加1。

步骤3，找出计数器数值最大的区间，计算此区间左右端点和的一半作为***的阈值。

本发明未详细阐述的部分属于本领域公知技术。

Claims (5)

1.一种用于多摄像机监控***的目标关联方法，其特征在于：包括如下步骤：

步骤(1)将基于增量的最小费用流模型应用于多摄像机监控***中目标之间的关联；

步骤(2)通过多次训练，调整***参数，提高本目标关联方法的正确率；

步骤(3)目标关联计算时所用相似性度量，综合考虑目标在目标检测阶段被检测到的特征和时间以及之后的目标跟踪阶段中的几次特征。

2.根据权利要求1所述的一种用于多摄像机监控***的目标关联方法，其特征在于：所述的基于增量的最小费用流模型，在当次目标关联计算时，不直接重新建立整个最小费用流模型，而是充分利用前一次目标关联计算的结果，减少计算量，提高***运行效率。

3.根据权利要求1所述的一种用于多摄像机监控***的目标关联方法，其特征在于：所述的通过多次训练，利用多次训练得到多个***合理阈值区间，将这些区间对数轴进行覆盖，并将数轴分成多个区间，将覆盖度最高的区间的中值作为***的阈值。

4.根据权利要求1所述的一种用于多摄像机监控***的目标关联方法，其特征在于：所述的目标关联计算时所用相似性度量，在目标关联计算中的效用函数，结合监控***中的目标检测模块和目标跟踪模块，同时在两个模块中提取出特征，提高关联计算正确率。

5.根据权利要求4所述的一种用于多摄像机监控***的目标关联方法，其特征在于：所述的目标关联计算中的效用函数，目标特征相似度计算取时间序上后出现的目标在目标检测阶段的特征与时间序上先出现的目标在目标检测阶段以及目标跟踪阶段部分采样的特征进行相似性度量。

Images