CN105678804A - 一种耦合目标检测与数据关联的实时在线多目标跟踪方法 - Google Patents

Abstract

本发明为一种耦合目标检测与数据关联的在线多目标跟踪方法，用于实时跟踪视频中的多个感兴趣目标，属于计算机视觉和视频监控技术领域。本发明从目标检测器提供的中间结果出发，通过引入序贯轨迹先验，实现目标跟踪并优化目标检测结果，能有效缓解目标检测器检测结果不精确的问题；本发明采用最大后验估计的概率框架计算目标和检测结果之间的关联代价，提高了数据关联的准确性，能有效处理目标之间的相互干扰；本发明在目标检测和数据关联之间建立了紧密的联系，使得两者成为两个相互促进的过程，提高了多目标跟踪的性能。

Description

一种耦合目标检测与数据关联的实时在线多目标跟踪方法

技术领域

本发明涉及一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于快速定位视频中感兴趣的目标，并实时恢复其运动轨迹，属于计算机视觉和视频监控技术领域。

背景技术

视觉多目标跟踪是计算机视觉领域许多高层视觉任务的重要基础技术，如场景理解、事件检测、行为识别等，在视频监控、人机交互、辅助驾驶等***有广泛的应用。基于检测的多目标跟踪方法是视觉多目标跟踪的主流方法之一，其思路是使用目标检测器在视频的每一帧图像中获取检测结果，然后采用数据关联的方式将检测结果关联成完整的目标轨迹。

根据处理视频数据的方式不同，基于检测的多目标跟踪方法可分为在线和离线两大类。在线方法是逐帧地处理视频数据，每一时刻的数据关联发生在现有目标轨迹和新获取的检测结果之间。离线方法是对一个视频段或整个视频同时进行处理，利用多个时刻的检测结果进行全局的数据关联，寻求最优的目标轨迹。离线方法同时考虑了多帧数据，因此对检测结果出现误检、漏检的情况不敏感。离线方法在实际应用中存在的问题主要是优化过程耗时，计算效率低，而且不能直接用于在线获取和处理视频数据场合，如最常见的智能监控摄像机或智能体育摄像机的视频流。相比之下，在线方法更符合实时在线实际应用的要求，但其性能很大程度上受限于目标检测的结果。场景中复杂背景、目标之间近距离交互、光照变化、频繁遮挡等因素都容易引起检测结果的不准确，进而影响跟踪的精度。本发明建立目标检测与数据关联之间的紧密联系，突破了目前已有技术受到目标检测性能的限制，实现高效、鲁棒的在线多目标跟踪。

发明内容

本发明设计了一种耦合目标检测与数据关联的实时在线多目标跟踪方法，用于实时在线跟踪视频中多个感兴趣的目标。本发明包含如下步骤：

步骤一：对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检测器输出的中间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为“正”的检测窗口，用一系列矩形区域表示。

步骤二：从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数据，使用最大后验估计寻找最优的目标检测结果；

步骤三：根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率；

步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代价最小的数据关联；

步骤五：根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标出现和已有目标消失的情况；若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤波器(KalmanFilter)对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度；另外，若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除；若有检测结果长时间未与已有目标获得关联，则使用匈牙利算法进行数据关联，形成轨迹片段，若形成较长的轨迹片段，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予一个初始置信度；判断跟踪是否结束，若不是则转步骤一继续下一视频帧的跟踪。

有益效果：

本发明与已有多目标跟踪方法相比，具有以下有益效果：

1、本发明通过引入序贯轨迹先验，从目标检测器提供的中间结果出发，在跟踪过程中同时优化了目标检测结果，能有效缓解目标检测器检测结果不精确的问题；

2、本发明采用最大后验估计的概率框架计算目标和检测结果之间的关联代价，提高了数据关联的准确性，能有效处理目标之间的相互干扰；是传统方法的一种突破。

3、本发明在目标检测和数据关联之间建立了紧密的联系，使得两者成为两个相互促进的过程，提高了多目标跟踪的性能。

附图说明

图1是本发明提出的序贯轨迹先验的示意图；

图2是本发明的多目标跟踪方法的流程图。

具体实施方式

本发明主要设计一种耦合目标检测和数据关联的实时在线多目标跟踪方法。通过从已有目标轨迹包含的历史信息中提取了一种序贯轨迹先验，同时作用于目标检测和数据关联这两个关键任务，并在两者之间建立了紧密的联系，进而大大提高了多目标跟踪的性能。

本发明将目标检测器输出的中间结果作为观测数据，在跟踪过程中通过最大后验估计获得针对多目标跟踪任务最优的目标检测结果。与已有技术不同的是，本发明在目标检测与多目标跟踪之间建立了紧密的联系，而不是将其视为与跟踪完全独立的过程，能够有效地缓解跟踪精度受限于目标检测器性能的问题。本发明同时提出利用已有目标轨迹中的先验信息指导数据关联，在计算目标与检测结果之间的匹配程度的基础上，使用最大后验估计的概率框架计算数据关联的后验概率，能够有效地处理目标之间的相互干扰。此外，本发明在最大后验估计这个统一的概率框架下求解目标检测和数据关联问题，通过序贯轨迹先验建立两者之间的联系，实现了目标检测和数据关联的联合优化。

下面描述本发明的多目标跟踪方法的框架，具体为序贯轨迹先验在概率模型中的形式化定义。然后通过具体实施例详细描述本发明的实施方式。

1.多目标跟踪方法框架

给定时刻t之前获得的观测数据以目标轨迹和目标检测为随机变量，本发明采用基于贝叶斯估计的概率框架建模多目标跟踪问题，形式化为最大化目标轨迹和目标检测的联合后验概率：

其中和分别表示时刻tt之前最优的目标轨迹和目标检测结果。显然直接优化公式(1)中的目标函数是不可行的，考虑到在线跟踪的特点，采用顺序优化的方式展开目标函数。具体地，每一个时刻t的目标轨迹和目标检测的优化，都以当前时刻的图像观测和前一时刻的轨迹优化结果为条件，表示为

其中和分别表示t时刻最优的目标轨迹和目标检测结果，第二个等式使用了条件概率的定义。传统的在线多目标跟踪方法通过相互独立的目标检测和数据关联求解式(2)的目标函数，目标检测的优化与数据关联没有联系，实际上获得的优化结果并不是式(2)中所述问题的最优解。本发明引入一种序贯轨迹先验求解式(2)，采用最大后验估计的概率框架将问题分解为两个由序贯轨迹先验紧密联系在一起的最大后验估计问题，表示为

其中序贯轨迹先验由检测先验和关联先验两部分组成，将同时作用于目标检测和数据关联两个过程，使得检测结果的优化会受到跟踪结果的影响，同时目标跟踪又依赖于检测结果。进一步地，序贯轨迹先验在最大后验估计的框架下，以顺序的方式联合优化了目标检测和数据关联。图1是序贯轨迹先验的示意图，如图所示，序贯轨迹先验耦合了目标检测与数据关联，改善了已有方法将目标检测独立于跟踪任务带来的问题。

2.实施方式

以下通过具体实施例详细描述本发明的实施方式，实施例不作为对本发明的保护范围的限制。

图2是本发明的多目标跟踪方法的流程图。如图所示，本发明的多目标跟踪方法包含如下步骤：

根据步骤1，获取观测数据：对监控视频中的每一帧图像，本发明的多目标跟踪方法使用的观测数据包含两部分。一部分是图像数据本身，另一部分是目标检测器在此帧图像上输出的中间结果。需要指出的是，目标检测器输出的中间结果一般包含大量的冗余和噪声，通常需要经过非极大值抑制进行后处理，才能获得相对比较准确的检测结果。然而在实际应用中，非极大值抑制这种启发式的后处理方法可能会抑制真实的响应，或者受背景干扰保留噪声。

根据步骤2，使用最大后验估计优化目标检测结果：

给定每一时刻的观测数据，寻求使得式(3)中关于目标检测的后验概率最大的检测结果作为当前时刻的最优检测结果，具体描述如下。

给定t时刻的观测数据和上一时刻估计的目标轨迹关于当前时刻的目标检测的后验概率可用贝叶斯公式计算，

其中是检测先验概率，为之前所述序贯轨迹先验在目标检测中的体现，表示了历史信息中包含的关于目标检测的先验知识；是观测概率，表示了目标检测描述观测的优劣程度。

(1)检测先验概率

假设目标检测在给定已有的目标轨迹的条件下是相互独立的，因而可以计算检测先验概率如下：

其中先验概率可由目标跟踪过程中的时空一致性约束近似计算。亦即，t时刻的检测结果将有较大的可能出现在(t-1时刻的目标轨迹附近。假设(t-1)时刻有n_t-1个目标轨迹则先验概率可表示为

其中π(X_i(t-1)，y_jt)表示可能的检测结果y_jt与目标轨迹Xi_(t-1)之间的位置接近程度，Δ(·)表示目标轨迹的置信度，在步骤3中给出。使用卡尔曼滤波器预测目标轨迹

X_i(t-1)在t时刻的位置，然后计算近邻程度π(X_i(t-1)，y_jt)为

$\mathrm{\π}(X_{i(t-1)},y_{jt})=\exp (-\frac{\left|\right|p_{jt}^Y-{\hat{p}}_{it}^X|{|}^2}{{\left({\mathrm{\σ}}_{it}^X\right)}^2}),$

其中是可能的检测结果y_jt在图像中的位置，是目标轨迹X_i(t-1)的预测位置，是与目标大小有关的尺度因子。

(2)观测概率

构建一个能够表示目标检测描述观测的优劣程度的能量函数以此来计算观测概率，即由于观测包含一系列的具有检测置信度的矩形区域，可以进一步地将能量函数分解为

其中C_kt是矩形区域r_kt的检测置信度，l_t是矩形区域的个数，能量表示的是用目标检测描述一个矩形区域r_kt的优劣程度。

通过定义矩形区域r_kt被中的第j个目标检测结果y_jt所描述的概率能量可用概率的信息熵来表示，

其含义是，每个矩形区域实际上只可能是一个确定的真实目标位置引起的检测响应，如果一个矩形区域能被多个检测结果所描述，则该检测结果可被认为是不准确的。同时使用信息熵来表示能量还防止了多个检测结果发生重叠，因为一旦存在距离很近的多个检测结果，矩形区域被多个检测结果描述的概率便会增大，概率的熵即会增大。概率的计算方法如下：

$\mathrm{\λ}(y_{jt},r_{kt})=\exp (-\frac{\left|\right|p_{kt}^R-p_{jt}^Y|{|}^2}{{\left({\mathrm{\σ}}_{jt}^Y\right)}^2})\·\exp (-\frac{1}{2}(\frac{\left|w_{kt}^R-w_{jt}^Y\right|}{w_{kt}^R+w_{jt}^Y}+\frac{\left|h_{kt}^R-h_{jt}^Y\right|}{h_{kt}^R+h_{jt}^Y}\left)\right),$

其中λ(y_jt，r_kt)是矩形区域r_kt与可能的目标检测结果y_jt的距离接近程度，和分别表示r_kt和y_jt的位置，是与y_jt的尺度大小有关的参数，和分别是矩形区域r_kt的宽和高，和分别是目标检测结果y_jt的宽和高。

(3)最大后验估计

给定一种目标检测结果的可能性，由上述检测先验概率和观测概率即可显示地计算其后验概率。为了寻找最大化后验概率的目标检测结果，采用可逆跳转的马尔科夫链蒙特卡洛(reversible-jumpMarkovchainMonteCarlo，RJMCMC)采样算法，同时优化了目标检测结果以及目标检测的个数。

根据步骤3，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率；

给定由步骤2优化得到的目标检测结果，以及当前已有的目标轨迹，枚举已有目标轨迹和检测结果之间所有可能的关联情况，计算数据关联的后验概率。具体描述如下。记(t-1)时刻的目标轨迹为时刻由步骤2优化得到的目标检测结果为用表示第j个检测结果与第个目标轨迹相关联的后验概率。根据贝叶斯法则，后验概率计算如下：

其中，是给定目标轨迹和关联事件Ψ_i，j的条件下观测到检测结果的观测概率；是数据关联的先验概率，为之前所述序贯轨迹先验在数据关联中的体现，表示了仅给定目标轨迹的情况下预测关联事件Ψ_i，j发生的先验概率。

(1)关联先验概率

为了计算数据关联的先验概率，本发明根据目标轨迹中包含的历史信息计算轨迹的置信度，用以表示一个目标轨迹X_i在当前时刻的可靠程度，

$\mathrm{\Δ}\left(X_i\right)=\exp (-\mathrm{\β}\·\frac{M}{L})\×\left(\frac{1}{L}\underset{\mathrm{\τ}\∈{\mathrm{\Ω}}_i}{\Σ}{\mathrm{\Φ}}_{i\mathrm{\τ}}\right),$

其中，L是目标轨迹获得关联的检测结果的次数，M＝|X_i|-L是目标轨迹中丢失关联的次数，Φ_iτ是目标轨迹在时刻τ与检测结果相关联的后验概率，β是控制参数。如公式所述，一个可靠的目标轨迹应获得较多的与之关联的检测结果，且尽量不会丢失关联。由于高置信度的目标轨迹有较大的可能在数据关联过程中获得与之关联的目标检测结果，先验概率可被近似地计算为

(2)观测概率

假设目标检测结果在给定目标轨迹的条件下是相互独立的，则观测概率表示为

注意到是检测结果y_j与目标轨迹X_i的关联概率，可通过表观、运动、形状三种线索来计算；还需要计算υ≠j时的观测概率在给定关联事件Ψ_i，j的情况下，本发明考虑观测到检测结果y_υ只有两种情况：y_υ属于除了X_i之外的某一个目标轨迹，或者y_υ是一个误检,因此有

其中Ψ_0，υ表示y_υ不与任何目标轨迹相关联。记为式(6)所述的关联先验概率，为检测器出现误检的常数概率，可做如下推导：

以及

综上所述，观测概率简记为可以表示为

${\mathrm{\Θ}}_{i,j}^v=\left\{\begin{array}{cc}P\left(y_j\right|X_i);& v=j\\ \mathrm{\ρ}\·\underset{u=1}{\overset{n}{\Π}}(1-P_{u,v})+\underset{u\≠i}{\Σ}P\left(y_v\right|X_u)P_{u,v};& v\≠j\end{array}\right..$

(3)关联后验概率

结合上述关联先验概率和观测概率，根据式(5)，数据关联的后验概率为

其中k为归一化常数。类似地，可以计算目标轨迹X_i不与任何检测结果关联的后验概率为

由等式可计算归一化常数k为

$\begin{array}{c}k=(1-\underset{j=1}{\overset{m}{\Σ}}{P}_{i,j})\underset{v=1}{\overset{m}{\Π}}{\mathrm{\Θ}}_{i,0}^v+\underset{j=1}{\overset{m}{\Σ}}\left(P_{i,j}\underset{v=1}{\overset{m}{\Π}}{\mathrm{\Θ}}_{i,j}^v\right)\\ =(1-\underset{j=1}{\overset{m}{\Σ}}{P}_{i,j}+\underset{j=1}{\overset{m}{\Σ}}{Q}_{i,j})\underset{v=1}{\overset{m}{\Π}}{\mathrm{\Θ}}_{i,0}^v,\end{array}$

其中且第二个等式利用了υ≠j时恒成立的等式

${\mathrm{\Θ}}_{i,j}^v={\mathrm{\Θ}}_{i,0}^v.$

综上所述，关联后验概率可计算如下：

根据步骤4，依据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代价最小的数据关联；

将式(4)中的最大后验估计问题，转换为(t-1)时刻的目标轨迹和t时刻优化得到的目标检测结果之间的数据关联问题，利用步骤3中计算的关于数据关联的后验概率，求解最优的数据关联，具体描述如下。

用关联矩阵Ψ＝[Ψ_i，j]_n×m来表示与之间的数据关联，整个数据关联问题形式化表示为一个最大后验估计问题：

$\begin{array}{cc}s.t.& {\mathrm{\Σ}}_{j=1}^m{\mathrm{\Ψ}}_{i,j}=1,\∀i=1,\mathrm{...},n,\\ & {\mathrm{\Σ}}_{i=1}^n{\mathrm{\Ψ}}_{i,j}=1,\∀j=1,\mathrm{...},m,\end{array}---\left(9\right)$

其中关联后验概率由步骤3中式(7)计算得到，问题即是寻找最优的关联矩阵Ψ*能够使得整体后验概率最大。本发明使用匈牙利算法快速求解上述问题。具体地，构建一个代价矩阵，矩阵元素为则式(9)中的问题即是一个求二分图最大匹配的问题，可在多项式时间内快速求得最优解。最后，判断关联是否有效，当一个目标轨迹与一个检测结果之间的关联代价小于不发生数据关联的代价时，则认为关联有效。一个目标轨迹不发生数据关联的代价为其中由步骤3中式(8)计算得到。

根据步骤5，进行目标状态更新：对每一个已有目标轨迹，在步骤4中数据关联之后，根据其是否获得与之关联的检测结果，更新该目标的状态。若该目标并没有获得与之关联的检测结果，这种情况可能是该目标在当前时刻发生了遮挡，或者目标检测器出现了漏检，此时，使用卡尔曼滤波器(KalmanFilter)对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获得了新的观测数据，即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度。另外，若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除。

根据数据关联的结果在每一时刻判断是否有新目标出现，具体描述如下。针对距离当前时刻最近的5帧图像数据，收集其中未与任何目标发生关联的检测结果，使用步骤4中描述的运动和形状信息进行检测结果之间的匹配，并使用匈牙利算法进行数据关联，形成若干条轨迹片段。若其中存在一条轨迹片段长度等于5，即在5帧内连续有检测结果与之关联，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予一个初始置信度。

综上所述，给定一个在线视频流，本发明的方法通过对每一帧图像依次运行步骤1到步骤5来完成实时在线的多目标跟踪任务。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，反在本发明的精神和原则之内，所做的任何修改、等同替换、局部改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种耦合目标检测与数据关联的在线多目标跟踪方法，其特征在于具体实施步骤如下：

步骤一：对每一帧视频图像使用目标检测器进行目标检测，将图像本身和目标检测器输出的中间结果作为当前时刻的观测数据；中间结果指图像中所有被检测器分类为“正”的检测窗口，用一系列矩形区域表示；

步骤二：从已跟踪目标的轨迹中提取序贯轨迹先验，结合步骤一中获得的观测数据，使用最大后验估计寻找最优的目标检测结果；

步骤三：根据序贯轨迹先验，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率；

步骤四：根据关联后验概率计算所有已跟踪目标和检测结果之间的关联代价，寻找整体关联代价最小的数据关联；

步骤五：根据关联结果，更新已有目标的状态，更新序贯轨迹先验，并处理新目标出现和已有目标消失的情况；若该目标并没有获得与之关联的检测结果，则使用卡尔曼滤波器对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，并更新轨迹的置信度；若该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检测结果与之关联，此时使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，并更新轨迹的置信度；另外，若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除；若有检测结果长时间未与已有目标获得关联，则使用匈牙利算法进行数据关联，形成轨迹片段，若形成较长的轨迹片段，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态，并赋予一个初始置信度；判断跟踪是否结束，若不是则转步骤一继续下一视频帧的跟踪。

2.如权利要求1所述的一种耦合目标检测与数据关联的在线多目标跟踪方法，其特征在于，通过最大后验估计获得所有已跟踪目标和检测结果之间关于数据关联的后验概率，步骤为：记(t-1)时刻的目标轨迹为t时刻的目标检测结果为用表示第j个检测结果与第i个目标轨迹相关联的后验概率，根据贝叶斯法则，后验概率计算如下：

其中，是给定目标轨迹和关联事件Ψi，j的条件下观测到检测结果的观测概率；是数据关联的先验概率，为之前所述序贯轨迹先验在数据关联中的体现，表示了仅给定目标轨迹的情况下预测关联事件Ψi，j发生的先验概率。

3.如权利要求1所述的一种耦合目标检测与数据关联的在线多目标跟踪方法，其特征在于，将最大后验估计问题，转换为(t-1)时刻的目标轨迹和t时刻优化得到的目标检测结果之间的数据关联问题，利用数据关联的后验概率，求解最优的数据关联。