CN113658220A - 一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法 - Google Patents

Abstract

本发明提出一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法，首先，通过融合空间聚类分割的方法获得单帧红外图像中目标的量测信息，得到目标数量的有效估计，利用组合分群与类别判定方法获得群目标和单目标的量测信息；然后，针对单目标和群目标采取不同的关联跟踪策略，分别构造多重代价矩阵，进行轨迹与量测间的数据关联，有效避免了关联错误；最后，针对所有可能出现的关联结果，提出轨迹管理方法，实现单目标和群目标轨迹信息的更新。本发明基于目标的运动状态和图像特性，实现了群目标和单目标两类目标的稳定跟踪。

Description

一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟 踪方法

技术领域

本发明属于属于图像处理技术领域，特别是涉及一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法。

背景技术

大规模、低成本的无人机群已成为区域安全的潜在威胁。针对远距离群目标的成像检测与跟踪技术可获得群目标及单目标的轨迹及状态特性，以便形成相关决策，并及时采取相应措施。在大尺度目标的跟踪技术不断完善的基础上，小尺度目标的跟踪技术也在迅速发展，但由于其尺度小，不具备大尺度目标的纹理形状等显著特征，给检测与跟踪技术带来了极大的挑战。

群目标跟踪技术的研究思路主要分为两种，一种是群整体跟踪，适用于密集群目标，即群内单目标较为密集，在像平面上不可分辨，若对每个单目标进行跟踪，极易出现关联错误，造成轨迹冗余、断裂等现象，因此将群目标作为一个整体进行跟踪，具体方法包括中心群跟踪算法和编队群跟踪算法两种。中心群跟踪仅利用了群目标的位置信息，不能处理群中心位置突变时的跟踪问题；编队群跟踪针对运动速度相似的单目标构成的群目标展开研究，通过引入编队群的形状向量，解决多***叉运动的跟踪场景。另一种研究思路是群内单目标的个体跟踪，考虑群目标分离、群内多目标交叉等多种时序演变模式，采用多目标跟踪为主、群目标跟踪为辅的跟踪算法，融合像平面数据预处理方法、数据关联、滤波等多项技术，目的是尽早获得构成群的单目标的单独轨迹。但是现有文献研究的个体跟踪的仿真场景中，群目标内的单目标数量较少，时序演变过程较为简单，若单目标数量增多，这种跟踪思路会导致误关联现象，即使耗费了计算资源也不能达到稳定跟踪的效果。

群目标在运动过程中，其中的单目标逐渐发生分离，由完全不可分辨过渡到部分可分辨，再到完全可分辨，群内单目标数量、面积等均具有增加的趋势；同时，分离出的单目标或群目标可能存在运动交叉再次成为群目标的现象。因此，群目标具有复杂的时序演变过程，仅整体跟踪或个体跟踪的单一策略无法解决群目标及其中单目标的稳定跟踪问题。

发明内容

本发明是为了解决时序演变过程中的群目标及单目标的稳定跟踪问题，从而提供了一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法。本发明充分利用群目标的运动状态和图像特性，明确群目标与单目标跟踪的界限与策略，并提出轨迹管理方法，最终实现二者的稳定跟踪。

本发明是通过以下技术方案实现的，本发明提出一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法，所述方法包括以下步骤：

步骤一：对原始单帧红外图像进行全局自适应灰度阈值分割，设置自适应阈值，提取单帧图像中疑似目标的像素区域，得到多个疑似目标区域，将疑似目标区域像素的二维位置作为样本，采用随机均匀样本插值算法，对每个疑似目标区域的二维样本集进行扩充；

步骤二：结合小尺度红外目标的先验高斯模型，对步骤一每个疑似目标区域扩充后的样本集采用Kmeans与GMM融合空间聚类分割的方法，得到每个区域中单目标的量测信息；首先对样本集进行Kmeans聚类获得聚类中心，将其作为GMM的初始聚类中心；然后设定聚类数的离散取值范围，采用EM迭代算法并设置迭代终止条件，求解每种聚类数下的GMM模型参数；最后利用间隔统计量准则确定最佳聚类数，此最佳聚类数即为该区域包含单目标的数量，此最佳聚类数下收敛到的聚类中心为单目标的位置，通过协方差获得单目标的形状椭圆参数，最终获得单帧图像中的单目标量测信息；

步骤三：根据步骤二得到的整幅单帧图像中的单目标量测信息，提出基于双距离阈值与区域重叠度的单目标组合分群方法，依据单目标间的距离与重叠度划分群；又提出基于双面积阈值与形状椭圆参数的类别判定方法，判断划分后的群属于群目标还是单目标；最后获得图像中两类目标的量测信息；

步骤四：在现存的k时刻单目标轨迹与步骤三获得的当前k+1时刻的单目标信息之间建立“一对一”数据关联，一条轨迹最多与一个目标建立关联，称为Ⅰ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵，通过卡尔曼滤波预测的位置与当前时刻单目标的位置计算获得；另一种是基于图像特性的欧式距离代价矩阵，通过计算单目标之间红外特征的差异获得；然后将两种代价矩阵进行归一化，加权求和后输入匈牙利算法求得关联结果；

步骤五：步骤四Ⅰ级关联跟踪结束后存在未关联的单目标轨迹和未关联的单目标，将未关联的轨迹与现存的k时刻群目标轨迹构成轨迹集，将未关联的单目标与当前k+1时刻的群目标构成目标集，在轨迹集与目标集之间建立“一对多”数据关联，一条轨迹可以与多个目标建立关联，多条轨迹也可以与一个目标建立关联，称为Ⅱ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵；另一种是区域重叠度代价矩阵，计算k时刻轨迹对应的目标的形状椭圆的最小外接矩形框与k+1时刻目标的最小外接矩形框之间的区域重叠度；若某一轨迹与某一目标间的马氏距离与区域重叠度同时满足指定阈值，则表明该轨迹与该目标关联成功；

步骤六：整合步骤四和五中得到的关联结果；针对所有可能出现的关联结果，制定相应的轨迹管理方法，形成群目标及其中单目标的完整轨迹。

进一步地，所述步骤一中的自适应阈值为：

t＝μ+kσ

其中，μ为全图像素的均值，σ为全图像素的均方差，k为自定义的阈值系数；

所述步骤一中的随机均匀样本插值算法，根据样本间的欧氏距离，为每个像素位置样本取其k个近邻样本，从k个近邻样本中随机选取N个样本，在原像素位置样本与这N个样本中的每个样本之间进行插值，生成新的样本，插值公式为：

X_new＝X+r·(X_n-X),r∈(0,1)

其中，X为原像素位置样本值，X_n为N个样本中的某个样本值，X_new为生成的新的样本值，r为插值系数，在(0,1)区间内任意取值。

进一步地，所述步骤二中的GMM模型用如下概率密度函数表示：

其中，K为GMM所含分模型的数量，即聚类数；r_k为模型系数，即每个模型所占比例，反映属于某类模型的样本占总样本的比例大小；N(X|μ_k,Σ_k)表示第k类符合的高斯分布，均值μ_k表示聚类中心，即目标的中心位置坐标；协方差Σ_k反映样本的集中程度，对应的误差椭圆用于描述目标的形状椭圆；

所述步骤二依据单目标至少存在一个亮度极值点的特性，判断构成目标的每个像素位置是否为其四邻域内的亮度极大值点；若某疑似目标区域中存在m个极值点，意味着该区域由m个单目标构成，因此设定聚类数的离散取值范围：

m_best∈[m-2,m+2],m-2＞0

所述步骤二中的迭代终止条件为：

L_t-L_t-1＜Δ,Δ＝10^-5

其中，L_t为第t次迭代的似然概率；N为样本数量；

所述步骤二中判断最佳聚类数采用间隔统计量准则，用蒙特卡洛采样方法生成参考样本X_p：

X_p＝X·diag(y_1max-y_1min,y_2max-y_2min)+(y_1min,y_2min)

其中，y_1max、y_1min分别表示第一个维度上样本值的最大值和最小值，y_2max、y_2min分别表示第二个维度上样本值的最大值和最小值；间隔统计量GS的定义式如下：

其中，W表示聚类数为K时的样本平方和误差，C_k表示样本X_i属于第k类，B为蒙特卡洛采样次数，W_b表示参考样本的平方和误差；为了修正蒙特卡洛采样带来的误差，用参考样本平方和误差对数的标准差s矫正GS，标准差s的计算公式如下：

计算每种聚类数m下的间隔统计量，满足下式的最小m值即为最佳聚类数：

GS_m≥GS_m+1-s_m+1。

进一步地，所述步骤三中的双距离阈值有th₁和th₂两个阈值，th₁取两目标轮廓外边缘相邻情况下中心处于水平线上时的最小距离，th₂取两目标最小外接矩形框某角相邻时中心间的最大距离；区域重叠度指两目标区域的重叠面积与区域总面积的比值；目标两两之间进行是否属于同一个群的判断，若两目标间的距离小于th₁，则属于同一个群；若大于th₂，则不属于同一个群；若距离介于二者之间，则计算两目标的区域重叠度，若大于0，则属于同一个群，否则不属于。

进一步地，所述步骤三中的双面积阈值有小面积阈值th₃和大面积阈值th₄两个阈值；定义群目标的形状椭圆离心率大于单目标；若一个群的面积小于th₃，则该群是单目标；若大于th₄，则是群目标；若该群的面积介于二者之间，则进行离心率的判断，若其大于设定阈值th₅，则是群目标，否则是单目标。

进一步地，所述步骤四中的多重代价矩阵中的每一种均可以用如下形式表示：

其中，p表示现存轨迹数量，q表示目标数量；

若M表示马氏距离代价矩阵，则d_pq表示第p条轨迹对应的目标在k+1时刻位置的滤波预测值X_pred与第q个目标位置X_k+1之间的马氏距离，计算公式如下：

d_pq＝(X_pred-X_k+1)^TP^-1(X_pred-X_k+1)

其中，P表示位置预测的协方差；

若M表示欧式距离代价矩阵，则d_pq表示第p条轨迹对应的目标前k个时刻中的红外特征向量F_1～k与第q个目标红外特征向量F_k+1之间的最小欧式距离，计算公式如下：

进一步地，所述步骤四中的代价矩阵归一化的目的是将多重代价矩阵中的元素值统一到同一数量级，便于加权求和；归一化后的代价矩阵表述如下：

其中，image_size为单帧红外图像的尺寸；输入匈牙利算法的加权求和的代价矩阵A为：

其中，w_i为每种代价矩阵的自定义权值。

进一步地，所述步骤五中区域重叠度为两目标区域的重叠面积与两目标最小面积的比值，定义式如下：

其中，

表示两目标o₁与o₂的重叠面积，

分别表示两目标o₁与o₂的面积；对马氏距离和区域重叠度分别设置两个阈值th_D和th_J，若两种代价矩阵p行q列表示的元素分别小于th_D和th_J，则表示二者关联成功。

本发明有益效果为：

(1)根据红外小尺度单目标的图像特性，为获得单目标的量测信息，提出了融合空间聚类分割的方法。与已有聚类算法相比，本方法根据单目标的亮度极值特性，提供了聚类数的离散取值范围，最终能获得疑似目标区域单目标数量的有效估计。

(2)根据群目标与单目标这两类目标的区别，充分利用单目标的量测信息，提出了基于双阈值的组合分群与类别判定方法。其中双距离阈值可以随着两个目标的尺寸变化自适应调整，在多个单目标位置密集时，该单目标集合被判断为是群目标。

(3)对不同类别的目标采用不同的关联跟踪策略，对单目标采用“一对一”数据关联，对群目标采用“一对多”数据关联。“一对多”数据关联对多个单目标由于密集构成的群目标实现了整体跟踪，避免了关联错误；而且分离时能够标记分离后的目标的来源，分离后的单目标也能通过“一对一”数据关联继续跟踪；与现有策略相比，弥补了现有基于红外图像的群目标跟踪策略单一的不足之处，更适用于处理群内单目标数量任意多的场景。

(4)针对群目标运动分离与交叉的时序演变模式，提出了轨迹管理方法，能够为群目标分离后产生的目标快速创建新的轨迹，也解决了运动交叉后目标的轨迹延续问题。

附图说明

图1为基于融合空间聚类的单目标分割方法流程图；

图2为融合空间聚类分割模块中的可视化结果图；其中，(a)原图；(b)阈值分割图；(c)扩充后的样本集合；(d)聚类分割结果图；

图3为基于双距离阈值与区域重叠度的单目标组合分群方法流程图；

图4为基于双面积阈值与形状椭圆参数的类别判定方法流程图；

图5为组合分群与类别判定后的可视化结果图；其中，(a)原图；(b)组合分群结果；(c)类别判定结果；

图6是单目标分割数量在序列图像中的变化曲线图；

图7为Ⅰ级关联跟踪流程图；

图8为Ⅱ级关联跟踪流程图；

图9是基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1-9，本发明提出一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法，所述方法包括以下步骤：

步骤一：对原始单帧红外图像进行全局自适应灰度阈值分割，设置自适应阈值，提取单帧图像中疑似目标的像素区域，得到多个疑似目标区域，将疑似目标区域像素的二维位置作为样本，采用随机均匀样本插值算法，对每个疑似目标区域的二维样本集进行扩充；

所述步骤一中的自适应阈值为：

t＝μ+kσ

其中，μ为全图像素的均值，σ为全图像素的均方差，k为自定义的阈值系数，需根据不同场景进行相应调整；在本实施例场景中阈值取0.5，阈值分割后的结果如图2(b)所示，灰色矩形框表示该区域的最小外接矩形。

所述步骤一中的随机均匀样本插值算法，针对构成小尺度目标的像素个数少，生成的像素位置样本量达不到聚类要求的问题提出了解决方案，根据样本间的欧氏距离，为每个像素位置样本取其k个近邻样本，从k个近邻样本中随机选取N个样本，在原像素位置样本与这N个样本中的每个样本之间进行插值，生成新的样本，插值公式为：

X_new＝X+r·(X_n-X),r∈(0,1)

其中，X为原像素位置样本值，X_n为N个样本中的某个样本值，X_new为生成的新的样本值，r为插值系数，在(0,1)区间内任意取值。在本实施例中k取8，N取6，扩充后的二维样本集如图2(c)所示。

步骤二：结合小尺度红外目标的先验高斯模型，对步骤一每个疑似目标区域扩充后的样本集采用Kmeans与GMM融合空间聚类分割的方法，得到每个区域中单目标的量测信息；首先对样本集进行Kmeans聚类获得聚类中心，将其作为GMM的初始聚类中心；然后设定聚类数的离散取值范围，采用EM迭代算法并设置迭代终止条件，求解每种聚类数下的GMM模型参数；最后利用间隔统计量准则确定最佳聚类数，此最佳聚类数即为该区域包含单目标的数量，此最佳聚类数下收敛到的聚类中心为单目标的位置，通过协方差获得单目标的形状椭圆参数，最终获得单帧图像中的单目标量测信息；所述单目标量测信息包括位置、面积、红外特征、形状椭圆参数和形状椭圆的最小外接矩形框。分割结果如图2(d)所示，其中椭圆形表示单目标的形状，矩形框表示其最小外接矩形，三角形表示其位置。

所述步骤二中的GMM模型用如下概率密度函数表示：

其中，K为GMM所含分模型的数量，即聚类数；r_k为模型系数，即每个模型所占比例，反映属于某类模型的样本占总样本的比例大小，目标面积越小，样本数越少，对应的模型系数越小；N(X|μ_k,Σ_k)表示第k类符合的高斯分布，均值μ_k表示聚类中心，即目标的中心位置坐标，反映该类样本最集中的区域，某处样本数越多，是聚类中心的概率越大；协方差Σ_k反映样本的集中程度，对应的误差椭圆用于描述目标的形状椭圆；

所述步骤二依据单目标至少存在一个亮度极值点的特性，判断构成目标的每个像素位置是否为其四邻域内的亮度极大值点；若某疑似目标区域中存在m个极值点，意味着该区域由m个单目标构成，但由于目标重叠等现象的存在，m不能直接作为最佳聚类数，因此设定聚类数的离散取值范围：

m_best∈[m-2,m+2],m-2＞0

所述步骤二中的迭代终止条件为：

L_t-L_t-1＜Δ,Δ＝10^-5

其中，L_t为第t次迭代的似然概率；N为样本数量；

所述步骤二中判断最佳聚类数采用间隔统计量准则，用蒙特卡洛采样方法生成参考样本X_p：

X_p＝X·diag(y_1max-y_1min,y_2max-y_2min)+(y_1min,y_2min)

其中，y_1max、y_1min分别表示第一个维度上样本值的最大值和最小值，y_2max、y_2min分别表示第二个维度上样本值的最大值和最小值；间隔统计量GS的定义式如下：

其中，W表示聚类数为K时的样本平方和误差，C_k表示样本X_i属于第k类，B为蒙特卡洛采样次数，在本实施例场景中B取10，W_b表示参考样本的平方和误差；为了修正蒙特卡洛采样带来的误差，用参考样本平方和误差对数的标准差s矫正GS，标准差s的计算公式如下：

计算每种聚类数m下的间隔统计量，满足下式的最小m值即为最佳聚类数：

GS_m≥GS_m+1-s_m+1。

步骤三：根据步骤二得到的整幅单帧图像中的单目标量测信息，提出基于双距离阈值与区域重叠度的单目标组合分群方法，如图3所示，依据单目标间的距离与重叠度划分群；又提出基于双面积阈值与形状椭圆参数的类别判定方法，如图4所示，判断划分后的群属于群目标还是单目标；最后获得图像中两类目标的量测信息；所述量测信息包括位置、类别、群内单目标的数量、面积、红外特征和形状椭圆参数。

所述步骤三中的双距离阈值有th₁和th₂两个阈值，th₁取两目标轮廓外边缘相邻情况下中心处于水平线上时的最小距离，th₂取两目标最小外接矩形框某角相邻时中心间的最大距离，因此双距离可以随目标的尺寸变化自适应调整。区域重叠度指两目标区域的重叠面积与区域总面积的比值；目标两两之间进行是否属于同一个群的判断，若两目标间的距离小于th₁，则属于同一个群；若大于th₂，则不属于同一个群；若距离介于二者之间，则计算两目标的区域重叠度，若大于0，则属于同一个群，否则不属于。

所述步骤三中的双面积阈值有小面积阈值th₃和大面积阈值th₄两个阈值；实施例中th₃取20，th₄取40。定义群目标的形状椭圆离心率大于单目标；若一个群的面积小于th₃，则该群是单目标；若大于th₄，则是群目标；若该群的面积介于二者之间，则进行离心率的判断，若其大于设定阈值th₅，则是群目标，否则是单目标。

所述步骤三中的目标的类别指该目标属于群目标还是单目标，红外特征是指目标的最大灰度、均值灰度、灰度梯度等与像素值有关的特征。

经组合分群与类别判定后的可视化结果如图5所示。经类别判定后的单目标数量在本实施例147帧图像中的变化如图6所示，本实施例共包含20个单目标，在群目标运动扩散的过程中单目标变得可分辨，其数量整体呈现逐渐增加的趋势，后期部分单目标在视场中消失，其数量逐渐减少。

步骤四：在现存的k时刻单目标轨迹与步骤三获得的当前k+1时刻的单目标信息之间建立“一对一”数据关联，一条轨迹最多与一个目标建立关联，称为Ⅰ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵，通过卡尔曼滤波预测的位置与当前时刻单目标的位置计算获得；另一种是基于图像特性的欧式距离代价矩阵，通过计算单目标之间红外特征的差异获得；然后将两种代价矩阵进行归一化，加权求和后输入匈牙利算法求得关联结果；

所述步骤四中的多重代价矩阵中的每一种均可以用如下形式表示：

其中，p表示现存轨迹数量，q表示目标数量；

若M表示马氏距离代价矩阵，则d_pq表示第p条轨迹对应的目标在k+1时刻位置的滤波预测值X_pred与第q个目标位置X_k+1之间的马氏距离，计算公式如下：

d_pq＝(X_pred-X_k+1)^TP^-1(X_pred-X_k+1)

其中，P表示位置预测的协方差；

若M表示欧式距离代价矩阵，则d_pq表示第p条轨迹对应的目标前k个时刻中的红外特征向量F_1～k与第q个目标红外特征向量F_k+1之间的最小欧式距离，计算公式如下：

所述步骤四中的代价矩阵归一化的目的是将多重代价矩阵中的元素值统一到同一数量级，便于加权求和；归一化后的代价矩阵表述如下：

其中，image_size为单帧红外图像的尺寸，本实施例中image_size为256；输入匈牙利算法的加权求和的代价矩阵A为：

其中，w_i为每种代价矩阵的自定义权值，本实施例中w₁＝w₂＝0.5。

步骤五：步骤四Ⅰ级关联跟踪结束后存在未关联的单目标轨迹和未关联的单目标，将未关联的轨迹与现存的k时刻群目标轨迹构成轨迹集，将未关联的单目标与当前k+1时刻的群目标构成目标集，在轨迹集与目标集之间建立“一对多”数据关联，一条轨迹可以与多个目标建立关联，多条轨迹也可以与一个目标建立关联，称为Ⅱ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵；另一种是区域重叠度代价矩阵，计算k时刻轨迹对应的目标的形状椭圆的最小外接矩形框与k+1时刻目标的最小外接矩形框之间的区域重叠度；若某一轨迹与某一目标间的马氏距离与区域重叠度同时满足指定阈值，则表明该轨迹与该目标关联成功；

所述步骤五中区域重叠度为两目标区域的重叠面积与两目标最小面积的比值，定义式如下：

其中，

表示两目标o₁与o₂的重叠面积，

分别表示两目标o₁与o₂的面积；对马氏距离和区域重叠度分别设置两个阈值th_D和th_J，本实施例中，th_D为5，th_J为0.6，若两种代价矩阵p行q列表示的元素分别小于th_D和th_J，则表示二者关联成功。

步骤六：整合步骤四和五中得到的关联结果；针对所有可能出现的关联结果，如群目标与群目标关联成功，群目标与多个目标关联成功等共七种结果，制定相应的轨迹管理方法，形成群目标及其中单目标的完整轨迹。

所述步骤六中的七种可能关联结果及对应的轨迹管理方法如表1所示：

表1轨迹管理方法

所述步骤六中的轨迹管理方法，编号1、2针对两种基本的关联成功的结果；目标消失等原因会造成轨迹断裂现象，从而出现编号5对应的关联结果；编号6、7针对新出现在视场中的目标创建新的轨迹。多个目标在运动过程中可能出现运动交叉现象，导致多个目标被判别为群目标，从而出现编号3对应的关联结果，此时提出“一种操作”管理方法，认为交叉现象持续时间较短，暂时不将k+1时刻的群目标与任何目标轨迹关联，仅更新部分轨迹信息，这种方法有利于在多个目标重新分离后延续交叉之前的轨迹。一个群目标在运动过程中也可能出现分离现象，从而出现编号4对应的关联结果，此时提出“一步验证”管理方法，首先根据群目标的面积、数量变化验证该群目标是否具有分离趋势，若面积和群内单目标的数量时序增加则表明具有分离趋势，及时终止群目标的轨迹，为分离后的多个目标创建轨迹，并标记分离后的目标的来源；否则不具有分离趋势，修正Ⅱ级关联跟踪中的关联结果，在原群目标面积差异最小的k+1时刻目标与原群目标建立关联，剩余k+1时刻的目标认为是新出现的目标，采取编号6、7对应的管理方法。

经过融合空间聚类分割方法得到的多个单目标由于空间密集，被组合分群与类别判定方法判别为群目标，先进行整体跟踪；在群目标发生分离时，运行“一对多”的数据关联策略，多重代价矩阵发挥作用，判断分离后的目标的来源。对分离后产生的单目标运行“一对一”的数据关联策略，进行个体跟踪，对分离后产生的群目标进行整体跟踪；并针对分离、交叉等群目标的时序演变模式，进行对应的轨迹管理方法，实现群目标到多目标跟踪的过渡。最终的合成轨迹出现多条轨迹同源的情形表明这些轨迹是由同一群目标分离而来，在本实施例中，跟踪成功的目标轨迹比例高达99％，且具备处理群目标分离和运动交叉的能力，体现了本发明所提出方法的有效性。

以上对本发明所提出的一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于融合空间聚类分割与多重代价矩阵关联的群目标跟踪方法，其特征在于：所述方法包括以下步骤：

步骤一：对原始单帧红外图像进行全局自适应灰度阈值分割，设置自适应阈值，提取单帧图像中疑似目标的像素区域，得到多个疑似目标区域，将疑似目标区域像素的二维位置作为样本，采用随机均匀样本插值算法，对每个疑似目标区域的二维样本集进行扩充；

步骤二：结合小尺度红外目标的先验高斯模型，对步骤一每个疑似目标区域扩充后的样本集采用Kmeans与GMM融合空间聚类分割的方法，得到每个区域中单目标的量测信息；首先对样本集进行Kmeans聚类获得聚类中心，将其作为GMM的初始聚类中心；然后设定聚类数的离散取值范围，采用EM迭代算法并设置迭代终止条件，求解每种聚类数下的GMM模型参数；最后利用间隔统计量准则确定最佳聚类数，此最佳聚类数即为该区域包含单目标的数量，此最佳聚类数下收敛到的聚类中心为单目标的位置，通过协方差获得单目标的形状椭圆参数，最终获得单帧图像中的单目标量测信息；

步骤三：根据步骤二得到的整幅单帧图像中的单目标量测信息，提出基于双距离阈值与区域重叠度的单目标组合分群方法，依据单目标间的距离与重叠度划分群；又提出基于双面积阈值与形状椭圆参数的类别判定方法，判断划分后的群属于群目标还是单目标；最后获得图像中两类目标的量测信息；

步骤四：在现存的k时刻单目标轨迹与步骤三获得的当前k+1时刻的单目标信息之间建立“一对一”数据关联，一条轨迹最多与一个目标建立关联，称为Ⅰ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵，通过卡尔曼滤波预测的位置与当前时刻单目标的位置计算获得；另一种是基于图像特性的欧式距离代价矩阵，通过计算单目标之间红外特征的差异获得；然后将两种代价矩阵进行归一化，加权求和后输入匈牙利算法求得关联结果；

步骤五：步骤四Ⅰ级关联跟踪结束后存在未关联的单目标轨迹和未关联的单目标，将未关联的轨迹与现存的k时刻群目标轨迹构成轨迹集，将未关联的单目标与当前k+1时刻的群目标构成目标集，在轨迹集与目标集之间建立“一对多”数据关联，一条轨迹可以与多个目标建立关联，多条轨迹也可以与一个目标建立关联，称为Ⅱ级关联跟踪；首先构造多重代价矩阵，所述多重代价矩阵中包括两种代价矩阵，一种是基于运动状态的马氏距离代价矩阵；另一种是区域重叠度代价矩阵，计算k时刻轨迹对应的目标的形状椭圆的最小外接矩形框与k+1时刻目标的最小外接矩形框之间的区域重叠度；若某一轨迹与某一目标间的马氏距离与区域重叠度同时满足指定阈值，则表明该轨迹与该目标关联成功；

步骤六：整合步骤四和五中得到的关联结果；针对所有可能出现的关联结果，制定相应的轨迹管理方法，形成群目标及其中单目标的完整轨迹。

2.根据权利要求1所述的方法，其特征在于：所述步骤一中的自适应阈值为：

t＝μ+kσ

其中，μ为全图像素的均值，σ为全图像素的均方差，k为自定义的阈值系数；

所述步骤一中的随机均匀样本插值算法，根据样本间的欧氏距离，为每个像素位置样本取其k个近邻样本，从k个近邻样本中随机选取N个样本，在原像素位置样本与这N个样本中的每个样本之间进行插值，生成新的样本，插值公式为：

X_new＝X+r·(X_n-X),r∈(0,1)

其中，X为原像素位置样本值，X_n为N个样本中的某个样本值，X_new为生成的新的样本值，r为插值系数，在(0,1)区间内任意取值。

3.根据权利要求2所述的方法，其特征在于：所述步骤二中的GMM模型用如下概率密度函数表示：

其中，K为GMM所含分模型的数量，即聚类数；r_k为模型系数，即每个模型所占比例，反映属于某类模型的样本占总样本的比例大小；N(X|μ_k,Σ_k)表示第k类符合的高斯分布，均值μ_k表示聚类中心，即目标的中心位置坐标；协方差Σ_k反映样本的集中程度，对应的误差椭圆用于描述目标的形状椭圆；

所述步骤二依据单目标至少存在一个亮度极值点的特性，判断构成目标的每个像素位置是否为其四邻域内的亮度极大值点；若某疑似目标区域中存在m个极值点，意味着该区域由m个单目标构成，因此设定聚类数的离散取值范围：

m_best∈[m-2,m+2],m-2＞0

所述步骤二中的迭代终止条件为：

L_t-L_t-1＜Δ,Δ＝10^-5

其中，L_t为第t次迭代的似然概率；N为样本数量；

所述步骤二中判断最佳聚类数采用间隔统计量准则，用蒙特卡洛采样方法生成参考样本X_p：

X_p＝X·diag(y_1max-y_1min,y_2max-y_2min)+(y_1min,y_2min)

其中，y_1max、y_1min分别表示第一个维度上样本值的最大值和最小值，y_2max、y_2min分别表示第二个维度上样本值的最大值和最小值；间隔统计量GS的定义式如下：

其中，W表示聚类数为K时的样本平方和误差，C_k表示样本X_i属于第k类，B为蒙特卡洛采样次数，W_b表示参考样本的平方和误差；为了修正蒙特卡洛采样带来的误差，用参考样本平方和误差对数的标准差s矫正GS，标准差s的计算公式如下：

计算每种聚类数m下的间隔统计量，满足下式的最小m值即为最佳聚类数：

GS_m≥GS_m+1-s_m+1。

4.根据权利要求3所述的方法，其特征在于：所述步骤三中的双距离阈值有th₁和th₂两个阈值，th₁取两目标轮廓外边缘相邻情况下中心处于水平线上时的最小距离，th₂取两目标最小外接矩形框某角相邻时中心间的最大距离；区域重叠度指两目标区域的重叠面积与区域总面积的比值；目标两两之间进行是否属于同一个群的判断，若两目标间的距离小于th₁，则属于同一个群；若大于th₂，则不属于同一个群；若距离介于二者之间，则计算两目标的区域重叠度，若大于0，则属于同一个群，否则不属于。

5.根据权利要求4所述的方法，其特征在于：所述步骤三中的双面积阈值有小面积阈值th₃和大面积阈值th₄两个阈值；定义群目标的形状椭圆离心率大于单目标；若一个群的面积小于th₃，则该群是单目标；若大于th₄，则是群目标；若该群的面积介于二者之间，则进行离心率的判断，若其大于设定阈值th₅，则是群目标，否则是单目标。

6.根据权利要求5所述的方法，其特征在于：所述步骤四中的多重代价矩阵中的每一种均可以用如下形式表示：

其中，p表示现存轨迹数量，q表示目标数量；

若M表示马氏距离代价矩阵，则d_pq表示第p条轨迹对应的目标在k+1时刻位置的滤波预测值X_pred与第q个目标位置X_k+1之间的马氏距离，计算公式如下：

d_pq＝(X_pred-X_k+1)^TP^-1(X_pred-X_k+1)

其中，P表示位置预测的协方差；

若M表示欧式距离代价矩阵，则d_pq表示第p条轨迹对应的目标前k个时刻中的红外特征向量F_1～k与第q个目标红外特征向量F_k+1之间的最小欧式距离，计算公式如下：

7.根据权利要求6所述的方法，其特征在于：所述步骤四中的代价矩阵归一化的目的是将多重代价矩阵中的元素值统一到同一数量级，便于加权求和；归一化后的代价矩阵表述如下：

其中，image_size为单帧红外图像的尺寸；输入匈牙利算法的加权求和的代价矩阵A为：

其中，w_i为每种代价矩阵的自定义权值。

8.根据权利要求7所述的方法，其特征在于：所述步骤五中区域重叠度为两目标区域的重叠面积与两目标最小面积的比值，定义式如下：

其中，

表示两目标o₁与o₂的重叠面积，

分别表示两目标o₁与o₂的面积；对马氏距离和区域重叠度分别设置两个阈值th_D和th_J，若两种代价矩阵p行q列表示的元素分别小于th_D和th_J，则表示二者关联成功。

Images