CN112132862B - 一种基于无人机的自适应尺度估计目标跟踪算法 - Google Patents

Abstract

本发明属于目标跟踪技术领域，公开了一种基于无人机的自适应尺度估计目标跟踪算法：首先在第一帧框取跟踪目标并初始化确定跟踪目标的位置坐标和尺度大小，对目标进行概率密度建模，并以此更新已在数据集上预训练过的神经网络模型参数。然后在后续帧以上一帧跟踪目标中心位置建立候选目标的概率密度模型，通过计算跟踪目标与候选目标的背景权重比，如果不符合收敛条件，则通过计算得到Mean‑Shift向量，将候选模板的中心漂移至新的位置。与相关技术相比，本发明一种基于无人机的自适应尺度估计目标跟踪算法适用于无人机搭载，计算资源受限的场景，能自适应调整核宽大小，并解决目标快速移动时的跟丢问题，增强跟踪的鲁棒性。

Description

一种基于无人机的自适应尺度估计目标跟踪算法

【技术领域】

本发明属于目标跟踪技术领域，具体是一种基于无人机的自适应尺度估计目标跟踪算法。

【背景技术】

无人机目标跟踪是指：基于无人机视角下，对运动目标进行在线跟踪。在智能交通***、安防监控***、基于视频的人机交互等领域有很好的应用前景。

一般在线视觉跟踪具有4个基本组成部分：特征提取、运动模型、外观模型、在线更新机制。在线视觉跟踪算法要求提取的视觉特征既能较好地描述跟踪目标又能快速计算；运动模型描述帧与帧目标运动状态之间的关系，在视频帧中预测目标图像区域，并给出一组可能的候选区域；外观模型在当前帧判决候选图像区域是被跟踪目标的可能性；在线更新机制在跟踪过程中不断更新外观模型，保证跟踪的鲁棒性。由于无人机在高空中飞行，平台运动和图像的不稳定性，导致目标纵横比变化、快速运动、尺度变化、目标遮挡和目标丢失等，这给无人机跟踪提出很大的挑战。

相关技术中，有学者通过研究传统的相关滤波算法和孪生网络模型，提出一些端到端、无监督的先进跟踪算法、模型。相关技术的不足在于，这些方法对计算资源要求较高，不适合用在无人机实时跟踪的过程中。

另外，相关技术中的Mean-Shift算法在跟踪的过程中，模板的核宽一种保持不变，当目标的大小发生改变或者与摄像机距离发生变化时，新目标的真实核宽可能会发生改变；Mean-Shift算法的本质是在局部区域搜索极大值，只有当目标在相邻两帧图像中有部分重叠时，才能保证跟踪成功，其不足在于，如果目标运动速度过快或者无人机摄像视角改变很容易导致跟踪失败。

因此，实有必要提供一种新的基于无人机的自适应尺度估计目标跟踪算法解决上述技术问题。

【发明内容】

本发明需要解决的技术问题是：提出一种基于无人机的尺度自适应目标跟踪算法，这种算法能自适应核宽大小，并且在快速运动导致跟丢时，通过预测位置重新跟踪。

为实现上述技术效果，本发明提供一种基于无人机的自适应尺度估计目标跟踪算法，包括如下步骤：

步骤1

***初始化：在视频第一帧，框取跟踪目标，框取的窗口大小作为核窗的宽度h₀，对跟踪目标进行概率密度建模，

其中，C是归一化常数，{x_i}_{i＝1，...，N}是第i帧的目标位置，k(x)是Epanechnikov核轮廓函数，δ是克罗内克函数，δ的作用是判断处于位置x_i的像素值是否属于特征空间中的第u个bin，函数b的作用是将x_i位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来，计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数，

步骤2

步骤21.在后续帧以上一帧目标位置，建立候选目标模型，

其中y表示候选目标的中心位置；

步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计，即衡量两个模型的相似程度，如果不符合收敛条件，

则通过计算得到Mean-Shift向量其中，w_i表示权重，

是所选用的核函数，g(x)是其轮廓函数，并将目标候选位置漂移到新的位置，以此为基础开始下一次迭代，直到符合收敛条件为止，以此可以得到目标的位置；

及对应的尺度

如果|log(r)|＞θ_s，其中θ_s＝0.05，进行尺度估计检测，

[～,r_back]＝MS(q,image_t-1,y_t,rh_t-1)

如果|log(r*r_back)|＞θ_c，θ_c＝0.1，h_t＝(1-α-β)h_t-1+αh₀+βrh_t-1，其中，

β＝0.1，γ＝0.3，c₁＝0.1，

否则，h_t＝(1-γ)h_t-1+γrh_t-1，γ＝0.3；

步骤3

如果在限定迭代次数内始终无法满足收敛条件，则在上一帧中目标物体的位置周围采样一定数量，一定范围内坐标、尺度为h_t-1的图像块，输入神经网络模型，取其中具有最高置信度的图像块位置作为预测目标位置，重复步骤22过程，计算新的目标位置及对应尺度，

步骤4

重复步骤2和步骤3直到视频结束。

与相关技术相比，本发明一种基于无人机的自适应尺度估计目标跟踪算法，适用于无人机搭载，计算资源受限的场景，这种算法能自适应核宽大小，并且在快速运动导致跟丢时，通过预测位置重新跟踪。能降低背景因素，目标快速移动对跟踪造成的影响，从而提升跟踪的鲁棒性。

【附图说明】

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，

其中：

图1为本发明一种基于无人机的自适应尺度估计目标跟踪算法的流程示意图。

【具体实施方式】

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参附图1，一种基于无人机的自适应尺度估计目标跟踪算法，包括如下过程：

(1)读入初始帧

(2)目标区域初始化

(3)初始化预训练的神经网络模型

(4)计算跟踪目标概率密度模型

(5)计算目标邻域背景直方图

(6)判断视频是否结束

(7)若视频结束，则计算结束，若视频未结束，则读入下一帧，计算候选概率密度模型，再计算目标与候选的背景比率权重，再利用Mean-Shift向量计算出下一候选位置与对应尺度，再进行尺度一致性估计。

若迭代次数大于10，则通过神经网络预测目标位置，若迭代次数不是大于10，则从重复上述过程(6)及过程(6)以下的过程，直至视频结束。

具体步骤如下：

一种基于无人机的自适应尺度估计目标跟踪算法，包括如下步骤：

步骤1

***初始化：在视频第一帧，手动框取跟踪目标，框取的窗口大小作为核窗的宽度h₀，对跟踪目标进行概率密度建模，

其中，C是归一化常数，{x_i}_{i＝1，...，N}是第i帧的目标位置，k(x)是Epanechnikov核轮廓函数，δ是克罗内克函数，δ的作用是判断处于位置x_i的像素值是否属于特征空间中的第u个bin，函数b的作用是将x_i位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来，计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数，

步骤2

步骤21.在后续帧以上一帧目标位置，建立候选目标模型，

其中y表示候选目标的中心位置。

步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计，即衡量两个模型的相似程度，如果不符合收敛条件，则通过计算得到Mean-Shift向量其中，w_i表示权重，

是所选用的核函数，g(x)是其轮廓函数，并将目标候选位置漂移到新的位置，以此为基础开始下一次迭代，直到符合收敛条件为止，以此可以得到目标的位置。

及对应的尺度

如果|log(r)|＞θ_s，其中θ_s＝0.05，进行尺度估计检测，

[～,r_back]＝MS(q,image_t-1,y_t,rh_t-1)

如果|log(R*R_back)|＞θ_c，θ_c＝0.1，h_t＝(1-α-β)h_t-1+αh₀+βRh_t-1，其中，

β＝0.1，γ＝0.3，c₁＝0.1，

否则，h_t＝(1-γ)h_t-1+γRh_t-1，γ＝0.3。

步骤3

如果在限定迭代次数内始终无法满足收敛条件，则在上一帧中目标物体的位置周围采样一定数量，一定范围内坐标、尺度为h_t-1的图像块，输入神经网络模型，取其中具有最高置信度的图像块位置作为预测目标位置，重复步骤22过程，计算新的目标位置及对应尺度，

步骤4

重复步骤2和步骤3直到视频结束。

Mean Shift算法用于跟踪领域，实现简单，速度较快，对目标的非刚性变化、旋转等挑战都具有较好的鲁棒性。Mean-shift算法在应用到目标跟踪上的时候，首先需要在初始帧图像上框选目标模板，框定的窗口大小作为核窗的宽度，然后在目标模板图像中对需要被跟踪的目标进行建模，一般在建模的时候使用颜色直方图作为目标特征，然后选择目标可能移动的区域建立候选模型，同样使用颜色直方图进行建模，得到一系列的候选模板，将目标模板与候选模板进行对比，通过使用某种相似性度量(Bhattacharyya系数)来比较二者之间的相似性，选择相似性最大的候选模板，得到此次迭代的Mean-shift向量，并将目标的位置通过该向量转移到候选模板的位置，此为基础开始下一次迭代，直到符合某种收敛条件为止。由于Mean-shift算法在特定的核函数模型下是具有收敛性的。因此从初始顿开始，图像中心点通过不断地迭代，最终一定会收敛到目标的真实位置从而达到跟踪的目的。

本实施方式中，(1)首先在第一帧框取跟踪目标并初始化确定跟踪目标的位置坐标和尺度大小，对目标进行概率密度建模，并以此更新已在数据集上预训练过的神经网络模型参数，(2)然后在后续帧以上一帧跟踪目标中心位置建立候选目标的概率密度模型，通过计算跟踪目标与候选目标的背景权重比，如果不符合收敛条件，则通过计算得到Mean-Shift向量，将候选模板的中心漂移至新的位置。(3)重复步骤(2)，在满足收敛条件之前持续进行漂移，直到搜寻到目标的真实位置,得到目标的位置和对应的窗宽,并对尺度变化进行一致性验证。(4)如果重复迭代超过一定次数，则在上一帧目标的位置周围一定范围采样大量图块，并输入神经网络模型，取其中最高置信度的图像块位置作为候选的预测目标位置，再从这个位置进行漂移得到目标位置。

与相关技术相比，本发明一种基于无人机的自适应尺度估计目标跟踪算法，适用于无人机搭载，计算资源受限的场景，这种算法能自适应核宽大小，并且在快速运动导致跟丢时，通过预测位置重新跟踪。能降低背景因素，目标快速移动对跟踪造成的影响，从而提升跟踪的鲁棒性。

以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (2)

1.一种基于无人机的自适应尺度估计目标跟踪方法，其特征在于，包括如下步骤：

步骤1

***初始化：在视频第一帧，框取跟踪目标，框取的窗口大小作为核窗的宽度h₀，对跟踪目标进行概率密度建模，

其中，C是归一化常数，{x_i}_{i-1，...，N}是第i帧的目标位置，k(x)是Epanechnikov核轮廓函数，δ是克罗内克函数，δ的作用是判断处于位置x_i的像素值是否属于特征空间中的第u个bin，函数b的作用是将x_i位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来，计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数，

步骤2

步骤21.在后续帧以上一帧目标位置，建立候选目标模型，

其中y表示候选目标的中心位置；

步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计，即衡量两个模型的相似程度，如果不符合收敛条件，

则通过计算得到Mean-Shift向量其中，w_i表示权重，

是所选用的核函数，g(x)是其轮廓函数，并将目标候选位置漂移到新的位置，以此为基础开始下一次迭代，直到符合收敛条件为止，以此可以得到目标的位置；

及对应的尺度

如果|log(r)|＞θ_s，其中θ_s＝0.05，进行尺度估计检测，

[～，r_back]＝MS(q，image_t-1，y_t，rh_t-1)，

如果|log(r*r_back)|＞θ_c，θ_c＝0.1

h_t＝(1-α-β)h_t-1+αh₀+βrh_t-1，其中，

β＝0.1，γ＝0.3，c₁＝01，

否则，h_t＝(1-γ)h_t-1+γrh_t-1，γ＝0.3；

步骤3

如果在限定迭代次数内始终无法满足收敛条件，则在上一帧中目标物体的位置周围采样一定数量，一定范围内坐标、尺度为h_t-1的图像块，输入神经网络模型，取其中具有最高置信度的图像块位置作为预测目标位置，重复步骤22过程，计算新的目标位置及对应尺度，

步骤4

重复步骤2和步骤3直到视频结束。

2.根据权利要求1所述的基于无人机的自适应尺度估计目标跟踪方法，其特征在于，步骤1中，在视频第一帧，手动框取跟踪目标。