CN114627156A - 消费级无人机视频运动目标精准追踪方法 - Google Patents

Abstract

本申请面向无人机运动平台在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：一是提出基于决策感知的关联锁定追踪算法,基于决策感知的追踪框架，通过特征关联选择、特征决策感知、决策感知权值计算，在决策层采用由粗到细进行融合，用多特征描述目标，减少目标由于各种因素所致的形变而导致的追踪漂移；二是解决目标被遮挡后产生的追踪漂移甚至追踪失败，提出基于差异叠加检测的关联锁定追踪方法,通过运动目标快速锁定，基于差异叠加检测的关联锁定目标追踪，三是提出二维目标鲁棒性尺度估算方法；本申请无论是追踪准确率还是成功率都有明显提升，能够更加准确估算出目标尺度，提高追踪精度和性能。

Description

消费级无人机视频运动目标精准追踪方法

技术领域

本申请涉及一种无人机视频运动目标追踪方法，特别涉及一种消费级无人机视频运动目标精准追踪方法，属于无人机视频目标追踪技术领域。

背景技术

目标追踪是通过对摄像机等视觉传感器获取的一系列连续视频图像进行分析,从中获取某一特定目标或多个目标的位置、大小、运动状态等信息，视觉追踪的是在图像序列中,利用初始化标记的目标框来预测目标之后的状态，与常见的计算机视觉问题相比，视觉追踪由于非常有限的正样本和无限的负样本而显得特别。

智能交通、无人车的提出与应用,还有无人机的高速发展等，都极大的推动了目标追踪算法的发展及应用。而在追踪过程中，由于一些外界因素，例如光照变化、拍摄视角变化、目标遮挡等，因此当前追踪中存在的主要挑战有：目标因自身运动或外界因素导致的形变,运动中被其它物体遮挡,场景光照度的变化和目标运动产生的运动模糊等。由于真实世界中物体、场景存在多变性,现有技术还没有一种可靠方法能解决任意场景下的目标追踪。因此,当前研发和应用的热点之一的面向无人机视频监控平台的目标追踪，一方面，目前无人机技术高速发展,无人机的应用也越来越广泛，逐渐渗透到生产生活的各种场景，基于此平台的目标追踪有着迫切的市场需求；另一方面，在无人机运动时，目标容易发生形变、并且在短时间内发生剧烈的尺度变化，这也是目标追踪的难点，使得此应用背景下的追踪算法可以推广到其它应用场景中。

近些年计算机性能的不断提升,为视觉追踪领域的发展提供了基础平台支持。新的方法不断出现及其它学科方法的交叉引用，促使视觉追踪不断向前发展，涌现出许多研发成果。

现有技术的目标外观模型：包括目标外观描述和模型学习方法，其中，外观描述解决如何设计一个鲁棒性强、具有区分度的描述子的问题，而模型学习方法则解决采用何种方式从已有的样本中学习目标的表观模型。图像处理中提取特征来描述一幅图像，特征包括颜色特征、强度信息、纹理特性、轮廓信息、边缘梯度等，一些较复杂的有尺度不变特征。从图像的局部区域提取特征，反映图像强度、颜色等属性变化，其中有些特征可克服目标受光照变化、姿态旋转等不良影响。在基于关联滤波器框架下，融合多种卷积层仍旧是一个开放式的问题，基于关联滤波器融合多个卷积层的追踪采用的参数过多，容易造成过拟合现象。

对于目标外观模型的设计，一种是只关注目标本身，另一种是对目标和背景都进行建模分析，由于在一段视频中，追踪对象的外观可能有很大差异，所以只根据第一帧图像估算模型，并且采用这个单一的模型来定位其余图像中的目标是不可取不可靠的。一般来说，好的追踪算法都会利用图像中有用信息来自适应更新模型,比如利用每帧的追踪结果作为训练数据来更新模型。在线追踪中，常常将当前追踪结果作为正样本(有时也扩展为非常邻近的位置为正样本),将该位置的周围区域作为负样本,然后自适应外观建模。模型学习方法总的来说有两大类，生成式模型和判别式模型。

现有技术的目标运动模型：用于估算目标可能出现的位置，它是以物体在视野中连续运动，并且速度不发生突变为基础，根据当前帧以及之前图像帧目标的位置信息，得到目标运动轨迹，从而估算目标在下一帧可能出现的位置信息。常见的算法有：光流法、卡尔曼锁定法、粒子锁定、中值漂移法。

现有技术的目标模型更新：通过对目标表观建模,将目标与背景区分开来，通过对目标的运动估算,得到目标在下一帧图像的位置，而模型更新与算法是否能对应目标形变、遮挡等问题息息关联，一种比较直接的办法是进行模板替换，采用匹配的思想，得到当前图像的目标之后，将追踪结果作为观测样本对现有的模型进行更新，采用该方法需要对模板的可靠性进行评估，否则一旦出现目标被遮挡的情况，追踪就会出现漂移；基于增量子空间的学习方法用最新得到的追踪结果构建目标模型，基于模板替换和增量子空间学习的模板更新方法都是基于产生式模型,而判别式模型将目标模型更新看作是一个分类问题,核心就是设计分类器。这些模型更新方法都面临着相同的问题,样本可靠性难以确定，不可靠的训练样本会把背景噪声计算到目标外观模型中，从而造成污染，使模型退化。

综上，现有技术的无人机视频目标追踪仍然存在问题，本申请的难点和待解决的问题主要集中在以下方面：

第一，消费级无人机目标追踪过程中，存在一些外界因素使追踪难度加大，包括光照变化、目标形变、运动模糊、遮挡等，由于真实世界中物体、场景存在多变性,现有技术还没有一种可靠方法能解决任意场景下的目标追踪，无人机运动平台鲁棒性追踪应用场景中难点问题突出；与传统云台获取视频相比,消费级无人机获取的视频中，目标更容易在短时间内发生较大的形变和尺度变化，这无疑增加了追踪难度，单一的特征对复杂的环境都有局限性，追踪效果不理想；追踪过程中有限的关于目标的先验信息，还有追踪模型必须能对物体的外观变化具备鲁棒性，前者容易造成模型过于复杂，在追求训练误差小的同时使得测试误差过大；后者由于追踪过程中目标并非一成不变，光照、遮挡、运动模糊、旋转等因素都使目标发生了变化，针对追踪过程中的目标形变，现有技术缺少有效的解决方法；

第二，现有技术采用循环矩阵实现密集采样，但在面向消费级无人机追踪环境中，目标可能会发生形变，甚至出现运动模糊，导致在构建循环矩阵后，追踪出现误差，从而导致漂移；消费级无人机场景的不确定性和复杂性使目标追踪面临诸多挑战，这些在追踪过程中可能遇到的难题不利于形成稳健可靠的视觉追踪，其中遮挡问题是无人机目标追踪中的难点问题，一是产生遮挡的原因复杂多样，不具备先验知识，遮挡时间和程度都不可预料，部分遮挡和全部遮挡对目标外观模型的影响也不相同，全部遮挡则会严重污染目标外观，目标一旦被遮挡，直接影响目标外观和运动估算模型更新；二是难以对遮挡本身进行鉴别，人眼很容易判断目标被遮挡，但这种情况对机器学习是一大难题，如果无法识别被遮挡区域,一旦将被遮挡的样本运用到样本更新中,目标外观模型就会受影响退化甚至被污染,进而可能导致追踪漂移,如何降低遮挡对样本更新乃至整个追踪过程的影响是亟待解决的难题。

第三，现有技术采用循环矩阵很好的解决了计算量大的问题，利用快速傅里叶变换使得训练和检测计算量显著减少，特别适合追踪，但是也存在一些缺点：一是将输入图像做循环移位,在训练集上采用一个循环的滑动窗来训练分类器，然而正因为这种周期性的假设，训练图像会有周期重叠，由于样本边缘的不连续性，循环移位之后产生明显的分割线，这种分割线在频域上表现为高频噪声，对频域处理造成不利影响；二是在滤波器训练阶段的目标响应与观测到的图像独立,当在快速运动、遮挡、运动模糊等场景时,循环运动和目标的实际平移并没有一一对应；用来训练追踪滤波器的样本并非人工标注,而是采用上一帧的追踪结果，基于算法本身的标记，这些因素都无意中将已存在偏差的图像当作正样本进行学习训练,追踪器的目标检测部分不准确，对下一帧图像的目标位置信息造成不利影响，影响滤波器的参数更新，最后追踪存在漂移的潜在问题，当目标旋转或变形时，易出现追踪结果不准确的情形；当目标出现半遮挡甚至全部遮挡时，目标的外观模型丧失作用，直接导致追踪失败；运动模糊导致目标失真的情形，严重破坏训练样本，使目标的外观模型失去区分判别能力，追踪准确率降低。

第四，现有技术判断目标位置信息采用的策略是：滤波器响应值最大处所对应的位置就是目标中心的所在地，但这种样本更新方式有以下两个缺点：一是无论当前图像是否能准确追踪，其追踪结果都会累计到下一帧图像，对往后的追踪效果造成影响；循环运动与目标的实际平移没有一一对应，循环运动只是图像中实际平移的近似值，在真实的追踪场景中尤其有快递运动、遮挡等就变得不可靠，采用单一中心高斯作为目标响应阻碍了追踪器的性能，并导致不可恢复的漂移。二是现有技术追踪算法在样本更新都采用连续、确定权重的样本更新，即每一帧得到的结果都会影响后来的目标，样本更新权重都会在初始化中直接确定,那么每一帧图像对追踪结果的影响也已确定，然而,在实际追踪场景中,每一帧图像在样本训练产生的作用不一样，特别是遇到目标被遮挡的情况，此时提取到的目标外观特征与原始目标相差较大，基本是目标背景，一旦被错认定是目标并被加入到样本训练当中,将会污染训练样本。

发明内容

本申请以面向无人机运动平台的视觉追踪为场景,在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：一是提出基于决策感知的关联锁定追踪算法,基于决策感知的追踪框架，通过特征关联选择、特征决策感知、决策感知权值计算，在决策层采用由粗到细进行融合，用多特征描述目标，减少目标由于各种因素所致的形变而导致的追踪漂移；二是解决目标被遮挡后产生的追踪漂移甚至追踪失败，提出基于差异叠加检测的关联锁定追踪方法,通过运动目标快速锁定，基于差异叠加检测的关联锁定目标追踪，三是提出二维目标鲁棒性尺度估算方法，本申请的追踪效果无论是追踪准确率还是成功率都有明显提升，采用二维尺度估算能够更加准确估算出目标的尺度，进而提高整个追踪精度，使算法具备更好的追踪性能。

为实现以上技术特征优势，本申请所采用的技术方案如下：

消费级无人机视频运动目标精准追踪方法，在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：第一，提出基于决策感知的关联锁定追踪算法,包括：一是基于决策感知的追踪框架；二是特征关联选择，三是特征决策感知，四是决策感知权值计算；第二，提出基于差异叠加检测的关联锁定追踪方法,包括：一是运动目标快速锁定，二是基于差异叠加检测的关联锁定目标追踪；第三，提出二维目标鲁棒性尺度估算方法，包括：一是基于透视投影模型的尺度估算，二是基于关联锁定的二维尺度估算追踪框架，三是二维尺度预测评估策略，四是自适应搜寻窗口尺度选择，五是尺度预测估算方法流程；

(1)针对追踪中出现的目标形变导致的漂移，采用不同的特征分别进行追踪，在决策层进行融合，得到最终结果，其中一种是构建两个关联滤波器，分别采用具备目标结构信息的HOG特征和具备目标颜色信息的CNs，计算出追踪结果后,在决策层利用滤波器的最大响应值决定各自对最终结果的权重，还有一种是利用关联锁定以及基于颜色直方图的追踪框架,然后同样融合两者的结果得到最终追踪结果；

(2)针对追踪中出现的目标遮挡问题，提出一种基于差异叠加检测的关联锁定追踪方法，首先将岭回归中的结构风险函数换为正则化函数，加入分量更好应对遮挡问题，然后在搜寻框内提取差异叠加特征并与原始样本进行叠加，增大目标与周围背景之间的差别，同时排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法，在模型更新上减少漂移，采用非连续的更新方式，应对追踪过程中的目标遮挡问题；

(3)针对追踪过程中出现的目标尺度变化问题，提出一种二维目标鲁棒性尺度估算方法，首先利用传感器数据和拍摄相机的内部参数获取目标的粗略尺度估算,设计一个二维的关联滤波器用来估算目标尺度，将目标的长和宽两个维度分别估算，当目标发生形变和尺度变换的同时准确估算出目标在视野中的真实大小，此外，提出一种自适应搜寻窗口方法，根据目标在相邻两帧的位移改变搜寻框的大小，避免目标运动过快而运动到搜寻窗口之外；在尺度目标滤波器上对样本进行降采样，降低计算数据量。

优选地，基于决策感知的追踪框架：采用尽可能简单的模型和少量的参数达到最优追踪效果,设在第t幅图像I_t上,追踪问题视为从备选区域集合S_t中找到最可能(得分最高)的区域p_t：

其中，T指的是将图像进行某种变换，f(T(I_t，p)；θ)表示图像I_t中矩形框p在模型参数为θ下的得分，模型参数满足最小化损失函数：

其中,损失函数L(θ；χ_t)与之前图像和图像中目标的位置相关，

为整个模型参数空间，R(θ)和λ是防止模型太复杂而导致过拟合的正则化因子，实现有效追踪转化成选择函数f和L的问题；

目标初始化时得到目标的位置和尺度信息，在备选图像序列中找到与目标最相似的区域就是追踪目标，判断两个信号是否关联就是度量两者之间的相似度，在计算备选区域样本与目标之间的相似度是将两者作关联运算，损失函数选取计算两个向量的距离，追踪算法利用包含目标的正样本和全是背景的负样本,采用岭回归构建一个回归器来训练目标的外观模型。

优选地，特征关联选择：基于互补性特征，对运动目标进行多特征决策感知，并根据每种特征对于追踪结果的影响不同,设计一个框架进行融合来获取更精准稳定的追踪效果；

其中，HOG特征选择采用将样本区域划分成若干子区域，然后在每个区域提取32维特征，除去最后一维全部是0不考虑之外，剩下31维特征，纹理特征采用快速各向异性高斯滤波器的RFS滤波器组,该特征一共8个维度。

优选地，特征决策感知：采用不同的输入样本，训练两个滤波器，其中一个输入的图像为目标框及周围一圈背景，包含空间上下文信息，即大小为window_sz，为更好差异叠加区分目标和背景，选取HOG特征，此外为消除边界影响，对提取出的特征加入余弦窗函数处理；另一个只包含目标，输入的图像比本身的目标尺寸小,即大小为sz，为使追踪器在目标发生较大形变时，仍具备较好的鲁棒性，采用CNs特征；前者加入背景信息，扩大目标的搜寻区域，后者只针对目标，提高准确性；两个滤波器在线更新模板，追踪结果更加准确，采用多种特征决策感知目标，更多的保留目标信息并通过多手段进行目标追踪，更好应对追踪过程中的突发状况。

优选地，决策感知权值计算：采用多特征感知的加性模型，在加性融合策略下，将n种决策感知之后的最终结果，加性融合对噪声不敏感，增加追踪算法的鲁棒性，根据滤波器响应值与目标位置,得出最后的目标位置为：

其中，res1与res2为两个滤波器的最大响应值，p₁与p₂分别为最大响应值对应的目标的位置；

采用HOG和CNs决策感知的算法流程：

输入：图像序列

目标初始位置p₀；

输出：目标在每帧图像的位置信息

流程一：初始化，t＝1；

流程二：采用I₀和p₀初始化追踪器Track1、Track2；

流程三：for t＝1：T

流程四：根据上一帧输出p_t-1计算当前搜寻子窗口；

流程五：对于追踪器Track1，采用HOG特征，利用目标结构信息，搜寻窗口包含空间上下文信息，并采用汉宁窗，进行窗口处理；

流程六：对于追踪器Track2，采用CNs特征，利用目标的全局颜色信息，搜寻窗口为目标本身，不做窗口处理；

流程七：由追踪模型得到两个追踪器的响应图；

流程八：在响应图中找到最大响应值，该值对应目标的最可能所在的位置；

流程九：由多特征感知的加性模型进行融合，得到目标的最终追踪结果p₀；

输出：目标在每帧图像的位置信息

优选地，运动目标快速锁定：基于运动目标快速锁定的追踪算法采用滤波器W与备选区域作关联，估算出目标位置，其中，将包含目标且尺寸大于目标的图像块作为搜寻窗口，然后对搜寻窗口进行循环移位，获取不同的备选窗口，通过循环运动来近似目标的实际位移，最后构建循环结构的数据矩阵，得到训练样本；

假设核矩阵K^z由匹配模板和搜寻窗口样本进行核关联运算所得,其中匹配模板X和检测样本Z为向量x和向量z移位得到的循环矩阵，K^z也是一个循环矩阵：

K^z＝C(k^xz) 式4

其中，k^xz为向量x和向量z的核关联运算,在最小二乘中引入核函数后，回归函数为f(z)：

f(z)＝(K^z)α 式5

α为变换系数，两边进行DFT运算可得：

其中，z是预测包括目标的搜寻窗口图像块，从中检测目标的位置，x是图像中学习到的目标模型，等式右边是k乘以变换系数α的线性组合，⊙为向量中对应的元素逐个相乘，*为共辄，对式6进行DFT逆运算，得到滤波器的响应矩阵，矩阵中最大值所对应的就是目标位置，模型更新如下：

其中，η为学习因子，

和

分别为当前帧t和上一帧t-1的系数α的傅里叶变换，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换。

优选地，基于差异叠加检测的关联锁定目标追踪：在滤波器的样本训练和滤波器参数更新两部分进一步改进；

1.差异叠加检测

加入正则化参数防止模型过拟合，减小测试误差小，采用稀疏参数有效应对遮挡，在训练样本阶段，将差异叠加区域考虑进去，优先处理容易引起注意的部分，便于当目标被遮挡时提高追踪性能，将关注点放在背景上，去除输入信号的统计冗余，去除目标的冗余信息得到图像的显著目标，采用图像的log谱,一副图像的log振幅谱减去平均log振幅谱就是图像的差异叠加部分.

考虑图像的差异叠加信息的同时保留目标原有信息，在样本训练的过程中，Ω(u)＝u+S_BB(t)，其中，u为输入图像,S_BB(t)为显著性区域；

除去图像的冗余信息后，进行更深的差异叠加检测，基于对场景的瞬间意识有布尔映射表示，根据特征空间的先验分布和随机临界值，利用输入图像的特征图生成一系列布尔图：

B_i＝THRESH(φ(I)，θ)，

φ～p_φ，θ～p_θ 式8

其中，函数THRESH(*,θ)通过θ将图像二值化，φ(I)表示图像I的特征图，并归一化到0-255之间，p_φ与p_θ表示先验分布，布尔图对视觉注意的影响由关注图A(B)表示：

其中，I为输入图像，

为平均关注图，用来做后续处理得到一个最终的差异叠加图S；

2.目标样本更新

在训练阶段将响应值考虑到样本更新的权重中，利用到追踪算法中检测的结果，而又不是简单采取二值策略，首先利用峰值旁瓣比来确定追踪是否有效,然后直接根据追踪结果所对应的最大响应值来确定当前追踪结果对下一帧追踪过程的影响，假设从第二帧图像开始,每幅图像的最大响应值都存储在response_all中，对于样本的更新为：

其中,η为学习因子，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换，将检测结果考虑到样本更新当中,当目标被污染时,所占权重减小，对后续目标的影响也随之减小；

3.追踪模型更新

模型更新时采用稀疏的更新策略，模型每隔Ns帧更新一次，样本仍旧是每一帧都要更新，模型更新频率降低，节约时间，避免模型的漂移问题，本申请最后将Ns取值为6。

优选地，基于关联锁定的二维尺度估算追踪框架：设计两个一致的关联滤波器，定义为位置目标滤波器和尺度目标滤波器，分别实现目标的追踪和尺度变换，前者用于当前帧目标的定位，后者用于当前帧目标的尺度估算，两个滤波器是相对独立的，选择不同的特征种类和特征计算方式来训练和测试，采用二维滤波器，认定目标的长和宽并不是发生相同的变化，即使目标发生大的形变，仍能准确估算出目标尺度。

加入二维目标鲁棒性尺度估算的追踪器的整体框架分为两部分：位置预测和尺度大小估算，具体步骤：在目标周围的搜寻区域中通过密集采样得到训练样本并进行特征提取，对样本进行傅里叶变换，在频域利用最小二乘回归训练滤波器；在线学习得到一个位置核关联滤波器，然后将滤波器的输出值经过离散反傅里叶变换映射到时域中，找到响应图中的最大点的坐标，该点对应样本中目标的中心位置；然后，基于关联滤波器的尺度预测过程和预测目标的位置过程类似，在得到目标的位置之后，根据预设的尺度值，在目标周围进行下采样和上采样,得到一系列不同尺度的图像块；再将这些图像块进行双线性插值，将图像块的大小变为和所设计的尺度模型一致，得到训练样本；接下来进行特征提取，得到图像块的HOG特征之后，训练一个最小二乘分类器，获取一个尺度目标追踪器；另外，在得到图像块的特征之后，对特征利用汉明窗进行加窗处理，以抑制采用循环矩阵引起的图像边界在频域造成的高频噪声；

将尺度目标追踪器运用到一个新的图像上时，计算在尺度空间上的得分，即滤波器的响应值，尺度目标滤波器响应图中的最大值所在位置对于目标的最终尺度；

构建位置目标滤波器得到待追踪目标的位置,构建尺度目标滤波器并利用位置目标滤波器得到的目标中心位置得的目标尺度,并将最后的目标信息传递给下一帧图像的位置目标滤波器,两者一起运作,在线更新参数，提高整个追踪器的性能。

优选地，二维尺度预测评估策略：通过学习一个二维尺度关联滤波器来检测目标的尺度变化,依据目标的尺度变化去合理限定目标搜寻区域；

目标尺度估算最重要的一环是给出目标具体的尺度变换备选值：在尺度预测评估过程中，对于当前图像中，目标的大小为P×R，尺度目标滤波器的大小为S×S，对于每一个

在目标的长和宽两个维度分别提取大小为

的图像块J_n×n，其中，a为滤波器参数因子，对于尺度变化较大的目标,备选尺度尽量相差大一点，反之，备选尺度应该变化小一点。

自适应搜寻窗口尺度选择：根据相邻两帧目标位置的偏移量来约束搜寻框的大小，基于关联锁定框架的追踪器，在进行关联运算的时候，滤波器的尺度最开始在初始化时已经确定，根据相邻两帧目标位置的偏移量来改变搜寻区域的大小，比较相邻两帧目标中心的偏移量自适应选择搜寻窗口的大小，预先设置一个临界值，当偏移量大于该临界值时，加大搜寻窗口。

优选地，尺度预测估算方法流程：在加入尺度估算之后的整个追踪算法，首先利用位置目标滤波器得到位置信息，然后再运动尺度目标滤波器得到目标的当前尺度变化，算法中涉及到的核函数采用高斯核函数；

在尺度估算模块采用HOG特征，首先对图像进行特征提取，得到图像的d维特征的训练样本f^l，其中l＝{l,2,…,d}，每个特征维度分别对应着一个关联滤波器h^l,最小化损失函数：

其中，g为对应训练样本f所设计的滤波器输出，λ≥0为正则化参数，控制结构误差，对式子求解得到滤波器为：

加入正则化因子,对滤波器进行l₂约束，使得f没有非零项，缓解滤波器在频域中出现零的问题，并且避免分母为零的现象，在线解决一个d×d维的线性方程组的更新问题,为获取一个具备鲁棒性的逼近,更新关联滤波器H^l _t的分子A^l _t和分母B_t：

其中，η为学习率，最终滤波器的输出，即关联得分：

关联性响应图中最大值所对应的尺度变换就是目标当前的尺度大小；

在进行目标备选区域提取特征时,分别对目标的长和宽进行尺度变化得到备选区域,准确估算目标的尺度变化但增大了计算量,采用主分量特征转换降维，求出高维数据的协方差矩阵的特征值和特征向量,特征向量就是选取的基向量，特征向量对应的特征值代表原数据在向量的投影,特征值越大表示对应的特征向量保留的原数据的信息越多，去除数据冗余信息，减少计算的数据量；

此外，在尺度目标滤波器上，关注的是目标的大小，为减少计算量并保留目标的整体信息，在计算目标特征之前就对目标进行降采样到一定大小，而不需要对整个目标进行处理。

与现有技术相比，上述技术方案具有以下创新点和优势：

第一，基于关联滤波器在追踪速度上显示出优越的性能，但就追踪过程中存在的主要挑战：形变产生的剧烈的外观变化、遮挡、尺度变化、场景光照变化等来说，还存在相当多的难点,本申请以面向无人机运动平台的视觉追踪为场景,在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：一是提出基于决策感知的关联锁定追踪算法,基于决策感知的追踪框架，通过特征关联选择、特征决策感知、决策感知权值计算，在决策层采用由粗到细进行融合，用多特征描述目标，减少目标由于各种因素所致的形变而导致的追踪漂移；二是解决目标被遮挡后产生的追踪漂移甚至追踪失败，提出基于差异叠加检测的关联锁定追踪方法,通过运动目标快速锁定，基于差异叠加检测的关联锁定目标追踪，三是提出二维目标鲁棒性尺度估算方法，本申请的追踪效果无论是追踪准确率还是成功率都有明显提升，采用二维尺度估算能够更加准确估算出目标的尺度，进而提高整个追踪精度，使算法具备更好的追踪性能；

第二，针对追踪中出现的目标形变导致的漂移，本申请决策感知将多种特征进行联合，多方面描述目标，最后采用不同的特征分别进行追踪，在决策层进行融合，得到最终结果，其中一种是构建两个关联滤波器，分别采用具备目标结构信息的HOG特征和具备目标颜色信息的CNs，计算出追踪结果后,在决策层利用滤波器的最大响应值决定各自对最终结果的权重，还有一种是利用关联锁定以及基于颜色直方图的追踪框架,然后同样融合两者的结果得到最终追踪结果；在目标形变的情形下，在决策层融合比在特征层融合有更好的追踪性能，采用多特征感知的关联锁定进行目标追踪，解决了消费级无人机视频中目标短时间内较大形变和尺度变化带来的一系列问题，具有重大意义和巨大实用价值；

第三，针对追踪中出现的目标遮挡问题，本申请从目标的运动估算、样本更新方面改进遮挡情况下的目标追踪,并提出基于差异叠加的核关联滤波器追踪算法，首先将岭回归中的结构风险函数换为正则化函数，加入l₁分量更好应对遮挡问题，然后在搜寻框内提取差异叠加特征并与原始样本进行叠加，增大目标与周围背景之间的差别，同时在排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法，在模型更新上减少漂移，采用非连续的更新方式，应对追踪过程中的目标遮挡问题；本申请同时在滤波器的样本训练和滤波器参数更新两部分进一步改进；目前基于DCF的追踪算法,在追求追踪效果的同时,牺牲了追踪速度和实时性，本申请就模型更新这一环节，对追踪算法进行改进，提高速度；

第四，针对追踪过程中出现的目标尺度变化问题，本申请提出一种二维目标鲁棒性尺度估算方法，首先利用传感器数据和拍摄相机的内部参数获取目标的粗略尺度估算,设计一个二维的关联滤波器用来估算目标尺度，将目标的长和宽两个维度分别估算，当目标发生形变和尺度变换的同时准确估算出目标在视野中的真实大小，此外，提出一种自适应搜寻窗口方法，根据目标在相邻两帧的位移改变搜寻框的大小，避免目标运动过快而运动到搜寻窗口之外；为提高计算速度，在尺度目标滤波器上对样本进行降采样，降低计算数据量；通过在目标形变、尺度变化、遮挡、消失等追踪过程中可能发生的状况实验结果表明，本申请具有更好的追踪准确率和重叠率,并且当目标被遮挡后也体现了出优异的追踪性能。

附图说明

图1是基于透视投影模型的尺度估算的透视成像原理图。

图2是基于透视投影模型的尺度估算的中心成像原理图。

图3是基于关联锁定的二维尺度估算追踪框架图。

图4是boat1测试视频Groundtruth和不同跟踪效果对比图。

图5是boat2测试视频Groundtruth和不同跟踪效果对比图。

图6是boat3测试视频Groundtruth和不同跟踪效果对比图。

图7是car4测试视频Groundtruth和不同跟踪效果对比图。

图8是wakeboard5测试视频Groundtruth和不同跟踪效果对比图。

具体实施方法

为了使本申请的目的、特征优势和创新点能够更为明显易懂和便于实施,下面结合附图对具体实施方式做详细的说明。本领域技术人员可以在不违背本申请内涵时做类似推广，因此本申请不受下面公开的具体实施方式的限制。

消费级无人机的兴起与使用给目标追踪带来了新的应用场景，然而在追踪过程中，往往存在一些外界因素使追踪难度加大，包括光照变化、目标形变、运动模糊、遮挡等。本申请针对消费级无人机运动平台的鲁棒性追踪应用场景中的难点问题,在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：第一，提出基于决策感知的关联锁定追踪算法,包括：一是基于决策感知的追踪框架，二是特征关联选择，三是特征决策感知，四是决策感知权值计算，在决策层采用由粗到细进行融合，用多特征描述目标，减少目标由于各种因素所致的形变而导致的追踪漂移；二是解决目标被遮挡后产生的追踪漂移甚至追踪失败，提出基于差异叠加检测的关联锁定追踪方法,包括：一是运动目标快速锁定，二是基于差异叠加检测的关联锁定目标追踪，三是提出二维目标鲁棒性尺度估算方法，包括：一是基于透视投影模型的尺度估算，二是基于关联锁定的二维尺度估算追踪框架，三是二维尺度预测评估策略，四是自适应搜寻窗口尺度选择，五是尺度预测估算方法流程；

(1)针对追踪中出现的目标形变导致的漂移，在特征层进行决策感知，将多种特征进行串联，多方面描述目标。最后采用不同的特征分别进行追踪，在决策层进行融合，得到最终结果，其中一种是构建两个关联滤波器，分别采用具备目标结构信息的HOG特征和具备目标颜色信息的CNs，计算出追踪结果后,在决策层利用滤波器的最大响应值决定各自对最终结果的权重，还有一种是利用关联锁定以及基于颜色直方图的追踪框架,然后同样融合两者的结果得到最终追踪结果；在目标形变的情形下，在决策层融合比在特征层融合有更好的追踪性能。

(2)针对追踪中出现的目标遮挡问题，提出一种基于差异叠加检测的关联锁定追踪方法，首先将岭回归中的结构风险函数换为正则化函数，加入l₁分量更好应对遮挡问题，然后在搜寻框内提取差异叠加特征并与原始样本进行叠加，增大目标与周围背景之间的差别，同时在排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法，在模型更新上减少漂移，采用非连续的更新方式，应对追踪过程中的目标遮挡问题。

(3)针对追踪过程中出现的目标尺度变化问题，提出一种二维目标鲁棒性尺度估算方法，首先利用传感器数据和拍摄相机的内部参数获取目标的粗略尺度估算,设计一个二维的关联滤波器用来估算目标尺度，将目标的长和宽两个维度分别估算，当目标发生形变和尺度变换的同时准确估算出目标在视野中的真实大小，此外，提出一种自适应搜寻窗口方法，根据目标在相邻两帧的位移改变搜寻框的大小，避免目标运动过快而运动到搜寻窗口之外；为提高计算速度，在尺度目标滤波器上对样本进行降采样，降低计算数据量；实验表明，本申请方法具有更好的追踪准确率和重叠率,并且当目标被遮挡后也体现了出优异的追踪性能。

一、基于决策感知的关联锁定目标追踪

与传统云台获取视频相比,消费级无人机获取的视频中，目标更容易在短时间内发生较大的形变和尺度变化，这无疑增加了追踪难度。针对追踪过程中的目标形变，采用多特征感知的关联锁定进行目标追踪。

(一)基于决策感知的追踪框架

追踪过程中的难点在于有限的关于目标的先验信息，还有追踪模型必须能对物体的外观变化具备鲁棒性。前者容易造成模型过于复杂，在追求训练误差小的同时使得测试误差过大；后者由于追踪过程中目标并非一成不变，光照、遮挡、运动模糊、旋转等因素都使目标发生了变化。本申请采用尽可能简单的模型和少量的参数达到最优追踪效果,设在第t幅图像I_t上,追踪问题视为从备选区域集合S_t中找到最可能(得分最高)的区域p_t：

其中，T指的是将图像进行某种变换，f(T(I_t，p)；θ)表示图像I_t中矩形框p在模型参数为θ下的得分，模型参数满足最小化损失函数：

其中,损失函数L(θ；χ_t)与之前图像和图像中目标的位置相关，

为整个模型参数空间，R(θ)和λ是防止模型太复杂而导致过拟合的正则化因子，实现有效追踪转化成选择函数f和L的问题。

目标初始化时得到目标的位置和尺度信息，在备选图像序列中找到与目标最相似的区域就是追踪目标，判断两个信号是否关联就是度量两者之间的相似度,在计算备选区域样本与目标之间的相似度是将两者作关联运算，损失函数选取计算两个向量的距离，追踪算法利用包含目标的正样本和全是背景的负样本,采用岭回归构建一个回归器来训练目标的外观模型。

(二)特征关联选择

无论是HOG图、颜色直方图、颜色属性还是纹理特征，在目标追踪上都有一定效果，但单一的特征对复杂的环境都有局限性，追踪效果不理想。HOG特征适合描述刚性物体，不足应对目标发生较大形变的情况；只采用颜色特征，不能显著区分目标与背景颜色相近的情况，当发生光照变化时也会使追踪效果大打折扣。为应对追踪过程中，目标发生较大的形变，导致追踪可能出现漂移的现象，本申请基于互补性特征，对运动目标进行多特征决策感知，并根据每种特征对于追踪结果的影响不同,设计一个合理的框架进行融合来获取更精准稳定的追踪效果。

其中，HOG特征选择采用将样本区域划分成若干子区域，然后在每个区域提取32维特征，除去最后一维全部是0不考虑之外，剩下31维特征，纹理特征采用快速各向异性高斯滤波器的RFS滤波器组,该特征一共8个维度。

(三)特征决策感知

采用不同的输入样本，训练两个滤波器，其中一个输入的图像为目标框及周围一圈背景，包含空间上下文信息，即大小为window_sz，为更好差异叠加区分目标和背景，选取HOG特征，此外为消除边界影响，对提取出的特征加入余弦窗函数处理；另一个只包含目标，输入的图像比本身的目标尺寸小,即大小为sz，为使追踪器在目标发生较大形变时，仍具备较好的鲁棒性，采用CNs特征；前者加入背景信息，扩大目标的搜寻区域，后者只针对目标，提高准确性；两个滤波器在线更新模板，追踪结果更加准确。这种策略，采用多种特征决策感知目标，更多的保留目标的信息并且通过多手段进行目标追踪，更好应对追踪过程中的突发状况。

(四)决策感知权值计算

采用多特征感知的加性模型，在加性融合策略下，将n种决策感知之后的最终结果，加性融合对噪声不敏感，增加追踪算法的鲁棒性，根据滤波器响应值与目标位置,得出最后的目标位置为：

其中，res1与res2为两个滤波器的最大响应值，p₁与p₂分别为最大响应值对应的目标的位置。

采用HOG和CNs决策感知的算法流程：

输入：图像序列

目标初始位置p₀；

输出：目标在每帧图像的位置信息

流程一：初始化，t＝1；

流程二：采用I₀和p₀初始化追踪器Track1、Track2；

流程三：for t＝1：T

流程四：根据上一帧输出p_t-1计算当前搜寻子窗口；

流程五：对于追踪器Track1，采用HOG特征，利用目标结构信息，搜寻窗口包含空间上下文信息，并采用汉宁窗，进行窗口处理；

流程六：对于追踪器Track2，采用CNs特征，利用目标的全局颜色信息，搜寻窗口为目标本身，不做窗口处理；

流程七：由追踪模型得到两个追踪器的响应图；

流程八：在响应图中找到最大响应值，该值对应目标的最可能所在的位置；

流程九：由多特征感知的加性模型进行融合，得到目标的最终追踪结果p₀；

输出：目标在每帧图像的位置信息

二、基于差异叠加检测的关联锁定追踪

以关联滤波器为基本框架的追踪算法，采用循环矩阵实现密集采样，将样本循环运动构建循环数据矩阵,基于循环矩阵的性质，在频域里采用离散傅利叶变化进行快速计算,大幅提高计算效率，但在面向消费级无人机追踪环境中，目标可能会发生形变，甚至出现运动模糊，导致在构建循环矩阵后，追踪出现误差，从而导致漂移。

消费级无人机场景的不确定性和复杂性使目标追踪面临诸多挑战，比如尺度变化、遮挡、外观变化、运动模糊、光照影响等。这些在追踪过程中可能遇到的难题不利于形成稳健可靠的视觉追踪,其中遮挡问题是无人机目标追踪中的难点问题，主要原因：一是产生遮挡的原因复杂多样，不具备先验知识，遮挡时间和程度都不可预料，部分遮挡和全部遮挡对目标外观模型的影响也不相同，全部遮挡则会严重污染目标外观，这种偶然性使得目标一旦被遮挡，直接影响目标外观和运动估算模型更新；二是难以对遮挡本身进行鉴别，人眼很容易判断目标被遮挡，但这种情况对机器学习则是一大难题，如果无法识别被遮挡区域,一旦将被遮挡的样本运用到样本更新中,目标外观模型就会受影响退化甚至被污染,进而可能导致追踪漂移。因此,如何降低遮挡对样本更新乃至整个追踪过程的影响是亟待解决的难题。

以下分析基于决策感知的追踪框架中更新阶段存在的问题，从目标的运动估算、样本更新方面改进遮挡情况下的目标追踪,并提出基于差异叠加的核关联滤波器追踪算法。

(一)运动目标快速锁定

基于运动目标快速锁定的追踪算法采用滤波器W与备选区域作关联，估算出目标位置，其中，将包含目标且尺寸大于目标的图像块作为搜寻窗口，然后对搜寻窗口进行循环移位，获取不同的备选窗口，通过循环运动来近似目标的实际位移，最后构建循环结构的数据矩阵，得到训练样本。

假设核矩阵K^z由匹配模板和搜寻窗口样本进行核关联运算所得,其中匹配模板X和检测样本Z为向量x和向量z移位得到的循环矩阵，K^z也是一个循环矩阵：

K^z＝C(k^xz) 式4

其中，k^xz为向量x和向量z的核关联运算,在最小二乘中引入核函数后，回归函数为f(z)：

f(z)＝(K^z)α 式5

α为变换系数，两边进行DFT运算可得：

其中，z是预测包括目标的搜寻窗口图像块，从中检测目标的位置，x是图像中学习到的目标模型，等式右边是k乘以变换系数α的线性组合，⊙为向量中对应的元素逐个相乘，*为共辄，对式6进行DFT逆运算，得到滤波器的响应矩阵，矩阵中最大值所对应的就是目标位置，模型更新如下：

其中，η为学习因子，

和

分别为当前帧t和上一帧t-1的系数α的傅里叶变换，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换。

(二)循环矩阵的优缺点

采用循环矩阵很好的解决了计算量大的问题，将数据构建成循环矩阵,模拟目标的逐像素运动，扩充样本，根据循环矩阵的性质，矩阵的第一行携带的信息量就可以代表整个矩阵。因此，不必关注整个循环矩阵，只需知道其中某一行或一列的元素。此外，算法利用快速傅里叶变换使得训练和检测计算量显著减少，特别适合追踪，其中训练数据稀少并且计算效率高对于需要实时追踪至关重要，但是也存在一些缺点：一是将输入图像做循环移位,在训练集上采用一个循环的滑动窗来训练分类器，然而正因为这种周期性的假设，训练图像会有周期重叠，由于样本边缘的不连续性，循环移位之后产生明显的分割线，这种分割线在频域上表现为高频噪声，对频域处理造成不利影响；二是在滤波器训练阶段的目标响应与观测到的图像独立,当在快速运动、遮挡、运动模糊等场景时,循环运动和目标的实际平移并没有一一对应。

用来训练追踪滤波器的样本并非人工标注,而是采用上一帧的追踪结果，基于算法本身的标记，这些因素都无意中将已存在偏差的图像当作正样本进行学习训练,追踪器的目标检测部分不准确(比如目标快速运动或者运动模糊)，就会对下一帧图像的目标位置信息造成不利影响。由于当前帧的目标响应独立，这种误差将会影响滤波器的参数更新，最后追踪存在漂移的潜在问题。这样当目标旋转或变形时，易出现追踪结果不准确的情形；当目标出现半遮挡甚至全部遮挡时，由于目标的外观模型在这种情况下基本丧失作用，直接导致追踪失败；运动模糊，可能导致目标失真的情形，严重破坏训练样本，使目标的外观模型失去区分判别能力，追踪准确率降低。

目标漂移是在线追踪最主要的问题，引起漂移最重要的原因是分类器在更新时采用的样本本身准确率存在问题，即追踪过程中存在误差累计问题，若前一帧的追踪结果存在偏差，该误差累加到分类器上，导致下一帧结果有误，在视觉上的表现就是目标开始漂移，最后追踪失败。

(三)基于差异叠加检测的关联锁定目标追踪

本申请提出基于差异叠加检测关联滤波器追踪算法,并在滤波器的样本训练和滤波器参数更新两部分进一步改进。

1.差异叠加检测

为对应目标被遮挡的情况，加入正则化参数防止模型过拟合，减小测试误差小，采用稀疏参数有效应对遮挡，在训练样本阶段，将差异叠加区域考虑进去，优先处理容易引起注意的部分，便于当目标被遮挡时提高追踪性能，将关注点放在背景上，去除输入信号的统计冗余，去除目标的冗余信息得到图像的显著目标，采用图像的log谱,一副图像的log振幅谱减去平均log振幅谱就是图像的差异叠加部分.

为了不失去目标的细节,考虑图像的差异叠加信息的同时保留目标原有信息，在样本训练的过程中，Ω(u)＝u+S_BB(t)，其中，u为输入图像,S_BB(t)为显著性区域。

除去图像的冗余信息后，进行更深的差异叠加检测，基于对场景的瞬间意识有布尔映射表示，根据特征空间的先验分布和随机临界值，利用输入图像的特征图生成一系列布尔图：

B_i＝THRESH(φ(I)，θ)，

φ～p_φ，θ～p_θ 式8

其中，函数THRESH(*,θ)通过θ将图像二值化，φ(I)表示图像I的特征图，并归一化到0-255之间，p_φ与p_θ表示先验分布，布尔图对视觉注意的影响由关注图A(B)表示：

其中，I为输入图像，

为平均关注图，用来做后续处理得到一个最终的差异叠加图S。

2.目标样本更新

在当前帧的目标周围截取下一帧的备选图像块，在线实时训练滤波器，然后得到下一帧的目标位置，互相更新一直追踪下去，判断目标的位置信息采用的策略是：滤波器响应值最大处所对应的位置就是目标中心的所在地。

但这种样本更新方式有以下两个缺点：

一是无论当前图像是否能准确追踪，其追踪结果都会累计到下一帧图像，对往后的追踪效果造成影响；循环运动与目标的实际平移没有一一对应，循环运动只是图像中实际平移的近似值，在真实的追踪场景中尤其有快递运动、遮挡等就变得不可靠，采用单一中心高斯作为目标响应阻碍了追踪器的性能，并导致不可恢复的漂移。

二是现有技术追踪算法在样本更新都采用连续、确定权重的样本更新，即每一帧得到的结果都会影响后来的目标，样本更新权重都会在初始化中直接确定,那么每一帧图像对追踪结果的影响也已确定，然而,在实际追踪场景中,每一帧图像在样本训练产生的作用不一样，特别是遇到目标被遮挡的情况，此时提取到的目标外观特征与原始目标相差较大，基本是目标背景，一旦被错认定是目标并被加入到样本训练当中,将会污染训练样本。

本申请在训练阶段将响应值考虑到样本更新的权重中，利用到追踪算法中检测的结果，而又不是简单采取二值策略，即便是目标被遮挡也利用到其中的信息，避免当目标被遮挡后发生目标漂移，首先利用峰值旁瓣比来确定追踪是否有效,然后直接根据追踪结果所对应的最大响应值来确定当前追踪结果对下一帧追踪过程的影响，假设从第二帧图像开始,每幅图像的最大响应值都存储在response_all中，对于样本的更新为：

其中,η为学习因子，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换，将检测结果考虑到样本更新当中,当目标被污染时,所占权重减小，对后续目标的影响也随之减小。

3.追踪模型更新

目前基于DCF的追踪算法,在追求追踪效果的同时,牺牲了追踪速度和实时性。因此，本申请针对追踪过程中的目标遮挡情景,就模型更新这一环节，对追踪算法进行改进，提高速度。

模型更新时采用稀疏的更新策略，模型每隔Ns帧更新一次，样本仍旧是每一帧都要更新，模型更新频率降低，节约了时间，并且可以避免模型的漂移问题，一定程度上有改进效果。但也不能把Ns设置太大，否则会使得模型跟不上目标的变化，本申请最后将Ns取值为6，由于为了追求更高的准确率，采用的参数越来越多，外观模型和运动模型也越来越复杂，而对于追踪而言，由于缺少大量的训练样本很容易发生过拟合，因此这样非每帧更新模型能够有效防止模型漂移，同时节省计算时间。

三、二维目标鲁棒性尺度估算

现有技术目标追踪算法将重心放在估算目标的位置上，消费级无人机视频运动目标在发生形变同时也发生尺度变化。只对目标的位置进行预测限制了追踪性能，难以实现较好的追踪，估算目标的尺度变化有利于提高追踪准确率。本申请在得到目标的位置信息之后，训练一个二维滤波器，分别估算目标的长和宽，能更加鲁棒地估算目标的尺度。

(一)基于透视投影模型的尺度估算

在已知无人机运动平台的运动速度后，估算目标的尺度变化，透视成像原理如图1所示，图中of为焦距、on为像距、om为物距,根据凸透镜光学成像原理，物距远大于像距(m＞f)，这时焦距和像距认定近似相等，中心成像模型近似代替透视成像模型，详情如图2，图中M为相机坐标系下的点，m为点M在像坐标系下的投影，设点M的向量表达式为M＝(x_M，y_M，z_M)^T，点m的向量表达式为m＝(x_m，y_m)^T，在透视成像模型下，两点之间的变换关系如下所示：

摄像机坐标系到像坐标系的非线性变换公式为：

如果已知运动平台与目标之间的距离,联合相机内部参数估算出目标在相平面的尺度。

(二)基于关联锁定的二维尺度估算追踪框架

设计两个一致的关联滤波器，定义为位置目标滤波器和尺度目标滤波器，分别实现目标的追踪和尺度变换，前者用于当前帧目标的定位，后者用于当前帧目标的尺度估算，两个滤波器是相对独立的，选择不同的特征种类和特征计算方式来训练和测试，采用二维滤波器，认定目标的长和宽并不是发生相同的变化，即使目标发生大的形变，仍能准确估算出目标尺度。

如图3所示,加入二维目标鲁棒性尺度估算的追踪器的整体框架分为两部分：位置预测和尺度大小估算，具体步骤：在目标周围的搜寻区域中通过密集采样得到训练样本并进行特征提取，对样本进行傅里叶变换，在频域利用最小二乘回归训练滤波器；在线学习得到一个位置核关联滤波器，然后将滤波器的输出值经过离散反傅里叶变换映射到时域中，找到响应图中的最大点的坐标，该点对应样本中目标的中心位置；然后，基于关联滤波器的尺度预测过程和预测目标的位置过程类似，在得到目标的位置之后，根据预设的尺度值，在目标周围进行下采样和上采样,得到一系列不同尺度的图像块；再将这些图像块进行双线性插值，将图像块的大小变为和所设计的尺度模型一致，得到训练样本；接下来进行特征提取，得到图像块的HOG特征之后，训练一个最小二乘分类器，获取一个尺度目标追踪器；另外，在得到图像块的特征之后，对特征利用汉明窗进行加窗处理，以抑制采用循环矩阵引起的图像边界在频域造成的高频噪声。

将尺度目标追踪器运用到一个新的图像上时，计算在尺度空间上的得分，即滤波器的响应值，尺度目标滤波器响应图中的最大值所在位置对于目标的最终尺度。

构建位置目标滤波器得到待追踪目标的位置,构建尺度目标滤波器并利用位置目标滤波器得到的目标中心位置得的目标尺度,并将最后的目标信息传递给下一帧图像的位置目标滤波器,两者一起运作,在线更新参数，提高整个追踪器的性能。

(三)二维尺度预测评估策略

通过学习一个二维尺度关联滤波器来检测目标的尺度变化,依据目标的尺度变化去合理限定目标搜寻区域,避免不必要的计算。

目标尺度估算最重要的一环是给出目标具体的尺度变换备选值：在尺度预测评估过程中，对于当前图像中，目标的大小为P×R，尺度目标滤波器的大小为S×S，对于每一个

在目标的长和宽两个维度分别提取大小为

的图像块J_n×n，其中，a为滤波器参数因子，对于尺度变化较大的目标,备选尺度尽量相差大一点，反之，备选尺度应该变化小一点。

(四)自适应搜寻窗口尺度选择

基于判别模型的追踪采用二分类,将目标与背景分开，将目标的运动信息考虑进去，下一帧目标出现的位置肯定在以当前帧目标为中心的邻域内，对于padding的取值要考虑到：无人机运动平台下相邻两帧之间目标中心的相对位移△p相对于普通场景更加多变，使下一帧目标部分有时不在搜寻子窗口内部，这样追踪结果并没有对应目标，出现追踪漂移，算法得到的下一帧目标所在的位置一定在以当前图像目标为中心，大小为windos_sz窗口内，这样一旦空间上下文确定，而实际目标并不在该区域内，无论前期的分类器模型具备多么强的鲁棒性,都不可能检测到目标，从而追踪失败，padding取值过小，目标并不在导致以前一帧图像目标为中心的搜寻框内；padding取值过大，保留的背景信息增加，当背景出现与目标类似的物体时容易产生误检，此外，过多的数据增加了计算量。

为解决相邻两帧的目标位置距离相隔大的情况，本申请采取自适应搜寻窗策略,根据相邻两帧目标位置的偏移量来约束搜寻框的大小；

基于关联锁定框架的追踪器，在进行关联运算的时候，滤波器的尺度最开始在初始化时已经确定，根据相邻两帧目标位置的偏移量来改变搜寻区域的大小，比较相邻两帧目标中心的偏移量自适应选择搜寻窗口的大小，预先设置一个临界值，当偏移量大于该临界值时，加大搜寻窗口。

(五)尺度预测估算方法流程

在加入尺度估算之后的整个追踪算法，首先利用位置目标滤波器得到位置信息，然后再运动尺度目标滤波器得到目标的当前尺度变化，算法中涉及到的核函数采用高斯核函数。

在尺度估算模块采用HOG特征，首先对图像进行特征提取，得到图像的d维特征的训练样本f^l，其中l＝{l,2,…,d}，每个特征维度分别对应着一个关联滤波器h^l,最小化损失函数：

其中，g为对应训练样本f所设计的滤波器输出，λ≥0为正则化参数，控制结构误差，对式子求解得到滤波器为：

加入正则化因子,对滤波器进行l₂约束，使得f没有非零项，缓解滤波器在频域中出现零的问题，并且避免分母为零的现象，在线解决一个d×d维的线性方程组的更新问题,为获取一个具备鲁棒性的逼近,更新关联滤波器H^l _t的分子A^l _t和分母B_t：

其中，η为学习率，最终滤波器的输出，即关联得分：

关联性响应图中最大值所对应的尺度变换就是目标当前的尺度大小。

在进行目标备选区域提取特征时,分别对目标的长和宽进行尺度变化得到备选区域,准确估算目标的尺度变化但增大了计算量,采用主分量特征转换降维，求出高维数据的协方差矩阵的特征值和特征向量,特征向量就是选取的基向量，特征向量对应的特征值代表原数据在向量的投影,特征值越大表示对应的特征向量保留的原数据的信息越多，去除数据冗余信息，减少计算的数据量。

此外，在尺度目标滤波器上，关注的是目标的大小，为减少计算量并保留目标的整体信息，在计算目标特征之前就对目标进行降采样到一定大小，而不需要对整个目标进行处理。

四、实验结果与分析

(一)定性结果分析

整个实验基于matlab平台仿真完成,主要解决在面向运动平台的追踪过程中，目标发生尺度变化、平面外旋转等尺度变化时，对目标的尺度估算问题，采用的视频序列有水面上的船,行驶的汽车和水面上的人。

以DSST为基础算法，无论是目标的位置估算还是尺度估算,选取的特征都是HOG,关注算法尺度目标滤波器，实验中的参数设置为：padding值为2，尺度备选值的数量为17，步长为1.02，截取图像序列中的关键帧，直观地对算法的追踪效果进行判断。

如图4，在boat1测试视频中，背景简单，目标发生缓慢的形变和小的尺度变化。从追踪结果可以看出DSST追踪算法受到目标初始化形状的影响,追踪结果不能随着目标的形变而变化，本申请算法比DSST的尺度估算更加准确。

如图5，在boat2测试视频中,目标主要发生巨大形变，船从侧方进入视野然后转圈，之后驶向远方。从追踪框来看，两者的追踪结果近似，但是显然本申请提出的算法更接近groundtruth，追踪性能也越好。

如图6，在boat3测试视频中，背景简单，目标主要发生形变，从跟踪结果可以看出DSST跟踪算法受到目标初始化形状的影响，视角变化后，对跟踪结果的形状不能随着目标的形变而变化，从而影响到整个跟踪结果。本申请当目标变小之后，跟踪框也随之变小，比DSST的尺度估计更加准确。

如图7，在car4测试视频中，汽车从圆形转盘驶入直道，并发生遮挡、消失、相似背景等干扰，从截取的关键帧来看，当目标被遮挡至完全消失再到重新出现在视野内，DSST算法追踪失败，而本申请算法仍能继续追踪目标，当目标周围有相似背景时,追踪也未受到影响。

如图8，在wakeboard5测试视频中，目标主要发生大的形变和大的尺度变化，人从岸边跳入大海中，并开始水上滑板运动，人左右快速运动伴随着上跳、下蹲、直立等动作，同时人远离拍摄平台，在视野中逐渐变小，当目标本身的姿态变化时，本申请能更加接近目标的groundtruth，追踪结果也更加准确。

(二)定量结果分析

对实验数据进行定量分析，采用OPE的办法，选取的评价参数为距离精度和重叠精度。从实验结果来看,本申请的追踪效果无论是追踪准确率还是成功率都要比DSST表现优异，采用二维尺度估算的算法确实能够更加准确估算出目标的尺度，进而提高整个追踪精度，使算法具备更好的追踪性能。

Claims (10)

1.消费级无人机视频运动目标精准追踪方法，其特征在于，在基于关联锁定追踪器的基础上在形变、遮挡和尺度三个方面进行改进：第一，提出基于决策感知的关联锁定追踪算法,包括：一是基于决策感知的追踪框架；二是特征关联选择，三是特征决策感知，四是决策感知权值计算；第二，提出基于差异叠加检测的关联锁定追踪方法,包括：一是运动目标快速锁定，二是基于差异叠加检测的关联锁定目标追踪；第三，提出二维目标鲁棒性尺度估算方法，包括：一是基于透视投影模型的尺度估算，二是基于关联锁定的二维尺度估算追踪框架，三是二维尺度预测评估策略，四是自适应搜寻窗口尺度选择，五是尺度预测估算方法流程；

(1)针对追踪中出现的目标形变导致的漂移，采用不同的特征分别进行追踪，在决策层进行融合，得到最终结果，其中一种是构建两个关联滤波器，分别采用具备目标结构信息的HOG特征和具备目标颜色信息的CNs，计算出追踪结果后,在决策层利用滤波器的最大响应值决定各自对最终结果的权重，还有一种是利用关联锁定以及基于颜色直方图的追踪框架,然后同样融合两者的结果得到最终追踪结果；

(2)针对追踪中出现的目标遮挡问题，提出一种基于差异叠加检测的关联锁定追踪方法，首先将岭回归中的结构风险函数换为正则化函数，加入分量更好应对遮挡问题，然后在搜寻框内提取差异叠加特征并与原始样本进行叠加，增大目标与周围背景之间的差别，同时排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法，在模型更新上减少漂移，采用非连续的更新方式，应对追踪过程中的目标遮挡问题；

(3)针对追踪过程中出现的目标尺度变化问题，提出一种二维目标鲁棒性尺度估算方法，首先利用传感器数据和拍摄相机的内部参数获取目标的粗略尺度估算,设计一个二维的关联滤波器用来估算目标尺度，将目标的长和宽两个维度分别估算，当目标发生形变和尺度变换的同时准确估算出目标在视野中的真实大小，此外，提出一种自适应搜寻窗口方法，根据目标在相邻两帧的位移改变搜寻框的大小，避免目标运动过快而运动到搜寻窗口之外；在尺度目标滤波器上对样本进行降采样，降低计算数据量。

2.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，基于决策感知的追踪框架：采用尽可能简单的模型和少量的参数达到最优追踪效果,设在第t幅图像I_t上,追踪问题视为从备选区域集合S_t中找到最可能(得分最高)的区域p_t：

其中，T指的是将图像进行某种变换，f(T(I_t，p)；θ)表示图像I_t中矩形框p在模型参数为θ下的得分，模型参数满足最小化损失函数：

其中,损失函数L(θ；χ_t)与之前图像和图像中目标的位置相关，

为整个模型参数空间，R(θ)和λ是防止模型太复杂而导致过拟合的正则化因子，实现有效追踪转化成选择函数f和L的问题；

目标初始化时得到目标的位置和尺度信息，在备选图像序列中找到与目标最相似的区域就是追踪目标，判断两个信号是否关联就是度量两者之间的相似度，在计算备选区域样本与目标之间的相似度是将两者作关联运算，损失函数选取计算两个向量的距离，追踪算法利用包含目标的正样本和全是背景的负样本,采用岭回归构建一个回归器来训练目标的外观模型。

3.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，特征关联选择：基于互补性特征，对运动目标进行多特征决策感知，并根据每种特征对于追踪结果的影响不同,设计一个框架进行融合来获取更精准稳定的追踪效果；

其中，HOG特征选择采用将样本区域划分成若干子区域，然后在每个区域提取32维特征，除去最后一维全部是0不考虑之外，剩下31维特征，纹理特征采用快速各向异性高斯滤波器的RFS滤波器组,该特征一共8个维度。

4.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，特征决策感知：采用不同的输入样本，训练两个滤波器，其中一个输入的图像为目标框及周围一圈背景，包含空间上下文信息，即大小为window_sz，为更好差异叠加区分目标和背景，选取HOG特征，此外为消除边界影响，对提取出的特征加入余弦窗函数处理；另一个只包含目标，输入的图像比本身的目标尺寸小,即大小为sz，为使追踪器在目标发生较大形变时，仍具备较好的鲁棒性，采用CNs特征；前者加入背景信息，扩大目标的搜寻区域，后者只针对目标，提高准确性；两个滤波器在线更新模板，追踪结果更加准确，采用多种特征决策感知目标，更多的保留目标信息并通过多手段进行目标追踪，更好应对追踪过程中的突发状况。

5.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，决策感知权值计算：采用多特征感知的加性模型，在加性融合策略下，将n种决策感知之后的最终结果，加性融合对噪声不敏感，增加追踪算法的鲁棒性，根据滤波器响应值与目标位置,得出最后的目标位置为：

其中，res1与res2为两个滤波器的最大响应值，p₁与p₂分别为最大响应值对应的目标的位置；

采用HOG和CNs决策感知的算法流程：

输入：图像序列

目标初始位置p₀；

输出：目标在每帧图像的位置信息

流程一：初始化，t＝1；

流程二：采用I₀和p₀初始化追踪器Track1、Track2；

流程三：for t＝1：T

流程四：根据上一帧输出p_t-1计算当前搜寻子窗口；

流程五：对于追踪器Track1，采用HOG特征，利用目标结构信息，搜寻窗口包含空间上下文信息，并采用汉宁窗，进行窗口处理；

流程六：对于追踪器Track2，采用CNs特征，利用目标的全局颜色信息，搜寻窗口为目标本身，不做窗口处理；

流程七：由追踪模型得到两个追踪器的响应图；

流程八：在响应图中找到最大响应值，该值对应目标的最可能所在的位置；

流程九：由多特征感知的加性模型进行融合，得到目标的最终追踪结果p₀；

输出：目标在每帧图像的位置信息

6.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，运动目标快速锁定：基于运动目标快速锁定的追踪算法采用滤波器W与备选区域作关联，估算出目标位置，其中，将包含目标且尺寸大于目标的图像块作为搜寻窗口，然后对搜寻窗口进行循环移位，获取不同的备选窗口，通过循环运动来近似目标的实际位移，最后构建循环结构的数据矩阵，得到训练样本；

假设核矩阵K^z由匹配模板和搜寻窗口样本进行核关联运算所得,其中匹配模板X和检测样本Z为向量x和向量z移位得到的循环矩阵，K^z也是一个循环矩阵：

K^z＝C(k^xz) 式4

其中，k^xz为向量x和向量z的核关联运算,在最小二乘中引入核函数后，回归函数为f(z)：

f(z)＝(K^z)α 式5

α为变换系数，两边进行DFT运算可得：

其中，z是预测包括目标的搜寻窗口图像块，从中检测目标的位置，x是图像中学习到的目标模型，等式右边是k乘以变换系数α的线性组合，⊙为向量中对应的元素逐个相乘，*为共辄，对式6进行DFT逆运算，得到滤波器的响应矩阵，矩阵中最大值所对应的就是目标位置，模型更新如下：

其中，η为学习因子，

和

分别为当前帧t和上一帧t-1的系数α的傅里叶变换，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换。

7.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，基于差异叠加检测的关联锁定目标追踪：在滤波器的样本训练和滤波器参数更新两部分进一步改进；

1.差异叠加检测

加入正则化参数防止模型过拟合，减小测试误差小，采用稀疏参数有效应对遮挡，在训练样本阶段，将差异叠加区域考虑进去，优先处理容易引起注意的部分，便于当目标被遮挡时提高追踪性能，将关注点放在背景上，去除输入信号的统计冗余，去除目标的冗余信息得到图像的显著目标，采用图像的log谱,一副图像的log振幅谱减去平均log振幅谱就是图像的差异叠加部分.

考虑图像的差异叠加信息的同时保留目标原有信息，在样本训练的过程中，Ω(u)＝u+S_BB(t)，其中，u为输入图像,S_BB(t)为显著性区域；

除去图像的冗余信息后，进行更深的差异叠加检测，基于对场景的瞬间意识有布尔映射表示，根据特征空间的先验分布和随机临界值，利用输入图像的特征图生成一系列布尔图：

B_i＝THRESH(φ(I)，θ)，

φ～p_φ，θ～p_θ 式8

其中，函数THRESH(*,θ)通过θ将图像二值化，φ(I)表示图像I的特征图，并归一化到0-255之间，p_φ与p_θ表示先验分布，布尔图对视觉注意的影响由关注图A(B)表示：

其中，I为输入图像，

为平均关注图，用来做后续处理得到一个最终的差异叠加图S；

2.目标样本更新

在训练阶段将响应值考虑到样本更新的权重中，利用到追踪算法中检测的结果，而又不是简单采取二值策略，首先利用峰值旁瓣比来确定追踪是否有效,然后直接根据追踪结果所对应的最大响应值来确定当前追踪结果对下一帧追踪过程的影响，假设从第二帧图像开始,每幅图像的最大响应值都存储在response_all中，对于样本的更新为：

其中,η为学习因子，

和

分别表示当前帧和上一帧的目标匹配模板的傅里叶变换，将检测结果考虑到样本更新当中,当目标被污染时,所占权重减小，对后续目标的影响也随之减小；

3.追踪模型更新

模型更新时采用稀疏的更新策略，模型每隔Ns帧更新一次，样本仍旧是每一帧都要更新，模型更新频率降低，节约时间，避免模型的漂移问题，本申请最后将Ns取值为6。

8.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，基于关联锁定的二维尺度估算追踪框架：设计两个一致的关联滤波器，定义为位置目标滤波器和尺度目标滤波器，分别实现目标的追踪和尺度变换，前者用于当前帧目标的定位，后者用于当前帧目标的尺度估算，两个滤波器是相对独立的，选择不同的特征种类和特征计算方式来训练和测试，采用二维滤波器，认定目标的长和宽并不是发生相同的变化，即使目标发生大的形变，仍能准确估算出目标尺度；

加入二维目标鲁棒性尺度估算的追踪器的整体框架分为两部分：位置预测和尺度大小估算，具体步骤：在目标周围的搜寻区域中通过密集采样得到训练样本并进行特征提取，对样本进行傅里叶变换，在频域利用最小二乘回归训练滤波器；在线学习得到一个位置核关联滤波器，然后将滤波器的输出值经过离散反傅里叶变换映射到时域中，找到响应图中的最大点的坐标，该点对应样本中目标的中心位置；然后，基于关联滤波器的尺度预测过程和预测目标的位置过程类似，在得到目标的位置之后，根据预设的尺度值，在目标周围进行下采样和上采样,得到一系列不同尺度的图像块；再将这些图像块进行双线性插值，将图像块的大小变为和所设计的尺度模型一致，得到训练样本；接下来进行特征提取，得到图像块的HOG特征之后，训练一个最小二乘分类器，获取一个尺度目标追踪器；另外，在得到图像块的特征之后，对特征利用汉明窗进行加窗处理，以抑制采用循环矩阵引起的图像边界在频域造成的高频噪声；

将尺度目标追踪器运用到一个新的图像上时，计算在尺度空间上的得分，即滤波器的响应值，尺度目标滤波器响应图中的最大值所在位置对于目标的最终尺度；

构建位置目标滤波器得到待追踪目标的位置,构建尺度目标滤波器并利用位置目标滤波器得到的目标中心位置得的目标尺度,并将最后的目标信息传递给下一帧图像的位置目标滤波器,两者一起运作,在线更新参数，提高整个追踪器的性能。

9.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，二维尺度预测评估策略：通过学习一个二维尺度关联滤波器来检测目标的尺度变化,依据目标的尺度变化去合理限定目标搜寻区域；

目标尺度估算最重要的一环是给出目标具体的尺度变换备选值：在尺度预测评估过程中，对于当前图像中，目标的大小为P×R，尺度目标滤波器的大小为S×S，对于每一个

在目标的长和宽两个维度分别提取大小为

的图像块J_n×n，其中，a为滤波器参数因子，对于尺度变化较大的目标,备选尺度尽量相差大一点，反之，备选尺度应该变化小一点；

自适应搜寻窗口尺度选择：根据相邻两帧目标位置的偏移量来约束搜寻框的大小，基于关联锁定框架的追踪器，在进行关联运算的时候，滤波器的尺度最开始在初始化时已经确定，根据相邻两帧目标位置的偏移量来改变搜寻区域的大小，比较相邻两帧目标中心的偏移量自适应选择搜寻窗口的大小，预先设置一个临界值，当偏移量大于该临界值时，加大搜寻窗口。

10.根据权利要求1所述消费级无人机视频运动目标精准追踪方法，其特征在于，尺度预测估算方法流程：在加入尺度估算之后的整个追踪算法，首先利用位置目标滤波器得到位置信息，然后再运动尺度目标滤波器得到目标的当前尺度变化，算法中涉及到的核函数采用高斯核函数；

在尺度估算模块采用HOG特征，首先对图像进行特征提取，得到图像的d维特征的训练样本f^l，其中l＝{l,2,…,d}，每个特征维度分别对应着一个关联滤波器h^l,最小化损失函数：

其中，g为对应训练样本f所设计的滤波器输出，λ≥0为正则化参数，控制结构误差，对式子求解得到滤波器为：

加入正则化因子,对滤波器进行l₂约束，使得f没有非零项，缓解滤波器在频域中出现零的问题，并且避免分母为零的现象，在线解决一个d×d维的线性方程组的更新问题,为获取一个具备鲁棒性的逼近,更新关联滤波器H^l _t的分子A^l _t和分母B_t：

其中，η为学习率，最终滤波器的输出，即关联得分：

关联性响应图中最大值所对应的尺度变换就是目标当前的尺度大小；

在进行目标备选区域提取特征时,分别对目标的长和宽进行尺度变化得到备选区域,准确估算目标的尺度变化但增大了计算量,采用主分量特征转换降维，求出高维数据的协方差矩阵的特征值和特征向量,特征向量就是选取的基向量，特征向量对应的特征值代表原数据在向量的投影,特征值越大表示对应的特征向量保留的原数据的信息越多，去除数据冗余信息，减少计算的数据量；

此外，在尺度目标滤波器上，关注的是目标的大小，为减少计算量并保留目标的整体信息，在计算目标特征之前就对目标进行降采样到一定大小，而不需要对整个目标进行处理。

Images