CN108460786A - 一种无人机侦察目标的高速跟踪方法 - Google Patents

Abstract

本发明涉及一种无人机侦察目标的高速跟踪方法，属于图像处理、计算机视觉领域。在操作人员或其他算法获取粗略目标位置后，首先，通过目标精确包络提取模块，获取精确目标框；其次，通过运行高速目标跟踪模块，获取目标在后续视频序列中的位置；最后，通过尺度变化检测模块获取目标尺度变化信息，进而修正高速目标跟踪模块，实现所述跟踪算法对目标的鲁棒跟踪。本发明所述方法解决了无人机视频处理***目标跟踪的所存在问题：1）目标给定不明确时准确跟踪；2）待跟踪目标像所占素数较小纹理不明显；3）目标尺度变化时跟踪鲁棒性不足；4）现有硬件平台下跟踪实时性差。

Description

一种无人机侦察目标的高速跟踪方法

技术领域

本发明涉及一种无人机侦察目标的高速跟踪方法，属于图像处理、计算机视觉领域。

背景技术

目标跟踪技术在无人机作战侦察，精确打击领域应用广泛，也为目标定位，检测识别等情报处理技术提供信息支撑。实时鲁棒的目标跟踪算法，可以减少地面监控人员的操作负担，同时是无人机自动化智能化不可缺少的步骤之一。

目前工程运用中，相关跟踪算法应用最为广泛，由于通过频域相乘代替了空域的卷积，大幅度的提升了算法运行速度，同时算法实现简单，方便硬件实现，硬件处理速度较快，但是算法在目标形变和尺度变化时鲁棒性较差易发生跟踪位置漂移。此外一些其他的较为常用的目标跟踪算法有TLD(Tracking-Learning-Detection)算法、CT(CompressiveTracking)算法、CSK(Exploiting the Circulant Structure of Tracking-by-Detectionwith Kernels)算法、DSST(Accurate Scale Estimation for Robust Visual Tracking)算法、KCF(High-Speed Tracking with Kernelized Correlation Filters)算法、ACT(Adaptive Color Attributes for Real-Time Visual Tracking)算法、LCT(Long-termCorrelation Tracking)算法等。

TLD算法通过在线学习的方式，采用PN学习的策略结合中值光流法和在线级联分类器，可实现长时间目标跟踪，但跟踪效率低。320*240分辨率大小的图像在后期的处理速度仅为5fps。CT算法随机生成一个稀疏的投影矩阵，在低维特征空间中，直接应用经过稀疏矩阵投影后的压缩特征对目标进行分类，算法在目标区域纹理丰富时跟踪效果较好，能够达到每秒30帧左右的运行速度；CSK算法应用循环矩阵的性质，并通过傅里叶变换对待检测区域实现高速SVM检测和训练，可以达到每秒300帧左右的跟踪速度，但在目标尺度变化时效果不足。DSST算法提出了一个独立的目标尺度检测模块，该模块方便集成，同时运行速度高。KCF算法和ACT算法是CSK算法的改进，通过引入FHOG特征和ColorName矩阵优化原始CSK算法，算法均有一定的提升，也均能达到实时的跟踪结果。

以上算法在日常监控领域均取得了很好的跟踪效果，但是在无人机侦察处理***中，由于航拍和作战环境中各种条件的限制无法获得较好的推广和应用。

在无人机视频处理***中目标跟踪技术主要面临以下问题：

1)目标指定方式，无人机侦察时由于抓取目标应用环境的限制，往往操作时只能点选目标的大概位置，无法给定准确的目标矩形框；

2)无人机航拍视频中，目标所占像素数不足，且在整个画面中比例较小，纹理特征不明显；

3)无人机航拍视频中，由于拍摄图像受载荷及飞机姿态的影响，导致目标角度尺度变化明显。

4)在现有硬件处理基础上，需要保证跟踪实时性。

发明内容

本发明提供一种无人机航拍视频的高速目标跟踪方法，统筹算法的性能和适应性，融合国内外现有算法的优点；解决了无人机视频处理***目标跟踪的所存在问题：1)目标给定不明确时准确跟踪；2)待跟踪目标像所占素数较小纹理不明显；3)目标尺度变化时跟踪鲁棒性不足；4)现有硬件平台下跟踪实时性差。

本发明是通过以下技术方案实现的：

一种无人机侦察目标的高速跟踪方法，包括：

获取目标粗略位置区域后，通过目标精确包络提取模块获取目标精确包络区或目标显著特征区；

根据所述目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块，持续运行所述高速目标跟踪模块，获取目标在后续视频序列中的位置；

获取每帧图像中目标位置后，通过所述尺度变化检测模块获取当前帧图像中目标精确尺度，基于所述目标精确尺度修正所述高速目标跟踪模块，以实现对目标的鲁棒跟踪，降低由于目标尺寸变化导致的***退化漂移的问题。

进一步地，所述方法具体为：

Step1:通过人工操作或其他常规算法得到目标粗略位置区域；

Step2:运行目标精确包络提取模块，获取目标精确包络区或目标显著特征区；

Step3:根据所述目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块；

Step4:运行所述高速目标跟踪模块，获取目标在当前帧中的区域；

Step5:运行所述尺度变化检测模块，获取目标精确尺度；

Step6:根据所述目标精确尺度缩放检测区域，更新所述所述高速目标跟踪模块，以及更新所述尺度变化检测模块的参数；

Step7:重复Step4-Step6，直到视频结束。

进一步地，所述目标精确包络提取模块，在所述粗略目标位置附近，进行显著性区域检测，获取目标精确包络区或目标显著特征区，并所述高速目标跟踪模块以该目标精确包络区或目标显著特征区代表目标精确位置进行跟踪，最大限度的减少背景对所述高速目标跟踪模块带来的影响，且能够用于表征目标区域，所述目标精确包络提取模块采用频谱残差法SR进行显著性区域检测。

进一步地，所述高速目标跟踪模块采用改进的CSK算法进行跟踪，所述改进的CSK跟踪算法，通过提取最显著颜色特征和灰度特征融合，能够在保证实时性的基础上，增加***工作鲁棒性。

进一步地，所述改进的CSK跟踪算法包括对分类器特征的改进和对更新策略的改进；

对分类器的改进方法为：在原有灰度特征基础上引入显著颜色通道特征，获得用于实际训练所述高速目标跟踪模块所使用的特征；

对更新策略的改进方法为：只有当所述高速目标跟踪模块获取检测结果符合一定条件时更新所述高速目标跟踪模块，否则不更新。

进一步地，所述显著颜色通道特征的获取具体为：首先获取待检测区域对应的显著颜色通道，并对该显著颜色通道归一化处理得到所述显著颜色通道特征；

其中，所述显著颜色通道的获取方法为：

(1)在所述高速目标跟踪模块初始化前，将目标区域图像红绿蓝三通道分离，获取每个通道单独的矩阵；

(2)分别求取每个通道的矩阵均值，判断三个均值中的最大值记为所述显著颜色通道。

进一步地，所述尺度检测模块采用DSST算法中的尺度检测模块，且所述尺度检测模块基于在线SVM分类器设计，初始时采用当前目标周围各尺度图像作为训练样本输入训练分类器，实际使用时在***获取目标位置后，以当前目标位置为中心检测当前目标周围各尺度图像的置信度，获取准确的目标尺度信息，最后根据检测到的所述目标尺度信息修正所述高速目标跟踪模块，以保证所述高速目标跟踪模块的准确性。

进一步地，通过所述尺度变化检测模块修正所述高速目标跟踪模块的方法具体为：

所述尺度变化检测模块每次检测时有N个候选的尺度，对于每一个候选尺度s∈S，S为缩放系数，缩放系数S如下式所示：

其中a表示具体缩放步频，n表示缩放倍率，N表示候选尺度数目；N越大，计算时间越长，但尺度检测效果越好，N越小尺度检测效果越差，但计算时间越短。

以估计中心点为中心得到一个图像块J_s，将所有图像块J_s缩放至P×Q大小，P和Q分别为图像的宽和高，提取相应的HOG特征，使用DSST算法中的SVM模型，计算每一个图像块的响应值进而得到最佳尺寸大小：

其中，表示获取的最佳尺寸大小，表示取各图像块响应值的最大值对应的尺度作为最佳尺寸大小；

在确定最佳尺寸大小后，根据其对应的缩放系数s，对原始图像进行缩放，并以缩放后的区域更新高速***，达到对高速***修正的目的。

本发明的有益技术效果：

1)本发明所述方法运行效率高，在i7-4790处理器，8GB内存条件下，单目标平均运行速度可达200帧/秒，可以进行多目标实时处理。

2)本发明所述方法通过在跟踪预处理阶段使用显著性检测算法获取目标精确包络或目标显著特征区域进行跟踪，降低由于目标给定精度不足的情况下导致***退化漂移的问题。

3)本发明所述方法改进了传统CSK算法，在保证算法执行实时性的基础上，尽量提升算法运行精度。

4)本发明所述方法通过融合尺度变换检测器，可准确实时检测目标尺寸，降低由于目标尺寸变化导致的***退化漂移的问题。

附图说明

图1为本发明实施例中无人机侦察目标的高速跟踪方法的整体运行框图。

图2为本发明实施例中目标精确包络提取效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

本实施例提供一种无人机侦察目标的高速跟踪方法，所述方法流程框图如图1所示，所述方法首先在人工给定或其他算法计算获取目标粗略位置区域的基础上，通过目标精确包络提取模块，获取目标精确包络区或目标显著特征区；其次以该目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块，持续运行所述高速目标跟踪模块，获取目标在后续视频序列中的位置；获取每帧图像中目标位置后，通过所述尺度变化检测模块获取当前帧图像中目标精确尺度，并根据精确尺度确定后的检测结果修正更新***。

所述方法具体为：

Step1:通过人工操作或其他常规算法得到目标粗略位置区域；

Step2:运行目标精确包络提取模块，获取目标精确包络区或目标显著特征区；

Step3:根据所述目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块；

Step4:运行所述高速目标跟踪模块，获取目标在当前帧中的区域；

Step5:运行所述尺度变化检测模块，获取目标精确尺度；

Step6:根据所述目标精确尺度缩放检测区域，更新所述所述高速目标跟踪模块，以及更新所述尺度变化检测模块的参数；

Step7:重复Step4-Step6，直到视频结束。

在本实施例中所述的目标精确包络提取模块，采用基于人眼视觉关注机制的显著性检测算法，本实施例中采用的是频谱残差法(Spectral Residual,SR)进行显著性区域提取，但不局限于频谱残差算法，实际使用时根据无人机挂载摄像机拍摄效果不同可以采用其他显著性区域检测算法。所述目标精确包络提取模块，在所述粗略目标位置附近，进行显著性区域检测，获取目标精确包络区或目标显著特征区，并以该目标精确包络区或目标显著特征区代表目标精确位置进行跟踪，最大限度的减少背景对***带来的影响，且能够用于表征目标区域。

所述高速目标跟踪模块采用改进的CSK算法进行跟踪，所述改进的CSK跟踪算法，通过提取最显著颜色特征和灰度特征融合，能够在保证实时性的基础上，增加***工作鲁棒性。

本实施例中，改进的CSK跟踪算法包括对分类器特征的改进和对更新策略的改进两个部分：

1)对分类器的改进方法为：在原有灰度特征基础上引入显著颜色通道特征，获得用于实际训练所述高速目标跟踪模块所使用的特征；具体为：

根据待检测区域的彩色图像，产生灰度图像grayImg，对该灰度图像进行归一化处理得到灰度特征grayMat＝grayImg/255–0.5；获取待检测区域对应的显著颜色通道图像saColorImg，并对该显著颜色通道图像归一化处理得到显著颜色通道特征saColorMat＝saColorImg/255–0.5；由于grayImg和saColorImg元素的取值范围为0～255。此时grayMat和saColorMat的取值范围为-0.5～0.5；用于实际训练所述高速目标跟踪模块所使用的特征FeatMat＝[grayMat,saColorMat]，其中[]表示灰度特征和显著颜色通道特征分别为实际使用特征矩阵的两个通道。

其中，所述显著颜色通道图像的获取方法为：

在所述高速目标跟踪模块初始化前，将目标区域图像红绿蓝三通道分离，获取每个通道单独的矩阵。即：ImgColor＝{ImgR,ImgG,ImgB},其中ImgColor表示目标区域彩色图像，ImgR表示目标区域红色通道矩阵，ImgG表示目标区域绿色通道矩阵，ImgB表示目标区域蓝色通道矩阵。分别求取每个通道矩阵均值，红绿蓝三色通道矩阵的均值分别记为meanR,meanG,meanB。判断三个均值中的最大值记为显著颜色颜色通道图像，并记录显著颜色颜色通道图像为saColorImg。

2)对更新策略的改进方法为：判断所述高速目标跟踪模块跟踪结果的可靠性，在满足下面两个条件时更新所述高速目标跟踪模块模型，否则不更新；

条件1：Fmax>Fth

条件2：Fmax/Fmean>Fsth

其中Fmax表示高速目标跟踪模块当前检测结果中的最大响应值，Fmean表示当前高速目标跟踪模块结果相应均值，Fth表示预先设置高速目标跟踪模块响应值阈值，Fsth预先设置表示高速目标跟踪模块检测结果显著性阈值，在本实施例中Fth取0.65，Fsth取115。

所述尺度检测模块采用DSST算法中的尺度检测模块，且所述尺度检测模块基于在线SVM分类器设计，初始时采用当前目标周围各尺度图像作为训练样本输入训练分类器，实际使用时在***获取目标位置后，以当前目标位置为中心检测当前目标周围各尺度图像的置信度，获取准确的目标尺度信息，最后根据检测到的所述目标尺度信息修正所述高速目标跟踪模块，以保证跟踪结果的准确性。

所述尺度变化检测模块每次检测时有N个候选的尺度，对于每一个候选尺度s∈S，S为缩放系数，缩放系数S如下式所示：

其中a表示具体缩放步频，n表示缩放倍率，N表示候选尺度数目。N越大，计算时间越长，但尺度检测效果越好，N越小尺度检测效果越差，但计算时间越短。

在本实施例中，a取值1.02,n取值33；

以估计中心点为中心得到一个图像块J_s，将所有图像块J_s缩放至P×Q大小，P和Q分别为图像的宽和高，提取相应的HOG特征，使用DSST算法中的SVM模型，此处为常规DSST算法中的SVM模型，并未做改进，计算每一个图像块的响应值进而得到最佳尺寸大小：

其中，表示获取的最佳尺寸大小，表示取各图像块响应值的最大值对应的尺度作为最佳尺寸大小；

在确定最佳尺寸大小后，根据其对应的缩放系数s，对原始图像进行缩放，并以缩放后的区域更新高速***，达到对高速***修正的目的。

本发明的技术解决问题：基于无人机侦察视频序列的特点和难点，统筹算法的性能和适应性，融合国内外现有算法的优点，提出了一种适用于无人机侦察目标的高速跟踪方法，解决了无人机视频处理***目标跟踪的诸多问题，主要包括：

1)在目标给定不明确时准确跟踪的问题。

2)待跟踪目标像所占素数较小，纹理不明显的问题。

3)目标尺度变化时跟踪鲁棒性不足的问题。

4)现有硬件平台下跟踪实时性的问题。

Claims (8)

1.一种无人机侦察目标的高速跟踪方法，其特征在于，

获取目标粗略位置区域后，通过目标精确包络提取模块获取目标精确包络区或目标显著特征区；

根据所述目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块，持续运行所述高速目标跟踪模块，获取目标在后续视频序列中的位置；

获取每帧图像中目标位置后，通过所述尺度变化检测模块获取当前帧图像中目标精确尺度，基于所述目标精确尺度修正所述高速目标跟踪模块，以实现对目标的鲁棒跟踪，降低由于目标尺寸变化导致的***退化漂移的问题。

2.根据权利要求1所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述方法具体为：

Step1:通过人工操作或其他常规算法得到目标粗略位置区域；

Step2:运行目标精确包络提取模块，获取目标精确包络区或目标显著特征区；

Step3:根据所述目标精确包络区或目标显著特征区初始化高速目标跟踪模块和尺度变化检测模块；

Step4:运行所述高速目标跟踪模块，获取目标在当前帧中的区域；

Step5:运行所述尺度变化检测模块，获取目标精确尺度；

Step6:根据所述目标精确尺度缩放检测区域，更新所述所述高速目标跟踪模块，以及更新所述尺度变化检测模块的参数；

Step7:重复Step4-Step6，直到视频结束。

3.根据权利要求1或2所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述目标精确包络提取模块，在所述粗略目标位置附近，进行显著性区域检测，获取目标精确包络区或目标显著特征区，所述高速目标跟踪模块以该目标精确包络区或目标显著特征区代表目标精确位置进行跟踪，最大限度的减少背景对所述高速目标跟踪模块带来的影响，且能够用于表征目标区域，所述目标精确包络提取模块采用频谱残差法SR进行显著性区域检测。

4.根据权利要求1或2所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述高速目标跟踪模块采用改进的CSK算法进行跟踪，所述改进的CSK跟踪算法，通过提取最显著颜色特征和灰度特征融合，能够在保证实时性的基础上，增加***工作鲁棒性。

5.根据权利要求4所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述改进的CSK跟踪算法包括对分类器特征的改进和对更新策略的改进；

对分类器的改进方法为：在原有灰度特征基础上引入显著颜色通道特征，获得用于实际训练所述高速目标跟踪模块所使用的特征；

对更新策略的改进方法为：只有当所述高速目标跟踪模块获取检测结果符合一定条件时更新所述高速目标跟踪模块，否则不更新。

6.根据权利要求5所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述显著颜色通道特征的获取具体为：首先获取待检测区域对应的显著颜色通道，并对该显著颜色通道归一化处理得到所述显著颜色通道特征；

其中，所述显著颜色通道的获取方法为：

(1)在所述高速目标跟踪模块初始化前，将目标区域图像红绿蓝三通道分离，获取每个通道单独的矩阵；

(2)分别求取每个通道的矩阵均值，判断三个均值中的最大值记为所述显著颜色通道。

7.根据权利要求1或2所述一种无人机侦察目标的高速跟踪方法，其特征在于，所述尺度检测模块采用DSST算法中的尺度检测模块，且所述尺度检测模块基于在线SVM分类器设计，初始时采用当前目标周围各尺度图像作为训练样本输入训练分类器，实际使用时在***获取目标位置后，以当前目标位置为中心检测当前目标周围各尺度图像的置信度，获取准确的目标尺度信息，最后根据检测到的所述目标尺度信息修正所述高速目标跟踪模块，以保证所述高速目标跟踪模块的准确性。

8.根据权利要求7所述一种无人机侦察目标的高速跟踪方法，其特征在于，通过所述尺度变化检测模块修正所述高速目标跟踪模块的方法具体为：

所述尺度变化检测模块每次检测时有N个候选的尺度，对于每一个候选尺度s∈S，S为缩放系数，缩放系数S如下式所示：

其中，a表示具体缩放步频，n表示缩放倍率，N表示候选尺度数目；

以估计中心点为中心得到一个图像块J_s，将所有图像块J_s缩放至P×Q大小，P和Q分别为图像的宽和高，提取相应的FHOG特征，计算每一个图像块的响应值进而得到最佳尺寸大小：

其中，表示获取的最佳尺寸大小，表示取各图像块响应值的最大值对应的尺度作为最佳尺寸大小；

在确定最佳尺寸大小后，根据其对应的缩放系数s，对原始图像进行缩放，并以缩放后的区域更新高速***，达到对高速***修正的目的。