CN109887004A

CN109887004A - 一种基于tld算法的无人船海域目标跟踪方法

Info

Publication number: CN109887004A
Application number: CN201910139524.1A
Authority: CN
Inventors: 刘艳霞; 陈欣佳; 洪晓斌
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2019-06-14

Abstract

本发明公开了一种基于TLD算法的无人船海域目标跟踪方法，所述跟踪方法使用TLD算法框架作为目标跟踪算法的基础，通过检测模块、跟踪模块、学习模块执行，并维护在线模板对目标的信息进行保存，实现无人船在海域目标丢失的情况下，重新定位的功能。目标候选框生成算法使用基于区域提名的Selective Search算法，生成更少以及比例更精确的候选框；跟踪模块使用基于相关滤波的跟踪方法，提升跟踪效果，并保障了跟踪速度。针对无人船海域目标在光照和形状变化大的情况下，有效地提升了跟踪***的准确性与鲁棒性。

Description

一种基于TLD算法的无人船海域目标跟踪方法

技术领域

本发明涉及无人船局部避障目标跟踪技术领域，具体涉及一种基于TLD算法的无人船海域目标跟踪方法。

背景技术

随着人工智能技术、网络通信、传感器技术的发展，现代无人船研究领域的各项技术也日趋完善。全自主型无人船应用领域不断扩大，应用前景广阔，具有巨大的商业潜力。具体可应用于海域货物资源运输、海面巡逻搜救、军事监视侦察、海洋测绘与水文监测等。

TLD(Tracking-Learning-Detection)算法由Zdenka Kalal提出，对比普通跟踪算法，TLD算法包含学习模块、检测模块、跟踪模块，有效解决长时间单目标跟踪问题。TLD算法在目标长时间运行过程中维护目标的在线模板，利用在线模板实现目标检测，检测结果结合跟踪模块结果综合分析，保障目标在遮挡、出视野情况下，仍然能够实时重新定位目标位置，最终实现目标的长时间跟踪。TLD算法利用学习机制促进检测和跟踪模块，保障跟踪过程中与目标变化保持一致。

在无人船局部避障过程中，需要实现对目标位置的实时跟踪，利用TLD***结构可以实现海域目标长时间跟踪。针对原始TLD算法中检测模块使用滑动窗口生成候选框，根据目标的大小在图片按规定的步长缩放比例穷举所有可能的候选窗口。滑动窗口方法简单快速，但是会生成大量的窗口传递入检测阶段。检测模块由三部分级联检测组成，候选框数量庞大而导致检测器每层筛选时间增加。TLD算法的跟踪模块使用简单的中值光流跟踪算法，且仅均匀选取点作为特征点进行跟踪，在无人船由于海面反射，光照变化大的情况下跟踪效果不理想。

发明内容

本发明的目的是为了克服上述现有技术中TLD算法针对海域目标跟踪的缺点与不足，提供了一种基于TLD算法的无人船海域目标跟踪方法，要解决的技术问题为：针对无人船海域目标跟踪问题，提出利用TLD算法思想进行实时跟踪，通过对检测模块中候选框生成算法以及跟踪模块中跟踪算法的不足进行改进，使其能够针对海域目标光照变化和形状变化大的特点更有效地进行跟踪。

本发明的目的可以通过如下技术方案实现：

一种基于TLD算法的无人船海域目标跟踪方法，所述跟踪方法使用TLD算法框架作为目标跟踪算法的基础，通过检测模块、跟踪模块、学习模块执行，并维护在线模板对目标的信息进行保存；

其中检测模块使用Selective Search算法对图片进行处理，生成候选框，输入到级联分类器中进行筛选，输出最终通过三个分类器的候选框，作为检测结果；

跟踪模块使用相关滤波跟踪算法进行跟踪，通过初始帧中目标信息，设定响应值为高斯分布，通过HOG算法提取图片特征，使用像素循环位移的方式，生成多个目标样本，并通过循环矩阵表示，相关滤波模板的计算使用最小二乘法作为损失函数，训练跟踪模块中相关滤波器，得到滤波模板；使用训练出来的滤波模板与后续采集到的图片进行匹配，得到响应值最高的位置作为跟踪模块输出结果；

检测模块结果和跟踪模块结果输入到综合模块中进行综合分析，得到最终跟踪结果，输出结果反馈于学习模块，当得到的目标框与在线模板相似度低于设定阈值时，进行学习，更新检测模块参数和跟踪模块滤波模板，并更新在线模板；否则不进行学习更新。

进一步地，基于目标可能遮挡或者脱离视野范围的真实情况，设定前一帧状态位来判断上一帧跟踪情况，如果上一帧没有输出跟踪结果，则在本帧图像上仅使用检测模块进行检测，当检测模块成功输出结果，则更新跟踪模块，重新启用跟踪模块。

进一步地，由无人船船载摄像头获取图像数据作为所述跟踪方法的输入，其他传感器设备(如雷达)或人为指定获取图像序列初始帧中的目标位置，根据初始帧中目标信息生成正负样本初始化跟踪方法中的在线模块以及检测模块初始化训练。

进一步地，所述检测模块包含方差分类器、随机蕨分类器和最近邻分类器；方差分类器通过计算候选框区域的像素方差进行筛选，原理为方差小的区域较大概率为背景；随机蕨分类器思想与随机森林类似，通过与目标区域随机选择匹配点进行构建随机蕨进行目标分类计算；最近邻分类器则通过在线模板保持的正负样本，分别计算候选框与正负样本的相似度进行筛选。

进一步地，检测模块的检测结果分为以下几种情况：如果没有候选框通过检测器，则检测模块没有输出，检测失败；如果最终通过检测器的候选框只有一个，则检测成功；如果通过的候选框有多个，则将检测结果进行聚类，如果聚类结果只有一个聚类中心，则检测成功，否则检测失败。

进一步地，所述检测模块结果和跟踪模块结果输入到综合模块中进行综合分析，得到最终跟踪结果，具体为：综合模块对跟踪模块和检测模块的输出结果进行综合分析：检测模块有输出跟踪模块无输出，将检测结果作为最终方法输出，并重新初始化跟踪模块；检测模块无输出跟踪模块有输出，则直接将跟踪模块结果作为最终跟踪输出；跟踪模块与检测模块都没有输出，则丢弃当前帧，保持原有状态；跟踪模块与检测模块都有输出，如果检测模块结果匹配度更高，则重新使用检测模块结果初始化跟踪模块，并将跟踪模块结果和检测模块结果按不同权值方式求平均值作为最终方法输出。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提供的基于TLD算法的无人船海域目标跟踪方法，使用传统算法，不依赖于深度学习计算图片特征，因此对于硬件要求低，计算效率高。跟踪模块的相关滤波跟踪算法利用训练样本数据构建循环结构，实现快速傅立叶对角化，简化运算过程，并保证精准度和鲁棒性。能够为无人船实时动态避障提供实时性保障。

2、本发明提供的基于TLD算法的无人船海域目标跟踪方法，使用SelectiveSearch利用色彩纹理信息生成候选框，候选框数量对比原始滑动窗口算法数量少且比例更准确，具有更高的可靠性。跟踪模块使用对图像几何和光学的形变保持较好不变性的HOG算法提取图像特征。***使用相关滤波改善***效果，与原始的TLD算法相比具有更高的鲁棒性。

3、本发明提供的基于TLD算法的无人船海域目标跟踪方法，针对海域目标在海面光照变化大，船只目标移动快、形变大的情况下，能够持续保持准确的目标跟踪。在目标部分遮挡和完全丢失的情况下，本目标跟踪方法能准确地重新定位目标位置，在同一数据集上实验，比原始TLD算法有更高准确率。

附图说明

图1为本发明实施例基于TLD算法的无人船海域目标跟踪方法执行流程图。

图2为本发明实施例中检测模块流程示意图。

图3为本发明实施例中跟踪模块流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于TLD算法的无人船海域目标跟踪方法，所述跟踪方法使用TLD算法框架作为目标跟踪算法的基础，通过检测模块、跟踪模块、学习模块执行，并维护在线模板对目标的信息进行保存；如图1所示；

其中检测模块使用Selective Search算法对图片进行处理，生成候选框，输入到级联分类器中进行筛选，输出最终通过三个分类器的候选框，作为检测结果；检测模块流程示意图如图2所示；

跟踪模块使用相关滤波跟踪算法进行跟踪，通过初始帧中目标信息，设定响应值为高斯分布，通过HOG算法提取图片特征，使用像素循环位移的方式，生成多个目标样本，并通过循环矩阵表示，相关滤波模板的计算使用最小二乘法作为损失函数，训练跟踪模块中相关滤波器，得到滤波模板；使用训练出来的滤波模板与后续采集到的图片进行匹配，得到响应值最高的位置作为跟踪模块输出结果；跟踪模块流程示意图如图3所示；

具体执行步骤如下：

第一步：通过无人船船载摄像头获取海面图像，在第一帧中通过无人船监控终端确定跟踪对象位置，用于确定初始帧中目标区域位置和大小，作为跟踪***的初始化信息。

第二步：初始帧中确定的目标框，通过仿射变化生成多个正样本初始化在线模板，保存目标信息。使用Selective Search算法在初始帧上生成的候选框，其中，SelectiveSearch算法在计算不同块的相似度时，考虑了图像中颜色相似度、纹理相似度、尺寸相似度、交叠相似度四种相似度，最终对不同的相似度赋予不同的权重进行计算，得到最后的最终相似度，通过比较不同区域块之间的相似度，进行合并，求出最终候选框集。SelectiveSearch算法相似度计算公式如下所示：

s(r_i，r_j)＝a₁S_colour(r_i，r_j)+a₂S_texture(r_i，r_j)+a₃S_size(r_i，r_j)+a₄S_fill(r_i，r_j)# (1)

候选框与目标通过相似度计算得出正负样本。使用正负样本训练检测模块级联器，确定检测模块中随机蕨分类器初始化参数。其中，图像相似度使用NCC归一化互相关系匹配系数(Normalized Cross Correlation)计算。

第三步：通过初始帧中目标信息，设定响应值为高斯分布。通过HOG算法提取图像信息。使用像素循环位移的方式，生成多个目标样本，并通过循环矩阵表示，相关滤波模板的计算使用最小二乘法作为损失函数，训练跟踪模块中相关滤波器，得到滤波器模板。相关目标函数表示为：

min∑(f(x_i)-g_i)²+λ||w||²# (2)

其中，.g表示设定的高斯分布模板，f表示计算出来的滤波器模板，w是列向量表示权重系数。其中λ用于控制函数参数复杂度，避免过拟合。

第四步：将后序摄像机获取的图像输入到本目标跟踪***中，检测模块和跟踪模块并行对图片进行计算处理。检测模块同样使用Selective Search算法对图片进行处理，生成候选框，输入到级联分类器中进行筛选，输出最终通过三个分类器的候选框，作为检测结果。跟踪模块使用训练出来的滤波模板进行匹配，得到响应值最高的位置作为跟踪模块输出结果。

第五步：检测模块结果和跟踪模块结果输入到综合模块中进行综合分析，得到最终跟踪结果。输出结果反馈于学习模块，当得到的目标框与在线模板相似度低于设定阈值时，进行学习，更新检测模块参数和跟踪模块滤波模板，并更新在线模板。否则不进行学习更新。

第六步：对后续输入图像序列循环第四步及其后续操作至到图像序列结束。

基于目标可能遮挡或者脱离视野范围真实情况，本目标跟踪***设定前一帧状态位来判断上一帧跟踪情况，如果上一帧没有输出跟踪结果，则在本帧图像上仅使用检测模块进行检测。当检测模块成功输出结果，则更新跟踪模块，重新启用跟踪模块。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种基于TLD算法的无人船海域目标跟踪方法，其特征在于：所述跟踪方法使用TLD算法框架作为目标跟踪算法的基础，通过检测模块、跟踪模块、学习模块执行，并维护在线模板对目标的信息进行保存；

2.根据权利要求1所述的一种基于TLD算法的无人船海域目标跟踪方法，其特征在于：基于目标可能遮挡或者脱离视野范围的真实情况，设定前一帧状态位来判断上一帧跟踪情况，如果上一帧没有输出跟踪结果，则在本帧图像上仅使用检测模块进行检测，当检测模块成功输出结果，则更新跟踪模块，重新启用跟踪模块。

3.根据权利要求1所述的一种基于TLD算法的无人船海域目标跟踪方法，其特征在于：由无人船船载摄像头获取图像数据作为所述跟踪方法的输入，其他传感器设备或人为指定获取图像序列初始帧中的目标位置，根据初始帧中目标信息生成正负样本初始化在线模块以及训练检测模块级联分类器。

4.根据权利要求1所述的一种基于TLD算法的无人船海域目标跟踪方法，其特征在于：所述检测模块包含方差分类器、随机蕨分类器和最近邻分类器；方差分类器通过计算候选框区域的像素方差进行筛选，原理为方差小的区域较大概率为背景；随机蕨分类器思想与随机森林类似，通过与目标区域随机选择匹配点进行构建随机蕨进行目标分类计算；最近邻分类器则通过在线模板保持的正负样本，分别计算候选框与正负样本的相似度进行筛选。

5.根据权利要求1所述的一种基于TLD算法的无人船海域目标跟踪方法，其特征在于，检测模块的检测结果分为以下几种情况：如果没有候选框通过检测器，则检测模块没有输出，检测失败；如果最终通过检测器的候选框只有一个，则检测成功；如果通过的候选框有多个，则将检测结果进行聚类，如果聚类结果只有一个聚类中心，则检测成功，否则检测失败。

6.根据权利要求1所述的一种基于TLD算法的无人船海域目标跟踪方法，其特征在于，所述检测模块结果和跟踪模块结果输入到综合模块中进行综合分析，得到最终跟踪结果，具体为：检测模块有输出跟踪模块无输出，将检测结果作为最终方法输出，并重新初始化跟踪模块；检测模块无输出跟踪模块有输出，则直接将跟踪模块结果作为最终跟踪输出；跟踪模块与检测模块都没有输出，则丢弃当前帧，保持原有状态；跟踪模块与检测模块都有输出，如果检测模块结果匹配度更高，则重新使用检测模块结果初始化跟踪模块，并将跟踪模块结果和检测模块结果按不同权值方式求平均值作为最终方法输出。