CN110544269A - 基于特征金字塔的孪生网络红外目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于特征金字塔的孪生网络红外目标跟踪方法，分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。本发明对目标形变具有更好的判别能力，更加适应复杂场景及目标形变。

Description

基于特征金字塔的孪生网络红外目标跟踪方法

技术领域

本发明属于红外目标跟踪领域，具体涉及一种基于特征金字塔的孪生网络红外目标跟踪方法。

背景技术

近年来，基于可见光计算机视觉的运动目标检测与跟踪技术发展迅速，已经在各个领域得到了广泛应用，如人机交互、智能视频监控和精确制导等。但是可见光***无法在恶劣天气和夜晚发挥有效的作用，与之相比，红外成像***在这方面具有相对优势，因为红外成像***是通过感知物体所辐射的红外信号来获取信息的，因此其具有全天时工作、隐蔽性好、穿透烟尘能力强、抗干扰能力强等优点。

红外目标跟踪是在红外图像序列中发现目标，并实施有效跟踪的过程，其作为红外成像***的关键技术，在红外***防御、告警和对抗等任务中具有十分重要的地位，因此研究红外目标跟踪技术具有很高的应用价值。

目前已经有许多国内外学者对红外目标检测与跟踪技术展开深入的研究，。尽管如此，由于红外***固有的局限性，目前仍然存在许多亟需解决的问题。红外图像缺乏视觉颜色信息、图像信噪比低、相似物难分辨、背景杂波较严重和分辨率低等缺陷使得红外目标很容易淹没在背景中。此外如果背景中有相似物体，红外***极容易跟错目标，并且目标被遮挡后重新检测的难度大。例如孪生网络跟踪算法(SiamFPN)，该算法无法输出精确的目标尺寸，并且在背景中有和目标相似物体时，极容易出错。因此，研究复杂背景下红外目标跟踪技术是一项富有挑战性的课题，对其深入研究有着重要的意义。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于特征金字塔的孪生网络红外目标跟踪方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于特征金字塔的孪生网络红外目标跟踪方法，该方法为：

将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧；

分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；

对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重；

根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；

对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。

上述方案中，所述将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧，具体为：所述将原始红外图像序列的当前帧作为特征提取子网络中检测分支的检测帧，将上一帧作为特征提取子网络中模板分支的模板帧。

上述方案中，所述分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层，具体为：特征提取子网络的各个分支的网络采用三条路线的方式，分别是自底向上、自顶向下和横向连接，自底向上采用与区域选取网络相同的五层网络，逐层进行尺度缩小；自顶向下路线采用反卷积进行上采样；横向连接是将上采样的结果和自底向上生成的相同大小的特征图进行融合，生成P2至P5的特征图谱，与自底向上的C2至C5的特征图谱一一对应；采用融合了各层特征的P2、P3、P4、P5层进行目标预测。

上述方案中，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体为：将区域选取子网络分成两个分支，一个用于目标-背景的分类分支，另一个用于目标区域的回归分支；假设区域选取子网络设置k′个锚点，需要输出2k′个通道进行分类，4k′个通道进行回归。

上述方案中，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体通过以下步骤实现：

(1)将模板φ_p(z)增加到两个分支[φ_p(z)]_cls和[φ_p(z)]_reg，分别通过两个卷积层扩展到2k′和4k′倍的通道数量；

(2)检测帧φ_p(x)也被两个卷积层分成两个分支[φ_p(x)]_cls和[φ_p(x)]_reg，但通道数量保持不变；

(3)在分类分支和回归分支上[φ_p(z)]与[φ_p(x)]分别通过卷积运算相关性，即

其中，[φ_p(z)]_cls，[φ_p(z)]_reg，[φ_p(x)]_cls，[φ_p(x)]_reg，分别为模板帧的分类分支、模板帧的回归分支、检测帧的分类分支、检测帧的回归分支、分类分支相关性、回归分支相关性。

上述方案中，在使用多个锚训练网络时，采用正则化平滑的L1损失函数，表达式为

其中，A_x，A_y，A_w，A_h表示锚的中心点和宽、高，T_x，T_y，T_w，T_h表示真实目标框的中心点坐标和宽、高，δ[0]，δ[1]，δ[2]，δ[3]分别为横坐标，纵坐标，宽度，高度的正则化距离；

smooth_L1损失为

网络整体的损失函数为

L＝L_cls+λL_reg

其中λ为超参数，L_reg回归损失函数，L_cls为分类损失函数，使用交叉熵损失函数来表示，即

上述方案中，所述根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议，具体为：将所述检测帧的每一层尺度特征层也分为分类分支与回归分支，分别结合该尺度特征层对应模板帧确定的分类权重与回归权重获得每个锚的分类置信图与回归置信图，并且根据所述每个锚的分类置信图与回归置信图的相关性确定检测帧该层尺度特征层对应的尺度提议。

上述方案中，所述将所述检测帧的每一层尺度特征层也分为分类分支与回归分支，分别结合该尺度特征层对应模板帧确定的分类权重与回归权重获得每个锚的分类置信图与回归置信图，并且根据所述每个锚的分类置信图与回归置信图的相关性确定检测帧该层尺度特征层对应的尺度提议，具体为：

将分类和回归输出特征图R表示为点集

其中，i∈[0,w)，j∈[0,h)，l∈[0,2k′)，p∈{2,3,4,5}；

其中，i∈[0,w)，j∈[0,h)，m∈[0,k′)。

令变量i和j分别代表相应锚点的位置，并且l代表相应锚点的索引号，将锚点集导出为此外，在上激活ANC^*以得到相应的改进坐标为则输出的K个决议集合为

与现有技术相比，本发明对目标形变具有更好的判别能力，更加适应复杂场景及目标形变；充分地利用了目标的细节特征，对细节特征本就不多的红外图像具有很好的适应性；将分类和尺度回归并行计算，预测目标的长宽比使得跟踪更具有精确性和实时性；对红外目标的智能感知能力更强，对于目标遮挡及背景相似物等问题更具有适应性。

附图说明

图1为本发明实施例提供一种基于特征金字塔的孪生网络红外目标跟踪方法的流程图

图2为本发明的实施例提供一种基于特征金字塔的孪生网络红外目标跟踪方法的孪生网络结构图；

图3为本发明的实施例提供一种基于特征金字塔的孪生网络红外目标跟踪方法中的在分类特征图中选择距离中心不超过7的目标框的图示；

图4为Boat2序列的第1、243、700、944帧跟踪结果；

图5分别为本发明的算法(Gif-SiamFPN)、基于金字塔的孪生网络算法(SiamFPN)、基于上下文感知的尺度估计算法(Gif-SECA)、全卷积孪生网络算法(SiamFC)、判别式尺度空间跟踪算法(DSST)、相关滤波网络算法(CFNet)这六种算法的精确度图和成功率图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于特征金字塔的孪生网络红外目标跟踪方法，如图1所示，该方法为：

步骤1：将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧；

具体地，在特征提取子网络中，采用没有全连接层的全卷积网络。

将特征提取子网络分为两个分支，一个为模板分支，它将第一帧中的目标图像块z作为输入；另一个为检测分支，它将当前帧中的目标候选框x作为输入，这两个分支在卷积层中共享参数。

将单次检测视为判别任务，其目的是找到最小化预测函数ψ_p(x_i；W)的平均损失L的参数W。它是在n个样本x_i和相应的标签y_i上计算得

一次性学习的目的是从目标模板z中学习W。z表示模板帧，x表示检测帧，函数φ_p表示某一层特征图谱，函数ζ表示区域选取子网络的预测函数，则一次性检测任务可以表示为

步骤2：分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；

具体地，特征提取子网络的各个分支的网络采用三条路线的方式，分别是自底向上(红色箭头)，自顶向下(绿色箭头)和横向连接(蓝色箭头)，自底向上采用与区域选取网络相同的五层网络，如图2中C1至C5，逐层进行尺度缩小；自顶向下路线采用反卷积进行上采样；横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，生成如图2所示的P2至P5的特征图谱，与自底向上的C2至C5的特征图谱一一对应；采用融合了各层特征的P2、P3、P4、P5层进行目标预测。

方便起见，将φ_p(z)和φ_p(x)表示为某一层输出的特征映射，其中p∈{2,3,4,5}。

步骤3：对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重；

具体地，将区域选取子网络分成两个分支，一个用于目标-背景分类，另一个用于目标区域回归。假设给网络设置k′个锚点，网络需要输出2k′个通道进行分类，4k′个通道进行回归。

具体通过具体通过以下步骤实现：

(1)将模板φ_p(z)增加到两个分支[φ_p(z)]_cls和[φ_p(z)]_reg，分别通过两个卷积层扩展到2k′和4k′倍的通道数量。

(2)待监测帧φ_p(x)也被两个卷积层分成两个分支[φ_p(x)]_cls和[φ_p(x)]_reg，但通道数量保持不变。

(3)在分类分支和回归分支上[φ_p(z)]与[φ_p(x)]分别通过卷积运算相关性，即

如图2所示，分类分支的输出包含2k′个通道，其表示在输出图上相应位置处的每个锚的正、负激活函数。类似地，回归分支的输出包含4k′个通道，其表示锚和对应的真实目标框之间的距离的dx，dy，dw，dh。

步骤4：根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；

具体地，将模板分支的输出视为本地检测的卷积核与检测分支的输出进行相关性计算来获得分类和回归输出从而获得提议。

将分类和回归输出特征图R表示为点集

其中，i∈[0,w)，j∈[0,h)，l∈[0,2k′)，p∈{2,3,4,5}。

其中，i∈[0,w)，j∈[0,h)，m∈[0,k′)。

令变量i和j分别代表相应锚点的位置，并且l代表相应锚点的索引号，因此可以将锚点集导出为此外，在上激活ANC^*以得到相应的改进坐标为则输出的K个决议集合为

针对检测帧的P2-P5尺度特征层均采用相同的方式确定尺度提议。

步骤5：对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。

为了使一次性检测方法适合于跟踪任务，选择尺度提议的策略分为两步：

①因为跟踪问题中目标总没有太大的运动，因此在输出的分类响应图中放弃离中心过远的网格，即只保留g′×g′子区域来获得g′×g′×k′个提议框(g′取7,k′取5)，以此来去除异常值。图3是在分类特征图中选择距离中心不超过7的目标框的图示。

②使用余弦窗口和比例变化惩罚来重新排列事件的得分以获得最佳得分。在放弃异常值之后，添加余弦窗口以抑制大位移，然后增加惩罚P_e以抑制大小和比率的较大变化，P_e的表达式为

其中，代表超参数，r表示提议框的高度和宽度的比例，r′表示当前帧目标框的高宽比。s和s′代表提议框和当前帧的总体尺度，计算公式为

(w+p)×(h+p)＝s²

其中w和h代表目标的宽度和高度，p＝(w+h)/2。

在这些操作之后，在将分类得分乘以惩罚之后，对当前锚所回归的提议进行重新排序。之后执行非极大值抑制以获得最终跟踪边界框；选择最终边界框后，通过线性插值更新目标尺寸。

网络模型及参数设置：

1、在使用多个锚训练网络时，采用正则化平滑的L1损失函数，表达式为

其中，A_x，A_y，A_w，A_h表示锚的中心点和宽、高，T_x，T_y，T_w，T_h表示真实目标框的中心点坐标和宽、高，δ[0]，δ[1]，δ[2]，δ[3]分别为横坐标，纵坐标，宽度，高度的正则化距离。smooth_L1损失为

网络整体的损失函数为

L＝L_cls+λL_reg

其中λ为超参数，L_reg为回归损失函数，L_cls为分类损失函数，使用交叉熵损失函数来表示，即

2、在训练阶段使用预测框和真实目标框的交并比IoU和两个阈值th_hi和th_lo作为度量。正样本被定义为具有的锚，负样本被定义为具有IoU<th_lo的锚。

将阈值th_lo设置为0.3，th_hi设置为0.6。

3、对于每一个尺度特征层，都设定了大小为8×8像素的锚，另外每个锚都有5种长宽比：{0.33,0.5,1,2,3}，即k′＝5。所以整个特征金字塔有20种锚。

4、最佳提议选择的子区域长度g为7。对于训练过程，使用随机梯度下降法(SGD)优化损失函数，学习率初始值设置为0.01。

5、全卷积网络的自底向上路线采用AlexNet的5层卷积，在前两个卷积层之后使用最大池化。除了conv5之外，每个卷积层都采用ReLU非线性激活函数。各层的卷积核大小、通道数量、步长、检测帧与模板帧的尺寸等信息如表1所示。

表1卷积层参数

6、图4为Boat2序列的第1、243、700、944帧，目标为海面上的一艘船，目标初始大小约为8×20个像素，该目标首先做平面外翻转，表观形态由图4(a)变为图4(b)，所有算法均有效地跟踪了目标；之后目标又做了一次平面内翻转，在第700帧表观与初始帧一样，但由于相机抖动，GIF-SECA算法出现了漂移；在第944帧左右，目标快速运动，尺度迅速变大，此时本发明的算法准确度最高。

7、图5(a)和图5(b)分别为对16个红外序列采用本发明的算法(Gif-SiamFPN)、基于金字塔的孪生网络算法(SiamFPN)、基于上下文感知的尺度估计算法(Gif-SECA)、全卷积孪生网络算法(SiamFC)、判别式尺度空间跟踪算法(DSST)、相关滤波网络算法(CFNet)这6种跟踪算法所绘制的精确度图和成功率图，取位置误差为20对精确度进行排序，本发明的算法(GIF-SiamFPN)精确度达0.914，采用曲线下面积对成功率曲线进行排序，本发明的成功率相对来说也是最高的。因此，本发明的算法在跟踪的精确度和重叠率方面均超过了近几年的比较经典的跟踪方法。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，该方法为：

将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧；

分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；

对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重；

根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；

对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。

2.根据权利要求1所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧，具体为：所述将原始红外图像序列的当前帧作为特征提取子网络中检测分支的检测帧，将上一帧作为特征提取子网络中模板分支的模板帧。

3.根据权利要求1或2所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层，具体为：特征提取子网络的各个分支的网络采用三条路线的方式，分别是自底向上、自顶向下和横向连接，自底向上采用与区域选取网络相同的五层网络，逐层进行尺度缩小；自顶向下路线采用反卷积进行上采样；横向连接是将上采样的结果和自底向上生成的相同大小的特征图进行融合，生成P2至P5的特征图谱，与自底向上的C2至C5的特征图谱一一对应；采用融合了各层特征的P2、P3、P4、P5层进行目标预测。

4.根据权利要求3所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体为：将区域选取子网络分成两个分支，一个用于目标-背景的分类分支，另一个用于目标区域的回归分支；假设区域选取子网络设置k′个锚点，需要输出2k′个通道进行分类，4k′个通道进行回归。

5.根据权利要求4所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体通过以下步骤实现：

(1)将模板φ_p(z)增加到两个分支[φ_p(z)]_cls和[φ_p(z)]_reg，分别通过两个卷积层扩展到2k′和4k′倍的通道数量；

(2)检测帧φ_p(x)也被两个卷积层分成两个分支[φ_p(x)]_cls和[φ_p(x)]_reg，但通道数量保持不变；

(3)在分类分支和回归分支上[φ_p(z)]与[φ_p(x)]分别通过卷积运算相关性，即

其中，[φ_p(z)]_cls，[φ_p(z)]_reg，[φ_p(x)]_cls，[φ_p(x)]_reg，分别为模板帧的分类分支、模板帧的回归分支、检测帧的分类分支、检测帧的回归分支、分类分支相关性、回归分支相关性。

6.根据权利要求5所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，在使用多个锚训练网络时，采用正则化平滑的L1损失函数，表达式为

其中，A_x，A_y，A_w，A_h表示锚的中心点和宽、高，T_x，T_y，T_w，T_h表示真实目标框的中心点坐标和宽、高，δ[0]，δ[1]，δ[2]，δ[3]分别为横坐标，纵坐标，宽度，高度的正则化距离；

smooth_L1损失为

网络整体的损失函数为

L＝L_cls+λL_reg

其中λ为超参数，L_reg回归损失函数，L_cls为分类损失函数，使用交叉熵损失函数来表示，即

7.根据权利要求6所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议，具体为：将所述检测帧的每一层尺度特征层也分为分类分支与回归分支，分别结合该尺度特征层对应模板帧确定的分类权重与回归权重获得每个锚的分类置信图与回归置信图，并且根据所述每个锚的分类置信图与回归置信图的相关性确定检测帧该层尺度特征层对应的尺度提议。

8.根据权利要求7所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述将所述检测帧的每一层尺度特征层也分为分类分支与回归分支，分别结合该尺度特征层对应模板帧确定的分类权重与回归权重获得每个锚的分类置信图与回归置信图，并且根据所述每个锚的分类置信图与回归置信图的相关性确定检测帧该层尺度特征层对应的尺度提议，具体为：

将分类和回归输出特征图R表示为点集

其中，i∈[0,w)，j∈[0,h)，l∈[0,2k′)，p∈{2,3,4,5}；

其中，i∈[0,w)，j∈[0,h)，m∈[0,k′)。

令变量i和j分别代表相应锚点的位置，并且l代表相应锚点的索引号，将锚点集导出为此外，在上激活ANC^*以得到相应的改进坐标为则输出的K个决议集合为