CN112883928A - 一种基于深度神经网络的多目标追踪算法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的多目标追踪算法，首先设计一个基于孪生网络实现的单目标追踪器，通过该网络对已确定的目标在此帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，可以利用余弦相似度和面积重叠的方式，来提高追踪的准确率。本发明首先介绍基于全卷积孪生网络设计的单目标追踪器，主要利用孪生网络相似性度量的思想，在待追踪区域中为各个目标搜索最相似的目标。再利用匹配算法对各个检测目标和各个追踪候选目标进行匹配。最后实验表明该理论具有可行性并展示了实验结果。

Description

一种基于深度神经网络的多目标追踪算法

技术领域

本发明具体涉及一种基于深度神经网络的多目标追踪算法。

背景技术

为了更好地进行行人识别，需要提取完整的行人特征，因此加入追踪模块获取行人的视频序列。随着计算机视觉领域的不断发展，多目标追踪算法被应用到越来越多的场景中。多目标追踪主要可以分为在线方式的追踪和离线方式的追踪。在线追踪是按顺序逐帧追踪，而离线追踪是对每个目标的状态进行估计，然后考虑整体状态的合理性约束。离线追踪可以简化为：获得每帧图像的检测结果，把检测结果和已有的追踪轨迹进行关联，获得多目标追踪的轨迹结果。

追踪问题是在视频的第一帧中确定一个目标，然后在后续的帧中进行追踪。由于目标是随机选择的，所以无法训练一个特定的目标追踪器进行追踪。一般的目标追踪器都是以在线的形式学习一个目标的表观模型。例如TLD，Struck，KCF，MIL和MOSSE。常见的追踪算法一般不考虑目标的检测。

针对上述问题，本发明中提出训练一种基于全卷积孪生网络的单目标追踪器和基于深度卷积神经网络的目标检测器，将得到的检测目标和追踪预测的候选目标利用余弦相似度等方法进行目标匹配，将目标检测融合到追踪过程中。

发明内容

发明目的：为了解决现有技术的不足，本发明提供了一种基于深度神经网络的多目标追踪算法。

技术方案：一种基于深度神经网络的多目标追踪算法，包括如下操作：首先设计一个基于孪生网络实现的单目标追踪器，通过该网络对已确定的目标在下一帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧图像上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，利用余弦相似度和面积重叠的方式，来提高追踪的准确率。

作为优化：孪生网络就是“连体神经网络”，神经网络的“连体”通过共享权值来实现，孪生网络就是衡量两个输入的相似度；孪生神经网络分别将两个输入映射到新的空间，形成输入在新的空间中的表示，通过损失计算，评价两个输入的相似度；

基于孪生网络的单目标追踪是在模板图像z和此帧图像x的搜索区域A、B(这些搜索区域在上一帧图像中的目标附近)间找到最相似的区域；模板图像和搜索区域通过

映射到特征空间，

是使用神经网络实现的一个特征映射；输入目标图像经过映射后的特征大小为6×6×128，同理，孪生网络下支路得到的特征大小为22×22×128；为了得到搜索区域的特征位置，将得到的孪生网络上支路的6×6×128的特征作为下支路的卷积核，对下支路的22×22×128的特征进行特征卷积；最后得到大小为17×17×1的score map分数图，该图代表各个位置与模板之间的相似度分数；算法是用来比较搜索区域与目标之间的相似度，这种方法类似于相关性滤波思想，孪生网络利用特征充当卷积，并在卷积结果中找到最大相似位置；

全卷积网络与候选图像的大小无关，它将计算所有的转换子窗口x与z的相似性，算法使用卷积嵌入函数

和互相关组合得到结果，公式如下：

式(1)中，b表示在每个位置的取值；

将输入的图像大小转化为127×127的大小，将候选图像转化为255×255的大小，变动区间为p，比例因子s使面积保持不变，通过公式不断调整图像尺寸：

s(w+2p)×s(h+2p)＝A (2)

式(2)中，A＝127²，p＝(w+h)/4，w，h为候选框的宽和高；

该网络训练时，l(y，v)是正负样本对网络的训练，公式如下：

l(y，v)＝log(1+exp(-yu)) (3)

式(3)中，u是单个样本的得分矩阵，v是单个模板与候选区域的相似性得分，y只取+1或者-1；

y的定义如下所示：

式(4)中，k为网络的步长，R为分数图元素中心的半径；

训练期间，使用包含示例图和更大候选图来实现网络的卷积，将得分图的损失定义为所有损失的均值：

式(5)中，D∈Z²为有限网格；

在利用全卷积孪生网络训练时，每对这样的输入都会得到一个相似度得分图score map，记为u；在score map上找到最大的score得分，并把原图上该得分点的位置作为最终的预测位置；利用线性插值，将17×17的score map扩大为272×272，将原来score map中响应最大值的点映射到272×272的score map上，作为目标位置：

最大得分位置＝分数图中心×网格块大小 (6)

接着，在score map的每个位置，通过随机梯度下降(SGD)来获得卷积参数：

argmin_θEL(y，f(z，x；θ)) (7)

式(7)中，θ为参数；

经过检测网络得到m个检测目标{1，2，…，m}，经过追踪网络得到n个追踪预测候选目标{1，2，…，n}，再利用匹配算法匹配检测目标和追踪预测候选目标；先采用面积融合法，检测候选框d(x₁，y₁，x₂，y₂)和追踪候选框s(x′₁，y′₁，x′₂，y′₂)公式如下：

x_min，x_max→(x₁，x₂，x′₁，x′₂) (8)

y_min，y_max→(y₁，y₂，y′₁，y′₂) (9)

w＝x_max-x_min (10)

h＝y_max-y_min (11)

s＝w×h (12)

式(12)中，w为重叠区域的宽，h为重叠区域的高，s为重叠区域面积；

如果面积的重叠率出现问题，则再次利用余弦匹配法进行验证，余弦公式为：

式(13)中，x_i，y_i(i＝1，2，…，n)分别是向量i的坐标。

有益效果：本发明首先介绍基于全卷积孪生网络设计的单目标追踪器，主要利用孪生网络相似性度量的思想，将目标搜索待追踪区域找到最相似的目标。再利用匹配算法对检测目标和追踪候选目标进行匹配。最后实验表明该理论具有可行性并展示实验结果。

附图说明

图1是本发明的基于孪生思想的多目标追踪的框架示意图；

图2是本发明的基于全卷积孪生网络的追踪器结构示意图；

图3是本发明的算法数据样本示意图；

图4是本发明的score map可视化图像；

图5是本发明的单人追踪结果示意图；

图6是本发明的多人追踪结果示意图；

图7是本发明的算法的准确性示意图；

图8是本发明的算法的效率示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

1.问题的定义和***框架

根据追踪思想，本发明设计一个深度卷积神经网络来进行目标追踪。首先设计一个基于孪生网络实现的单目标追踪器，通过该网络对已确定的目标在下一帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧图像上的位置预测。接着利用深度卷积神经网络在此帧图像上进行目标检测。最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，利用余弦相似度和面积重叠的方式，来提高追踪的准确率，图1是多目标追踪的框架示意图。

由图可知，追踪器是由一个基于孪生网络的追踪器和基于深度卷积神经网络的检测器构成，最后利用匹配算法进行匹配，实现行人在自然行走状态下的行人的运动轨迹追踪。

2.基于全卷积孪生网络的追踪算法

孪生网络(Siamese-network)就是“连体神经网络”，神经网络的“连体”通过共享权值来实现。孪生网络就是衡量两个输入的相似度。孪生神经网络分别将两个输入映射到新的空间，形成输入在新的空间中的表示。通过损失计算，评价两个输入的相似度，图2是基于全卷积孪生网络的追踪结构。

基于孪生网络的单目标追踪是在模板图像z和此帧图像x的搜索区域A、B(这些搜索区域在上一帧图像中的目标附近)间找到最相似的区域。模板图像和搜索区域通过

映射到特征空间，

是使用神经网络实现的一个特征映射；输入目标图像经过映射后的特征大小为6×6×128，同理，孪生网络下支路得到的特征大小为22×22×128；为了得到搜索区域的特征位置，将得到的孪生网络上支路的6×6×128的特征作为下支路的卷积核，对下支路的22×22×128的特征进行特征卷积；最后得到大小为17×17×1的score map分数图，该图代表各个位置与模板之间的相似度分数；算法是用来比较搜索区域与目标之间的相似度，这种方法类似于相关性滤波思想，孪生网络利用特征充当卷积，并在卷积结果中找到最大相似位置；

全卷积网络与候选图像的大小无关，它将计算所有的转换子窗口x与z的相似性。算法使用卷积嵌入函数

和互相关组合得到结果，公式如下。

式(1)中，b表示在每个位置的取值。

将输入的图像大小转化为127×127的大小，将候选图像转化为255×255的大小，变动区间为p，比例因子s使面积保持不变。通过公式不断调整图像尺寸。

s(w+2p)×s(h+2p)＝A (2)

式(2)中，A＝127²，p＝(w+h)/4，w，h为候选框的宽和高。

该网络训练时，l(y，v)是正负样本对网络的训练，公式如下。

l(y，v)＝log(1+exp(-yu)) (3)

式(3)中，u是单个样本的得分矩阵，v是单个模板与候选区域的相似性得分，y只取+1或者-1。

y的定义如下所示：

式(4)中，k为网络的步长，R为分数图元素中心的半径。

训练期间，使用包含示例图和更大候选图来实现网络的卷积。将得分图的损失定义为所有损失的均值。

式(5)中，D∈Z²为有限网格。

在利用全卷积孪生网络训练时，每对这样的输入都会得到一个相似度得分图score map，记为u；在score map上找到最大的score得分，并把原图上该得分点的位置作为最终的预测位置；利用线性插值，将17×17的score map扩大为272×272，将原来score map中响应最大值的点映射到272×272的score map上，作为目标位置：

最大得分位置＝分数图中心×网格块大小 (6)

接着，在score map的每个位置，通过随机梯度下降(SGD)来获得卷积参数：

ar g min_θ E L(y，f(z，x；θ)) (7)

式(7)中，θ为参数；

经过检测网络得到m个检测目标{1，2，…，m}，经过追踪网络得到n个追踪预测候选目标{1，2，…，n}，再利用匹配算法匹配检测目标和追踪预测候选目标；先采用面积融合法，检测候选框d(x₁，y₁，x₂，y₂)和追踪候选框s(x′₁，y′₁，x′₂，y′₂)公式如下：

x_min，x_max→(x₁，x₂，x′₁，x′₂) (8)

y_min，y_max→(y₁，y₂，y′₁，y′₂) (9)

w＝x_max-x_min (10)

h＝y_max-y_min (11)

s＝w×h (12)

式(12)中，w为重叠区域的宽，h为重叠区域的高，s为重叠区域面积。

如果面积的重叠率出现问题，则再次利用余弦匹配法进行验证，余弦公式为：

式(13)中，x_i，y_i(i＝1，2，…，n)分别是向量i的坐标。

3.实验结果和分析

3.1实验数据

在此实验中，训练模型时依据ILSVRC2015数据集格式。ILSVRC主要有三个文件夹，分别为ImageSets、Data和Annotations，其中ImageSets包含数据集的相关描述。Data存储所有数据信息，包含图片和视频片段，Annotations对应Data中图片的标注信息。图3展示了算法模型的训练样本。

3.2实验结果

将输入的图像大小转化为127×127的大小，将候选图像转化为255×255的大小，作为特征提取网络的输入。第一层是卷积层，模板图像和搜索区域图像经过96个11×11×3的卷积核得到59×59和123×123的特征图像。接着是池化层，采用max-pooling，将第一层得到的特征图经过3×3为单位的下采样后得到29×29和61×61的特征图。经过第三层256个5×5×48的卷积，分别得到25×25和57×57的特征图像，经过3×3为单位的池化层，得到12×12和28×28的特征图。在经过第四，第五和第六层的卷积之后，最终得到6×6的模板特征图和22×22的搜索区域特征图。为了降低过拟合风险，每个卷积层后都有一个ReLU非线性激活层。然后，将6×6的模板特征图作为22×22的搜索区域特征图的卷积核，得到scoremap矩阵，图4是将该得分矩阵可视化，其中亮点代表追踪预测的位置，大图和小图分别为原图和目标图像。最后将score map图经过插值，从17×17上采样到272×272进行目标定位。

在此实验中，分别测试了单人，多人等情况。在GPU服务器的处理速度是86帧/秒，图5和图6是追踪的结果。

实验表明，每帧处理的速度不仅能达到实时性的要求，而且在准确率上也能达到95％以上。为了更加突出该算法的优越性，与BOOSTING，MIL，KCF，TLD和MOSSE算法进行比较，算法的准确性和算法的效率如图7和8所示。

全卷积孪生网络主要解决相似性的问题，可以通过训练孪生网络进行相似性评估解决该问题。经实验证明，该网络不仅在视频数据集ILSVRC2015上表现良好，并且在实际应用中，能够达到实时追踪的效果。

Claims (3)

1.一种基于深度神经网络的多目标追踪算法，其特征在于：包括如下操作：首先设计一个基于孪生网络的单目标追踪器，通过该网络对已确定的目标在下一帧图像中进行相似性度量，得到上一帧图像上的各个目标在此帧图像上的位置预测；接着利用深度卷积神经网络在此帧图像上进行目标检测；最后，将得到的追踪预测图像和检测得到的行人图像进行关联匹配，可以利用余弦相似度和面积重叠的方式，来提高追踪的准确率。

2.根据权利要求1所述的基于深度神经网络的多目标追踪算法，其特征在于：依据前一帧图像上追踪的目标，使用孪生网络在此帧图像上预测各个追踪目标的问题，并通过和此帧图像上目标检测的多个结果进行比对，为每个目标找到最相似的目标，实现多目标的追踪。

3.根据权利要求1所述的基于深度神经网络的多目标追踪算法，其特征在于：孪生网络就是“连体神经网络”，神经网络的“连体”通过共享权值来实现，孪生网络就是衡量两个输入的相似度；孪生神经网络分别将两个输入映射到新的空间，得到输入在新的空间中的表示，通过损失计算，评价两个输入的相似度；

基于孪生网络的单目标追踪是在模板图像z和此帧图像x的搜索区域A、B(这些搜索区域在上一帧图像中的目标附近)间找到最相似的区域；模板图像和搜索区域通过

映射到特征空间，

是使用神经网络实现的一个特征映射；输入目标图像经过映射后的特征大小为6×6×128，同理，孪生网络下支路得到的特征大小为22×22×128；为了得到搜索区域的特征位置，将得到的孪生网络上支路的6×6×128的特征作为下支路的卷积核，对下支路的22×22×128的特征进行特征卷积；最后得到大小为17×17×1的score map分数图，该图代表各个位置与模板之间的相似度分数；算法是用来比较搜索区域与目标之间的相似度，这种方法类似于相关性滤波思想，孪生网络利用特征充当卷积，并在卷积结果中找到最大相似位置；

全卷积网络与候选图像的大小无关，它将计算所有的搜索窗口x与z的相似性，算法使用卷积嵌入函数

和互相关组合得到结果，公式如下：

式(1)中，b表示在每个位置的取值；

将输入的图像大小转化为127×127的大小，将候选图像转化为255×255的大小，变动区间为p，比例因子s使面积保持不变，通过公式不断调整图像尺寸：

s(w+2p)×(h+2p)＝A (2)

式(2)中，A＝127²，p＝(w+h)/4，w，h为候选框的宽和高；

该网络训练时，l(y，v)是正负样本对网络的训练，公式如下：

l(y，v)＝log(1+exp(-yu)) (3)

式(3)中，u是单个样本的得分矩阵，v是单个模板与候选区域的相似性得分，y只取+1或者-1；

y的定义如下所示：

式(4)中，k为网络的步长，R为分数图元素中心的半径；

训练期间，使用包含示例图和更大候选图来实现网络的卷积，将得分图的损失定义为所有损失的均值：

式(5)中，D∈Z²为有限网格；

在利用全卷积孪生网络训练时，每对这样的输入都会得到一个相似度得分图scoremap，记为u；在score map上找到最大的score得分，并把原图上该得分点的位置作为最终的预测位置；利用线性插值，将17×17的score map扩大为272×272，将原来score map中响应最大值的点映射到272×272的score map上，作为目标位置：

最大得分位置＝分数图中心×网格块大小 (6)

接着，在score map的每个位置，通过随机梯度下降(SGD)来获得卷积参数：

argmin_θEL(y，f(z，x；θ)) (7)

式(7)中，θ为参数；

经过检测网络得到m个检测目标{1，2，…，m}，经过追踪网络得到n个追踪预测候选目标{1，2，…，n}，再利用匹配算法匹配检测目标和追踪预测候选目标；先采用面积融合法，检测候选框d(x₁，y₁，x₂，y₂)和追踪候选框s(x′₁，y′₁，x′₂，y′₂)公式如下：

x_min，x_max→(x₁，x₂，x′₁，x′₂) (8)

y_min，y_max→(y₁，y₂，y′₁，y′₂) (9)

w＝x_max-x_min (10)

h＝y_max-y_min (11)

s＝w×h (12)

式(12)中，w为重叠区域的宽，h为重叠区域的高，s为重叠区域面积；

如果面积的重叠率出现问题，则再次利用余弦匹配法进行验证，余弦公式为：

式(13)中，x_i，y_i(i＝1，2，…，n)分别是向量i的坐标。

Images