CN106991396B - 一种基于智慧路灯伴侣的目标接力跟踪算法 - Google Patents

Abstract

本发明公开了一种基于智慧路灯伴侣的目标接力跟踪算法，本发明利用一种深度网络模型检测出目标，其次利用另一种深度模型提取其特征，对于某个智慧路灯伴侣而言，可以抓拍到某物体的多个视角图像，保存每个视角所提取的特征。***每隔一段时间进行目标检测，将检测结果与跟踪结果进行融合。当物体移出当前智慧路灯伴侣视野并进入到下一智慧路灯伴侣视野时，下一个智慧路灯伴侣同样进行目标检测并提取特征，将提取出特征与上一智慧路灯伴侣保存的特征比对，由此可以判断是否是同一物体，实现目标的接力跟踪。

Description

一种基于智慧路灯伴侣的目标接力跟踪算法

技术领域

本发明涉及一种智慧路灯伴侣的目标接力跟踪算法，属于计算机视觉技术领域。

背景技术

视频监控是维护公共安全的重要手段之一，目标跟踪是处理视频的一种基础研究课题。在复杂环境下，传统跟踪算法所面临的问题是：1、用单摄像头进行跟踪，视野受到局限。2、相似目标对跟踪过程造成一定干扰。3、目标在运动过程中发生多次遮挡或形变。4、图像分辨率低或画质低下影响后续处理。多摄像头能在一个广阔的区域上跟踪目标，得到的目标轨迹更完整，也更具实际应用意义；但同时也带来一些新的问题，如数据融合，目标匹配等，这些都是目前所研究的重点、难点问题，然而这并不妨碍多摄像头***逐渐成为监控跟踪领域的主流趋势。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于智慧路灯伴侣的目标接力跟踪算法，它利用智慧路灯伴侣上的四个摄像头，多角度抓拍图像，获取更广阔的视野和更完整的目标轨迹。智慧路灯伴侣每隔一段相等距离部署于道路两旁，当物体运动经过时，后台服务器先利用一种深度网络模型检测出目标，其次再利用另一种深度模型提取特征。每个智慧路灯能抓拍到某物体的多个视角图像，保存每个视角所提取的特征，并利用这些特征进行目标跟踪及物体边界确定。此外，***每隔一段时间进行一次目标检测，将检测结果与跟踪结果进行融合，修正由持续跟踪时，目标产生形变或遮挡所带来的边界误差。当物体移出当前路灯视野并进入到下一智慧路灯伴侣视野时，下一个智慧路灯伴侣同样进行目标检测并提取特征，将提取出特征与上一路灯保存的特征比对，判断是否为同一物体，实现目标的接力跟踪。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于智慧路灯伴侣的目标接力跟踪算法，包括以下步骤：

步骤1，采用汽车和行人两类样本训练一个能够检测多种目标类别的深度神经网络；

步骤2，通过摄像头观察周围的环境，对摄像头的摄像视频通过步骤1训练得到的深度神经网络每隔n帧检测目标并提取其在网络中不同层次的卷积特征。

步骤3，利用卷积特征，实现目标在下一帧的精确定位，融合检测结果与跟踪结果。

步骤4，对于任一一个检测到的目标，将其高层卷积特征与相邻路灯保存的特征做比对，通过计算两者的相似度来确定是否是同一物体。

优选的：步骤1中的深度神经网络训练，使用汽车和行人两类样本训练检测模型，然后使用多类别的数据集训练特征提取网络模型。

优选的：步骤2中每隔n帧使用深度神经网络检测行人及车辆两类目标，并提取网络的一层以上的卷积特征。设目标在上一帧的坐标p_t-1，在当前帧t以p_t-1为中心截取出一块搜索区域，将搜索区域图像送入特征提取网络，提取卷积特征，作插值运算使特征图具有相同的分辨率。

优选的：所述步骤3中利用卷积特征及目标在上一帧的位置，实现在当前帧的精确定位，融合检测与跟踪结果：

步骤31，为每一层特征图构造相关滤波器，再将目标函数用快速傅里叶变换转到频域，得到函数的最优解。

步骤32，将提取出的每一层特征图按照从后向前的顺序，与对应的相关滤波器作卷积。首先在最后一层的特征图上作卷积，取最大响应值对应的坐标作为前一层的初始搜索坐标，然后在该层r×r的区域内与相关滤波器作卷积，以此类推。

步骤33，通过相关滤波器与对应特征图作卷积可以找到最大响应值，该响应值所在的位置即为目标在t帧的坐标p_t(x_t,y_t)，在p_t周围截取出一块子图像，同样提取卷积特征，作插值，然后更新相关滤波器。

步骤34，若跟踪结果Tr与检测结果Det的重叠度大于阈值T时，认为这两个矩形框包含的是同一目标，将Det覆盖Tr。

优选的：所述步骤3中对特征图进行升采样，升采样的方法如下：

其中，h代表升采样前的特征图，x为升采样后的特征图，α为插值的权值，k代

表邻域范围的取值，x_i为i处的特征向量，这里插值的权值α_ik取决于位置i和邻域k内

的各特征向量。

所述步骤31中为每一层特征图构造相关滤波器，其目标函数如下：

其中w为一个相关滤波器，其大小为(M,N,D)其中M为宽度，N为高度，D为通道数。

||w||为w的范数，此处的

为w的欧几里得范数的平方。arg min为数学函数，表示函数值取最小值时，自变量的取值。x_m,n表示(m,n)处的特征向量。y(m,n)表示在(m,n)处的像素标签，此标签符合一个二维高斯分布，其中有m∈{0,...,M-1}，n∈{0,...,N-1}。λ是一个正则化参数；

再将目标函数用快速傅里叶变换转到频域，得到函数最优解：

其中，W^d表示频域d∈{1,...,D}的相关滤波器。我们用大写的字母表示对应小写字母的傅里叶变换。即Y表示y＝{y(m,n)|(m,n)∈{0,...M-1}×{0,...N-1}}的傅里叶变换，Xⁱ表示频率为i的特征图的傅里叶变换，其中i∈{1,...,D}。

表示X的一个复杂的共轭函数，Θ代表Hadamard积，λ是一个正则化参数。当给定第l层的搜索区域后，该层的相关性响应图为，

其中Γ-¹为逆FFT变换的运算符号，Z为某层大小为M×N×D的特征向量的傅里叶变换，d表示频域，有d∈{1,...,D}。

所述步骤33更新相关滤波器的公式如下：

A^d表示相关滤波器W^d的分子，B^d表示W^d的分母。其中t为帧索引，η为学习率。

优选的：所述步骤32中在该层r×r的区域内与相关滤波器作卷积，公式如下：

其中f_l-1(m,n)为l-1层(m,n)处的相关性响应图。

为l-1层的最大响应值对应的坐标。arg max为数学符号，表示函值取最大值时自变量的取值。根据此公式，求出前一层的最高响应位置。

优选的：步骤4中确定是否为同一物体的方法如下：对于每一个检测到的目标，如果与任意一个跟踪结果的重叠度都小于T，则分以下两种情况处理：

步骤41，将该目标的高层特征与所有相邻智慧路灯伴侣保存的特征{F_t}作比对，相似度函数为向量的余弦距离，若相似度最大值大于阈值T₂，认为是同一物体，实现接力跟踪。

步骤42，如果该目标与{F_t}中特征相似度都小于T₂，则认为是一个新目标。

本发明相比现有技术，具有以下有益效果：

1.相较于传统方法，本发明的检测率较高。传统方法如，背景建模，其运算效率较高，但容易受噪声影响，而且相近物体容易发生粘连，不利于后期跟踪。又例如svm+hog，该方法基本可以避免粘连现象，但存在明显的漏检。

2.本发明在网络的不同层次，以及在不同视角提取卷积特征，因此该特征具有较强的区分能力，及跟踪能力。

附图说明

图1是本发明的具体实施例流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于智慧路灯伴侣的目标接力跟踪算法，智慧路灯伴侣是一种特殊的安装在路灯灯杆上的硬件装置，拥有四个方向上的四个网络摄像头，可以对道路上的车辆、行人进行监控。智慧路灯伴侣每隔一段相等距离部署于道路两旁的路灯灯杆上，当有运动物体经过时，后台服务器利用一种深度网络模型检测出目标，其次利用另一种深度模型提取其特征，对于某个智慧路灯伴侣而言，可以抓拍到某物体的多个视角图像，保存每个视角所提取的特征。***每隔一段时间进行目标检测，将检测结果与跟踪结果进行融合。当物体移出当前智慧路灯伴侣视野并进入到下一智慧路灯伴侣视野时，下一个智慧路灯伴侣同样进行目标检测并提取特征，将提取出特征与上一智慧路灯伴侣保存的特征比对，由此可以判断是否是同一物体，实现目标的接力跟踪。如图1所示，包括以下步骤：

步骤1，采用faster-rcnn算法框架来训练深度网络模型，模型为VGG16，训练样本包含汽车和行人两类目标。使用然后使用汽车、行人、摩托、自行车、飞机等多类别的数据集训练VGG19网络，训练得到的模型参数作为目标特征提取器。

步骤2，使用VGG16网络检测行人及车辆两类目标。

步骤3，利用卷积特征及目标在上一帧的位置，实现在当前帧的精确定位，融合检测与跟踪结果：

a),设目标在上一帧的坐标p_t-1(x_t-1,y_t-1)，在当前帧t以p_t-1为中心截取出一块搜索区域，将搜索区域图像送入VGG19网络，提取Conv3_4，Conv4_4，Conv5_4三层卷积特征，作插值运算使特征图具有相同的分辨率。

在CNN的向前传播过程中，由于pooling operation的存在，特征的语义特性不断加强，而空间分辨率却逐渐减小。太小的特征图导致无法对目标进行精确定位。因此，需要对特征进行upsample(升采样)，升采样的方法如下：

其中，h代表升采样前的特征图，x为升采样后的特征图，α为插值的权值，k代表邻域范围的取值。x_i为i处的特征向量，这里插值的权值α_ik取决于位置i和邻域k内的各特征向量。

b)为每一层特征图构造相关滤波器cf，目标函数如下,

其中w为一个相关滤波器，其大小为(M,N,D)其中M为宽度，N为高度，D为通道数。||w||为w的范数，此处的

为w的欧几里得范数的平方。arg min为数学函数，表示函数值取最小值时，自变量的取值。x_m,n表示(m,n)处的特征向量。y(m,n)表示在(m,n)处的像素标签，此标签符合一个二维高斯分布，其中有m∈{0,...,M-1}，n∈{0,...,N-1}。λ是一个正则化参数.

再将目标函数用快速傅里叶变换转到频域，得到函数最优解：

其中，W^d表示频域d∈{1,...,D}的相关滤波器。我们用大写的字母表示对应小写字母的傅里叶变换。即Y表示y＝{y(m,n)|(m,n)∈{0,...M-1}×{0,...N-1}}的傅里叶变换，Xⁱ表示频率为i的特征图的傅里叶变换，其中i∈{1,...,D}。

表示X的一个复杂的共轭函数，Θ代表Hadamard积，λ是一个正则化参数。

当给定第l层的搜索区域后，该层的相关性响应图为，

其中Γ^-1为逆FFT变换的运算符号，Z为某层大小为M×N×D的特征向量的傅里叶变换，d表示频域，有d∈{1,...,D}。

c)从Conv5_4开始，从后向前，将每一层特征与对应的相关滤波器作卷积。首先在Conv5_4特征图上作卷积，取最大响应值对应的坐标作为Conv4_4层的初始搜索坐标，然后在Conv4_4层r×r的区域内与相关滤波器作卷积，以此类推。公式如下：

其中f_l-1(m,n)为l-1层(m,n)处的相关性响应图。

为l-1层的最大响应值对应的坐标。arg max为数学符号，表示函值取最大值时自变量的取值。根据此公式，求出前一层的最高响应位置。

a)通过相关滤波器与对应特征图作卷积可以得到目标在t帧的坐标p_t(x_t,y_t)，在p_t周围截取出一块子图象，同样提取Conv3_4，Conv4_4，Conv5_4层的特征，作插值，然后通过下式更新相关滤波器。

A^d表示相关滤波器W^d的分子，B^d表示W^d的分母。其中t为帧索引，η为学习率。

b)若跟踪结果Tr与检测结果Det的重叠度大于阈值T时，认为这两个矩形框包含的是同一目标，将Det覆盖Tr。

步骤4，对于每一个检测到的目标，如果与任意一个跟踪结果的重叠度都小于T，则分以下两种情况处理，

a)将该目标的Conv5_4特征与所有相邻路灯保存的特征{F_t}作比对，相似度函数为向量的余弦距离，若相似度最大值大于阈值T₂，认为是同一物体，实现接力跟踪。

b)如果该目标与{F_t}中特征相似度都小于T₂，则认为是一个新目标。

步骤5，对于任意一个智慧路灯，转到步骤2。

上面结合附图所描述的本发明优选具体实施例仅用于说明本发明的实施方式，而不是作为对前述发明目的和所附权利要求内容和范围的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属本发明技术和权利保护范畴。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于智慧路灯伴侣的目标接力跟踪方法，其特征在于，包括以下步骤：

步骤1，采用汽车和行人两类样本训练一个能够检测多种目标类别的深度神经网络；

步骤2，通过摄像头观察周围的环境，对摄像头的摄像视频通过步骤1训练得到的深度神经网络每隔n帧检测目标并提取其在网络中不同层次的卷积特征；

每隔n帧使用深度神经网络检测行人及车辆两类目标，并提取网络的一层以上的卷积特征；设目标在上一帧的坐标p_t-1，在当前帧t以p_t-1为中心截取出一块搜索区域，将搜索区域图像送入特征提取网络，提取卷积特征，作插值运算使特征图具有相同的分辨率；

步骤3，利用卷积特征，实现目标在下一帧的精确定位，融合检测结果与跟踪结果；

利用卷积特征及目标在上一帧的位置，实现在当前帧的精确定位，融合检测与跟踪结果：

步骤31，为每一层特征图构造相关滤波器，再将目标函数用快速傅里叶变换转到频域，得到函数的最优解；

对特征图进行升采样，升采样的方法如下：

其中，h代表升采样前的特征图，x为升采样后的特征图，α为插值的权值，k代表邻域范围的取值；x_i为i处的特征向量；

为每一层特征图构造相关滤波器，其目标函数如下：

其中，W为一个相关滤波器，其大小为(M,N,D)，M为宽度，N为高度，D为通道数；||W||为W的范数，此处的

为W的欧几里得范数的平方，arg min为数学函数，表示函数值取最小值时，自变量的取值，x_m,n表示(m,n)处的特征向量，y(m,n)表示在(m,n)处的像素标签，此标签符合一个二维高斯分布，其中有m∈{0,...,M-1}，n∈{0,...,N-1}，λ是一个正则化参数；

再将目标函数用快速傅里叶变换转到频域，得到函数最优解：

其中，W^d表示频域d∈{1,...,D}的相关滤波器，Y表示y＝{y(m,n)|(m,n)∈{0,...M-1}×{0,...N-1}}的傅里叶变换，Xⁱ表示频率为i的特征图的傅里叶变换，其中i∈{1,...,D}，

表示X的一个复杂的共轭函数，Θ代表Hadamard积；当给定第l层的搜索区域后，该层的相关性响应图为，

其中，Γ^-1为逆FFT变换的运算符号，Z为某层大小为M×N×D的特征向量的傅里叶变换，d表示频域，有d∈{1,...,D}；

步骤32，将提取出的每一层特征图按照从后向前的顺序，与对应的相关滤波器作卷积；首先在最后一层的特征图上作卷积，取最大响应值对应的坐标作为前一层的初始搜索坐标，然后在该层r×r的区域内与相关滤波器作卷积，r为实数，以此类推；

在该层r×r的区域内与相关滤波器作卷积，公式如下：

其中，f_l-1(m,n)为l-1层(m,n)处的相关性响应图，

为l-1层的最大响应值对应的坐标，arg max为数学符号，表示函值取最大值时自变量的取值；根据此公式，求出前一层的最高响应位置；

步骤33，通过相关滤波器与对应特征图作卷积可以找到最大响应值，该响应值所在的位置即为目标在t帧的坐标p_t(x_t,y_t)，在p_t周围截取出一块子图像，同样提取卷积特征，作插值，然后更新相关滤波器；

更新相关滤波器的公式如下：

A^d表示相关滤波器W^d的分子，B^d表示W^d的分母，其中t为帧索引，η为学习率；

步骤34，若跟踪结果Tr与检测结果Det的重叠度大于阈值T时，认为这两个矩形框包含的是同一目标，将Det覆盖Tr；

步骤4，对于任意一个检测到的目标，将其高层卷积特征与相邻路灯保存的特征做比对，通过计算两者的相似度来确定是否是同一物体。

2.根据权利要求1所述基于智慧路灯伴侣的目标接力跟踪方法，其特征在于：步骤1中的深度神经网络训练，使用汽车和行人两类样本训练检测模型，然后使用多类别的数据集训练特征提取网络模型。

3.根据权利要求1所述基于智慧路灯伴侣的目标接力跟踪方法，其特征在于：步骤4中确定是否为同一物体的方法如下：对于每一个检测到的目标，如果与任意一个跟踪结果的重叠度都小于T，则分以下两种情况处理：

步骤41，将该目标的高层特征与所有相邻智慧路灯伴侣保存的特征{Ft}作比对，相似度函数为向量的余弦距离，若相似度最大值大于阈值T2，认为是同一物体，实现接力跟踪；

步骤42，如果该目标与{Ft}中特征相似度都小于T2，则认为是一个新目标。

Images