CN108288282A - 一种基于卷积神经网络的自适应特征选择目标跟踪方法 - Google Patents

Abstract

一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，包括以下步骤：1)多层CNN特征提取；2)训练相关滤波器；3)特征选择；4)目标跟踪过程如下：利用conv3‑2，conv3‑4，conv3‑8，conv3‑12，conv3‑16五层的卷积特征作为目标特征观测，经过特征选择之后分别训练五个相关滤波器w^k，k∈[1，5]，然后通过加权投票最终决定目标位置(x^*,y^*)，权重参数w^k根据学习率ρ在线更新。本发明显著降低特征维度，并在不损失特征判别能力的情况下降低运算量。

Description

一种基于卷积神经网络的自适应特征选择目标跟踪方法

技术领域

本发明属于视频目标跟踪技术领域，尤其是一种自适应特征选择目标跟踪方 法。

背景技术

目标跟踪是对图像序列中的兴趣目标进行特征提取，表观建模、运动分析和 目标关联的过程，被广泛应用于智能交通，视觉伺服、人机交互等领域。近年来 目标跟踪领域虽然取得了巨大进展，但是仍然面临很大挑战，例如目标遮挡、光 照变化、姿态变化、背景复杂、低分辨率和目标快速运动等都会导致目标漂移甚 至跟踪失败。

随着卷积神经网络在目标检测和对象识别方面取得的巨大成功，越来越多的 研究者开始着眼于将卷积神经网络特征应用于目标跟踪领域，当前基于卷积神经 网络的视觉跟踪方法主要利用卷积特征作为目标观测，并以此训练分类器进行跟 踪。相比于传统的手动特征提取方法，卷积网络特征具有提取简单、特征丰富、 通用性强等优点，但是由于卷积特征的维度是普通特征维度的几十乃至上百倍， 一方面会降低分类器在线训练和更新速度，不利于算法的实时性，另外卷积神经 网络不同层和同层的不同特征图对跟踪目标的前景和背景有不同的响应，并且特 征之间存在大量的冗余信息和噪声。

发明内容

针对现有卷积神经网络特征带来的特征维度灾难、特征冗余性、鲁棒性不高 等问题，本发明提出一种基于卷积神经网络特征图之间距离的自适应聚类中心的 特征选取方法；此方法同时融入了多个相关滤波器加权确定目标位置的方法；利用 信息传播策略自适应选取特征。从而显著降低特征维度，并在不损失特征判别能 力的情况下降低运算量。

本发明解决其技术问题所采用的技术方案是：

一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，所述方法包括 以下步骤：

1)多层CNN特征提取，过程如下：

在给定(t)时刻视频帧和(t-1)时刻的目标位置p^t-1首先确定目标搜索区域 R(p^{t -1})，其尺度为M*N，然后根据VGG-Net的需要用图像插值方法将搜索区域的 图像尺度进行调整，网路不同层的输出作为提取到的多层卷积特征，将提取到的 特征图乘余弦窗以消除由于图像的边缘效应而导致的特征图不连续的现象；

2)训练相关滤波器，过程如下：

将VGG-Net五个池化层的输出作为目标的多通道卷积神经网络特征 X∈R^M×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，X_m,n， (m,n)∈{0,1,......,M-1}×{0,1,......,N-1}表示特征X的循环变换，在训练过程的特征的每一次 变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布：

由于相关滤波器训练过程是在频域内进行的因此我们对样本X和标签Y分别 做快速离散傅里叶变换FFT，式中代表快速傅里叶变换， 和分别代表傅里叶变换后的目标特征和标签的频域表示，相关滤波器是通过求 解式(2)得到

式中

λ≥0是规则化参数，相关滤波器能够通过稠密采样的方式求解权重参数因为信号处理理论可以利用矩阵的循环结构将时域内的卷积转化为每个样本在频 域内的乘积运算，式(2)的优化问题存在闭环解结构，在特征的d∈[1,2,3,......,D]通道 求解的模型参数有如下结构；

在跟踪过程中根据前一帧目标位置p^t-1我们选定被跟踪目标的搜索区域 R(p^t-1)，将其通过VGG-Net前向传播的结果表示为Z^d：

Z^d＝VGG*R(p^t-1),(d∈[1,2,3,......,D]) ⑸

式中*表示图像经过VGG-Net的前向传播运算符，该特征对相关滤波器的响 应表示为：

其中是卷积特征Z^d在频域内的表示，符号表示逆傅里叶变换， 被跟踪目标位置由S最大响应位置决定：

3)特征选择，过程如下：

首先计算卷积特征的平均特征

式中N代表来自VGG-Net不同层特征图数量，然后将卷积特征图减平均特征 后再做高斯平滑处理得到F_i'，如式(9)：

特征图之间的负欧式距离作为卷积神经网络特征图之间的相似度矩阵S(i,k) 如式(10)：

该相似度矩阵S(i,k),(i∈{1,N},k∈{1,N}且i≠k)描述的是特征图F_k作为F_i聚类中 心的合适程度，所有特征图之间的相似度全部取为负值，即相似度越大表示两个 特征图之间距离越近，两者更可能隶属于同一类；当i＝k时，P(i)＝S(i,i)表示特征 图作为聚类中心的参考度，由于在每个特征图作为聚类中心的概率相等，所以在 参考度P(i)均取为等值的；

在聚类过程中特征图之间传递两种信息：响应度和可利用度，响应度r(i,k)描 述特征图k适合作为特征图i的合适程度，该信息由点i传递到点k，迭代过程中 更新策略如下式(12)：

可利用度a(i,k)描述特征图i选择特征图k作为聚类中心的合适程度，由k传 递到i，第一次迭代时响应度r(i,k)用相似度S(i,k)减去特征图i与其他所有特征图之 间最大的相似度值，可利用度a(i,k)＝0，在此过程中适合做聚类中心的点其响应 值r(i,k)为正，反之则为负；如式(10)所示当i＝k时，特征图的自响应值r(k,k)为 特征值得参考度P(i)减与特征图i有最大相似度的值,若其值为负则表明该点不适 合作为聚类中心，在后续的迭代过程中特征图之间的可利用度a(i,k)会根据公式 (13)更新：

候选聚类中心特征图的可利用度反映的是特征图k作为聚类中心累计可靠程 度，不适合作为中心的特征图的可利用度会迅速降到0以下，由于迭代过程，即 式(14)和(15)中容易出现信息震荡而导致算法不收敛现象，以此在每次迭代 前都要对r(i,k)和a(i,k)加一个阻尼系数λ∈[0.5,1)：

r_new(i,k)＝λ·r_old(i,k)+(1-λ)·r(i,k) ⒁

a_new(i,k)＝λ·a_old(i,k)+(1-λ)·a(i,k) ⒂

4)目标跟踪过程如下：

利用conv3-2，conv3-4，conv3-8，conv3-12，conv3-16五层的卷积特征作为 目标特征观测，经过特征选择之后分别训练五个相关滤波器然后通过 加权投票最终决定目标位置(x^*,y^*)，如式(16)：

每个相关滤波器的权重w^k由在当前帧目标位置决定过程中的贡献率C^k决定，如式(17)和(18)：

权重参数w^k根据学习率ρ在线更新：

w^k＝(1-ρ)w^k+ρw^k-1 ⒆。

本发明的有益效果主要表现在：提出一种基于卷积神经网络特征图之间距离 的自适应聚类中心的特征选取方法，在保证特征表达能力的同时，有效滤除了特 征噪声，提高了特征的鲁棒性；利用不同层卷积特征的表达特异性训练多个相关 滤波器，使来自不同卷积层的特征信息互补，然后通过在线更新滤波器权重的方 式加权决定目标位置；利用信息传播策略自适应选取特征，显著降低特征维度， 在不损失特征判别能力的情况下降低运算量。

附图说明

图1是跟踪流程。

图2是不同卷积层特征可视化示意图。

图3是特征余弦窗处理示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种面向卷积神经网络的自适应特征选择视频跟踪方法，包 括以下步骤：

1)多层CNN特征提取，过程如下：

在给定(t)时刻视频帧和(t-1)时刻的目标位置p^t-1首先确定目标搜索区域 R(p^{t -1})，其尺度为M*N，一般定义为目标尺度的2倍左右，然后根据VGG-Net的 需要用图像插值方法将搜索区域的图像尺度调整为224*224，网路不同层的输出 作为提取到的多层卷积特征，将提取到的特征图乘余弦窗(cosine)以消除由于 图像的边缘效应而导致的特征图不连续的现象；

2)训练相关滤波器，过程如下：

将VGG-Net五个池化层的输出作为目标的多通道卷积神经网络特征 X∈R^M×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，X_m,n， (m,n)∈{0,1,......,M-1}×{0,1,......,N-1}表示特征X的循环变换，在训练过程的特征的每一次 变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布.

由于相关滤波器训练过程是在频域内进行的因此我们对样本X和标签Y分别 做快速离散傅里叶变换(FFT)，式中代表快速傅里叶变换， 和分别代表傅里叶变换后的目标特征和标签的频域表示。相关滤波器是通过求 解式(2)得到：

式中

λ≥0是规则化参数，其目的是防止优化过程中出现过拟合现象。相较与传统 的SVM，Adaboost，random Forest等训练方法，相关滤波器能够通过稠密采样的 方式求解权重参数因为信号处理理论可以利用矩阵的循环结构将时域内的卷 积转化为每个样本在频域内的乘积运算，在保证样本最高利用率的情况下大大减 少了模型求解的运算量。式(2)的优化问题存在闭环解结构，在特征的 d∈[1,2,3,......,D]通道求解的模型参数有如下结构：

在跟踪过程中根据前一帧目标位置p^t-1我们选定被跟踪目标的搜索区域 R(p^t-1)，将其通过VGG-Net前向传播的结果表示为Z^d：

Z^d＝VGG*R(p^t-1),(d∈[1,2,3,......,D]) ⑸

式中*表示图像经过VGG-Net的前向传播运算符。该特征对相关滤波器的响 应表示为：

其中是卷积特征Z^d在频域内的表示。符号表示逆傅里叶变换。 被跟踪目标位置由S最大响应位置决定：

3)特征选择，过程如下：

首先计算卷积特征的平均特征

式中N代表来自VGG-Net不同层特征图数量，然后将卷积特征图减平均特征 后再做高斯平滑处理得到F_i'，如式(9)：

特征图之间的负欧式距离作为卷积神经网络特征图之间的相似度矩阵S(i,k)，如式(10)：

该相似度矩阵S(i,k),(i∈{1,N},k∈{1,N}且i≠k)描述的是特征图F_k作为F_i聚类中 心的合适程度，所有特征图之间的相似度全部取为负值，即相似度越大表示两个 特征图之间距离越近，两者更可能隶属于同一类，距离取为负值的目的是为了便 于比较。当i＝k时，P(i)＝S(i,i)表示特征图作为聚类中心的参考度，由于在每个特 征图作为聚类中心的概率相等，所以在参考度P(i)均取为等值的，一般默认为相 似度S(i,k)的中值。

在聚类过程中特征图之间传递两种信息：响应度和可利用度。响应度r(i,k) 描述特征图k适合作为特征图i的合适程度，该信息由点i传递到点k，迭代过程 中更新策略如式(12)：

可利用度a(i,k)描述特征图i选择特征图k作为聚类中心的合适程度，由k传 递到i，算法第一次迭代时响应度r(i,k)用相似度S(i,k)减去特征图i与其他所有特征 图之间最大的相似度值，可利用度a(i,k)＝0，在此过程中适合做聚类中心的点其 响应值r(i,k)为正，反之则为负。如式(10)所示当i＝k时，特征图的自响应值r(k,k) 为特征值得参考度P(i)减与特征图i有最大相似度的值,若其值为负则表明该点不 适合作为聚类中心。在后续的迭代过程中特征图之间的可利用度a(i,k)会根据公 式(13)更新：

候选聚类中心特征图的可利用度反映的是特征图k作为聚类中心累计可靠程 度，不适合作为中心的特征图的可利用度会迅速降到0以下。由于迭代过程，即 式(14)和(15)中容易出现信息震荡而导致算法不收敛现象，以此在每次迭代 前都要对r(i,k)和a(i,k)加一个阻尼系数λ∈[0.5,1)：

r_new(i,k)＝λ·r_old(i,k)+(1-λ)·r(i,k) ⒁

a_new(i,k)＝λ·a_old(i,k)+(1-λ)·a(i,k) ⒂

4)遮挡目标跟踪，过程如下：

利用conv3-2，conv3-4，conv3-8，conv3-12，conv3-16五层的卷积特征作为 目标特征观测，经过特征选择之后分别训练五个相关滤波器然后通过 加权投票(weighted voting)最终决定目标位置(x^*，y^*)，如式(16)：

每个相关滤波器的权重w^k由在当前帧目标位置决定过程中的贡献率C^k决定，如式(17)和(18)：

为了提高算法的鲁棒性，权重参数w^k根据学习率ρ在线更新，这种权重的在线策略能够有效提高算法的准确率，降低噪声干扰，防止目标漂移现象发生：

w^k＝(1-ρ)w^k+ρw^k-1 ⒆。

Claims (1)

1.一种面向卷积神经网络的自适应特征选择视频目标跟踪方法，其特征在于：所述方法包括以下步骤：

1)多层CNN特征提取，过程如下：

在给定(t)时刻视频帧和(t-1)时刻的目标位置p^t-1首先确定目标搜索区域R(p^t-1)，其尺度为M*N，然后根据VGG-Net的需要用图像插值方法将搜索区域的图像尺度进行调整，网路不同层的输出作为提取到的多层卷积特征，将提取到的特征图乘余弦窗以消除由于图像的边缘效应而导致的特征图不连续的现象；

2)训练相关滤波器，过程如下：

将VGG-Net五个池化层的输出作为目标的多通道卷积神经网络特征X∈R^M×N×D，其中M，N，D分别表示特征图的宽度、高度和通道数，X_m,n，(m,n)∈{0,1,......,M-1}×{0,1,......,N-1}表示特征X的循环变换，在训练过程的特征的每一次变换对应的标签Y定义为以(M/2,N/2)为中心的零均值2D高斯分布：

由于相关滤波器训练过程是在频域内进行的因此我们对样本X和标签Y分别做快速离散傅里叶变换FFT，式中代表快速傅里叶变换，x和y分别代表傅里叶变换后的目标特征和标签的频域表示，相关滤波器是通过求解式(2)得到

式中

λ≥0是规则化参数，相关滤波器能够通过稠密采样的方式求解权重参数因为信号处理理论可以利用矩阵的循环结构将时域内的卷积转化为每个样本在频域内的乘积运算，式(2)的优化问题存在闭环解结构，在特征的d∈[1,2,3,......,D]通道求解的模型参数有如下结构；

在跟踪过程中根据前一帧目标位置p^t-1我们选定被跟踪目标的搜索区域R(p^t-1)，将其通过VGG-Net前向传播的结果表示为Z^d：

Z^d＝VGG*R(p^t-1),(d∈[1,2,3,......,D]) (5)

式中*表示图像经过VGG-Net的前向传播运算符，该特征对相关滤波器的响应表示为：

其中是卷积特征Z^d在频域内的表示，符号表示逆傅里叶变换，被跟踪目标位置由S最大响应位置决定：

3)特征选择，过程如下：

首先计算卷积特征的平均特征

式中N代表来自VGG-Net不同层特征图数量，然后将卷积特征图减平均特征后再做高斯平滑处理得到F′_i，如式(9)：

特征图之间的负欧式距离作为卷积神经网络特征图之间的相似度矩阵S(i,k)如式(10)：

该相似度矩阵S(i,k),(i∈{1,N},k∈{1,N}且i≠k)描述的是特征图F_k作为F_i聚类中心的合适程度，所有特征图之间的相似度全部取为负值，即相似度越大表示两个特征图之间距离越近，两者更可能隶属于同一类；当i＝k时，P(i)＝S(i,i)表示特征图作为聚类中心的参考度，由于在每个特征图作为聚类中心的概率相等，所以在参考度P(i)均取为等值的；

在聚类过程中特征图之间传递两种信息：响应度和可利用度，响应度r(i,k)描述特征图k适合作为特征图i的合适程度，该信息由点i传递到点k，迭代过程中更新策略如下式(12)：

可利用度a(i,k)描述特征图i选择特征图k作为聚类中心的合适程度，由k传递到i，第一次迭代时响应度r(i,k)用相似度S(i,k)减去特征图i与其他所有特征图之间最大的相似度值，可利用度a(i,k)＝0，在此过程中适合做聚类中心的点其响应值r(i,k)为正，反之则为负；如式(10)所示当i＝k时，特征图的自响应值r(k,k)为特征值得参考度P(i)减与特征图i有最大相似度的值,若其值为负则表明该点不适合作为聚类中心，在后续的迭代过程中特征图之间的可利用度a(i,k)会根据公式(13)更新：

候选聚类中心特征图的可利用度反映的是特征图k作为聚类中心累计可靠程度，不适合作为中心的特征图的可利用度会迅速降到0以下，由于迭代过程，即式(14)和(15)中容易出现信息震荡而导致算法不收敛现象，以此在每次迭代前都要对r(i,k)和a(i,k)加一个阻尼系数λ∈[0.5,1)：

r_new(i,k)＝λ·r_old(i,k)+(1-λ)·r(i,k) (14)

a_new(i,k)＝λ·a_old(i,k)+(1-λ)·a(i,k) (15)

4)目标跟踪过程如下：

利用conv3-2，conv3-4，conv3-8，conv3-12，conv3-16五层的卷积特征作为目标特征观测，经过特征选择之后分别训练五个相关滤波器然后通过加权投票最终决定目标位置(x^*,y^*)，如式(16)：

每个相关滤波器的权重w^k由在当前帧目标位置决定过程中的贡献率C^k决定，如式(17)和(18)：

权重参数w^k根据学习率ρ在线更新：

w^k＝(1-ρ)w^k+ρw^k-1 (19)。