CN105654511A - 一种弱小运动目标快速检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种弱小运动目标快速检测与跟踪方法。第一步获取目标可能的初始位置，根据时隙划分为多段图像序列，对前两帧图像进行差分，剔除噪声点目标，获取目标矩形并建立检测窗口；第二步对划分后的每段图像序列进行边检测与跟踪：利用高密度采样方法和在线核学习方法，并结合循环矩阵与快速傅里叶变换之间的关系，进行目标的实时检测与跟踪；第三步重复迭代，对每段图像序列再进行实时连续的检测与跟踪，形成闭环。本发明方法采用边检测边跟踪方式，在不需要获取目标的形状等特征条件下，实现弱小运动目标的快速检测与跟踪，有效提高了目标检测与跟踪处理速度与效率。

Description

一种弱小运动目标快速检测与跟踪方法

技术领域

本发明涉及信息处理领域，具体的说是涉及了一种弱小运动目标快速检测与跟踪方法。

背景技术

弱小运动目标的检测与跟踪在军事领域中有广泛的应用。在军事应用中，希望能够尽可能早的发现目标，从某种意义上讲，这也就意味着发现尽可能远的目标，以至于当目标在成像面上只有一个像素甚至不足一个像素时，就要有被检测到并进行实时跟踪的可能性。

对于军用红外成像***而言，红外图像的成像机理决定了红外图像的对比度较低，当目标距离成像***很远时，它自身的红外辐射在经过大气与成像***等环节映射为图像时将呈现出较低的灰度值。如果目标本身具有良好的红外隐身性能，目标的灰度值将更加不宜作为可分离特征。对于可见光成像***而言，可见光图像是反射图像，图像中包含的高频成份较多，在一定照度下能够反映场景的细节信息，但当照度不佳时得到的微光图像对比度较低。

针对红外和可见光图像单独使用时存在的不足，图像融合技术能够有效综合和发掘这两种具有互补性图像的特征信息，从而达到增强场景理解和突出目标的目的，有利于在隐藏、伪装和迷惑的情况下更快更准地检测出目标。

针对这样的情况，弱小运动目标的检测与跟踪问题就被提了出来。弱小运动目标的检测与跟踪问题的研究在军事上具有突出的价值，有助于提高武器装备的作用距离，进而为实现先发制人的军事战略提供坚实的物质技术基础；此外，该技术在众多民用领域也得到了深入的研究和广泛的应用。

从弱小运动目标检测与跟踪方式来分，目前弱小运动目标检测与跟踪技术主要可分为三类：

(1)先检测后跟踪。先检测每帧图像上的目标，然后将前后两帧图像上目标进行匹配，从而达到跟踪的目的。这种方法可以借助很多图像处理和数据处理的现有技术，但是检测过程没有充分利用跟踪过程提供的信息。

(2)先跟踪后检测。先对目标下一帧所在的位置及其状态进行预测或假设，然后根据检测结果来矫正预测值。该方法面临的难点是事先要知道目标的运动特性和规律。

(3)边检测边跟踪。图像序列中目标的检测和跟踪相结合，检测要利用跟踪来提供处理的对象区域，跟踪要利用检测来提供目标状态的观察数据。

近几年来，由于对计算方法实时性要求越来越高，以上三类方法中，边检测边跟踪的方法正在受到越来越大的关注。

此外，近几年机器学习理论也取得了长足的发展。但是，机器学习的实时性在实际硬件***中始终是一个关键瓶颈问题。为实现在线机器学习，一条途径是降低采样样本数量，即采用低密度采样样本来进行检测与跟踪。但是，低密度采样很难保证较好的检测与跟踪性能，特别是虚警概率和精度等指标难以满足实际工程需要。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种弱小运动目标快速检测与跟踪方法。采用边检测边跟踪的方式，并将在线核学习、循环矩阵的特性、快速傅里叶变换结合起来，在不需要获取目标的形状等特征条件下，实现弱小运动目标的快速检测与跟踪。

本发明方法的技术方案采用以下步骤，如图1所示：

第一步：获取目标可能的初始位置：针对输入图像序列，预处理根据时隙划分为多段图像序列，对同一段图像序列内的前两帧图像进行差分，差分后的图像再采用灰度阈值剔除噪声点目标，获取目标所在区域的目标矩形的大小和位置，并建立检测窗口，检测窗口为目标矩形的2倍高度和2倍宽度的图像窗口，为后续检测和跟踪做准备；

第二步：对划分后的每段图像序列进行边检测与跟踪：根据第一步初始得到的目标矩形大小和位置，利用高密度采样方法和在线核学习犯法，并结合循环矩阵与快速傅里叶变换(FFT)之间的关系，进行目标的实时检测与跟踪；

第三步：重复迭代，重复第一步至第二步的步骤，对每段图像序列再进行实时连续的检测与跟踪，形成闭环。

本发明采用边检测边跟踪方式，将在线核学习、循环矩阵的特性、快速傅里叶变换结合起来，在不需要获取目标的形状等特征条件下，实现图像序列中弱小运动目标的快速检测与跟踪。

所述的弱小运动目标是指图像面积的0.15％以下的运动目标或者5×5像素区块以下的运动目标。

所述方法用于可见光图像序列或者红外图像序列的检测和跟踪。

所述第一步中，将输入图像序列以8-20帧的时隙依次均等划分多段图像序列，

所述每段图像序列中，对于前两帧的图像中的检测窗口，先进行高密度采样，再通过二维汉明窗进行滤波，然后通过在线核学习方式建立分类器进行快速目标检测；对于除前两帧以外的其他前后相邻两帧图像，用上述已训练好的分类器更新参数再次检测，从而实现实时跟踪。

所述的高密度采样是在检测窗口内以目标矩形为单位进行循环移位采样，所述的二维汉明窗的函数与目标矩形大小相同。

如图2所示，所述的循环移位采样具体是以目标矩形为单位进行逐行逐列地遍历扫描采样，具体是先在第一行每次移位一列遍历采样，再到第二行依次类推完成循环移位采样。

其中检测窗口与目标矩形的卷积运算可通过FFT来实现。

所述的在线核学习方式进行快速目标检测具体是；采用以下公式的高性能分类器进行检测，获得样本的响应输出y'最大的作为运动目标，将其标识为+1：

$y^{\′}=\underset{i}{\Σ}{\mathrm{\α}}_i\mathrm{\κ}(x_i,z)$

其中，z是输入样本，y'表示样本的响应输出，α_i为核函数参数，x_i表示第i个样本，κ表示其所含两个元素的核运算，i表示样本的索引值。

核函数参数α_i采用以下公式进行计算：

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)$

其中，λ表示正则化的强度参数，F()表示对其所含元素进行傅里叶变换后的结果，y表示以目标为中心的样本矩阵，F^-1()表示对其所含元素进行逆傅里叶变换后的结果，α为计算得到的核函数参数。

在所述第二步对划分后的每段图像序列进行边检测与跟踪后，再进行数据融合与参数优化，对于可见光图像采用高斯核函数进行数据融合与参数优化，对于红外图像采用正则化最小二乘损失函数进行数据融合与参数优化。

本发明的参数设置包括高斯核函数、时隙等参数或参数范围。

本发明的创新点和优势在于：

(1)采用边检测边跟踪方式，优势是图像序列中目标的检测和跟踪相结合，检测要利用跟踪来提供处理的对象区域，跟踪要利用检测来提供目标状态的观察数据。

(2)将快速计算方法与核学习进行有机整合。快速计算方法的实现是通过挖掘高密度采样样本信息冗余与循环矩阵特性之间的关系，为FFT计算提供了依据。进而将在线学习与FFT结合以克服传统的机器学习实时性差的缺点。

同时，本发明引入核学***台需求。

附图说明

图1是本发明方法的流程示意图。

图2是常规稀疏采样与本发明方法高密度采样示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明实施例流程如图1所示，具体实施过程和原理如下：

(1)图像序列采集与预处理；

通过红外与可见光等成像***获取原始图像序列，并设置本方法的***参数，包括：窗口大小：目标2倍高度×2倍宽度；核函数：高斯核函数；核函数参数：σ＝0.2；空域带宽：s＝1.125；正则化参数：λ＝0.01；插值因子：0.075；时隙：8-20帧。

针对输入图像序列，需要每间隔8-20帧的时隙，对输入图像序列进行划分预处理。划分后对前后帧进行差分，得出目标所在的区域及位置，并获得目标矩形。

(2)对目标区域进行高密度采样；

高密度采样是为了利用循环矩阵的特性。用目标尺寸在窗口内进行循环移位采样，逐行逐列扫描，先位于第一行从左向右沿列方向每次移位一个像素，再更换到第二行采用相同方式扫描，各相邻样本之间有重叠。常规稀疏采样与本方法高密度采样的示意图如图2所示。

(3)二维汉明窗滤波；

对各图像进行滤波处理。采用的二维窗口函数对图像中目标大小相当，本发明采用汉明窗具有较好的性能，检测窗口与目标区域的卷积运算可通过FFT来实现。

(4)在线核学习快速目标检测；

在线核学习的目的是获得一个高性能的分类器，该分类器能够将图像中的运动目标标识为+1，而将非运动目标标识为-1。具体以上述检测窗口中的目标矩形作为样本进行。

假设(x₁,y₁),…,(x_m,y_m)表示m个训练数据集及其目标值，f(x)为分类器函数，用于获得将这m个样本尽可能正确分类的参数。根据核理论，参数解w的系数α计算公式如下：

α＝(K+λI)^-1y(1)

其中，K为核矩阵，I为单位矩阵，λ表示正则化的强度参数。

一方面，在高密度采样时，由于各样本之间有重叠，因此，这些样本存在大量的信息冗余，这种冗余的表现与循环矩阵的结构十分相似。另一方面，已有大量研究工作揭示了循环矩阵特性与FFT之间具有紧密关系。

利用循环矩阵特性，推导出：

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)---\left(2\right)$

其中k是核矩阵K的列向量。实际上，核矩阵K的列向量k可通过FFT计算，快速目标检测就转化为计算下式：

其中z是输入样本，y'为该样本的响应输出。通过进一步推导，该样本的响应输出y'可用FFT计算为：

其中，⊙表示点积运算，表示目标样本的响应结果，表示对核运算参数的傅里叶变换结果，F(α)表示对α进行傅里叶变换的结果，该样本的响应输出y'最大的即为运动目标。

以上用到的核矩阵K可用FFT计算，以高斯核函数为例，计算式为：

(5)基于前后帧关联的目标跟踪；

在下一帧，由于目标的运动，已训练好的分类器需要更新参数，然后根据公式5可对目标再次检测，从而实现实时跟踪。

(6)各信息源数据融合与参数优化；

这一步针对各信息源图像特点，选择不同的核函数。针对红外和可见光图像，采用高斯核函数和正则化最小二乘损失函数具有较好的性能。

(7)目标输出；输出目标检测和跟踪数据(形心等)到上位机***。

由此可见，本发明采用边检测边跟踪方式，将快速计算方法与核学习进行有机整合，克服了传统的机器学习实时性差的缺点，提升了处理非线性数据的有效性，可满足不同需求。

本发明方法可实现的主要性能指标包括：每秒处理帧数≥30帧(红外/可见光，测试图像320×240)；信息融合数据输出速率≥10Hz；具备单信息来源目标检测与跟踪能力；单信息来源目标跟踪帧数为2帧；检测概率≥0.95(信噪比≥4.5条件下)；跟踪精度≥0.85(信噪比≥4.5条件下)，其技术效果显著突出。

Claims (9)

1.一种弱小运动目标快速检测与跟踪方法，其特征在于：

第一步：获取目标可能的初始位置：

针对输入图像序列，预处理根据时隙划分为多段图像序列，对同一段图像序列内的前两帧图像进行差分，差分后的图像再利用灰度阈值剔除噪声点目标，获取目标所在区域的目标矩形的大小和位置，并建立检测窗口，检测窗口为目标矩形的2倍高度和2倍宽度的图像窗口；

第二步：对划分后的每段图像序列进行边检测与跟踪：

根据第一步初始得到的目标矩形大小和位置，利用高密度采样方法和在线核学习犯法，并结合循环矩阵与快速傅里叶变换(FFT)之间的关系，进行目标的实时检测与跟踪；

第三步：对各段图像序列重复迭代，重复第一步至第二步的步骤，对每段图像序列再进行实时连续的检测与跟踪，形成闭环。

2.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述的弱小运动目标是指图像面积的0.15％以下的运动目标或者5×5像素区块以下的运动目标。

3.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述方法用于可见光图像序列或者红外图像序列的检测和跟踪。

4.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述第一步中，将输入图像序列以8-20帧的时隙依次均等划分多段图像序列。

5.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述每段图像序列中，对于前两帧的图像中的检测窗口，先进行高密度采样，再通过二维汉明窗进行滤波，然后通过在线核学习方式建立分类器进行快速目标检测；对于除前两帧以外的其他前后相邻两帧图像，用上述已训练好的分类器更新参数再次检测，从而实现实时跟踪。

6.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述的高密度采样是在检测窗口内以目标矩形为单位进行循环移位采样，所述的二维汉明窗的函数与目标矩形大小相同。

7.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述的循环移位采样具体是以目标矩形为单位进行逐行逐列地遍历扫描采样，具体是先在第一行每次移位一列遍历采样，再到第二行依次类推完成循环移位采样。

8.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：所述的在线核学习方式进行快速目标检测具体是；

采用以下公式的高性能分类器进行检测，获得样本的响应输出y'最大的作为运动目标，将其标识为+1：

其中，z是输入样本，y'表示样本的响应输出，α_i为核函数参数，x_i表示第i个样本，κ表示其所含两个元素的核运算，i表示样本的索引值；

核函数参数α_i采用以下公式进行计算：

其中，λ表示正则化的强度，F()表示对其所含元素进行傅里叶变换后的结果，y表示以目标为中心的样本矩阵，F^-1()表示对其所含元素进行逆傅里叶变换后的结果，α为计算得到的核函数参数。

9.根据权利要求1所述的一种弱小运动目标快速检测与跟踪方法，其特征在于：在所述第二步对划分后的每段图像序列进行边检测边跟踪后，再进行数据融合与参数优化，对于可见光图像采用高斯核函数进行数据融合与参数优化，对于红外图像采用正则化最小二乘损失函数进行数据融合与参数优化。