CN1251144C - 复杂背景条件下红外弱小目标的检测与跟踪方法 - Google Patents

Abstract

一种复杂背景条件下红外弱小目标的检测与跟踪方法，通过形态学滤波获取图像背景，将原图像减去图像背景，得到含有目标和噪声的去均值图像，采用基于椭圆抛物面体积的图像预处理技术，提高处理结果的信噪比，利用恒虚警率准则选择检测阈值，得到单帧检测结果。利用目标运动轨迹的连续性进一步去除虚假目标。目标跟踪采用最近邻关联方法，采用基于匀速直线运动模型的卡尔曼滤波更新目标状态。若目标丢失，则利用轨迹预测目标可能位置进行稳定跟踪。本发明在保证算法精度的条件下简化了计算，提高了算法的实时性和红外目标检测、跟踪的性能，可广泛应用于各类军、民用***，具有广阔的市场前景和应用价值。

Description

复杂背景条件下红外弱小目标的检测与跟踪方法

技术领域：

本发明涉及一种复杂背景条件下红外弱小目标的检测与跟踪方法，是红外搜索与跟踪***、精确制导***、红外预警***、大视场目标监视***、卫星遥感***、安全检查***等的一项核心技术，在各类军、民用***中均可有广泛的应用。

背景技术：

红外成像技术是一种非接触式的测试技术，它可以方便地检测目标发出的不可见热辐射并转换成可见图像的技术。信息获取所涉及的一个关键领域是红外探测技术和方法的研究，其重要地位已日益突出。由于红外成像技术具有隐蔽性好、探测范围广、定位精度高、识别伪装能力强、作用距离远以及轻质小巧、低耗可靠等优点而备受青睐，可广泛应用于安全监视、国防军事和工业自动化检测等领域。

随着红外探测器技术的发展，热像仪从过去采用单元或多元分立式探测器加一维或二维光机扫描器，发展成了不用光机扫描的凝视型成像装置。基于凝视焦平面阵列的红外热成像探测***，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应上，都有了极大的提高。由于焦平面凝视热像仪所独有的优良性能，已经成为世界各国大力研发的一项高新技术。作为智能化信息处理的关键环节之一，红外目标检测、成像跟踪与识别技术一直是困扰和制约红外成像探测实用性能的瓶颈问题和技术难点而急待解决，目前已引起国内外专家的高度重视，并围绕这一课题开展了深入、广泛的研究。

在红外目标检测与跟踪过程中，需要尽快地截获并锁定跟踪目标，复杂背景下低信噪比红外弱小目标检测与跟踪所面临的技术难题主要有：

1.目标小，没有尺寸、形状和纹理等信息，传统的图像处理方法无法应用；

2.背景复杂，噪声特性未知；

3.信噪比低，目标淹没在背景噪声之中；

4.数据量大，难以实时处理。

国内外研究人员针对低信噪比红外图像中的目标检测与跟踪提出了一些方法，如三维匹配滤波，截断序贯似然比检测方法、动态规划法、高阶相关法等，但是计算量很大，难以实时处理视频图像序列。究其原因，主要是没有一种有效的图像预处理方法以提高处理后图像的信噪比，导致目标检测及关联、跟踪算法难度增大；没有利用远距离目标机动性弱的特点，简化数据处理过程等。

发明内容：

本发明的目的在于针对现有技术的上述不足，提供一种复杂背景条件下红外弱小目标的检测与跟踪方法，与成像硬件***配套进行信号分析与处理，提高***检测、成像和跟踪的性能，满足国内实际***的性能需求。

为实现这样的目的，本发明的技术方案中，先利用数学形态学滤波技术获得图像的背景，将原图像减去获得的背景图像，得到含有目标和噪声的去均值图像。由于点目标在实际探测器中的成像并不是一个点，而是一个“凸包”。由此本发明提出了对红外图像进行基于椭圆抛物面体积的图像预处理技术，采用二次曲面逼近含有噪声的去均值图像局域像素值，得到二次曲面的系数值，并计算二次曲面的体积，将二次曲面的体积作为特征值。利用二次曲面不变量的性质进一步简化体积计算。利用恒虚警率准则选择检测阈值，得到单帧检测结果。根据目标运动的规律性，利用目标运动轨迹的连续性进一步去除虚假目标。目标跟踪采用相对简单的最近邻关联方法，根据远距离目标的机动性弱的特点，采用基于匀速直线运动模型的卡尔曼滤波更新目标状态。当目标丢失时，采用以前时刻的滤波值外推预测目标的可能位置，保持稳定的记忆跟踪能力。

本发明的方法包括如下具体步骤：

1.图像去均值处理(Demeaning)：采用5×5全零平顶形结构元素对红外图像进行灰度开启然后再闭合的数学形态学滤波操作，以去除与结构元素相比尺寸较小的各类亮、暗噪声及远距离小目标，获得红外图像背景，将原图像减去图像背景，得到含有目标和噪声的去均值图像。

2.基于椭圆抛物面体积的图像预处理：根据红外成像***的成像原理，点目标在实际探测器中的成像并不是一个点，而是一个“凸包”，类似于二次曲线中的开口朝下的椭圆抛物面，采用二次椭圆抛物曲面逼近含有噪声的去均值图像局域像素值，得到二次曲面的系数值，并计算该局域二次曲面所包含的体积，将二次曲面的体积作为特征值。利用二次曲面不变量的性质进一步简化体积计算，避免了正交相似变换法引入的矩阵求逆运算。利用恒虚警率准则选择检测阈值，如果特征值大于检测阈值，则认为是可能目标，得到单帧检测结果。

3.目标的多帧确认及跟踪：当单帧检测的可能目标连续3帧出现在3×3邻域内，则轨迹起始。采用基于匀速直线运动模型的卡尔曼滤波更新目标轨迹，并由此生成椭圆跟踪门。如果落入椭圆跟踪门的量测值只有一个时，直接进行目标轨迹更新；如果落入椭圆跟踪门的量测值多于一个时，则采用最近邻数据关联进行目标轨迹更新，即目标轨迹通过距离一步预测值最近的测量值来更新。

4.目标丢失后轨迹预测：在采用卡尔曼滤波进行轨迹更新时，若目标丢失，则利用以前时刻的状态滤波值外推预测后几帧目标的可能位置，保持稳定的记忆跟踪能力。

本发明采用数学形态学滤波获取图像背景，其算法可以通过硬件并行实现，大大提高了处理速度。在基于椭圆抛物面体积的图像预处理中，利用二次曲面不变量的性质进一步简化体积计算，避免了一般实系数二次方程通过正交相似变换法标准化过程中引入的矩阵求逆运算，提高了算法的实时性和鲁棒性，显著提高了输出图像的信噪比，同时也大大简化了后续的跟踪及数据关联算法。根据远距离目标机动性弱的特点，采用基于匀速直线运动模型的卡尔曼滤波更新目标状态，在保证跟踪精度的情况下简化了滤波计算。本发明在保证算法精度的条件下简化了计算，提高了算法的实时性，大大提高了红外目标检测、跟踪的性能，可广泛应用于各类军、民用***，具有广阔的市场前景和应用价值。

附图说明：

图1为本发明处理方法总体框图。

如图1所示，实际红外图像先采用数学形态学滤波技术获得去均值图像，再进行基于体积的图像预处理，包括二次曲面拟合和曲面体积计算，利用恒虚警率准则选择检测阈值，得到单帧检测结果。采用基于匀速直线运动模型的卡尔曼滤波及最近邻关联方法，进行目标跟踪。

图2为本发明采用基于椭圆抛物面体积的图像预处理结果。

其中，图2(a)为信噪比约为2的仿真图像，图2(b)为处理结果，信噪比提高到6.57。图2(c)为真实红外图像采用形态学滤波去均值后的图像，图2(d)为处理结果，信噪比也得到很大的提高。

图3为目标检测与跟踪图。

其中图3左上图为真实红外图像，图3右上图为形态学滤波去均值图像，图3左下图为基于椭圆抛物面体积的图像预处理结果，图3右下图为确认的目标。

具体实施方式：

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

图1为本发明提出的一种复杂背景条件下红外弱小目标的检测与跟踪方法的处理方法总体框图。各部分具体实施细节如下：

1.形态学滤波去均值处理

采用数学形态学滤波获取红外图像背景。用结构元素b对输入图像f进行灰度膨胀和腐蚀分别记为：

(f_b)(x，y)＝max{f(x-s，y-t)+b(s，t)|(x-s)，(y-t)∈D_f，(s，t)∈D_b}

                                                                    (1)

(f_b)(x，y)＝min{f(x+s，y+t)-b(s，t)|(x+s)，(y+t)∈D_f，(x，t)∈D_b}

                                                                    (2)式中D_f和D_b分别是f和b的定义域。

用结构元素b对输入图像f进行灰度开启和闭合分别记为：

fοb＝(fb)b                                         (3)

f·b＝(fb)b                                         (4)

实际中常用开启操作消除与结构元素相比尺寸较小的亮噪声，用闭合操作消除与结构元素相比尺寸较小的暗噪声，并保持图像整体灰度值和大的亮、暗区域基本不受影响。由于远距离目标在红外图像中表现为小的亮点和亮斑，因此，用5×5全零平顶形结构元素对红外图像进行开启然后再闭合操作，以去除各类亮、暗噪声及小目标，获得图像背景。将原图像减去图像背景，得到含有目标和噪声的去均值图像。

2.基于椭圆抛物面体积的图像预处理

记空间中二次曲面的一般方程为

F(x₁，x₂，x₃)＝a₁₁x₁ ²+a₂₂x₂ ²+a₃₃x₃ ²+2a₁₂x₁x₂+2a₁₃x₁x₃+2a₂₃x₂x₃

           +2a₁₄x₁+2a₂₄x₂+2a₃₄x₃+a₄₄＝0                                    (5)

其中，a₁₁，a₂₂，a₃₃，a₁₂，a₁₃，a₂₃不全为零。经过正交矩阵对角化坐标变换后，曲面方程变为

F′(x₁′，x₂′，x₃′)＝λ₁x₁′²+λ₂x₂′²+λ₃x₃′²+2a₁₄′x₁′+2a₂₄′x₂′+2a₃₄′x₃′+a₄₄＝0   (6)其中当λ₁，λ₂，λ₃中只有一个为零，不妨设λ₃＝0，且λ₁λ₂＞0时，二次曲面为椭圆抛物面。

$I_2=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{12}& a_{22}\end{array}\right|+\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{13}& a_{33}\end{array}\right|+\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{23}& a_{33}\end{array}\right|={\mathrm{\λ}}_1{\mathrm{\λ}}_2+{\mathrm{\λ}}_2{\mathrm{\λ}}_3+{\mathrm{\λ}}_3{\mathrm{\λ}}_1$

是二次曲面的一个小变量。

在形态学滤波去均值图像中，设以当前像素(x′，y′)为中心的(2k+1)×(2k+1)邻域内的像素可以表示为，

{I[x′+i，y′+j]||i|≤k，|j|≤k}用二次曲面来逼近含有噪声的像素值

z＝ax²+bxy+cy²+dx+ey+f                                     (7)

可以通过经典的最小二乘算法来求出方程中的参数，通过最小化指标函数

${\left|\right|\mathrm{Ax}-I\left|\right|}^2={\mathrm{\Σ}}_{i=-k}^k{\mathrm{\Σ}}_{j=-k}^k{({\mathrm{ai}}^2+\mathrm{bij}+{\mathrm{cj}}^2+\mathrm{di}+\mathrm{ej}+f-I(x^{\′}+i,y^{\′}+j))}^2$

得到最小二乘解

x＝(A^TA)^-1A^TI

其中

x＝[a，b，c，d，e，f]^T，

$A=\left[\begin{array}{cccccc}{k}^2& k^2& k^2& -k& -k& 1\\ & \·\·\·& & & \·\·\·& \\ i^2& \mathrm{ij}& j^2& i& j& 1\\ & \·\·\·& & & \·\·\·& \\ k^2& k^2& k^2& k& k& 1\end{array}\right]\begin{array}{c}(-k,-k)\\ \\ (i,j)\\ \\ (k,k)\end{array}$

I＝(I(x′-k，y′-k)，…，I(x′-i，y′-j)，…，I(x′+k，y′+k))^T

通过椭圆抛物面曲线拟合后，可以通过极值条件求出其极值点

$\frac{\mathrm{\δz}}{\mathrm{\δx}}(x_0,y_0)=\frac{\mathrm{\δz}}{\mathrm{\δy}}(x_0,y_0)=0$

得出

$x_0=\frac{2\mathrm{cd}-\mathrm{be}}{b^2-4\mathrm{ac}},y_0=\frac{2\mathrm{ae}-\mathrm{bd}}{b^2-4\mathrm{ac}}$

对(7)式进行平移坐标变换

x′＝x-x₀，y′＝y-y₀

得到

z＝ax′²+bx′y′+cy′²+f′                             (8)

其中 $f^{\′}=\frac{{\mathrm{cd}}^2-\mathrm{bde}+{\mathrm{ae}}^2}{b^2-4\mathrm{ac}}+f$

对(8)式用正交变换法将其化为二次型标准型，则有

z＝λ₁x²+λ₂y²+f′                                     (9)

若要椭圆抛物面的开口朝下，且极值点位于xoy平面的上方，需要满足条件

λ₁＜0，λ₂＜0，f′＞0                                 (10)

采用小目标所包含的能量作为特征量，它可以通过

V＝λ₁λ₂f′＝I₂×f′                                  (11)

来表征。由于在上述正交相似变换法化一般实系数二次方程为标准型运算过程中要引入矩阵的求逆运算，因此算法计算量大而且矩阵求逆会导致算法不稳定。下面利用二次曲面不变量的性质来进一步化简运算，避免了矩阵求逆。

对(8)式采用配方法化为二次型标准形，作变换

y＝y′                                                 (12)

$\begin{array}{c}x=x^{\′}+\frac{b}{2a}{y}^{\′}\\ y=y^{\′}\end{array}---\left(12\right)$

得到

$z={\mathrm{ax}}^2+(c-\frac{b^2}{4a})y^2+f^{\′}---\left(13\right)$

根据可逆线性变换化二次型为标准型的惯性定理，可知标准型的系数中的正、负个数不变。因此条件(10)等价为：

$a<0,c-\frac{b^2}{4a}<0,f^{\&prime;}>0----\left(14\right)$

对于(8)式，其对应二次曲面一般方程(5)中各系数为

a₁₁＝a，a₂₂＝c，a₃₃＝0， $a_{12}=\frac{b}{2},$ a₁₃＝0，a₂₃＝0

二次曲面不变量

$I_2=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{12}& a_{22}\end{array}\right|+\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{13}& a_{33}\end{array}\right|+\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{23}& a_{33}\end{array}\right|=\mathrm{ac}-\frac{b^2}{4}$

利用二次曲面不变量性质可知，小目标能量特征值(11)式等价于

$V=I_2\&times;f^{\&prime;}=(\mathrm{ac}-\frac{b^2}{4})\&times;f^{\&prime;}---\left(15\right)$

可见，(15)式避免了矩阵求逆运算，而且算法性能与(11)式完全相同。

为了将目标的能量集中到目标的中心，对(15)式乘一比例系数

$V_c=\frac{V}{1+{\left(x_0\right)}^2+{\left(y_0\right)}^2}----\left(16\right)$

图2所示为基于椭圆抛物面体积的图像预处理方法的仿真结果，其中(a)为目标淹没在信噪比约为2的高斯噪声中，(b)为处理结果，信噪比提高到6.5左右；(c)为实际红外图像通过数学形态学滤波后的去均值图像，(d)为处理结果，可以看出，输出结果的信噪比得到了很大的增强。

3.目标的多帧确认及跟踪

对基于体积的图像预处理结果，根据给定的虚警率可以确定检测的门限值得到单帧检测结果。由于目标距离传感器较远，目标的机动性弱，而且图像的帧速很快，因此目标可以用匀速直线运动模型近似。

跟踪***模型：令状态向量为 $X\left(K\right)={[x\left(k\right),\stackrel{\&CenterDot;}{x}\left(k\right),y\left(k\right),\stackrel{\&CenterDot;}{y}\left(k\right)]}^T,$ 测量向量为Z(k)＝[x(k)，y(k)]^T，***方程可写为

X(k+1)＝ΦX(k)+Gw(k)

Z(k)＝HX(k)+v(k)                               (17)

其中

$\mathrm{\&Phi;}=\left[\begin{array}{cccc}1& T& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& T\\ 0& 0& 0& 1\end{array}\right],G=\left[\begin{array}{cc}{T}^2/2& 0\\ T& 0\\ 0& T^2/2\\ 0& T\end{array}\right],H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right],$

w(k)，v(k)为方差为Q(k)和R(k)的零均值高斯白噪声。

轨迹起始：如果检测的可能目标连续3帧出现在3×3邻域内，则轨迹起始。

跟踪门及数据关联：假设k-1时刻的状态向量的估计为

状态向量的一步预测为

$\hat{X}\left(k\right|k-1)=\mathrm{\&Phi;}\hat{X}(k-1|k-1)$

则***的新息为

$d\left(k\right)=Z\left(k\right)-H\hat{X}\left(k\right|k-1)----\left(18\right)$

新息方差阵为

S(k)＝HP(k|k-1)H^T+R(k)

其中，P(k|k-1)是一步预测方差。

令新息向量d(k)的范数为

g(k)＝d^T(k)S^-1(k)d(k)                              (19)

其中，g(k)服从χ_M ²分布，M为测量维数。

在测量空间中定义一个椭圆体(又称为跟踪门)，使得测量以一定的概率分布于跟踪门内

${\tilde{V}}_k\left(\mathrm{\&gamma;}\right)=[Z:g\left(k\right)\&le;\mathrm{\&gamma;}]----\left(20\right)$

其中，γ可以通过χ²分布表查得。

如果在某帧处理完后，在跟踪门内只有一个回波，则目标轨迹直接更新；如果跟踪门内有多于一个回波，则目标轨迹通过距离一步预测值最近的测量值来更新。

目标的轨迹通过标准卡尔曼滤波算法来更新

X(k|k-1)＝ΦX(k-1|k-1)

P(k|k-1)＝ΦP(k-1|k-1)Φ^T+GQ(k-1)G^T

K(k)＝P(k|k-1)H^T[HP(k|k-1)H^T+R]^-1

X(k|k)＝X(k|k-1)+K(k)[Z(k)-H(k)X(k|k-1)]

P(k|k)＝[I-K(k)H]P(k|k-1)(21)

目标检测与跟踪如图3所示，左上图为原始红外图像，右上图为数学形态学滤波得到的去均值图像，左下图为基于椭圆抛物面体积的图像预处理结果，右下图为确认的目标，由高亮十字标出。

4.目标丢失后轨迹预测

在目标被检测并跟踪上之后，若目标被短暂遮挡，或即使通过前述的图像预处理之后，仍有若干帧未检测到目标时，可以根据目标此前的位置信息和运动状态，预测出目标下一步可能的位置，当目标再次出现时，仍可稳定跟踪而不至于丢失目标。在距离较远时，红外目标的机动性弱，可以通过前述基于匀速直线运动模型的目标跟踪得出的目标状态向量的滤波值，外推预测得出目标的可能位置。

假设k时刻的状态向量的估计为 接下来的几帧目标未被检测到，则在k+n帧的目标的预测值为：

$\hat{X}(k+n|k)={\mathrm{\&Phi;}}^n\hat{X}\left(k\right|k)----\left(22\right)$

在实际应用中，随着时间的推迟及可能的目标机动，过去的跟踪数据与未来的悄况越来越不相关，随着n的增大，预测精度会下降。一般选取n＜8。

Claims (1)

1、一种复杂背景条件下红外弱小目标的检测与跟踪方法，其特征在于包括如下具体步骤：

1)图像去均值处理：采用5×5全零平顶形结构元素对红外图像进行灰度开启然后再闭合的数学形态学滤波操作，去除与结构元素相比尺寸较小的各类亮、暗噪声及远距离弱小目标，获得红外图像背景，将原图像减去图像背景，得到含有目标和噪声的去均值图像；

2)基于椭圆抛物面体积的图像预处理：采用二次椭圆抛物曲面逼近含有噪声的去均值图像局域像素值，得到二次曲面的系数值，并计算该局域二次曲面所包含的体积，将二次曲面的体积作为特征值，利用恒虚警率准则选择检测阈值，如果特征值大于检测阈值，则认为是可能目标，得到单帧检测结果；

3)目标的多帧确认及跟踪：当单帧检测的可能目标连续3帧出现在3×3邻域内，则轨迹起始；采用基于匀速直线运动模型的卡尔曼滤波更新目标轨迹，并由此生成椭圆跟踪门，落入椭圆跟踪门的量测值只有一个时，直接进行目标轨迹更新，落入椭圆跟踪门的量测值多于一个时，则采用最近邻数据关联进行目标轨迹更新，即目标轨迹通过距离一步预测值最近的测量值来更新；

4)目标丢失后轨迹预测：在采用卡尔曼滤波进行轨迹更新时，若目标丢失，则利用以前时刻的状态滤波值外推预测后几帧目标的可能位置，保持稳定的记忆跟踪能力。

Images