CN103839274B - 一种基于几何比例关系的扩展目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于几何比例关系的扩展目标跟踪方法，首先采用高斯平滑滤波对待处理图像进行预处理以去除噪声对后续算法的影响，其次采用模糊C均值聚类算法FCM对上述平滑后的图像进行分割，获得二值图像，然后对分割后获得的二值图像进行骨架提取，从提取的骨架点中选出机头和机尾特征点，计算图像平面中机身的长度，根据已知的飞行器实际机身上机头到机身与机翼交点与机身长度的比值关系，当飞行器出现自遮挡时，根据这种几何比例不变性，获得机身与机翼的交点，从而获得跟踪点。本发明解决了当飞行器出现自遮挡时提取不到机翼的骨架从而导致跟踪点丢失的问题，实现了飞行器在自遮挡时的稳定跟踪。

Description

一种基于几何比例关系的扩展目标跟踪方法

技术领域

本发明涉及一种机动扩展目标跟踪方法，特别是一种依据几何比例关系来跟踪机动扩展目标的方法，主要用于图像处理、计算机视觉。属于光电测量***中目标探测跟踪技术领域。

背景技术

在光电测量***中，为了提高跟踪精度，探测器的视场都比较小，目标尺寸又偏大。因此在探测器中，目标呈现扩展的形态。远距离目标成像，由于大气湍流、***抖动和光学***的像差等降质因素导致目标在***的成像非常模糊，对比度差；此外，目标无纹理信息，形状各异，无表征和识别目标的特征信息。目标还存在姿态变化明显的特点，随着目标姿态的变化，跟踪点也会随之发生漂移。选取稳定的特征点进行锁定跟踪，是扩展目标跟踪面临的一大难题。

目前，常用的针对扩展目标的算法是匹配，包括灰度、特征等方面的匹配。由于目标的运动，目标可能出现大小、形状、姿态等变化，加上背景、光照等各种干扰，以及图像处理最小计量单位的精度问题，匹配跟踪得不到绝对最佳的匹配位置，这会带来跟踪点的漂移。由于目标无纹理和显著特征信息，姿态变化较大，而传统的基于灰度特征的跟踪方法当目标出现较大姿态变化时容易跟丢目标，针对这种情况，后来又出现采用骨架提取特征点跟踪扩展目标。这种方法虽然能够处理姿态变化的情况，然而，对于飞行器这类扩展目标而言，当目标出现自遮挡（如机身与机翼所在平面与成像面垂直）时，简单依靠骨架提取的方法不能获取机身或机翼所在轴线，从而导致跟踪点丢失，不能满足实际需要。因此迫切需要研究新的方法以适应跟踪的工程应用需求。

发明内容

本发明技术解决问题：针对现有技术的不足，提供一种基于几何比例关系的扩展目标跟踪方法，从本质上将机动扩展目标的几何结构信息抽象出来，同时根据已知的先验信息，依据一定的几何比例关系，实现目标在较大姿态变化以及自遮挡情况下的稳定跟踪。

为实现这样的目的，本发明的技术方案：一种基于几何比例关系的扩展目标跟踪方法，包括如下步骤：

步骤一、图像预处理：采用高斯平滑滤波对待处理图像进行处理，去除噪声的影响，得到滤波后的平滑图像；

步骤二、使用模糊C均值聚类算法FCM（Fuzzy C-Means Cluster）对步骤一得到的平滑后的图像进行分割，获得二值图像；

步骤三、利用骨架提取的方法对步骤二得到的图像进行处理，提取飞机上的骨架点；

步骤四、根据步骤三获得的骨架点，依据一定规则选取机头机尾特征点，计算成像面中机身的长度；

步骤五、已知实际中机头到机身与机翼交点与机身长度的比例关系，根据步骤四获取的机身长度计算成像面中机身与机翼交点；

步骤六、将步骤五得到的交点结合帧间连续性修正跟踪点位置，最后的跟踪点为当前帧中跟踪点。

其中，所述步骤二中，使用模糊C均值聚类算法FCM（Fuzzy C-Means Cluster）对步骤一得到的平滑后的图像进行分割，获得二值图像的方法为：

步骤（21）、初始化：给定聚类类别数C（本发明中C=2），设定迭代停止阈值ε，初始化模糊划分矩阵U⁽⁰⁾,迭代次数l=0，模糊加权指数m（本发明中m=2）；

步骤（22）、将U^(l)代入式（5），计算聚类中心矩阵V^(l):

$v_i=\frac{1}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m{x}_k,i=1,...,c---\left(5\right)$

其中n为待聚类像素个数，m为模糊加权指数，c为聚类类别数，u_ik为第l次迭代时模糊分类矩阵U^(l)中第i行第k列元素，x_k为待聚类图像中第k个像素值，v_i为第l次迭代时的聚类中心矩阵V^(l)中第i个聚类中心值；

步骤（23）、根据式（6），利用V^(l)更新U^(l)，得到新的模糊分类矩阵U^(l+1)：

$u_{\mathrm{ik}}=\frac{1}{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{\left(\frac{d_{\mathrm{ik}}}{d_{\mathrm{jk}}}\right)}^{\frac{2}{m-1}}},i=1,...,c---\left(6\right)$

其中d_ik为待聚类图像中第k个元素与第i个聚类中心的欧式距离，d_jk为待聚类图像中第k个元素与第j个聚类中心的欧式距离；

步骤（24）、若||U^(l)-U^l+1||＜ε，迭代停止。否则，置l＝l+1,返回步骤（22）；

步骤（25）、计算待聚类图像中每个像素距离上述步骤（21）-（24）获得的聚类中心值的欧式距离，将距离聚类中心最近的像素值置为1,否则置为0，由此得到分割后的二值图像。

其中，所述步骤三中，利用骨架提取的方法对步骤二得到的图像进行处理，提取飞机上的骨架点，本发明采用逐次消去边界点的迭代细化算法提取骨架，算法如下：

设已知目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而其8-连通区域中至少有一个点标记为0的点。算法考虑以边界点为中心的8-邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中p₂在p₁上方；

包括对边界点进行两步操作：

（3.1）标记同时满足下列条件的边界点：

（3.1.1）2≤N(p₁)≤6;

（3.1.2）S(p₁)＝1;

（3.1.3）p₂·p₄·p₆＝0;

（3.1.4）p₄·p₆·p₈＝0;

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部边界点检验完毕后，将所有标记了的点除去。（42）标记同时满足下列条件的边界点：

（3.2）标记同时满足下列条件的边界点：

（3.2.1）1≤N(p₁)≤6

（3.2.2）S(p₁)＝1;

（3.2.3）p₂·p₄·p₈＝0;

（3.2.4）p₂·p₆·p₈＝0;

以上两步操作构成一次迭代，算法反复迭代直至没有点再满足标记条件，这时剩下的点组成骨架点。

其中，所述步骤四中，根据步骤三获得的骨架点，依据一定规则选取机头机尾特征点，计算成像面中机身的长度，其方法为：

步骤（41）、判断步骤三所获得的骨架点中的骨架端点，计算其位置；

步骤（42）、对于步骤（41）获得的骨架端点，将横坐标最小和最大的端点视为机头和机尾特征点（机头在左）；

步骤（43）、根据步骤（42）获得的机头和机尾特征点，根据欧式距离计算这两点在成像面中的距离，也即成像面中的机身长度；

其中，所述步骤五中，前面整句话改为：所述步骤五中，假设在机体坐标系中，机头所在处标记为点A，机身与机翼所在轴线交点标记为B，机尾所在处标记为C，则已知AB的长度与AC长度的比值，根据步骤四获取的机身长度计算成像面中机身与机翼交点，其方法为：

已知上述AB的长度与AC长度的比值为R，由步骤（42）获得的成像面中机头和机尾特征点坐标分别为(x_h,y_h),(x_t,y_t),所要求的机身与机翼交叉点坐标为(x_c,y_c),以机头在左为例，依据线段间的几何比例关系可得：

$\frac{x_c-x_h}{x_t-x_h}=\frac{y_c-y_h}{y_t-y_h}=R---\left(7\right)$

由此可得,机身与机翼交叉点横纵坐标分别如式（8）和式（9）所示：

x_c＝x_h+R·(x_t-x_h) （8）

y_c＝y_h+R·(y_t-y_h) （9）

其中，所述步骤六中，将步骤五得到的交点结合帧间连续性修正跟踪点位置，最后的跟踪点为当前帧中跟踪点。上一帧获得的跟踪点位置为P_o,当前帧中根据步骤五获得的交点位置为P_n,根据帧间连续性修正当前帧中跟踪点方法如下：

P_c＝(1-α)·P_o+α·P_n （10）

其中，α为修正因子，本发明取0.95，P_c为经过修正后的当前帧的跟踪点位置。

本发明与现有技术相比的有益效果在于：

（1）本发明对分割后的图像采用骨架提取的方法获取飞机目标上的结构特征点，解决了传统依靠灰度值进行特征点提取导致鲁棒性差的问题。

（2）本发明从提取的骨架点中依据一定规则提取机头和机翼特征点，解决了传统灰度角点提取算子对光照以及姿态变化敏感的问题。

（3）本发明提供一种利用几何比例关系的机动扩展目标跟踪方法，与单纯依靠提取的骨架点来进行飞行器跟踪的方法相比，本发明融入了先验的飞行器几何结构信息，依据这种几何结构比例不变性获取飞行器在姿态变化较大以及自遮挡下的跟踪点，解决了飞行器在发生自遮挡（如机身与机翼所在平面与成像面垂直）时跟踪点丢失的问题，实现了飞行器在姿态变化较大以及自遮挡下的稳定跟踪。

附图说明

图1为本发明方法实现流程图；

图2为本发明对所用序列的第1帧图像进行跟踪定位的结果；

图3为本发明对所用序列的第86帧图像进行跟踪定位的结果；

图4为本发明对所用序列的第215帧图像进行跟踪定位的结果；

图5为本发明对所用序列的第945帧图像进行跟踪定位的结果；

图6为本发明对所用序列进行跟踪获得的各跟踪点轨迹曲线。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。

本发明基于一种基于几何比例关系的扩展目标跟踪方法，输入图像为单站光测航模图像序列。

如图1所示，本发明提供了一种基于几何比例关系的扩展目标跟踪方法，包含以下步骤：

步骤一、图像预处理。由于光照或成像***的缺陷，获取的待处理图像会受到噪声的影响，从而影响后续的处理。因此，在执行后续的处理算法之前，对待处理图像进行预处理。本方法采用高斯平滑滤波来去除噪声的影响，得到滤波后的平滑图像。

步骤二、使用模糊C均值聚类算法FCM（Fuzzy C-Means Cluster）对步骤一得到的平滑后的图像进行分割，获得二值图像。从本质上讲，图像分割是一个基于某种属性对像素进行分类的过程。自然图像的复杂多变性决定了许多像素在其属于哪一个聚类的问题上是不确定的，因而从模糊聚类的角度来考虑图像分割比较合理。模糊C均值聚类算法（FCM，Fuzzy C-Means Cluster）是从硬C均值算法（HCM，Hard C-Means Cluster）发展而来得，其实质是一种基于目标函数的非线性迭代最优化方法，目标函数采用图像中各像素与每个聚类中心之间的加权相似度测度。FCM算法的任务就是通过迭代，选择合理的模糊隶属度矩阵个聚类中心，使目标函数达到最小，从而获得最佳分割结果。

模糊C均值聚类算法通过对目标函数的迭代优化实现集合划分，它可以表示出图像各个像素属于不同类别的程度。设n为待聚类像素数，c为类别数（本发明中c=2），m为模糊加权指数（本发明中取m=2）,其控制隶属度在各类间共享的程度。目标函数的值是图像中各像素到C聚类中心的加权平方和，可表示为：

$J_m(U,V)=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ik}}^m{\left(d_{\mathrm{ik}}\right)}^2---\left(11\right)$

其中，u_ik为第k个像素对第i类的隶属度，d_ik为第k个像素到第i类的距离，U为模糊分类矩阵，V为聚类中心集合。

聚类准则就是要寻求最佳组对(U,V)，使得J_m(U,V)最小。J_m的极小化可由下面的迭代算法实现：

（2.1）初始化：给定聚类类别数C（本发明中C=2），设定迭代停止阈值ε，初始化模糊划分矩阵U⁽⁰⁾,迭代次数l=0，模糊加权指数m（本发明中m=2）；

（2.2）将U^(l)代入式（12），计算聚类中心矩阵V^(l):

$v_i=\frac{1}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m{x}_k,i=1,...,c---\left(12\right)$

其中n为待聚类像素个数，m为模糊加权指数，c为聚类类别数，u_ik为第l次迭代时模糊分类矩阵U^(l)中第i行第k列元素，x_k为待聚类图像中第k个像素值，v_i为第l次迭代时的聚类中心矩阵V^(l)中第i个聚类中心值；

（2.3）根据式（13），利用V^(l)更新U^(l)，得到新的模糊分类矩阵U^(l+1)：

$u_{\mathrm{ik}}=\frac{1}{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{\left(\frac{d_{\mathrm{ik}}}{d_{\mathrm{jk}}}\right)}^{\frac{2}{m-1}}},i=1,...,c---\left(13\right)$

其中，d_ik为待聚类图像中第k个元素与第i个聚类中心的欧式距离，同样地，d_jk为待聚类图像中第k个元素与第j个聚类中心的欧式距离；

（2.4）若||U^(l)-U^l+1||＜ε，迭代停止。否则置l＝l+1,返回步骤（2.2）；

（2.5）计算待聚类图像中每个像素距离上述步骤（2.1）-（2.4）获得的聚类中心值的欧式距离，将距离聚类中心最近的像素值置为1,否则置为0，由此得到分割后的二值图像。

实验发现，采用模糊C均值聚类方法来分割图像可以获得较之采用阈值分割的方法更好的效果，对自然图像尤其明显。这是由于自然图像复杂多变，层次复杂，每一个像素属于哪一类没有一个确定的界限。模糊C均值聚类将每个像素属于哪一类的程度以概率的形式表现出来，而不像硬C均值聚类（HCM）方法直接认为每个像素确定的属于哪一类，因此将模糊C均值聚类方法用于图像分割能更好的体现自然图像的复杂多变性。

步骤三、利用骨架提取的方法对步骤二得到的图像进行处理，提取飞机上的骨架点。骨架具有与原物体相同的拓扑和形状信息，能够有效的描述物体，是一种性能优良的几何特征。实现骨架提取的方法有多种思路，中轴变换（medial axis transform，MAT）是一种比较有效的技术。然而该方法需要计算所有边界点到所有区域内部点的距离，计算量非常大。因此，本发明采用逐次消去边界点的迭代细化算法来提取骨架。

设已知目标点标记为1，背景点标记为0。定义边界点是本身标记为1，而其8-连通区域中至少有一个点标记为0的点。算法考虑以边界点为中心的8-邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中p₂在p₁上方。

算法包括对边界点进行两步操作：

（3.1）标记同时满足下列条件的边界点：

（3.1.1）2≤N(p₁)≤6;

（3.1.2）S(p₁)＝1;

（3.1.3）p₂·p₄·p₆＝0;

（3.1.4）p₄·p₆·p₈＝0;

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部边界点检验完毕后，将所有标记了的点除去。

（3.2）标记同时满足下列条件的边界点：

（3.2.1）1≤N(p₁)≤6

（3.2.2）S(p₁)＝1;

（3.2.3）p₂·p₄·p₈＝0;

（3.2.4）p₂·p₆·p₈＝0;

以上两步操作构成一次迭代，算法反复迭代直至没有点再满足标记条件，这时剩下的点组成骨架点。

步骤四、根据步骤三获得的骨架点，依据一定规则选取机头机尾特征点，计算成像面中机身的长度，方法如下：

（4.1）、判断步骤三所获得的骨架点中的骨架端点，计算其位置。其规则为，对于步骤三所获得的所有骨架点，如果其八邻域中只有一个骨架点，判断该点为骨架端点；

（4.2）、对于（4.1）获得的骨架端点，将横坐标最小和最大的端点视为机头和机尾特征点（机头在左）；

（4.3）、根据（4.2）获得的机头和机尾特征点，根据欧式距离计算这两点在成像面中的距离，也即成像面中的机身长度；

步骤五、假设在机体坐标系中，机头所在处标记为点A，机身与机翼所在轴线交点标记为B，机尾所在处标记为C，已知AB的长度与AC长度的比值，根据步骤四获取的机身长度计算成像面中机身与机翼交点。对于特定型号的不同飞行器而言，其本身的几何结构是相似的。不管飞行器发生何种姿态变化，这种特定的几何结构关系是不变的。本发明在于探究这样一种不变性，从而解决飞行器在较大姿态变化以及遮挡情况下跟踪点丢失的问题。依据这些几何比例关系获取稳定跟踪点的方法如下：

已知上述AB的长度与AC长度的比值为R，由步骤（4.2）获得的成像面中机头和机尾特征点坐标分别为(x_h,y_h),(x_t,y_t),所要求的机身与机翼交叉点坐标为(x_c,y_c),以机头在左为例，依据线段间的几何比例关系可得：

$\frac{x_c-x_h}{x_t-x_h}=\frac{y_c-y_h}{y_t-y_h}=R---\left(14\right)$

由此可得,机身与机翼交叉点横纵坐标分别如式（15）和式（16）所示：

x_c＝x_h+R·(x_t-x_h) （15）

y_c＝y_h+R·(y_t-y_h) （16）

其中，所述步骤六中，将步骤五得到的交点结合帧间连续性修正跟踪点位置，最后的跟踪点为当前帧中跟踪点。上一帧获得的跟踪点位置为P_o,当前帧中根据步骤五获得的交点位置为P_n,根据帧间连续性修正当前帧中跟踪点方法如下：

P_c＝(1-α)·P_o+α·P_n （17）

其中，α为修正因子，本发明取0.95，P_c为经过修正后的当前帧的跟踪点位置。

为了验证本发明方法的鲁棒性，实验采用航模图像序列，共1321帧，截取其中第1帧、第86帧、第215帧以及第945帧图像得到的跟踪结果分别如图2、3、4、5所示。图中三个灰色矩形框为分别为以机头、机身与机翼交点和机尾特征点为中心的跟踪框，矩形框中心的灰色十字表示最后提取的机头、机身与机翼交点和机尾特征点。从图中可以看出，当目标发生姿态变化（偏航、俯仰以及翻滚，如图2和图5所示）时，利用骨架提取的方法可以准确获得稳定的机头和机尾特征点，同时利用几何比例关系可以获得机身与机翼的交点；当目标发生自遮挡（机身与机翼所在平面与成像面垂直，如图3和图4所示）时，只要能提取出机身所在轴线，仍然能够根据机头到机身与机翼交点与机身长度的比例不变性，获得稳定的跟踪点位置，从而实现飞行器在姿态变化较大以及自遮挡情况下的稳定跟踪。

为了验证本发明方法的稳定性，实验对上述航模图像序列（共1321帧）的前400帧进行测试，图6为机身与机翼交点在相邻帧间的定位误差分别沿X和Y方向的曲线，stdx为跟踪点沿X方向的帧间误差标准差，stdy为跟踪点沿X方向的帧间误差标准差。从图中可以看出，跟踪点分别沿X和Y方向的误差标准差均小于一个像素，当目标发生自遮挡（机身与机翼所在平面与成像面垂直，如图3和图4所示）时，仍然能获得机身与机翼的交点，从而实现自遮挡下的稳定跟踪。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变型都将落在本发明权利要求书的范围内。

Claims (3)

1.一种基于几何比例关系的扩展目标跟踪方法，其特征包括如下步骤：

步骤一、图像预处理：采用高斯平滑滤波对待处理的图像进行处理，去除噪声的影响，得到滤波后的平滑图像；

步骤二、使用模糊C均值聚类算法FCM(Fuzzy C-Means Cluster)对步骤一得到的平滑后的图像进行分割，获得二值图像；

步骤三、利用骨架提取的方法对步骤二得到的图像进行处理，提取飞机上的骨架点；

步骤四、根据步骤三获得的骨架点，依据一定规则选取机头和机尾特征点，计算成像面中机身的长度；

步骤五、假设在机体坐标系中，机头所在处标记为点A，机身与机翼所在轴线交点标记为B，机尾所在处标记为C，则已知AB的长度与AC长度的比值，根据步骤四获取的机身长度计算成像面中机身与机翼交点；

步骤六、将步骤五得到的机身与机翼交点结合帧间连续性修正跟踪点位置，最后的跟踪点为当前帧中跟踪点；

所述步骤四中依据一定规则选取机头和机尾特征点，计算成像面中机身的长度具体实现如下：

步骤(41)、判断步骤三所获得的骨架点中的骨架端点，计算其位置；

步骤(42)、对于步骤(41)获得的骨架端点，将横坐标最小和最大的端点视为机头和机尾特征点；

步骤(43)、根据步骤(42)获得的机头和机尾特征点，利用欧氏距离计算这两点在成像面中的距离，也即成像面中的机身长度。

2.根据权利要求1所述的基于几何比例关系的扩展目标跟踪方法，其特征在于：所述步骤五中计算成像面中机身与机翼交点具体实现如下：

假设在机体坐标系中，机头所在处标记为点A，机身与机翼所在轴线交点标记为B，机尾所在处标记为C，则已知AB的长度与AC长度的比值为R，所要求的机身与机翼交叉点坐标为(x_c,y_c),依据线段间的几何比例关系得：

$\frac{x_c-x_h}{x_t-x_h}=\frac{y_c-y_h}{y_t-y_h}=R---\left(1\right)$

由此得,机身与机翼交叉点横纵坐标分别如式(2)和式(3)所示：

x_c＝x_h+R·(x_t-x_h) (2)

y_c＝y_h+R·(y_t-y_h) (3)

(x_h,y_h),(x_t,y_t)分别为成像面中机头和机尾特征点坐标。

3.根据权利要求1所述的基于几何比例关系的扩展目标跟踪方法，其特征在于：所述步骤六当前帧中跟踪点确定如下：

P_c＝(1-α)·P_o+α·P_n (4)

其中，P_o为上一帧获得的跟踪点位置，P_n为机身与机翼交点位置，α为修正因子，取0.95，P_c为经过修正后的当前帧的跟踪点位置。