CN105352509B - 地理信息时空约束下的无人机运动目标跟踪与定位方法 - Google Patents

Abstract

本发明公开了一种地理信息时空约束下的无人机运动目标跟踪与定位方法，包括步骤：根据无人机POS数据获得航摄像片的外方位角元素和外方位线元素；结合高程数据对航摄像片进行几何校正得正射影像；采用基础地理信息库中基准影像对正射影像进行精纠正，获得正射影像的几何校正坐标和地理坐标的映射关系；第一帧正射影像上框选待跟踪的目标，即初始目标；对正射影像序列逐帧进行目标跟踪；拼接正射影像序列并显示目标运动轨迹。本发明提高了跟踪精度与可靠性，可确保目标跟踪的稳定性。

Description

地理信息时空约束下的无人机运动目标跟踪与定位方法

技术领域

本发明属于视觉跟踪与空间定位技术领域，具体涉及一种地理信息时空约束下的无人机运动目标跟踪与定位方法。

背景技术

目标跟踪在科学和工程中具有重要价值。无人机因具有高机动性、低成本、操作灵活等优势，得到了空前的开发和运用。由于搭载视频传感器的无人机具有获取动态信息及快速响应的能力，基于视觉的无人机目标跟踪与定位在空中侦查、目标监视、实时定位等应用中具有重要意义。

目标跟踪算法的难点在于如何设计出鲁棒稳定的跟踪算法，以适应跟踪过程中光照变化、目标遮挡、目标尺度变化以及目标形变，对目标进行实时持续跟踪。单摄像机目标跟踪算法大体上可分为2大类：基于生成模型的目标跟踪方法和基于判别模型的目标跟踪方法。

基于生成模型的目标跟踪方法通过提取目标特征，在特征空间中对目标区域进行描述，构建目标的表观模型；然后在目标可能出现的区域进行搜索，以具备最小重建误差的图像块作为跟踪目标。该方法的重点在于描述目标，构建一个能够完善表达目标(包括不同视角，不同尺度，目标形变等)的模型，以适应跟踪过程中各种干扰。该类方法充分利用了目标的表观信息，在跟踪过程中对光照和颜色变化不敏感。由于该类跟踪方法未利用背景信息，目标跟踪易受复杂背景干扰。此外，构建鲁棒高效的外观模型十分困难。

基于判别模型的目标跟踪方法则是估计观测数据的条件概率分布，寻找能把目标和背景分离开的最优分类面，将跟踪问题转化成为了一个二分类问题。由于分类边界比较灵活，所以该类目标跟踪方法的区分性较好。

对于机载摄像机的无人机目标跟踪而言，摄像机与地面存在相对运动，使得视频背景也是动态的，这给运动目标检测跟踪带来很大干扰。针对动态背景中运动目标检测跟踪，常用的方法是进行运动背景补偿，如特征匹配法、灰度投影法、光流场法、图像块匹配法和相位相关法，估计出当前帧图像相对于参考帧图像的运动矢量，以补偿背景运动，将动态背景转换为静态背景，减少场景变化对目标检测和跟踪的影响，然后再进行目标检测与跟踪。

航拍图像具有图像场景大、复杂多变且图像受噪声影响显著的特点，而待跟踪目标弱小且与背景特征相似，这使得误检测误跟踪可能性大大提高，因此机载摄像机的无人机目标跟踪算法需具备较高的抗干扰能力。

由于无人机平台姿态变化大和摄像机晃动大，通常无人机视频图像抖动旋转变形较为严重，目标形态变化大，目标被部分或完全遮挡，甚至因无人机平台姿态变化，目标突然从视频场景中消失让后又重新出现，为了能对目标进行持续跟踪，这就要求机载摄像机的无人机目标跟踪算法具有目标重检测功能和抗遮挡能力。

此外，现有目标跟踪方法一般只是获取目标在视频图像上的像素坐标，无法获得目标真实的高精度地理坐标，难以满足空中侦查、目标监视、实时定位等任务的需求。

由上述可知，对无人机视频图像的目标锁定跟踪是一项充满挑战的任务，现有无人机运动目标跟踪技术面临普适性的问题，难以对视频场景中的运动目标进行稳定持续的跟踪。

发明内容

针对现有技术存在的不足，本发明提供了一种更为稳健可靠的、地理信息时空约束下的无人机运动目标跟踪与定位方法。

为解决上述技术问题，本发明采用如下的技术方案：

地理信息时空约束下的无人机运动目标跟踪与定位方法，包括步骤：

S1根据无人机POS数据获得航摄像片的外方位角元素和外方位线元素；

S2结合高程数据对航摄像片进行几何校正得正射影像；

S3采用基础地理信息库中基准影像对正射影像进行精纠正，获得正射影像的几何校正坐标和地理坐标的映射关系；

S4第一帧正射影像上框选待跟踪的目标，即初始目标；

S5对正射影像序列逐帧进行目标跟踪，具体为：

5.1根据基础地理信息库中道路矢量数据构建当前帧正射影像的道路缓冲区，对目标和道路缓冲区做空间分析，确定目标所在的道路缓冲区；

5.2以目标所在的道路缓冲区为前景掩膜，输入初始目标，采用目标跟踪法在当前帧正射影像的道路缓冲区内进行目标跟踪；

5.3以目标中心地理坐标及目标移动速度构建当前时刻的***状态向量，以子步骤5.2所跟踪的目标中心地理坐标构建当前时刻的***观测向量，采用卡尔曼滤波器修正当前帧正射影像的目标跟踪结果；

5.4将当前帧正射影像所跟踪的目标作为下一帧正射影像的初始目标，重复执行子步骤5.1～5.3；

S6拼接正射影像序列并显示目标运动轨迹。

步骤S2中采用反解法数字微分纠正或间接法数字微分纠正进行几何校正。

步骤S3进一步包括：

由正射影像的几何校正坐标获得影像覆盖范围；

根据影像覆盖范围从基础地理信息库中查询正射影像匹配的基准影像；

对正射影像和其匹配的基准影像分别提取特征点；

基于特征点对正射影像和其匹配的基准影像进行配准，获得正射影像的几何校正坐标和地理坐标的映射关系。

子步骤5.2中采用TLD法在正射影像的道路缓冲区内进行目标跟踪。

和现有技术相比，本发明具有如下优点和显著效果：

(1)针对无人机平台姿态变化大和摄像机晃动大的特点，将无人机视频图像进行几何校正，校正待跟踪目标形变，并且将视频序列图像纳入统一的坐标系中，化运动背景为静态背景，进行运动补偿，确保对目标稳定的跟踪。为摄像机运动补偿提供了新的技术方案。

(2)引入先验地理信息约束目标跟踪处理范围，有效排除干扰，减少误检测，提高跟踪可靠性与效率。结合先验地理信息辅助下的目标遮挡判断与Kalman滤波，修正目标跟踪结果，提高跟踪精度与可靠性。

(3)将视频图像与基准图影像图进行匹配，获取运动目标高精度的地理坐标，实现目标高精度定位。

附图说明

图1为本发明的具体流程图。

具体实施方式

以下将结合附图和具体实施方式详细说明本发明技术方案。

步骤1：无人机POS(Position and Orientation System，定位定向***)数据的解析与重组。

本步骤是根据POS数据中姿态角和IMU几何中心位置获得航摄像片的外方位角元素和外方位线元素，本步骤的实现过程为已有技术。

惯性测量单元(IMU)可获得无人机姿态角，其通常采用HPR(即heading、pitch、roll)***，heading、pitch、roll分别是指偏航角、俯仰角、翻滚角。摄影测量领域则一般采用OPK***表示航摄像片的外方位角元素。所以要将IMU采样瞬间测定的姿态角(Φ,Θ,Ψ)转换成摄影测量领域使用的外方位角元素

可通过一系列坐标变换将姿态角(Φ,Θ,Ψ)转换成航摄像片的3个外方位角元素即按下述顺序依次进行坐标变换：地辅坐标系m→地心直角坐标系E→导航坐标系g→IMU坐标系b→传感器坐标系c→像空间坐标系i。

变换矩阵具体形式如下：

式(1)中，表示坐标系j变换到坐标系k的正交变换矩阵。

将INS***测定的IMU几何中心在地心直角坐标系E中的坐标(X_IMU,Y_IMU,Z_IMU)转换为外方位线元素，即摄影中心在地辅坐标系m中的坐标(X_s,Y_s,Z_s)，转换公式如下：

式(2)中，(x_l,y_l,z_l)表示偏心矢量，即摄影中心在IMU坐标系b中坐标；(X₀,Y₀,Z₀)为地辅坐标系m原点在地心直角坐标系E中坐标。

本步骤的具体实现过程可参考文献：刘军，王冬红，张永生.GPS/INS***HPR与OPK角元素的剖析与转换[J].测绘科学，2006,31(5):54-56。

步骤2：结合平均高程、DEM数据、或DSM数据，对航摄像片进行几何校正，将航摄像片变换为与地理坐标相一致的正射影像。

本步骤实质为两个二维图像间的几何变换，常用方法有反解法数字微分纠正、间接法数字微分纠正。

反解法数字微分纠正进行几何校正的过程为：首先，依次计算正射影像上各正射像元坐标；然后，按共线方程将正射像元反算到航摄像片；接着，对航摄像片进行灰度内插，将灰度内插得到的灰度值赋给对应的正射像元。逐正射像元计算，直至所有正射像元都赋予灰度值。

由于需要逐正射像元计算，计算量大，效率低。考虑到航摄像片对应地面范围较小，可以以“面元素”作为纠正单元。即在航摄像片上建立n×n大小的格网，对格网点像元按共线方程严格进行数字微分纠正，各格网内部像元由格网四个角点按一次多项式内插进行几何校正。这种方法以牺牲少量几何精度为代价换取计算效率的提高。

本步骤的具体实现过程可参考文献：张剑清，潘励，王树根编著，摄影测量学，武汉大学出版社，2009.05：217-220。

步骤3：基于基准影像对正射影像进行精纠正。

步骤2所得正射影像已获得了几何校正坐标。但是由于几何校正受POS数据精度影响，正射影像的坐标精度较低。本步骤则通过将正射影像与基准影像进行匹配，使得正射影像获得地理坐标，地理坐标精度高于几何校正坐标。

由正射影像几何校正坐标得到影像覆盖范围，在基础地理信息库中查询相匹配的基准影像。对正射影像和其匹配的基准影像分别提取sift特征点，基于sift特征点进行配准，得到几何校正坐标与地理坐标的相互映射关系。基础地理信息库存有基准影像及数字矢量地图。

步骤4：目标初始化。

通过人机交互方式在正射影像上框选待跟踪的目标，即初始目标，并获得初始目标的中心几何校正坐标、宽和高。

步骤5：先验地理信息约束下的目标跟踪。

采用Kalal,Z.等人于2012年发表的“Tracking-Learning-Detection”(跟踪—学习—检测)算法进行目标跟踪。TLD(tracking-learning-detection)算法由跟踪、检测、融合和更新4个模块组成，该算法将跟踪、检测以及更新机制融合在一个统一的框架下来解决跟踪过程中目标形变、部分遮挡等问题。由于TLD具有检测模块，当目标离开后再次出现，依然能够捕获目标，继续跟踪，这一优点是很多跟踪算法不具备的。

由于道路是目标运动区域的先验约束，以目标所在道路构建道路缓冲区，只在缓冲区内进行目标检测跟踪。与对整张图像进行全局检测相比，只在缓冲区内进行目标检测跟踪既能有效排除干扰，减少误检测，提高检测跟踪可靠性，又能减小处理范围，提高检测跟踪效率。

依据目标的地理坐标以及基础地理信息库中道路矢量数据，对目标与道路缓冲区作空间分析，确定目标所在的道路缓冲区。根据步骤3中获得的正射影像的几何校正坐标和地理坐标的映射关系，可将目标的几何校正坐标转换为地理坐标。

由于是在正射影像上进行目标跟踪，所以需将道路缓冲区的地理坐标转换为几何校正坐标。以道路缓冲区作为前景掩膜，以正射影像、目标的中心点几何校正坐标和尺寸为输入，采用TLD法即可进行目标跟踪。TLD法具体步骤可见参考文献：Kalal Z,MikolajczykK,Matas J.Tracking-learning-detection[J].IEEE Trans.Pattern Analysis andMachine Intelligence,2012,34(7):1409-1422。

TLD法的输出结果是当前帧正射影像中目标的中心点几何校正坐标、宽和高。若TLD法输出结果为空，则表明前帧正射影像中未跟踪到目标。

步骤6：在先验地理信息辅助下，判断目标是否被立交桥或地下通道遮挡，利用Kalman滤波器对步骤5中获得的跟踪结果进行修正，得到目标的中心地理坐标。

目标跟踪算法通常都存在误差，这里引入Kalman滤波器对跟踪结果进行校正，以提高跟踪精度。此外，当运动目标被完全遮挡时(如跟踪过程中，目标进入立交桥下或地下通道中)，此时正射影像中不存在待跟踪的目标，跟踪算法输出结果为空，这里引入Kalman滤波器对目标位置进行预测。

Kalman滤波器的数学模型由状态方程和观测方程组成。

状态方程：

X_k＝A_kX_k-1+W_k-1 (3)

观测方程：

Z_k＝H_kX_k+V_k (4)

式(3)～(4)中，X_k、X_k-1分别表示k、(k-1)时刻的***状态向量，Z_k为k时刻的***观测向量，A_k表示***状态转移矩阵，H_k表示观测矩阵，W_k-1和V_k是两个相互独立的零均值高斯白噪声，分别表示状态转移噪声和观测噪声，其概率分布分别表示为p(W_k-1)～N(0,Q)、p(V_k)～N(0,R)。矩阵Q和R分别为状态转移噪声和观测噪声的协方差矩阵。

对于目标跟踪而言，选取每帧图像中目标中心的地理坐标(x_k,y_k)及目标速度(v_xk,v_yk)构建k时刻的***状态向量X_k＝[x_k y_k v_xk v_yk]^T。

对于目标跟踪而言，用每帧图像中目标中心的地理坐标观测值(x_zk,y_zk)构建k时刻的***观测向量Z_k＝[x_zk y_zk]^T，这里将步骤5中跟踪结果中目标的中心几何校正坐标转换为地理坐标，取该值为目标中心的地理坐标观测值。

由于正射影像序列中相邻2帧正射影像间隔时间很短，可认为相邻2帧正射影像间目标做匀速运动，则***状态转移矩阵T_s表示采样间隔，测观矩阵

设定协方差矩阵R、Q分别为：

其中，Δ_GSD表示正射影像的空间分辨率。

将上一帧正射影像经Kalman滤波器处理得到的目标中心点地理坐标以及当前帧正射影像目标中心地理坐标观测值输入Kalman滤波器，经过Kalman迭代完成目标位置的预测和校正。下面将详述该过程。

若步骤5在当前帧正射影像中捕获到了目标。结合基础地理信息库中矢量数据进行空间分析，查询目标所在位置图层的属性信息，判断目标是否在立交桥下或地下通道中。如果不在，则说明目标未被立交桥或地下通道遮挡，则结合Kalman预测及跟踪算法输出的目标中心点地理坐标进行Kalman校正并输出最终结果。如果在遮挡区域，则有可能是跟踪结果出错，此时，以Kalman预测结果作为最终结果。

如果跟踪算法输出目标中心点坐标为空，即跟踪算法未在当前帧中检测或跟踪到目标。Kalmal预测获得目标中心点地理坐标，结合基础地理信息库中的矢量数据进行空间分析，查询目标所在位置图层的属性信息，判断目标是否在立交桥下或地下通道中。如果在遮挡区域，则可能目标被遮挡了，以Kalman预测结果作为最终结果。如果不在遮挡区域，则有可能是跟踪结果出错，以Kalman预测结果作为最终结果。

以上最终处理结果即为目标中心的地理坐标。

步骤7：正射影像序列拼接及运动目标轨迹显示。

经过几何校正后的航摄像片序列，其坐标基准相同，可直接按坐标进行图像拼接。

由于目标跟踪是在正射影像上进行的，而步骤6中最终输出结果为目标中心的地理坐标，将地理坐标转为几何校正坐标，用于下一帧正射影像目标跟踪的初始化，并将一连串目标中心几何校正坐标在拼接后图像上显示出来得到运动目标轨迹。

Claims (4)

1.地理信息时空约束下的无人机运动目标跟踪与定位方法，其特征是，包括步骤：

S1根据无人机POS数据获得航摄像片的外方位角元素和外方位线元素；

S2结合高程数据对航摄像片进行几何校正得正射影像；

S3采用基础地理信息库中基准影像对正射影像进行精纠正，获得正射影像的几何校正坐标和地理坐标的映射关系；

S4第一帧正射影像上框选待跟踪的目标，即初始目标；

S5对正射影像序列逐帧进行目标跟踪，具体为：

5.1根据基础地理信息库中道路矢量数据构建当前帧正射影像的道路缓冲区，对目标和道路缓冲区做空间分析，确定目标所在的道路缓冲区；

5.2以目标所在的道路缓冲区为前景掩膜，输入初始目标，采用目标跟踪法在当前帧正射影像的道路缓冲区内进行目标跟踪；

5.3以目标中心地理坐标及目标移动速度构建当前时刻的***状态向量，以子步骤5.2所跟踪的目标中心地理坐标构建当前时刻的***观测向量，在先验信息辅助下，判断目标是否被立交桥或地下通道遮挡，采用卡尔曼滤波器修正当前帧正射影像的目标跟踪结果；

5.4将当前帧正射影像所跟踪的目标作为下一帧正射影像的初始目标，重复执行子步骤5.1～5.3；

S6拼接正射影像序列并显示目标运动轨迹。

2.如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特征是：

S2中采用间接法数字微分纠正进行几何校正。

3.如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特征是：

S3进一步包括：

由正射影像的几何校正坐标获得影像覆盖范围；

根据影像覆盖范围从基础地理信息库中查询正射影像匹配的基准影像；

对正射影像和其匹配的基准影像分别提取特征点；

基于特征点对正射影像和其匹配的基准影像进行配准，获得正射影像的几何校正坐标和地理坐标的映射关系。

4.如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特征是：

子步骤5.2中采用TLD法在正射影像的道路缓冲区内进行目标跟踪。