CN111024072A - 一种基于深度学习的卫星地图辅助导航定位方法 - Google Patents

Abstract

本发明为一种基于深度学习的卫星地图辅助导航定位方法，所述方法应用于无人机上，解决GNSS失锁时的导航定位问题。包括：步骤一，根据惯性导航设备的漂移误差，在飞行区域内选取图像地标点。步骤二，根据地标点处的卫星遥感图像建立目标检测数据集，并用改进的YOLO v3进行训练。步骤三，飞行过程中，根据训练好的模型及模型参数，检测位置信息已知的地标点，经坐标转换关系得到无人机的位置。步骤四，采用卡尔曼滤波将其与INS***输出的位置参数进行融合，实现组合导航。本发明针对无人机GNSS失锁的情况，利用目标检测实现辅助导航定位，有效地解决了单INS***的累积漂移误差问题。

Description

一种基于深度学习的卫星地图辅助导航定位方法

技术领域

本发明涉及无人机领域，尤其涉及一种基于深度学习的卫星地图辅助导航定位领域，属于无人机、自主导航与目标检测等技术领域。

背景技术

无人机航线飞行中，惯性导航设备如未做修正则会形成累积漂移误差，目前常见的解决方案之一为INS/GNSS组合导航，但在复杂的电磁环境中，GNSS信号容易受到干扰。随着计算机视觉的发展，且视觉传感器几乎不受电磁环境的影响，视觉导航技术近些年得到了广泛研究与应用。在环境未知以及任务区域较小的情况下，可以应用SLAM(simultaneouslocalization and mapping)进行地图构建与定位。针对无人机在复杂电磁环境下的定位问题，XiJia Liu等人提出了间隔性的存储航线上的已知地图，并用改进的SIFT提取这些图像的特征，飞行过程中将实时航拍图像与该特征集进行匹配，经过坐标求解后得到无人机的实时位置，该方法不足的是遥感图像的特征提取与匹配效果不佳，且存储大量的特征信息对无人机机载计算机的内存是一个很大的消耗。近些年来随着深度学习的发展，CNN在图像分类、目标检测等领域有快速的发展，表明了CNN在图片特征提取方面有良好的表现。Redmon在2016年提出的YOLO目标检测算法，将整张图像输入到神经网络中进行不同区域的划分，预测目标的边界框和类别，实现端到端的优化，其在VOC2007数据集上取得了63.4％的准确率，帧速率可达45frame/s。人常常根据眼睛所见的标志建筑物或道路等确定自己所处的位置，无人机实时的航拍图像相当于眼睛所见，因此无人机定位问题可转换成目标检测问题。

发明内容

本发明提出了一种基于深度学习的卫星地图辅助导航定位方法，该方法可及时修正惯性导航设备的累积漂移误差，实现视觉与INS的组合导航。

本发明采用的技术方案是：一种基于深度学习的卫星地图辅助导航定位方法，包括以下步骤：

步骤1：确定无人机相对固定的飞行区域，在飞行区域内选取具有显著特征的作为地标(如飞行区域内选取具有显著特征的道路，湖泊，地面建筑等)，以卫星遥感图像为图像源，制作这些地标的目标检测数据集；

步骤2：用改进的YOLO v3对目标检测数据集进行训练，将训练好的模型以及各地标的位置信息一同存入无人机的机载嵌入式设备中；

步骤3：飞行过程中，检测无人机实时航拍图像中预先训练好的地标。当有地标被成功检测到后计算得出无人机的位置；

步骤4：根据步骤3得到位置对INS***的位置误差进行修正。

作为本发明的优选方案，步骤1中的目标检测数据集是利用Google Earth Pro软件从不同位置、不同倾斜角度、不同视角高度、不同罗盘角度获取。目标检测数据集的制作还包括将这些图像在LabelImg软件上用矩形框做标注。

本发明针对无人机GNSS失锁的情况，利用目标检测实现辅助导航定位，有效地解决了单INS***的累积漂移误差问题。该方法可以克服现有技术中遥感图像的特征提取与匹配效果不佳的问题，同时无需存储大量的特征信息，极大了减少了无人机机载计算机内存消耗。

附图说明

图1是本发明实施例的***整体框架示意图；

图2是本发明实施例采用的目标检测模型结构示意图；

图3是坐标系与成像几何示意图；

图4是本发明实施例航线飞行时水平位置偏差仿真示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明实例提供一种基于深度学习的卫星地图辅助导航定位方法，如图1所示，包括：

步骤1：选取航线上的地标点制作图像数据集，在目标区域内均匀地选取9个具有明显特征的地标，从Google Earth Pro软件获取这9个地标不同位置、不同倾斜角度、不同视角高度、不同罗盘角度的卫星遥感图像，通过旋转角度、水平翻转、调整饱和度、调整曝光量、调整色彩等对数据集进行扩充，得到数据集样本总数为819，其中各地标图片数量均为1∶1，对这些图片数据集的地标进行标注。

步骤2：对制作的数据集用改进的YOLO v3进行训练。YOLO v3模型结构如图2所示，其中包括特征提取层以及三个尺度的预测，在每个尺度预测的通道数都为42。本发明实例先验框的个数为4，其参数分别为(29，50)，(51，80)，(53，134)，(77，96)。深度学***均重叠率保持在0.8左右，网络的训练达到预期的效果。

步骤3：建立世界坐标系、相机坐标系、图像坐标系与像素坐标系的投影关系，如图3所示。飞行过程中，检测位置信息已知的地标，结合相机内参，姿态角以及当前飞行高度，求得无人机当前的位置。

步骤4：利用卡尔曼滤波，将视觉***输出的位置信息与INS***输出的位置信息进行融合，输出组合导航结果。假设加速度计漂移

陀螺仪漂移ε_x＝0.01deg/h，ε_y＝0.015deg/h，测量误差均是高斯白噪声，视觉辅助***得到的水平位置偏差在40米以内，组合导航仿真结果如图4所示。融合视觉***得到的位置信息后，整个***的水平位置偏差能下降一个数量级，INS的累积漂移误差得到及时地修正。

在本发明的具体实施例中，步骤2中对YOLO v3的改进包括：

(1)采用K-means算法对自制数据集进行聚类分析。定义K-means算法的代价函数J的计算公式为：

式中交并比IOU(box，centroid)表示簇中心与标注的样本框的交并比，m表示图片数据集中标注的样本框个数。

选取不同的聚类个数k，分别计算其代价值，根据代价值的变化趋势选取最优聚类个数k作为先验框的个数。

(2)将极大值抑制改为最大值抑制。YOLO v3训练过程中，对每个候选框计算一个置信度，计算式为：

式中Pr(object)表示网格中是否存在目标，如果有人工标注的目标框落在候选框所在的网格中则为1，反之为0。

表示预测框和人工标注的目标框的交并比。

每个候选框的综合得分为每个候选框的置信度与网格预测的类别信息相乘，计算式为：

式中Pr(class_i|object)为每个网格预测的类别概率得分。

得到该分数后，设置阈值，滤掉得分低于阈值的候选框，对高于阈值的候选框进行最大值抑制，就得到各个地标最终的检测结果。

在本发明的具体实施例中，步骤3中无人机位置的计算过程如下：

步骤3.1：计算相机内参矩阵K。

步骤3.2：由相机姿态角计算世界坐标系到相机坐标系的正交旋转变换矩阵R。记Ψ为相机的偏航角，Θ为相机的偏航角，Φ为相机的滚转角，则：

步骤3.3：以检测到的地标中心点为原点建立世界坐标系，x轴指向正北方向，y轴指向正东方向，z轴指向地心构成右手系。无人机航线飞行过程中，高度h由气压高度计获取，相机姿态角由装在相机平台上的惯性测量单元获取，识别到的地标在图像中用矩形框框出。相机光心的世界坐标可近似表示为(x₀，y₀，-h)，识别到的地标中心点世界坐标为(0，0，0)，其在像素坐标系下的坐标为(u_c，v_c)，根据世界坐标系到像素坐标系转换公式：

式中λ为投影深度。

消去λ得：

求解二元一次方程，计算出相机光心在世界坐标系下的坐标，即相对地标中心点的位置，进而得到无人机当前的位置。

在本发明的具体实施例中，步骤3.1中相机内参矩阵K的计算过程如下：

(1)制作一个间隔为0.25cm的棋盘。

(2)用相机从多个角度和方向拍摄棋盘，保证整个棋盘都被拍下，一共拍摄20张图片。

(3)将20张图片导入到Matlab工具箱Camera Calibration中，检测每一张图片中的特征点，即每一个小棋盘格的角点。

(4)对每一张图片的特征点进行匹配，计算得出相机内参矩阵K。

在本发明的具体实施例中，步骤4中对INS***位置误差的修正是采用松组合的方式，利用卡尔曼滤波对视觉***与INS***的位置信息进行融合，方法如下：

步骤4.1：构建INS***误差状态向量X：

式中δv_x，δv_y，δv_z分别表示沿东北天三个方向的速度误差；φ_x，φ_y，φz为平台的姿态角误差；δL，δλ，δh分别表示纬度误差、经度误差及高度误差；ε_xb，ε_yb，ε_zb为机体坐标系三个轴向的陀螺的随机漂移；

为机体坐标系三个轴向的加速度计的随机漂移。

步骤4.2：建立INS***的误差状态方程：

式中F(t)为***状态转移矩阵，W(t)为噪声矩阵。

步骤4.3：若只有INS***，利用给定的初始值X₀和P₀以及状态转移矩阵进行卡尔曼滤波的预测更新：

式中X_k|k-1为k时刻状态一步预测值，

为k时刻***状态转移矩阵，P_k|k-1为k时刻一步预测的误差协方差阵，Q_k-1为k-1时刻***噪声方差阵。

步骤4.4：若检测到地标点，以视觉***得到的位置与INS***解算出的位置之差作为卡尔曼滤波器的观测值，建立量测方程：

Z(t)＝H(t)X(t)+V(t)

式中V(t)为量测噪声，量测噪声的大小依赖于视觉***的定位精度。量测矩阵

R_M和R_N分别为地球椭球当地子午圈和当地卯酉圈的曲率半径，L为纬度。

利用上述量测方程进行卡尔曼滤波的更新：

式中K_k为k时刻卡尔曼增益，H_k为k时刻量测矩阵，R_k为k时刻视觉***的噪声方差阵，Z_k为k时刻观测值。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种基于深度学习的卫星地图辅助导航定位方法，其特征在于：包括以下步骤：

步骤1：确定无人机的飞行区域，在飞行区域内选取具有显著特征的地标，以卫星遥感图像为图像源，制作这些地标的目标检测数据集；

步骤2：用改进的YOLO v3对目标检测数据集进行训练，将训练好的模型以及各地标的位置信息一同存入无人机的机载嵌入式设备中；

步骤3：飞行过程中，检测无人机实时航拍图像中预先训练好的地标；当有地标被成功检测到后经坐标转换关系计算得出无人机的位置；

步骤4：根据步骤3得到的位置对INS***的位置误差进行修正。

2.根据权利要求1所述的一种基于深度学习的卫星地图辅助导航定位方法，其特征在于：步骤1中的目标检测数据集是利用Google Earth Pro软件从不同位置、不同倾斜角度、不同视角高度、不同罗盘角度获取，目标检测数据集的制作还包括将这些图像中的地标在LabelImg软件上用矩形框做标注。

3.根据权利要求1所述的一种基于深度学习的卫星地图辅助导航定位方法，其特征在于：步骤2中对YOLO v3的改进包括：

(1)采用K-means算法对自制数据集进行聚类分析，定义K-means算法的代价函数J的计算公式为：

式中交并比IOU(box，centroid)表示簇中心与标注的样本框的交并比，m表示图片数据集中标注的样本框个数；

选取不同的聚类个数k，分别计算其代价值，根据代价值的变化趋势选取最优聚类个数k作为先验框的个数；

(2)将极大值抑制改为最大值抑制，

YOLO v3训练过程中，对每个候选框计算一个置信度，计算式为：

式中Pr(object)表示网格中是否存在目标，如果有人工标注的目标框落在候选框所在的网格中则为1，反之为0；

表示预测框和人工标注的目标框的交并比；

每个候选框的综合得分为每个候选框的置信度与网格预测的类别信息相乘，计算式为：

式中Pr(class_i|object)为每个网格预测的类别概率得分；

得到该分数后，设置阈值，滤掉得分低于阈值的候选框，对高于阈值的候选框进行最大值抑制，就得到各个地标最终的检测结果。

4.根据权利要求1所述的一种基于深度学习的卫星地图辅助导航定位方法，其特征在于：步骤3中无人机位置的计算过程如下：

步骤3.1：计算相机内参矩阵K；

步骤3.2：由相机姿态角计算世界坐标系到相机坐标系的正交旋转变换矩阵R，记Ψ为相机的偏航角，Θ为相机的偏航角，Φ为相机的滚转角，则：

步骤3.3：以检测到的地标中心点为原点建立世界坐标系，x轴指向正北方向，y轴指向正东方向，z轴指向地心构成右手系，无人机航线飞行过程中，高度h由气压高度计获取，相机姿态角由装在相机平台上的惯性测量单元获取，识别到的地标在图像中用矩形框框出，相机光心的世界坐标可近似表示为(x₀，y₀，-h)，识别到的地标中心点世界坐标为(0，0，0)，其在像素坐标系下的坐标为(u_c，v_c)，根据世界坐标系到像素坐标系转换公式：

式中λ为投影深度。

消去λ得：

求解二元一次方程，计算出相机光心在世界坐标系下的坐标，即相对地标中心点的位置，进而得到无人机当前的位置。

5.根据权利要求1所述的一种基于深度学习的卫星地图辅助导航定位方法，其特征在于：步骤4中对INS***位置误差的修正采用松组合的方式，利用卡尔曼滤波对视觉***与INS***的位置信息进行融合，方法如下：

步骤4.1：构建INS***误差状态向量X：

式中δv_x，δv_y，δv_z分别表示沿东北天三个方向的速度误差；φ_x，φ_y，φ_z为平台的姿态角误差；δL，δλ，δh分别表示纬度误差、经度误差及高度误差；ε_xb，ε_yb，ε_zb为机体坐标系三个轴向的陀螺的随机漂移；

为机体坐标系三个轴向的加速度计的随机漂移；

步骤4.2：建立INS***的误差状态方程：

式中F(t)为***状态转移矩阵，W(t)为噪声矩阵；

步骤4.3：若只有INS***，利用给定的初始值X₀和P₀以及状态转移矩阵进行卡尔曼滤波的预测更新：

式中X_k|k-1为k时刻状态一步预测值，

为k时刻***状态转移矩阵，P_k|k-1为k时刻一步预测的误差协方差阵，Q_k-1为k-1时刻***噪声方差阵；

步骤4.4：若检测到地标点，以视觉***得到的位置与INS***解算出的位置之差作为卡尔曼滤波器的观测值，建立量测方程：

Z(t)＝H(t)X(t)+V(t)

式中V(t)为量测噪声，量测噪声的大小依赖于视觉***的定位精度。量测矩阵

R_M和R_N分别为地球椭球当地子午圈和当地卯酉圈的曲率半径，L为纬度；

利用上述量测方程进行卡尔曼滤波的更新：

式中K_k为k时刻卡尔曼增益，H_k为k时刻量测矩阵，R_k为k时刻视觉***的噪声方差阵，Z_k为k时刻观测值。

Images