CN116817892B - 基于视觉语义地图的云端一体无人机航线定位方法及*** - Google Patents

Abstract

本发明公开了一种基于视觉语义地图的云端一体无人机航线定位方法及***，该方法包括：无人机实时采集航线俯拍图像并进行预处理，以构建航线局部语义地图，并上传至云端服务器；云端服务器对航线局部语义地图进行融合更新以获取航线全局语义地图；无人机获取最新的航线全局语义地图，遭遇卫星拒止环境时，对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机的定位信息。本发明将需要不断更新、运算量较大的融合更新模块放在云服务器端，无人机端只需执行计算量较小的局部建图和语义匹配，合理分配计算任务；本发明能准确描述航线下方的地面信息，并快速更新地面信息的改动，有利于提高卫星拒止环境下无人机定位的鲁棒性。

Description

基于视觉语义地图的云端一体无人机航线定位方法及***

技术领域

本发明涉及无人机定位技术领域，尤其涉及一种基于视觉语义地图的云端一体无人机航线定位方法及***。

背景技术

随着无人机技术的不断进步和发展，大规模的无人机商业化应用已经出现在人类社会，比如郊区农林植保、电力巡检、城市快递配送、医疗物资运送等等，这些应用需要无人机每天需要沿着预先设定的航线执行几十、几百、甚至上千架次的飞行。在航线飞行中，无人机的定位和导航信息主要来自全球卫星导航***，如GPS、北斗、GLONASS、伽利略等。卫星导航信号易受环境干扰，如城市高楼、恶劣天气、电磁辐射都可能导致卫星导航信号的丢失。为了提高大规模商业化应用中无人机定位导航的鲁棒性，卫星拒止环境下航线定位技术的研究极其关键，其中视觉导航因抗干扰能力强、功耗低、成本低、体积小、设备结构简单、被动式、定位精度高等优点得到了广泛关注。

视觉导航主要是指通过飞行器机载的视觉成像设备，如可见光、红外、SAR 等传感器对地面拍照，继而对图像进行处理，得到各种导航参数。目前的视觉导航按照是否需要基准数据库，可分为地图型导航和无地图导航。地图型导航需要使用预先存储包含精确地理信息的数字景象基准数据库，又称导航地图，利用一帧实拍图像与导航地图进行图像匹配或特征匹配，即可实现飞行器的绝对定位。如有些无人机视觉辅助导航方法及***中，将地理信息***作为机载基准数据库，对无人机实时拍摄图像进行处理，提取具有实际地理意义的视觉特征，如村庄、道路等信息，再将获取的视觉特征与地理信息***进行匹配，得到无人机视觉定位结果。有些基于单目视觉的无人机自主定位方法将卫星遥感图像作为基准数据库，对遥感影像与无人机采集的图像进行影像混合配准，计算得到同名特征点，求解无人机的地理坐标。基于地理信息***或卫星遥感图像数据库的方法能在一定程度上解决无人机的定位问题，但也存在以下三个缺点：第一，地理信息***和卫星遥感图像更新频率太低，一般以年为单位进行数据更新，无法及时反应当今中国大规模基建带来的城市、农村面貌变化；第二，地理信息***和卫星遥感图像与无人机实时航拍图像的拍摄时间、季节、天气不同，同一地面目标的图像可能存在较大差异，图像匹配难度大，精度低；第三，对无人机某条具体的航线而言，地理信息***和卫星遥感图像覆盖的范围太大，无法定制化裁剪，包含了大量冗余信息，图像匹配耗时长，不利于无人机的实时定位。

基于物体语义的无人机视觉重定位方法预先使用YOLOv3网络对800张图像提取物体语义信息，并使用语义信息构建拓扑图，形成场景地图库。对待匹配的实时图像，同样使用YOLOv3网络提取语义信息，采用随机游走算法进行待匹配图像与地图库之间的匹配，最后使用EPnP算法求解无人机位姿。该方法能有效克服因环境光照变化引起的图像匹配精度不足的问题，但匹配算法较为复杂，且未涉及地图库的更新方法，不适合无人机商业应用中大规模多架次的室外飞行。

无地图导航方法的典型代表为基于无人机的视觉SLAM技术。随着计算机视觉的蓬勃发展，视觉SLAM导航逐渐成为一种成熟的导航方案，并在小型、狭窄、封闭的复杂空间取得了较好的效果。但视觉SLAM导航适合探索未知的飞行环境，并不适用于室外大范围、飞行航线已知、鲁棒性要求高的无人机导航。

综上所述，现有视觉定位导航方法都存在一定的局限性，且这些方法都是围绕无人机单架次飞行设计，未考虑无人机大规模飞行情况下的***架构优化。为此，本发明提出一种面向卫星拒止环境的基于视觉语义地图的云端一体化无人机航线定位方法。

发明内容

本发明的目的在于针对现有技术中无人机视觉定位方法基准数据库不合适、未发挥大规模飞行优势的问题，提供一种基于视觉语义地图的云端一体无人机航线定位方法及***。

本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种基于视觉语义地图的云端一体无人机航线定位方法，包括以下步骤：

S1、卫星导航信号良好时，无人机在每一次飞行中，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建飞行架次对应的航线局部语义地图，并将飞行架次对应的航线局部语义地图上传至云端服务器；其中，所述预处理包括语义分割、逆透视变换、缩放处理和栅格化处理；

S2、云端服务器对从无人机端接收到的航线局部语义地图进行融合更新，以获取航线全局语义地图；

S3、无人机在执行飞行任务前，从云端服务器获取当前最新的航线全局语义地图；无人机在飞行过程中，遭遇卫星拒止环境时，通过对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机当前的定位信息。

进一步地，所述步骤S1中所述构建飞行架次对应的航线局部语义地图包括以下子步骤：

S11、卫星导航信号良好时，无人机在每一次飞行中，获取实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；

S12、采用语义分割网络对实时航线俯拍图像进行语义分割，以提取实时航线俯拍图像中地面目标的语义标签，以获取语义图像；其中，所述语义标签包括道路、河流、建筑和地面标志；

S13、根据实时飞行姿态对语义图像进行逆透视变换，以获取逆透视变换后的语义图像；其中，逆透视变换后的语义图像平面平行于地面，且图像显示方向为正北方向；

S14、根据实时飞行高度和预设的拍摄高度对逆透视变换后的语义图像进行缩放处理，以获取缩放处理后的语义图像；其中，缩放处理后的语义图像的拍摄高度为预设的拍摄高度；

S15、根据实时经纬度和预设的栅格尺寸对缩放处理后的语义图像进行栅格化处理，以获取栅格化后的语义图像，并计算每个栅格的经纬度和语义标签得分；

S16、根据栅格化后的语义图像以及每个栅格的经纬度和语义标签得分构建航线局部语义地图。

进一步地，所述步骤S15中计算每个栅格的经纬度具体为：语义图像中心栅格的经纬度为无人机的实时经纬度，其余栅格根据其与中心栅格的距离换算经纬度。

进一步地，所述步骤S15中计算每个栅格的语义标签得分具体为：首先将所有语义标签得分置零，然后统计栅格内每个像素所属的语义标签，则该语义标签得分加一。

进一步地，所述步骤S2包括以下子步骤：

S21、云端服务器对从无人机端接收航线局部语义地图，采用步骤S15中预设的栅格尺寸对航线全局语义地图栅格化处理，并对航线全局语义地图进行初始化，初始化后的航线全局语义地图中所有栅格只包含经纬度信息，语义标签得分均置零；

S22、加载一张航线局部语义地图至航线全局语义地图进行融合；

S23、判断所述步骤S22中加载的航线局部语义地图是否为最后一张航线局部语义地图，若是最后一张航线局部语义地图，则跳转至步骤S26；否则，跳转至步骤S24；

S24、将航线局部语义地图中每个栅格的语义标签得分，按照栅格的经纬度添加到航线全局语义地图对应的栅格中，以更新航线局部语义地图的语义标签得分；

S25、完成当前航线局部语义地图中所有栅格的融合更新后，返回所述步骤S22；

S26、将航线全局语义地图中每个栅格的语义标签得分最大值对应的语义标签作为该栅格的语义标签，以获取航线全局语义地图。

进一步地，所述航线局部语义地图和所述航线全局语义地图均为二维占位栅格地图，每个栅格包含经纬度信息和语义标签及其得分；所述航线局部语义地图和所述航线全局语义地图均按照预设的栅格尺寸和预设的拍摄高度进行构建。

进一步地，所述步骤S3包括以下子步骤：

S31、在执行飞行任务前，无人机从云端服务器获取当前最新的航线全局语义地图；

S32、无人机在飞行过程中遇到卫星拒止环境，获取无人机在卫星拒止环境中的实时航线俯拍图像、实时飞行高度、实时飞行姿态、实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；

S33、采用语义分割网络对所述步骤S32获取的实时航线俯拍图像进行语义分割，以获取第二语义图像；

S34、根据所述步骤S32获取的实时飞行姿态对第二语义图像进行逆透视变换，以获取逆透视变换后的第二语义图像；其中，逆透视变换后的第二语义图像平面平行于地面，且图像显示方向为正北方向；

S35、根据所述步骤S32获取的实时飞行高度和步骤S14中预设的拍摄高度对逆透视变换后的第二语义图像进行缩放处理，以获取缩放处理后的第二语义图像；其中，缩放处理后的第二语义图像的拍摄高度为预设的拍摄高度；

S36、对缩放处理后的第二语义图像和航线全局语义地图进行语义特征匹配，以获取多个匹配相似度；

S37、寻找缩放处理后的第二语义图像在航线全局语义地图中匹配相似度最大值的区域，获取该区域中心的经纬度，作为无人机当前的定位信息。

本发明实施例第二方面提供了一种基于视觉语义地图的云端一体无人机航线定位***，用于实现上述的基于视觉语义地图的云端一体无人机航线定位方法，包括：

多台无人机，用于在卫星导航信号良好时构建航线局部语义地图以及在遭遇卫星拒止环境时基于语义特征匹配实时获取定位信息；和

云端服务器，用于接收航线局部语义地图，并对航线局部语义地图进行融合更新处理，生成航线全局语义地图。

进一步地，所述无人机包括：

卫星导航***，用于卫星导航信号良好时的无人机飞行导航；

下视相机，用于拍摄无人机航线正下方的地面图像，获取无人机的实时航线俯拍图像；

高度测量模块，用于获取无人机的实时飞行高度；

姿态测量模块，用于获取无人机的实时飞行姿态；

机载计算机，用于运行语义建图模块、语义特征匹配模块，以及存储航线局部语义地图和航线全局语义地图；

数据通信模块，用于向云端服务器上传航线局部语义地图以及从云端服务器下载航线全局语义地图；

语义建图模块，用于根据实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度构建航线局部语义地图；和

语义特征匹配模块，用于对航线全局语义地图和无人机实时俯拍图像进行语义特征匹配，以获取多个匹配相似度。

进一步地，所述云端服务器包括：融合更新模块，用于对航线局部语义地图进行融合更新处理，生成航线全局语义地图。

与现有技术相比，本发明的有益效果是：

（1）本发明在卫星导航信号良好时，通过无人机的大量飞行，构建了大量的航线局部语义地图，并将这些航线语义地图上传到云端服务器进行处理，通过云端服务器对大量航线局部语义地图的融合更新，生成航线全局语义地图，无人机每次飞行前下载最新的航线全局语义地图，在飞行中如果遭遇卫星拒止环境，通过实时俯拍图像与航线全局语义地图的语义特征匹配，实现无人机实时航线定位；本发明构建了无人机端、云服务器端一体化建图匹配定位架构，合理分配了计算任务，将需要不断更新、运算量较大的语义地图融合更新模块放在算力资源丰富的云服务器端，无人机端只需执行计算量较小的局部建图和语义匹配模块，通过该架构，无人机能在卫星拒止环境中实现实时定位；

（2）本发明能够针对无人机大规模应用的航线进行定位，充分利用了无人机大量飞行架次在建图、更新方面的优势；本发明构建的航线全局语义地图，能准确描述航线下方的地面信息，并快速更新地面信息的改动，为卫星拒止环境下的无人机定位提供了一种***、鲁棒的解决方案。

附图说明

图1是本发明的基于视觉语义地图的云端一体无人机航线定位方法的流程图；

图2是本发明实施例中机端构建航线局部语义地图的流程图；

图3是本发明实施例中机端语义建图模块效果示意图；

图4是本发明实施例中云端获取航线全局语义地图的流程图；

图5是本发明实施例中机端语义特征匹配的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

参见图1，本发明的基于视觉语义地图的云端一体无人机航线定位方法，具体包括以下步骤：

S1、卫星导航信号良好时，无人机在每一次飞行中，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建飞行架次对应的航线局部语义地图，并将飞行架次对应的航线局部语义地图上传至云端服务器。其中，预处理包括语义分割、逆透视变换、缩放处理和栅格化处理。

应当理解的是，本申请方法属于地图型视觉导航，其中所用的导航地图由无人机大量飞行拍摄构建。

具体地，在卫星导航信号良好时，无人机使用卫星导航***执行航线飞行任务时，此时，每一台无人机在执行每一次飞行任务时，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建当前飞行架次对应的航线局部语义地图；然后将飞行架次对应的航线局部语义地图上传给云端服务器，进行后续处理。

本实施例中，机端构建航线局部语义地图具体如图2所示，包括如下步骤：

S11、卫星导航信号良好时，无人机在每一次飞行中，获取实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度；其中，飞行姿态包括俯仰角、滚转角和偏航角。

S12、采用语义分割网络对实时航线俯拍图像进行语义分割，以提取实时航线俯拍图像中地面目标的语义标签，以获取语义图像；其中，语义标签包括道路、河流、建筑和地面标志等。

应当理解的是，提取的语义标签是每个像素的标签，通常是以图像的形式存在，因此，提取实时航线俯拍图像中地面目标的语义标签后可以得到语义图像。

需要说明的是，语义特征能够有效解决同一地面目标在不同天气、季节、光照等环境下成像存在差异，导致特征提取有偏差、定位精度不足的问题。语义标签能够准确、唯一地描述地面信息，因此，语义标签还可以是山川等。

本实施例中，语义分割网络为DDRNet（Deep Dual-resolution Networks）网络，采用DDRNet网络对航线俯拍图像进行语义分割，原因在于DDRNet网络具有双流结构，可以同时保持高分辨率的图像特征和高级语义特征。同时DDRNet网络为轻量型网络，推理速度快。

S13、根据实时飞行姿态对语义图像进行逆透视变换，以获取逆透视变换后的语义图像；其中，逆透视变换后的语义图像平面平行于地面，且图像显示方向为正北方向。

需要说明的是，无人机在拍摄过程中，其飞行姿态即俯仰角、滚转角、偏航角实时变化，故采集到的航线俯拍图像存在不同程度的透视变换，因此，需要通过逆透视变换消除无人机的飞行姿态对航线俯拍图像的透视影响。

具体地，根据无人机的实时飞行姿态，即俯仰角、滚转角和偏航角等实时数据，计算变换矩阵，根据变换矩阵对语义图像进行逆透视变换，使变换后的图像平行于地面。

S14、根据实时飞行高度和预设的拍摄高度对逆透视变换后的语义图像进行缩放处理，以获取缩放处理后的语义图像；其中，缩放处理后的语义图像的拍摄高度均为预设的拍摄高度。

需要说明的是，无人机每次的飞行高度存在差异，导致航线俯拍图像的尺度并不一致，不利于后续统一处理，因此，需要根据实时飞行高度按比例对逆透视变换后的语义图像进行缩放处理，如此便可消除无人机的不同飞行高度对航线俯拍图像的尺度影响。

具体地，可以将拍摄高度设置为H，并根据无人机的实时飞行高度，以相机针孔成像为模型，对逆透视变换后的语义图像进行缩放处理，具体的图像缩放比例为：

其中，k表示图像的缩放比例。

应当理解的是，每幅航线俯拍图像对应的缩放比均不同，按照对应的缩放比对逆透视变换后的语义图像进行缩放处理后，无人机所有飞行架次的航线俯拍图像的拍摄高度均为预设的拍摄高度，相应地，无人机所有飞行架次生成的航线局部语义地图的拍摄高度也均为预设的拍摄高度。

示例性地，本实施例的应用场景为无人机园区物流配送，地面道路能准确、唯一表示航线下方的地面信息，因此语义分割网络仅提取两类语义标签：道路和其他。相应地，缩放处理后的语义图像效果如图3所示。

S15、根据实时经纬度和预设的栅格尺寸对缩放处理后的语义图像进行栅格化处理，以获取栅格化后的语义图像，并计算每个栅格的经纬度和语义标签得分。

需要说明的是，为了提高后续生成的语义地图的鲁棒性，需要对航线俯拍图像进行栅格化处理，滤除语义分割带来的噪声。栅格投射到地面是具有一定物理尺寸的正方形，因此需要人为预设一个栅格尺寸。

示例性地，本实施例中将栅格尺寸设置为1m×1m，然后根据实时经纬度对缩放处理后的语义图像进行栅格化处理，并计算每个栅格的经纬度和语义标签得分。

进一步地，计算每个栅格的经纬度具体为：语义图像中心栅格的经纬度为无人机的实时经纬度，其余栅格根据其与中心栅格的距离换算经纬度。

进一步地，计算每个栅格的语义标签得分具体为：首先将所有语义标签得分置零，然后统计栅格内每个像素所属的语义标签，则该语义标签得分加一。即栅格内每个像素的语义标签属于哪个语义标签，则该语义标签的得分加一。

S16、根据栅格化后的语义图像以及每个栅格的经纬度和语义标签得分构建航线局部语义地图。

需要说明的是，航线局部语义地图为二维占位栅格地图，每个栅格包含经纬度信息和语义标签及其得分。航线局部语义地图按照预设的拍摄高度进行构建，其默认显示方向为正北方向，其中，栅格尺寸和拍摄高度都是人为提前进行设置的。

S2、云端服务器对从无人机端接收到的航线局部语义地图进行融合更新，以获取航线全局语义地图。

具体地，云端服务器的接收卫星导航信号良好时，接收到多台无人机多次飞行构建的大量航线局部语义地图，对大量航线局部语义地图进行融合更新，可以得到航线全局语义地图，如图4所示，包括如下步骤：

S21、云端服务器对从无人机端接收航线局部语义地图，采用步骤S15中预设的栅格尺寸对航线全局语义地图栅格化处理，并对航线全局语义地图进行初始化，初始化后的航线全局语义地图中所有栅格只包含经纬度信息，语义标签得分均置零。

应当理解的是，根据航线局部语义地图获取航线全局语义地图，因此，航线全局语义地图的栅格尺寸要与步骤S15中为航线局部语义地图预设的栅格尺寸保持一致。

S22、加载一张航线局部语义地图至航线全局语义地图进行融合。

S23、判断步骤S22中加载的航线局部语义地图是否为最后一张航线局部语义地图，若是最后一张航线局部语义地图，则跳转至步骤S26；否则，跳转至步骤S24。

S24、将航线局部语义地图中每个栅格的语义标签得分，按照栅格的经纬度添加到航线全局语义地图对应的栅格中，以更新航线局部语义地图的语义标签得分。

S25、完成当前航线局部语义地图中所有栅格的融合更新后，返回步骤S22。

应当理解的是，完成一张航线局部语义地图的融合更新后，返回步骤S22，加载下一张航线局部语义地图继续进行融合更新直至最后一张航线局部语义地图。

S26、将航线全局语义地图中每个栅格的语义标签得分最大值对应的语义标签作为该栅格的语义标签，以获取航线全局语义地图。

具体地，输出航线全局语义地图。完成所有航线局部语义地图的融合更新后，将航线全局语义地图中每个栅格对应的语义标签得分最高的语义标签作为该栅格的语义标签，输出航线全局语义地图。

应当理解的是，航线全局语义地图中每个栅格可能会包括多个语义标签及其得分，如语义标签1、多个语义标签1得分、语义标签2、多个语义标签2得分，其中，所有的语义标签得分中，语义标签得分最大值是多个语义标签2得分中的一个，那么语义标签得分最大值对应的语义标签即语义标签2就是该栅格的语义标签，类似地，可以得到所有栅格对应的语义标签，进一步得到航线全局语义地图。

需要说明的是，航线全局语义地图为二维占位栅格地图，每个栅格包含经纬度信息和语义标签及其得分。航线全局语义地图按照预设的拍摄高度进行构建，其默认显示方向为正北方向，其中，栅格尺寸和拍摄高度都是人为提前进行设置的。

S3、无人机在执行飞行任务前，从云端服务器获取当前最新的航线全局语义地图；无人机在飞行过程中，遭遇卫星拒止环境时，通过对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机当前的定位信息。

具体地，每一台无人机在执行飞行任务前，都会获取当前最新的航线全局语义地图；在飞行过程中，飞行过程中，当卫星导航信号受到屏蔽、干扰，即遭遇卫星拒止环境时，无人机启动视觉航线定位功能，即将无人机实时航线俯拍图像与航线全局语义地图进行语义特征匹配，匹配相似度最大的区域对应的经纬度就是无人机当前的定位信息。如图5所示，具体包括如下步骤：

S31、在执行飞行任务前，无人机从云端服务器获取当前最新的航线全局语义地图。

S32、无人机在飞行过程中遇到卫星拒止环境，获取无人机在卫星拒止环境中的实时航线俯拍图像、实时飞行高度、实时飞行姿态、实时经纬度；其中，飞行姿态包括俯仰角、滚转角和偏航角。

S33、采用语义分割网络对步骤S32获取的实时航线俯拍图像进行语义分割，以获取第二语义图像。

应当理解的是，采用步骤S12中的方法对步骤S32获取的航线俯拍图像进行语义分割，得到卫星拒止环境下的语义图像。

S34、根据步骤S32获取的实时飞行姿态对第二语义图像进行逆透视变换，以获取逆透视变换后的第二语义图像；其中，逆透视变换后的第二语义图像平面平行于地面，且图像显示方向为正北方向。

应当理解的是，采用步骤S13中的方法对步骤S33获取的第二语义图像进行逆透视变换，使拍摄平面平行于地面，且显示方向转化为正北。

S35、根据步骤S32获取的实时飞行高度和步骤S14中预设的拍摄高度对逆透视变换后的第二语义图像进行缩放处理，以获取缩放处理后的第二语义图像；其中，缩放处理后的第二语义图像的拍摄高度为预设的拍摄高度。

应当理解的是，采用步骤S14中的方法对步骤S34获取的逆透视变换后的语义图像进行缩放处理，将实时拍摄高度转化为预设的拍摄高度H。

S36、对缩放处理后的第二语义图像和航线全局语义地图进行语义特征匹配，以获取多个匹配相似度。

本实施例中，可以采用最邻近数据关联算法（NN）对缩放处理后的语义图像和航线全局语义地图进行语义特征匹配。应当理解的是，最邻近数据关联算法的运算量小，易于硬件的实现，适合机端的实时定位。

S37、寻找缩放处理后的第二语义图像在航线全局语义地图中匹配相似度最大值的区域，获取该区域中心的经纬度，作为无人机当前的定位信息。

应当理解的是，全局语义地图中包括多个区域，每个区域都和缩放处理后的第二语义图像进行语义特征匹配，可以得到多个匹配相似度，匹配相似度最大的区域对应的经纬度即为无人机当前的位置信息。

值得一提的是，本发明实施例还提供了一种基于视觉语义地图的云端一体无人机航线定位***，用于实现上述实施例中的基于视觉语义地图的云端一体无人机航线定位方法。

本实施例中，该无人机航线定位***包括多台无人机和云端服务器。其中，多台无人机用于在卫星导航信号良好时构建航线局部语义地图以及在遭遇卫星拒止环境时基于语义特征匹配实时获取定位信息；云端服务器用于接收航线局部语义地图，并对航线局部语义地图进行融合更新处理，生成航线全局语义地图。

进一步地，无人机的数量可以是一台、两台或者更多台，具体可以根据实际需要设置其数量。

进一步地，构建航线局部语义地图的无人机和实时获取定位信息的无人机可以是同一台无人机，也可以是不同的无人机。

具体地，无人机至少包括了卫星导航***、下视相机、高度测量模块、姿态测量模块、机载计算机、数据通信模块、语义建图模块和语义特征匹配模块。其中，卫星导航***用于卫星导航信号良好时的无人机飞行导航，本实施例中采用了差分GPS模块作为卫星导航***；下视相机用于拍摄无人机航线正下方的地面图像，获取无人机的实时航线俯拍图像；高度测量模块用于获取无人机的实时飞行高度，本实施例中采用了气压计和长量程激光测距仪进行融合计算无人机的实时飞行高度；姿态测量模块用于获取无人机的实时飞行姿态，本实施例中采用了惯性测量单元（IMU）和磁力计作为姿态测量模块；机载计算机用于运行语义建图模块、语义特征匹配模块，以及存储航线局部语义地图和航线全局语义地图；数据通信模块用于向云端服务器上传航线局部语义地图以及从云端服务器下载航线全局语义地图；语义建图模块用于根据实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度构建航线局部语义地图；语义特征匹配模块用于对航线全局语义地图和无人机实时俯拍图像进行语义特征匹配，以获取多个匹配相似度。

进一步地，数据通信模块可以采用有线传输方式，也可以采用无线通信方式，本实施例采用的是4G/5G无线移动网络。

具体地，云端服务器包括融合更新模块，该融合更新模块用于对航线局部语义地图进行融合更新处理，生成航线全局语义地图。

本发明充分利用了无人机大量飞行架次在导航地图构建、更新方面的优势，构建了无人机端、云服务器端一体化建图、匹配、定位架构；本发明合理分配了计算任务，将需要不断更新、运算量较大的语义地图融合更新模块放在算力资源丰富的云服务器端，无人机端只需执行计算量较小的局部建图和语义匹配模块；本发明构建的航线全局语义地图，能准确描述航线下方的地面信息，并快速更新地面信息的改动，为卫星拒止环境下的无人机定位提供了一种***、鲁棒的解决方案。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，包括以下步骤：

S1、卫星导航信号良好时，无人机在每一次飞行中，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建飞行架次对应的航线局部语义地图，并将飞行架次对应的航线局部语义地图上传至云端服务器；其中，所述预处理包括语义分割、逆透视变换、缩放处理和栅格化处理；

S2、云端服务器对从无人机端接收到的航线局部语义地图进行融合更新，以获取航线全局语义地图；

所述步骤S2包括以下子步骤：

S21、云端服务器对从无人机端接收航线局部语义地图，采用预设的栅格尺寸对航线全局语义地图栅格化处理，并对航线全局语义地图进行初始化，初始化后的航线全局语义地图中所有栅格只包含经纬度信息，语义标签得分均置零；

S22、加载一张航线局部语义地图至航线全局语义地图进行融合；

S23、判断所述步骤S22中加载的航线局部语义地图是否为最后一张航线局部语义地图，若是最后一张航线局部语义地图，则跳转至步骤S26；否则，跳转至步骤S24；

S24、将航线局部语义地图中每个栅格的语义标签得分，按照栅格的经纬度添加到航线全局语义地图对应的栅格中，以更新航线局部语义地图的语义标签得分；

S25、完成当前航线局部语义地图中所有栅格的融合更新后，返回所述步骤S22；

S26、将航线全局语义地图中每个栅格的语义标签得分最大值对应的语义标签作为该栅格的语义标签，以获取航线全局语义地图；

S3、无人机在执行飞行任务前，从云端服务器获取当前最新的航线全局语义地图；无人机在飞行过程中，遭遇卫星拒止环境时，通过对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机当前的定位信息。

2.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S1中所述构建飞行架次对应的航线局部语义地图包括以下子步骤：

S11、卫星导航信号良好时，无人机在每一次飞行中，获取实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；

S12、采用语义分割网络对实时航线俯拍图像进行语义分割，以提取实时航线俯拍图像中地面目标的语义标签，以获取语义图像；其中，所述语义标签包括道路、河流、建筑和地面标志；

S13、根据实时飞行姿态对语义图像进行逆透视变换，以获取逆透视变换后的语义图像；其中，逆透视变换后的语义图像平面平行于地面，且图像显示方向为正北方向；

S14、根据实时飞行高度和预设的拍摄高度对逆透视变换后的语义图像进行缩放处理，以获取缩放处理后的语义图像；其中，缩放处理后的语义图像的拍摄高度为预设的拍摄高度；

S15、根据实时经纬度和预设的栅格尺寸对缩放处理后的语义图像进行栅格化处理，以获取栅格化后的语义图像，并计算每个栅格的经纬度和语义标签得分；

S16、根据栅格化后的语义图像以及每个栅格的经纬度和语义标签得分构建航线局部语义地图。

3.根据权利要求2所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S15中计算每个栅格的经纬度具体为：语义图像中心栅格的经纬度为无人机的实时经纬度，其余栅格根据其与中心栅格的距离换算经纬度。

4.根据权利要求2所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S15中计算每个栅格的语义标签得分具体为：首先将所有语义标签得分置零，然后统计栅格内每个像素所属的语义标签，则该语义标签得分加一。

5.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述航线局部语义地图和所述航线全局语义地图均为二维占位栅格地图，每个栅格包含经纬度信息和语义标签及其得分；所述航线局部语义地图和所述航线全局语义地图均按照预设的栅格尺寸和预设的拍摄高度进行构建。

6.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S3包括以下子步骤：

S31、在执行飞行任务前，无人机从云端服务器获取当前最新的航线全局语义地图；

S32、无人机在飞行过程中遇到卫星拒止环境，获取无人机在卫星拒止环境中的实时航线俯拍图像、实时飞行高度、实时飞行姿态、实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；

S33、采用语义分割网络对所述步骤S32获取的实时航线俯拍图像进行语义分割，以获取第二语义图像；

S34、根据所述步骤S32获取的实时飞行姿态对第二语义图像进行逆透视变换，以获取逆透视变换后的第二语义图像；其中，逆透视变换后的第二语义图像平面平行于地面，且图像显示方向为正北方向；

S35、根据所述步骤S32获取的实时飞行高度和步骤S14中预设的拍摄高度对逆透视变换后的第二语义图像进行缩放处理，以获取缩放处理后的第二语义图像；其中，缩放处理后的第二语义图像的拍摄高度为预设的拍摄高度；

S36、对缩放处理后的第二语义图像和航线全局语义地图进行语义特征匹配，以获取多个匹配相似度；

S37、寻找缩放处理后的第二语义图像在航线全局语义地图中匹配相似度最大值的区域，获取该区域中心的经纬度，作为无人机当前的定位信息。

7.一种基于视觉语义地图的云端一体无人机航线定位***，用于实现权利要求1-6中任一项所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，包括：

多台无人机，用于在卫星导航信号良好时构建航线局部语义地图以及在遭遇卫星拒止环境时基于语义特征匹配实时获取定位信息；和

云端服务器，用于接收航线局部语义地图，并对航线局部语义地图进行融合更新处理，生成航线全局语义地图。

8.根据权利要求7所述的基于视觉语义地图的云端一体无人机航线定位***，其特征在于，所述无人机包括：

卫星导航***，用于卫星导航信号良好时的无人机飞行导航；

下视相机，用于拍摄无人机航线正下方的地面图像，获取无人机的实时航线俯拍图像；

高度测量模块，用于获取无人机的实时飞行高度；

姿态测量模块，用于获取无人机的实时飞行姿态；

机载计算机，用于运行语义建图模块、语义特征匹配模块，以及存储航线局部语义地图和航线全局语义地图；

数据通信模块，用于向云端服务器上传航线局部语义地图以及从云端服务器下载航线全局语义地图；

语义建图模块，用于根据实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度构建航线局部语义地图；和

语义特征匹配模块，用于对航线全局语义地图和无人机实时俯拍图像进行语义特征匹配，以获取多个匹配相似度。

9.根据权利要求7所述的基于视觉语义地图的云端一体无人机航线定位***，其特征在于，所述云端服务器包括：融合更新模块，用于对航线局部语义地图进行融合更新处理，生成航线全局语义地图。